香港中文大学团队Nature发文，用一块10平方毫米的超表面芯片，让边缘设备第一次拥有了"基础模型"级别的视觉理解能力

困扰光学计算十年的"身份危机"

光学神经网络（ONN）的理论优势一直被反复宣讲：光速传播、天然并行、低能耗。但这个承诺兑现了多少？过去十年绝大多数ONN实验停留在MNIST手写数字、Fashion-MNIST服装识别这类简单任务，参数量通常在几万到几十万之间，与现代AI模型动辄数千万乃至千亿参数相去甚远。

如图Extended Data Table 1对比所示，此前ONN系统要么只能做分类，要么需要为不同任务重新训练物理层，没有哪一个能同时在检测、分割、三维重建和***理解上达到与数字SOTA模型可比的水平。

问题的根源在哪？

ONN领域长期有一个错误默认***设——光学系统应该去精确模仿数字神经网络的代数运算。比如光学卷积神经网络试图在物理上复现卷积核的精确乘加操作，光学衍射网络用光场传播模拟全连接层矩阵乘法。这种"数字模拟"思路在物理实现中产生巨大开销和误差：光学系统天生不适合做高精度代数运算，强行让它去做就会在参数规模、非线性操作和可扩展性上全面受限。

共同第一作者：Jiayong Peng、Mingcheng Luo

通讯作者：Chaoran Huang

单位：

香港中文大学 电子工程系 / 计算机科学与工程系（The Chinese University of Hong Kong, Shatin, Hong Kong）

香港理工大学 应用物理系（Yang Chai组）

Queen's University, Canada（B. J. Shastri组）

合肥综合性国家科学中心 人工智能研究院（Yuxi Han）

港中文黄超然团队在《Nature》上发表的这篇工作彻底翻转了这个***设。核心思路是：不再让光学系统去"模仿"数字模型的具体运算，而是把计算机视觉三大基本原理——基于相似性的识别、注意力引导的感知、细节与上下文的融合——直接嵌入超表面的物理设计和光传播过程中。

这个范式转换的结果是：一个固定不可调的4100万参数光学超表面前端，搭配仅8.7万参数的极简数字后端，就在Cityscapes和DAVIS等高分辨率真实世界数据集上，在目标检测、语义分割、三维重建和***理解四项任务上全面超越了数百万乃至数亿参数的数字模型。

从“精确模拟”到“物理嵌入”的范式跃迁

这项研究的核心原创性在于，它跳出了“用光学系统复刻数字网络”的思维定式。在已发表的文献中，ONN的智慧往往体现在如何更精确地实现某种数学变换。但这篇文章的作者们意识到，现代计算机视觉的三大支柱——基于相似性的识别、基于注意力的感知、以及细节与上下文的融合——并非只能通过复杂的数学公式实现。他们独辟蹊径，将这些原则直接“物理嵌入”到一块仅有10平方毫米的“光学超表面”上。

图 1 | 我们整体系统的一般工作流程。

这片超表面还集成了注意力机制和多尺度特征提取两大绝技。它通过巧妙的光学结构，让每个输入像素点都被256个不同的纳米柱调制，产生256个卷积核，这类似于数字网络中的通道注意力机制。

同时，通过调整光波的衍射距离（d1和d2），系统能自然地提取出局部的“细节特征”和全局的“上下文特征”，这恰恰是卷积神经网络和Transformer的核心，但这一切都在光通过芯片的瞬间，以光速、零功耗地完成了。

光学“超表面”：一个拥有4100万参数的无源“大脑”

这个“光学超表面”芯片，其核心是由4100万个按高斯分布随机排列的硅纳米柱（meta-atoms）构成的巨大阵列。看到这里，你可能会质疑：随机排列怎么还能做识别？这正是文章的第二个绝妙洞见。

“有序的随机性”：对复杂计算的一种物理降维打击

传统观点认为，神经网络的计算必须是精确、有序的。但这篇文章证明了，当神经元的数量足够庞大（例如4100万）时，一种“有序的随机性”反而能成为最有效的工具。作者通过理论推导和实验验证，证明了这种随机高斯分布的超表面，在较大尺度下能够自然实现对径向基函数（RBF）核的近似，这正是实现基于相似性的特征提取的基础。这好比一个庞大的购物中心，虽然每个店铺（神经节点）的布局是随机的，但整体上却依然能完成“将相似商品聚类”的功能。更为关键的是，这种设计对制造误差具有天然的鲁棒性，彻底解决了光计算芯片“难设计、难制造”的痛点，为规模化生产铺平了道路。

超越千倍的效率：一个87K参数的“小模型”如何打败千万级“大模型”？

光有强大的“光学前端”还不够，如何解读它输出的高度压缩的物理信息，是成败的关键。作者们再次展现了其设计智慧：他们不再使用传统光学计算中臃肿的“全连接层”来作为后端，而是设计了一个仅有87,000个数字参数的、极度轻量化的“数字后端”。

协同设计：不仅“懂”光，更要“用”好光

这里的“协同设计”是关键。因为光学前端已经完美地完成了繁重的、高度抽象的通用特征提取任务，所以数字后端的工作便变得极其简单和高效。它只需要一个轻量级的FusionNet来融合光学提取的局部和全局特征，再配合几个更小的任务专用分支。

图 2 | 我们的系统在静态图像多任务计算机视觉上的实验结果。

如图2所示，这个总参数仅87K的数字模型，在任务中的表现足以令人瞠目：它在目标检测任务中与拥有数千万参数的YOLOv5不相上下，IOU（交并比）达到62.8%；在语义分割上超过多个轻量级网络达到64.8%；更令人震惊的是，在3D重建任务中，它的RMSE（均方根误差）为0.91，竟然超越了近期大热的Depth Anything大模型（0.94）。

从静态到动态：迈向真正的“视觉基础模型”

图 3 | 我们的系统在***流多模态计算机视觉上的实验结果。

通过将连续两帧的光学特征在时间维度上进行拼接，系统能够高效利用时序信息，在***分割任务中，仅用四帧输入就超越了SegFormer和Mask2Former等最新的大模型，IOU达到78.5%。这一结果表明，该系统已具备强大的多模态数据处理能力，并向着“硬件级视觉基础模型”的目标迈出了坚实的一步。

如图4所示，他们构建了一套可部署的原型机，一个仅有红牛罐大小的集成摄像头模块，包含两个用于提取特征的超表面相机和一个用于视觉化的RGB相机。

图 4 | 我们在自然光下的通用视觉应用原型。

这个原型机在实际校园场景中的表现惊艳：其81.7%的IOU指标，不仅大幅超过其他轻量级模型，甚至能勉强触及顶级大模型Mask2Former（86.7%）的门槛。但其能耗仅为60 mJ，是后者的1/184；在NVIDIA Jetson Nano这样的边缘设备上，推理延迟仅有18.7毫秒，而其他大模型根本无法运行。

这篇Nature最值得记住的地方：用一个固定不可调、4100万参数、高斯随机调制的超表面，把相似性识别、注意力感知、局部-全局特征融合三大原理直接嵌入光传播的物理过程，配合仅8.7万参数的数字后端，在真实世界高分辨率数据集上超越或比肩数亿参数的SOTA模型——光学计算不必模仿数字运算，让物理本身做计算才是它该走的路。返回搜狐，查看更多