受限玻尔兹曼机是一种基于伊辛模型的随机生成神经网络，以其卓越的概率分布学习和内容生成能力而著称，可广泛应用于多种复杂任务。作为深度学习发展史上的重要里程碑，受限玻尔兹曼机在分类识别及内容生成领域表现优异；通过与循环神经网络结合，它还能有效实现对时序数据的建模与生成。在受限玻尔兹曼机中，吉布斯采样发挥着关键作用，其将高维问题分解为多个马尔可夫链条件分布问题，并通过条件分布进行采样。然而传统电子计算系统在处理长链吉布斯采样时存在显著局限性，特别是在处理大规模数据集时，这类任务往往需要消耗海量计算资源。 

 近日，光学与量子信息研究所阮智超教授课题组提出了一种光子受限玻尔兹曼机，该方案通过空间光调制器将模型参数编码到不同波长的振幅与相位上，实现了高效的光学吉布斯采样，利用光场传播过程加速生成任务。基于非冯·诺依曼架构的光子计算优势，该方案不仅消除了处理器与内存之间的数据传输瓶颈，还降低了吉布斯采样的计算复杂性，显著提升了大规模受限玻尔兹曼机的计算效率。实验结果进一步证实，该系统在图像生成、图像修复及音乐序列生成方面均展现出强大能力。这一进展为新兴的光子计算领域提供了关键的生成式架构，对克服传统冯·诺依曼架构下的“存储墙”瓶颈、构建新型高效生成式AI系统具有重要意义。

 吉布斯采样作为一种经典的马尔可夫链蒙特卡罗算法，在受限玻尔兹曼机的学习与内容生成过程中发挥着核心作用。阮智超教授团队基于波分复用光学系统，提出了一种光学实现吉布斯采样的创新编码方法。该方案通过在空间光调制器上对可见层、隐藏层自旋及其层间相互作用进行多区域编码，实现了无需矩阵分解的高效物理采样。实验证明，通过将两次测得的光场强度进行差分运算，可以物理地等效吉布斯采样中的线性计算部分，从而降低吉布斯采样中的单次点积的计算复杂度。随后，利用光电反馈系统根据概率分布判断下一次迭代的自旋状态，形成闭环计算。团队通过对二维伊辛模型相变过程的实验模拟，观测到的相变温度与理论预测高度一致，有力验证了该光学采样方法的准确性。

图1 光子受限玻尔兹曼机的示意图。(a)受限玻尔兹曼机的结构，由可见层和隐藏层自旋构成，其自旋相互作用仅存在于两层之间。(b)光子受限玻尔兹曼机的实验光路图。(c)使用光学吉布斯采样生成内容的过程。

在应用层面，该成果成功演示了光子受限玻尔兹曼机在MNIST手写数字及Fashion-MNIST 服饰数据集上的图像生成任务。通过对未训练图像的修复实验，证明了所构建模型具备良好的泛化能力，排除了过拟合的可能性。此外光子受限玻尔兹曼机还可与循环神经网络结合，实现对钢琴音乐片段等时序内容的生成；皮尔逊相关系数分析显示，生成样本与训练数据具有高相关性。最后的计算效率分析进一步表明，随着自旋规模扩大，该非冯·诺依曼架构系统的计算吞吐量与能效有望超越传统电子计算架构。因此，本研究构建的光学神经网络为模型的高效训练与内容生成开辟了新的物理计算路径。

图2 光子受限玻尔兹曼机生成的图像。(a)-(c)分别为“Boot”、“Pants”和数字“0”的三张不同图像的生成过程。

该研究由浙江大学物理学院、浙江省微纳量子芯片与量子调控重点实验室和极端光学技术与仪器全国重点实验室完成。浙江大学博士研究生罗栗、方轶圣博士为共同第一作者，阮智超教授为通讯作者。本工作得到了国家自然科学基金、国家重点研发计划等项目的资助。

相关研究成果以“Photonic Restricted Boltzmann Machine for Content Generation Tasks”为题，发表在期刊《Physical Review X》上。

论文链接：https://doi.org/10.1103/k6f7-gtr7