近日，实验室2023级博士研究生秦鸣悦同学的论文《Zeroth-Order Forward-Only SNN Training Inspiring Neuromorphic On-Chip Learning》被机器学习和人工智能领域国际顶级会议 International Conference on Machine Learning（ICML 2026）录用。
在谷歌学术发布的学术影响力排名中，ICML长期位居人工智能领域会议前列，H5 index约为268，是机器学习领域历史悠久且影响力最高的国际会议之一。ICML被中国计算机学会（CCF）列为人工智能领域A类国际会议，CORE Conference Ranking A* 类会议。
文章工作面向资源受限的边缘设备，探索脉冲神经网络如何在硬件约束下实现在线学习。研究提出基于低维子空间的零阶优化方法 SZO，在已构建的子空间内仅使用前向计算实现模型训练，在多项任务中取得接近反向传播的精度，为神经形态片上学习提供了一条可扩展的算法路径。
（1）研究背景
脉冲神经网络（SNN）通过时间上稀疏的二值脉冲激活传递信息，适合神经形态硬件上的低功耗计算。然而，主流训练方法依赖反向传播（BP），需要额外的误差反馈电路，存在更新锁定、高存储开销以及权重传输等问题，难以在芯片上部署和实现。随着批次大小和时间步数增加，这些负担更加突出。
零阶优化通过扰动参数引起前向损失的变化来估计更新梯度，无需反向传播。但论文发现，将能够训练普通人工神经网络的 DeepZero 直接用于同结构的 SNN时，效果明显下降。脉冲发放的阶跃特性会放大小扰动带来的输出方差，而训练过程中能够改变损失的有效扰动比例又逐渐降低，导致梯度估计不稳定，无法正常训练。
（2）方法介绍
针对这一问题，论文从 SNN 的训练轨迹中寻找有效的优化方向。研究对训练过程中保存的模型参数进行主成分分析（PCA），发现在 CIFAR-100 上的 Spike-ResNet18 和 ImageNet-1K 上的 Spike-ResNet50 中，前 10 个主成分均能解释超过 90% 的参数轨迹总方差。这表明尽管模型拥有千万量级参数，主要训练轨迹仍可由一个低维子空间描述。
据此，论文提出子空间零阶优化（Subspace-based Zeroth-order Optimization，SZO）：首先从已有 BP 训练轨迹中采样权重向量，通过 PCA 提取少量主方向，构成投影矩阵 P，随后将参数扰动限制在这些方向张成的子空间内，用正负扰动对应的损失差估计更新方向，并结合动量完成参数更新。
SZO 提供两种实现。SZO-CGE 沿子空间的 k 个基方向逐一扰动，每次梯度估计需要 2k 次前向计算；SZO-RGE 在子空间中采样 q 个随机方向，需要 2q 次前向计算，可进一步减少查询次数。子空间通常只有几十维，远小于原始参数维度。
该方法将零阶搜索约束到训练轨迹中的主要方向上，减轻高维扰动的方差问题。需要区分的是，SZO 的参数更新阶段仅需前向计算，用于构建子空间的历史轨迹仍由 BP 获得。因此，该方法尤其适合已有预训练模型与训练记录的端侧在线学习场景。
在原始损失有界、平滑后的损失满足光滑性、子空间投影误差受控等假设下，论文给出了 SZO 梯度估计误差与收敛率分析。主要维度依赖项由全空间零阶优化中的 O(d/√T) 降为 O(k/√T)，其中 d 为模型参数维度，k 为子空间维度，T 为优化步数。该结果从理论上解释了低维搜索的优势。
（3）实验验证
论文在 CIFAR-10、CIFAR-100、DVS-Gesture 和 ImageNet-1K 上，使用 Spike-ResNet 与 Spike-VGG 等模型开展评测，覆盖从头训练、模型继续训练和无监督自适应三类任务。
在从头训练实验中，SZO-CGE 在 CIFAR-10 上达到 86.21% 的准确率，接近 BP 的 86.74%；SZO-RGE（q=20）在 CIFAR-100 和 ImageNet-1K 上分别达到 73.79% 和 61.92%，对应 BP为74.51% 和 63.81%。
在更贴近端侧更新的继续训练场景中，研究先进行 BP 预训练，再从近期训练轨迹构建 20 维子空间并切换到 SZO。在 CIFAR-100 上，切换后仅 1 个 epoch，准确率就超过 74%；最终 SZO-CGE 达到 74.59%，BP 对照为 74.42%。在 ImageNet-1K 上，SZO-CGE 达到 63.73%，接近 BP 的 64.36%。这些结果说明，已有训练轨迹能够为后续快速更新提供有效的优化方向。
针对噪声、模糊等输入分布变化，论文进一步以最小化熵为目标进行无监督测试时自适应任务上的评估。实验将干净数据与一种代表性蚀坏数据上的训练权重结合，构建用于自适应的子空间，再用于多种蚀坏类型。在线适应阶段不使用标签，但子空间准备阶段包含代表性蚀坏数据上的有监督 BP 训练。
在严重度为 5、连续适应不同蚀坏类型且不重置模型的 Continual 设定下，SZO在三项基准上均优于 Tent（BP）。低维约束有助于缓解模型被“高置信度但预测错误”的样本误导的问题。实验结果表明，当子空间是从与下游任务具有相似性的源任务中提取时，SZO 仍然是有效的。
在计算开销方面，SZO 无需保存用于反向传播的各层激活值，虽然需要存储子空间投影矩阵，但总运行内存仍明显低于 BP 及混合精度 BP，且几乎不随时间步数和批次大小的增加而增大，为硬件上资源受限的学习提供了有利条件。
总体而言，论文揭示了脉冲阶跃激活对零阶学习的影响，并利用训练轨迹的低维结构提升仅前向更新的可行性，为预训练 SNN 在边缘设备上在线学习提供了新的思路。
