2020 年 4 月，imec 推出了世界上第一款使用尖峰循环神经网络 (SNN) 处理雷达信号的芯片。它的旗舰用例?为无人机创建智能、低功耗的多传感器感知系统，可在几毫秒内识别障碍物。
与作为当今机器人感知系统关键组成部分的人工神经网络相反，SNN 模仿生物神经元组的运作方式——随着时间的推移稀疏地发射电脉冲，并且在生物感觉神经元的情况下，仅当感觉输入发生变化时. 这是一种具有重要优势的方法：在发布时，imec 的 SNN 芯片显示出比传统实施方案的功耗低 100 倍，同时延迟减少了 10 倍——几乎可以立即做出决策。
在接下来的文章中，imec 神经形态传感项目经理 Ilja Ocket 提供了有关 imec 在该领域的一些最新进展的更多见解。
优化和放大原始 SNN 芯片
去年，imec 一直在优化和扩大其原始 SNN 芯片——其细节最近发表在神经科学前沿——以托管各种(物联网和自主机器人)用例。该芯片建立在完全基于事件的数字架构上，并采用低成本 40 纳米 CMOS 技术实现。它支持事件驱动处理并依赖本地按需振荡器和新型延迟单元来避免使用全局时钟。此外，它不利用单独的内存块;相反，内存和计算共同定位在 IC 区域，以避免数据访问和能源开销。
Imec 的 SNN 在推理准确度方面名列前茅
Imec 的端到端尖峰方法在工作中。局部特征检测形成了更复杂的语义构建的第一层。信用：IMEC
同时，与荷兰数学和计算机科学研究所 (CWI) 的研究证实，可以训练具有自适应阈值的尖峰神经元以实现一流的推理精度。由 imec 和 CWI 进行的一项综合研究旨在对使用自适应神经元的 SNN 与其他六个神经网络进行基准测试。为此，使用了八种不同的数据集——包括谷歌的雷达 (SoLi) 和谷歌的语音数据集。该研究明确指出，使用具有自适应阈值的神经元的 SNN 可以实现低能耗，但不会以降低推理精度为代价。相反：对于研究中使用的每个主要数据集，imec SNN 在准确性方面名列前茅。
“SNN 技术将在广泛的用例中找到自己的方式：从智能、自学物联网 (IoT) 设备——如可穿戴设备和脑机接口应用——到自主无人机和机器人。但每一个用例有自己的一套要求，”Ilja Ocket 说。“虽然用于物联网应用的尖峰神经网络应该擅长在非常小的功率预算内运行，但自主无人机需要低延迟的 SNN，使它们能够快速有效地避开障碍物。”
“使用一刀切的 SNN 架构来满足这些要求极具挑战性。需要在能耗、延迟、准确性、成本(芯片面积)和可扩展性之间取得微妙的平衡。例如，具有最低“可能的能耗和延迟通常会导致芯片面积增加，反之亦然。找到这种平衡是 imec 的 SNN 重点领域之一。”
前进：一路飙升
无人机正在越来越多的应用领域中使用。尽管如此，为了提高它们的自主水平并让它们在更具挑战性的环境(例如恶劣的天气条件)中运行，它们的传感能力还需要进一步提升。根据 Ilja Ocket 的说法，基于融合神经形态雷达和相机输入的端到端尖峰方法可能会提供一条出路。
Ilja Ocket 说：“这显然是一种高能效和超低延迟的系统。然而，今天，为了将此类摄像机连接到底层 AI，人们仍然需要将它们的馈送转换为帧——这大大限制了效率收益。这就是为什么我们正在研究如何端到端地实施尖峰概念：从相机和传感器到人工智能引擎。我们实际上是第一个这样做的人，到目前为止取得了非常有希望的结果。为此最后，我们仍在寻找整个无人机行业的公司——例如 OEM 无人机制造商——加入我们的计划并试验这项令人兴奋的技术。”