高分辨率，廉价传感器的可用性以指数方式增加了所产生的数据量，这可能使现有的互联网不堪重负。这导致需要在网络边缘具有计算能力来处理接近生成数据的数据，而不是将其发送到云数据中心。众所周知，边缘计算不仅减少了带宽的压力，而且减少了从原始数据获取情报的等待时间。但是，由于缺乏规模经济，使得云基础架构的管理和提供具有成本效益，边缘资源的可用性受到限制。
边缘计算的潜力在任何地方都比视频分析更为明显。高清(1080p)摄像机在监视等领域正变得司空见惯，并且根据帧速率和数据压缩，每秒可产生4-12兆位的数据。较新的4K分辨率相机可产生每秒千兆字节的原始数据。对此类视频流进行实时洞察的需求正在推动AI技术(例如深度神经网络)用于诸如分类，对象检测和提取以及异常检测等任务。
在我们的Hot Edge 2018会议论文“影子木偶：以Edge的速度和经济实现云级准确的AI推理”中，我们在IBM Research – Ireland的团队使用商用云通过实验评估了其中一种AI工作负载，对象分类的性能。托管服务。我们可以确保的最佳结果是每秒2帧的分类输出，这远远低于每秒24帧的标准视频生产率。在代表性的边缘设备(NVIDIA Jetson TK1)上执行类似的实验可以满足延迟要求，但是在此过程中，设备上的大部分可用资源都已耗尽。
我们通过提出语义缓存来打破这种双重性，该方法将边缘部署的低延迟与云中几乎无限的资源结合在一起。我们使用众所周知的缓存技术，通过对云中的特定输入(例如，视频帧)执行AI推理，并根据提取的特征，针对“指纹”或哈希码将结果存储在边缘，从而掩盖了延迟从输入。
设计该方案，以便根据某种距离度量，语义相似(例如，属于同一类)的输入将具有彼此“接近”的指纹。图1显示了缓存的设计。编码器创建输入视频帧的指纹，并在高速缓存中搜索特定距离内的指纹。如果存在匹配项，则从缓存中提供推断结果，从而避免了查询运行在云中的AI服务的需要。
我们发现指纹类似于影子木偶，是背景光在屏幕上产生的二维图形投影。任何用手指创建影子木偶的人都将证明，这些图形中没有细节，并不限制其成为良好叙事基础的能力。指纹是实际输入的投影，即使没有原始细节也可以用于丰富的AI应用程序。
我们遵循“即服务”设计方法，并通过REST接口向边缘设备/网关用户公开了服务，从而开发了语义高速缓存的完整概念证明。我们对各种边缘设备(Raspberry Pi 3 / NVIDIA Jetson TK1 / TX1 / TX2)的评估表明，与云计算相比，推理延迟降低了3倍，带宽使用率至少降低了50%。唯一的解决方案。
对我们方法的第一个原型实现的早期评估显示了其潜力。我们将继续完善初始方法，优先尝试使用替代编码技术以提高精度，同时还将评估范围扩展到其他数据集和AI任务。
我们设想该技术将在零售，工业设施的预测性维护以及视频监控等方面得到应用。例如，语义缓存可用于在结帐时存储产品图像的指纹。这可以用来防止由于盗窃或扫描错误而造成的商店损失。我们的方法是在云服务和边缘服务之间无缝切换以在边缘提供同类最佳的AI解决方案的示例。