康奈尔大学的研究人员已经发明了一种耳机，即使脸部被面具遮住，该耳机也可以连续跟踪完整的面部表情。这款名为C-Face的耳挂式设备通过观察脸颊轮廓来工作，然后将表情转换为表情符号或语音命令。
使用C-Face设备，用户无需将摄像头放在脸上就可以向在线协作者表达情感。这似乎是一种有用的交流工具，尤其是在由于大流行持续进行而使世界从事远程工作或学习的时候。
信息科学助理教授，这项研究的资深作者张成表示： “该设备比任何现有的耳挂式可穿戴技术都更简单，更不引人注目并且功能更强，可以跟踪面部表情。”
由于该设备通过检测肌肉运动来工作，因此即使用户戴着口罩，C-Face也可以捕获面部表情。仅使用面部提示，它也可以用于指导计算机系统，例如音乐播放器。
使用该设备，虚拟现实环境中的化身可以表达其用户的实际感受，并且讲师还可以获取有关在线课程中学生参与度的宝贵信息。
至于其工作，一旦捕获图像，就可以使用计算机视觉和深度学习模型对其进行重建。然后，使用卷积神经网络(一种用于分类，检测和检索图像的AI模型)将轮廓重建为表达式。
它将脸颊的图像转换为42个面部特征点或界标，这些特征点代表嘴，眼和眉毛的形状和位置，因为这些特征受表情变化的影响最大。
研究人员在九名参与者上测试了C-Face设备，重建地标的平均误差在0.8毫米以下。他们还发现表情符号识别的准确度超过88%，静音语音的准确度接近85%。