“人脸识别”耳机实现！靠追踪肌肉识别表情

用 AI 使蒙娜丽莎动起来，甚至是跟着你的表情一起运动，随着技术的发展，这些都已经不是什么新鲜事了。

这些面部追踪系统，往往都需要一定精度的摄像头。

但是，如果文摘菌告诉你，这些摄像头其实全都可以撤掉呢？

别急着反驳，这已经被康奈尔大学的研究人员实现了，整个过程他们没有用到过一个面对用户正脸的摄像头，就成功地实现了面部追踪，至于效果，好像也没有差到哪儿去。

按照惯例，我们还是先看看追踪效果如何：

既然没有用到摄像头，那我们来试试戴上口罩的效果：

这时候可能有人想问了，不用摄像头，怎么追踪到的面部表情？

文摘菌给一个提示，看到他们戴在耳朵上的仪器了吗？是的，他们主要使用的，其实就是那副耳机，用户的表情就能被实时转换为表情。

这种方法比用摄像头的 “传统方法”更好的一点在于，即使戴着口罩，系统也可以追踪用户的面部表情，这样的话人们就不用专门取下口罩了。

这个系统被取名为 C-Face（Contour-Face）。

康奈尔大学 SciFi 实验室主任、C-Face 论文的高级作者张铖在一份声明中说：“该设备比任何现有的耳挂式可穿戴技术都更简单、更引人注目，功能也会更强大。”

“在以前的旨在识别面部表情的可穿戴技术中，大多数解决方案都需要在面部上安装传感器，但即使用了如此多的传感器，不少系统最终也只能识别有限的一组离散面部表情。”

抓取 42 个特征点，C-Face 还支持无声命令和聊天表情发送

在这个项目中，研究人员也不是完全没有用到摄像头，只不过他们用得及其隐蔽。

可能已经有 “陈独秀”想要抢答了，注意观察使用者的耳朵下方，左右分别配备了一个 RGB 摄像头，这些摄像头能够在使用者移动面部肌肉时，记录下脸颊轮廓的变化。

除了入耳式耳机，头戴式耳机也同样可以安装摄像头，进行面部识别工作。

在使用计算机视觉和深度学习模型重建图像后，卷积神经网络能够分析 2D 图像，将面部特征转换为 42 个面部特征点，这些特征点分别代表了使用者的嘴巴、眼睛和眉毛的位置和形状。

有了详细的脸部追踪数据，C-Face 可以将这些数据转换成八种不同表情，包括中立或愤怒。

不仅如此，C-Face 还支持使用面部表情控制音乐应用程序上的播放选项。

手机在桌上充电，但是现在只想摊在沙发上不想动，你甚至不用说出声音，就能播放歌曲：

或者，你在聊天的时候想要发送表情，但是死活找不到表情包了，怎么办？

这个时候，你可以直接做出相关表情，系统就能识别并直接发送出去，简直不要太方便：

不过，由于受到新冠疫情的影响，研究人员目前只在 9 名参与者的情况下测试了 C-Face。尽管数量不大，但表情识别的准确度超过了 88%，面部提示的准确度超过了 85%。

同时，研究人员发现，耳机的电池容量限制了该系统的持续作用，他们正在计划开发功耗更低的传感技术。