靠追踪肌肉识别表情的“人脸识别”耳机?

2020-10-18 网络
浏览
[人工智能]靠追踪肌肉识别表情的“人脸识别”耳机?

用AI使蒙娜丽莎动起来,以至是跟着你的脸色一同活动,跟着手艺的生长,这些都已不是什么新鲜事了。

这些面部追踪体系,每每都须要肯定精度的摄像头。

然则,假如文摘菌通知你,这些摄像头实在全都可以撤掉呢?

别急着辩驳,这已被康奈尔大学的研讨人员完成了,全部历程他们没有用到过一个面临用户正脸的摄像头,就成功地完成了面部追踪,至于结果,彷佛也没有差到哪儿去。

依据通例,我们照样先看看追踪结果怎样:


既然没有用到摄像头,那我们来试试戴上口罩的结果:


这时刻大概有人想问了,不必摄像头,怎样追踪到的面部脸色?

文摘菌给一个提醒,看到他们戴在耳朵上的仪器了吗?是的,他们重要运用的,实在就是那副耳机,用户的脸色就可以被及时转换为脸色。

这类要领比用摄像头的“传统要领”更好的一点在于,纵然戴着口罩,体系也可以追踪用户的面部脸色,如许的话人们就不必特地取下口罩了。

这个体系被取名为C-Face(Contour-Face)。

康奈尔大学SciFi试验室主任、C-Face论文的高等作者张铖在一份声明中说:“该装备比任何现有的耳挂式可穿着手艺都更简朴、更有目共睹,功用也会更壮大。”

“在之前的旨在辨认面部脸色的可穿着手艺中,大多数解决方案都须要在面部上装置传感器,但即运用了云云多的传感器,不少体系终究也只能辨认有限的一组离散面部脸色。”

抓取42个特性点,C-Face还支撑无声敕令和谈天脸色发送 在这个项目中,研讨人员也不是完整没有用到摄像头,只不过他们用得及其隐藏。 大概已有“陈独秀”想要抢答了,注重视察运用者的耳朵下方,摆布离别装备了一个RGB摄像头,这些摄像头可以在运用者挪动面部肌肉时,记录下面颊表面的变化。        

除了入耳式耳机,头戴式耳机也一样可以装置摄像头,举行面部辨认事情。        

在运用盘算机视觉和深度进修模子重修图象后,卷积神经网络可以剖析2D图象,将面部特性转换为42个面部特性点,这些特性点离别代表了运用者的嘴巴、眼睛和眉毛的位置和外形。  有了细致的面部追踪数据,C-Face可以将这些数据转换成八种差别脸色,包含中立或气愤。 不仅云云,C-Face还支撑运用面部脸色掌握音乐运用程序上的播放选项。 手机在桌上充电,然则如今只想摊在沙发上不想动,你以至不必说出声响,就可以播放歌曲:        

或许,你在谈天的时刻想要发送脸色,然则死活找不到脸色包了,怎样办? 这个时刻,你可以直接做出相干脸色,体系就可以辨认并直接发送出去,几乎不要太轻易:        

      不过,因为遭到新冠疫情的影响,研讨人员现在只在9名参与者的情况下测试了C-Face。只管数目不大,但脸色辨认的准确度凌驾了88%,面部提醒的准确度凌驾了85%。 同时,研讨人员发明,耳机的电池容量限定了该体系的延续作用,他们正在设想开发功耗更低的传感手艺。 深耕于人机交互范畴的华人传授张铖
在这个项目的研发团队中,文摘菌发明了一名华人传授的身影——张铖,他也是这个研发团队的负责人。 依据张铖个人网站引见,他现在是康奈尔大学盘算机和信息科学的助理传授,同时也是将来交互智能盘算机接口(Smart Computer Interfaces for Future Interaction,SciFi)试验室主任。        

 从南开大学的本科,到以中国科学院软件研讨所的优异毕业生身份毕业,再到前去美国佐治亚理工学院Ubicomp试验室继承进修,张铖一直对普适盘算(ubiquitous computing)和人机交互(HCI)怀有粘稠的兴致。 在中国科学院时期,他就针对有形用户界面、儿童人机交互、音乐界面等举行了开端研讨,获得了第一手的研讨履历。 在张铖的博士论文中,他引见了10种用于可穿着装备的新型输入手艺,有些利用了商用装备,有些采用了新的硬件。与大多数人差别,张铖习惯于从头至尾制作传感体系,包含明白物理现象、构建硬件原型、设想情势要素、处置惩罚数据和设盘算法(机械进修或基于物理的建模)。 停止现在,张铖在人机交互和普适盘算范畴的顶级会媾和期刊上宣布了十多篇论文,还获得了两项最好论文奖,同时他还身怀凌驾10项美国和国际专利。 假如有同砚对人机交互感兴致,可以多走走SciFi试验室主页,他们另有很多有意思的项目~