让聋哑人发声:华人学者发明神奇手套,手语识别率达98.63%

科学
让聋哑人发声:华人学者发明神奇手套,手语识别率达98.63%
麻省理工科技评论 2020-07-02

2020-07-02

这是一副神奇的手套,可通过智能手机应用程序将聋哑人的手语实时转换为语音,使用便捷且价格便宜。
医疗 科学
这是一副神奇的手套,可通过智能手机应用程序将聋哑人的手语实时转换为语音,使用便捷且价格便宜。

这是一副神奇的手套,可通过智能手机应用程序将聋哑人的手语实时转换为语音,使用便捷且价格便宜。

研究负责人、加州大学洛杉矶分校萨穆埃尔工程学院助理教授陈俊说,希望该发明能帮助那些手语使用者与其他人进行正常交流。当然,该装备也可以帮助正常人学习手语。

当地时间 6 月 29 日,该研究发表在《自然 · 电子学》(Nature Electronics)。

让聋哑人发声:华人学者发明神奇手套,手语识别率达98.63%

图 | 可穿戴式手语翻译系统结构示意图。(来源:《自然 · 电子学》)

让聋哑人发声:华人学者发明神奇手套,手语识别率达98.63%

图 | 该系统手语识别过程中的电信号转换。(来源:《自然 · 电子学》)

这副手套的关键点是细长的传感器嵌入到 5 个手指中,这些传感器可以获取对应每个字母、单词、数字或短语的手势。该设备能将这些运动转换为电信号,然后将其发送到手腕上一元硬币大小的电路板上。智能手机则将这些电信号以每秒 1 个单词的速度转换成语音。

研究人员还在受试者的面部(眉毛和嘴巴之间)粘上传感器,以便捕捉手语者的面部表情。这是因为手语不仅包括手指运动,还有面部表情。目前已有的商业化设备因为不够柔性,还无法做到识别面部表情。

研究人员采用了机器学习来训练设备,目前的阶段性成果是,系统已经识别美国手语(ASL)系统中的 660 个符号,识别率高达 98.63%,识别时间短于 1 秒。

据一位不愿具名的项目研究人员透露,其实这个翻译有两个层次的标准:其一是普适性的,翻译对应标准化的手语。其二是个性化的,这是因为在使用这个系统的时候,每个人手语动作各有特色,比如手指的弯曲程度和速度不一样,这就要让系统在每个手语使用者身上进行学习,以提高翻译准确性。

据了解,已有的商用手语翻译设备太重、太笨拙,穿戴不方便,而这套新系统就显得尤为便携。这款设备总重量低于 25.8 克,很容易集成到衣物中,且其实验室规模下的成本不过 50 美元。相比之下,已经商用的翻译系统售价高达数千美元到数万美元。

此外,该设备装载了摩擦起电的纳米发电机,可以将身体的动能转换为电能,所以无需电池。

这个课题有来自中国项目的支持,也有重庆大学光电工程学院教授杨进的参与。不过该项目目前选择的研究对象仅限于美国手语体系,尚未开发中文语境的系统。

语音外放,也是该系统需要解决的问题。它目前是通过手机终端来外放,如能将外放部件集成到可穿戴设备中,则会让使用者有更好的体验。此外,这项研究还需要在硬件和软件方面提高。比如说传感器灵敏度和稳定性需要更高,软件方面比如它的算法以及翻译速度也需要提升。

麻省理工科技评论

From Tech to Deeptech