从钢琴指法得到启发把手语转化成语音
王娜娜:“后来我看家里的小朋友,学弹钢琴,老师说手指该用力的时候,小朋友没用力。我就问老师这怎么能看出来的,老师说看肌肉的用力情况,肌肉没有动指法肯定不对。这点提醒了我,我就上网查,有一种研究是戴着一个臂环来判断小朋友的指法正确不正确,我立马就想到了手语。”
不同的手指动作,会触动不同区域的小臂肌肉,发出不一样的肌肉电信号。受益于钢琴臂环的启发,王娜娜和黄爽打算也应用这项技术:将每个手语词汇的肌肉电信号录入系统,让人工智能深度学习,再次遇见时,识别和转化成语音,应该并不难。在运动手环、智能手表普及的今天,佩戴臂环,也不会让失语者显得突兀。然而,想让电脑准确识别一个手势动作,需要反复采集肌肉电信号上千次。
黄爽:“我们两人就成天不停地在那儿抬手放手、抬手放手。”
让失语者像普通人一样流利对话
一个多月时间,王娜娜和黄爽对着手语教材,完成30个手势的录入,每人至少重复比划了一万五千多次。证实方案可行后,她们将更多志同道合的朋友拉入团队。如同八万多个汉字,只有3500字常用,8000多个手语手势,也只有一小部分被失语者熟知。
经过天津理工大学聋人工学院的推荐,团队决定先录入400个常用的手语动作。尽管目前,臂环只能逐个翻译手语,实现失语者像普通人一样流利对话,也存在许多技术难题,但她们相信,随着人工智能的成熟,这些都将迎刃而解。