瓦砾、碎石、破损的家具、飞扬的尘土……在一线实地调研并经专业人员指导后,中科院上海微系统与信息技术研究所(以下简称上海微系统所)传感技术联合国家重点实验室副主任陶虎团队搭建的人体被瓦砾石堆覆盖的实验场景极其逼真。
随着“触嗅一体仿生智能机械手”进入工作状态,研究人员面前的电脑中,各种数据逐渐清晰起来。
这是研究团队正在测试新研制的触嗅一体智能仿生机械手。在此环境下,仿生机械手对包括人体在内的11种典型物体进行识别,触嗅联觉识别准确率达96.9%,较单一感觉提升了15%。相关研究近日发表于《自然—通讯》。
来自星鼻鼹鼠的灵感
地震、滑坡、塌方等掩埋事故造成的视觉感知障碍,给搜索救援带来了极大阻碍。目前,在掩埋事故救援中,主要还是靠人来判断状况。事故中是否有被困人员,被困人员的生命状态、准确方位判断等难题依然未能很好地解决。
针对极端环境无视觉输入情况,为了确保最佳救援时机、提升搜救和生还率,上海微系统所和应急管理部上海消防研究所、中科院自动化研究所、苏州慧闻纳米科技有限公司等单位合作,依托国家科技创新2030“新一代人工智能”重大项目,对受困人员的识别与救援需求开展了研究。
“发生掩埋事故时,现场往往声音嘈杂,视觉、听觉都会受到阻碍,甚至听不到被掩埋者的微弱呼救。”该论文第一作者、上海微系统所博士生刘孟玮对《中国科学报》说,“因此,我们想做一个集成多种感知方式的仿生微系统,但困难在于几种传感器怎么结合更合理。”
苦于一直没有思路,研究人员便想从自然界寻找一些灵感。在调研过程中,他们发现星鼻鼹鼠的生活环境和掩埋环境比较贴合。星鼻鼹鼠长期生活在地下,其视觉和听觉逐渐退化,并进化出围绕在鼻孔四周的星状触手,从而巧妙地把触觉跟嗅觉集中在一起,帮助捕猎或判断危险。
星鼻鼹鼠比较少见,研究人员虽然没有在现实中见过,但与其相关的研究很多,尤其是在医学领域,有很多关于星鼻鼹鼠的文献。
“比如,它触手上触觉单元、微观结构是什么样的,生物学家做过解剖研究,我们主要是基于这些信息进行更深入的研究。”刘孟玮说,“受星鼻鼹鼠启发,我们将与它类似的结构运用到机械手设计中,在机械手上布局了触觉传感器和嗅觉传感器阵列。”
触嗅融合优势明显
这种触嗅联觉的方式,比单一感知在“同等条件、同等传感器数量情况下,识别率显著提高。在器件要求上,纯触觉识别要求的传感器比较多,遍布机械手的全掌,而且传感器数量多了,会产生集成困难、系统复杂度高、数据处理量大等问题。
“我们将MEMS嗅觉、触觉柔性传感器阵列与多模态机器学习算法融合,构建了仿星鼻鼹鼠触嗅一体智能机械手。”陶虎告诉《中国科学报》。
得益于硅基MEMS气体传感器(灵敏度超越人类1个数量级)、压力传感器(探测极限超越人类1个数量级)的优异性能,该机械手手指触摸物体后,可准确获取其局部微形貌、材质硬度和整体轮廓等关键特征,掌心能同步嗅出物体“指纹”气味。
“在此基础上,我们通过仿生触嗅联觉(BOT)机器学习神经网络实时处理,最终完成识别人体、确认部位、判断掩埋状态、移开障碍物、闭环救援。”刘孟玮说,“相较麻省理工学院研究人员发表于《自然》的单一触觉(548个传感器)感知研究,我们通过触(70个)、嗅(6个)联觉,仅使用1/7数量的传感器,达到了更理想的识别目的。”实验数据表明,减少传感器的规模和样本量后,仿生智能机械手更适应复杂环境,能在资源有限条件下快速反应和应用。此外,面对在实际救援中经常遇见的存在干扰气体或器件部分损坏等情况,通过多模态感知的互补和神经网络的快速调节,该系统仍达到超过80%的准确率。
“触嗅联觉的另一个优点就是可以简化感知阵列。”陶虎说,“这样前端采集信号的传感器少了,通道数少了,后面的计算量就会变小,整个系统判断会非常快。而且,嗅觉感知能轻松区分硫化氢、氨气等人体的特殊气味,进而判断被掩埋者的状态及所触摸的身体部位。”
未来,该技术可以部署到人工智能机器人或机械手上。机器人在救援挖掘过程中,在和人体不完全接触的情况下,就感知到人的存在,然后进一步判断被困者生命状态、进行更精确的定位,从而制定救援策略,避免在施救中对人造成伤害。(记者 张双虎)