人机交互模式从这里扩容

带领团队成功研发“多模态自然人机交互神经系统疾病辅助诊断工具”的中科院软件研究所研究员、所长助理田丰

用3D打印的勺子舀水,通过其中的多维度压力传感器,能感应握勺者的握力、转动角度、抖动程度等数据

走进重点实验室

编者按

北京有457家重点实验室、312个工程技术研究中心,其中有3.8万名专职人员。这里,产生了多个具有国际先进水平的创新成果,聚集和培养了一批创新人才,成为北京建设全国科技创新中心的重要基石。

今天起,我们将陆续走进重点实验室,探秘创新之源,倾听那些攻坚克难的故事。

手指触控屏幕直接操作手机或平板电脑,语音控制家电开关,上下班“刷脸”打卡……现代生活,人机交互的应用几乎随处可见。哪怕是用笔书写这种交流方式,也因笔式人机交互技术实现了人机交互模式所提倡的“用户自由”。

在位于中科院软件研究所内的一个重点实验室门口挂着两块牌子,一块是“人机交互北京市重点实验室”,一块是“计算机科学国家重点实验室”。这里既是国内首家专门研究人机交互的省部级重点实验室,也是软件所的国家级重点实验室的一个重要组成部分。

走进实验室,映入眼帘的场景与想象中不尽相同,很接地气儿。宽敞的工作区里是开放式的工作平台,几十个工位接连成片,看起来类似普通软件公司。许多人机交互模式的研究,正是从这普通的工作环境中开启并扩容的。

1 辅诊神经系统疾病

站在连接计算机的摄像机面前,抬抬左腿、抬抬右腿,走一走路,计算机就可以通过生理计算辅助医生诊断出测试者患上帕金森病、阿尔茨海默病的潜在风险。这是人机交互重点实验室众多研究项目中,与人的健康联系最为紧密的研究之一——神经退行性疾病的数字诊疗系统。

目前,脑卒中、帕金森病、阿尔茨海默病、脑小血管病、亨廷顿病等疾病,已经成为严重威胁我国人口健康的重大神经系统疾病。神经功能评价是神经系统疾病早期预警和临床诊断的主要手段,临床上主要是通过各种量表、测试、问卷调查等方法对病人的神经功能进行评估。

传统的诊断方法往往需要病人用笔在纸上画表盘、螺旋线、定点连线;或是重复医生说的一句绕口令,根据指令做双手交替指鼻、折返走、坐在椅子上双脚脚尖不离地同时抬双侧膝盖等动作。医生会根据病人能否准确、清晰地完成指令来判断其是否患有神经系统疾病。但这些方法依赖于专业医疗设备和医务人员,无法作为日常健康评价手段;同时由于神经系统结构和功能的复杂性,这些方法受评估者主观判断影响较大,可观察数据类型有限,使得误诊率和漏诊率相对较高。

中科院软件研究所研究员、所长助理田丰所带领的团队研发了多项笔式人机交互关键技术及相关应用,实现了笔式人机交互技术在医疗、教育、体育等多个领域的落地。

“帕金森患者的常见症状是手抖,如果他的手是左右抖,那在纸上画出来的线条肯定是不平滑的,医生能直观地看出来。但如果病人的手是上下抖呢?”田丰边说边用笔在纸上模拟,笔尖在纸上点出了几个小点,“这种笔尖压力的变化医生很难观察到,但它对神经系统疾病的诊断具有重要的价值。”

基于此,田丰带领的团队2011年开始和北京协和医院合作,将自然人机交互技术与神经系统疾病临床诊断方法结合,研制出了“多模态自然人机交互神经系统疾病辅助诊断工具”。这套系统主要由认知检查、书写运动功能检查、步态功能检查、语音功能检查等子系统组成,囊括了传统的书写、语音、体态、实体抓握等多个神经系统疾病检测方法。比如,同样是让检测者画表盘、螺旋线,以前是在纸上,现在则是在一个平板电脑上,系统会根据检测者书写时的笔尖压力、空间抖动、握笔的转动幅度等多个指标,进行综合测算。再比如步态功能检查,通过与计算机相连的摄像机拍下检测者走路时的姿态,系统根据其行走的步速、步高、步距等多个指标,与样本库内健康人行走时的各项指标数据、病人的各项指标数据进行对比,判断检测者患病的可能性。

“传统的检测方法中还有一个是用勺子舀水,看检测者是否能准确地把水从一个碗里舀进另一碗里。为此,我们特别制作了一种3D打印的勺子。”田丰握在手中的白色勺子与常见的白色瓷勺无异,但它的内部安装了多维度压力传感器,“道理相同,检测者握住勺子时,传感器会精确感知到他的握力、抖动程度,相关数据会在系统内自动对比,这样全方位的检测会比医生的肉眼观察更加全面和准确。”田丰说。


分享:
上一页:推动高质量发展 北京中关村打造前沿技术创新“高地”
下一页:麻省理工开发磁控线性机器人,能在脑血管中自由穿梭