3D感应腕带为手语翻译虚拟现实打开了可能性

导读威斯康星大学麦迪逊分校和康奈尔大学的研究人员已经开发出了一种腕上安装的设备,该设备可以使用四个微型摄像头精确地跟踪手指和手的运动。

威斯康星大学麦迪逊分校和康奈尔大学的研究人员已经开发出了一种腕上安装的设备,该设备可以使用四个微型摄像头精确地跟踪手指和手的运动。手镯有助于解决一个棘手的技术难题-跟踪人的手-并具有翻译手语,虚拟现实,移动健康以及人与机器人之间的交互作用的潜在应用。研究人员将他们的设备称为FingerTrak。它可以感应到人手的许多位置并将其转换为3D,包括20个手指关节位置。

康奈尔大学信息科学教授张成(Cheng Zhang)与西澳大学医学院和公共卫生学院生物统计学和医学信息学教授殷力(Yin Li)合作进行了这项工作 。Li贡献了FingerTrak底层的软件。

研究人员 在交互式,移动,可穿戴和泛在技术的ACM会议论文集上发表了他们的工作。它还将在9月12日至16日举行的2020年计算机协会国际普及和普适计算联合会议上进行介绍。

手镯的四个小型照相机中的每一个(大约只有豌豆大小)捕捉多个轮廓图像,以形成手部轮廓。然后,深度神经网络将这些轮廓图像缝合在一起,并在三个维度上重建虚拟手。通过这种方法,即使手握住一个物体,研究人员也能够捕获整个手部姿势。

Li说,除了在手语或虚拟现实中的潜在应用之外,李博士还说,准确测量手部动作可以改善疾病诊断。

李在康奈尔新闻稿中说:“我们如何动动手和手指通常可以说明我们的健康状况。” “这样的设备可以用来更好地了解老年人在日常生活中如何使用双手,从而有助于发现帕金森氏症和阿尔茨海默氏症等疾病的早期征兆。”

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢