5G远程医疗时代，谈谈手势识别的VR/AR交互应用场景

从新型冠状病毒肺炎疫情开始到现在，中国是世界上疫情控制做得**的国家。不过，关联境外输入的零星小规模偶发疫情持续不断，一旦疫情出现必然导致隔离发生，医院作为战疫主战场，影响许多需要医疗救助的病人。幸运的是，5G技术推动的远程医疗快速发展，尤其VR/AR技术立体呈现病人器官、组织病变形态，允许医生远程清晰诊断病人的病灶；手势识别精准定位医生的动作与病人身体的位置，远程控制医疗设备为病人诊疗、手术，为远程病人带来曙光。

一、远程医疗“VR/AR+手势识别”方案落地性强

自从5G诞生，云计算速度延迟的基础设施障碍没了，我们落地远程医疗就要考虑三方面因素：一是精度，医疗的精度必须高到离谱，有初科技手势控制精度能达到0.01mm级别；二是立体，医生也是人，有正常的交互习惯，建立VR/AR病人器官、组织模型，**化接近人体并看得更清楚；三是成本，类似一针药100多万的产品没有普及价值，这是一个软件算法配合硬件的方案，软件算法效率提升可以降低硬件成本，进而降低整体成本，实现“普通摄像头+深度学习”方案，大数据进一步训练，精准度越来越高。

首先来讲，基于计算机视觉的手势识别的技术方案优势明显，从医生动作信息输入到VR/AR模型做出反馈，这是一个动态过程，降低了硬件的束缚，为实时手术提供了可行性，而且，手势识别降低了硬件的依赖，让医生的手避免被其他物体遮挡，顺应医生视觉习惯，而且0.01mm识别精度比医生手术刀微弱抖动还小，技术的落地基础有了。

其次，人体是一个三维立体结构，而手势识别也是三维立体识别，VR/AR模型呈现也是三维立体。这过程类似增强CT、MR或造影支持，从机器视觉获取人体三维模型信息到VR/AR模型立体呈现，呈现在医生眼前的就是一个立体的病人器官、组织，并清晰展示病灶情况，此时，医生远程诊断病人情况，需要手术的情况下，也可以借助远程专用VR/AR模型为基础的手术平台，实现两地病人与医生的链接，完成远程手术，为来不及远程运送的急重症病人提供新的希望。

最后，任何科技的产生都是为了造福大众，成本的高企无法适应市场需求，进行**方案降低成本也是必须考虑的因素。目前来讲，基于机器视觉的手势识别方案分为两种“一种是用深度摄像头，一种是用一个或者多个普通摄像头实现。 而其中深度摄像头的方案又分为两种，TOF（Time of Flight，光飞时间）和结构光。”而不同方案的差别就像人的一只眼睛、两只眼睛看到景深层次不同，但是一只眼睛借助已有信息、关键提示等其他辅助软条件也可以达到预定效果，而普通摄像头信息延迟低于TOF数倍、拍摄角度大于TOF很多，虽然提高算法要求，但是降低综合成本，更及时、全面获取信息，也更适应医疗场景需求。

二、远程医疗VR/AR硬件低成本、高精度手势识别技术可行

在手势识别应用于VR/AR硬件方面，有初科技有落地项目进行实际验证，并把成本分成不同方案进行呈现，当然，包括最低成本的实现方案。

对于医疗来讲，高精度就是病人的生命，有初科技实现0.01mm识别精度，为远程精准医疗提供技术可行性。实现手势识别依赖“摄像头+算法”的合理方案，得益于机器视觉和深度学习技术的发展，我们利用普通摄像头实现高精度的手势识别，对于应用的落地是一大利好。

而且，手势识别的高精度摆脱穿戴设备也是一大突破，一个穿戴设备套在手上，增加一层交互传感的误差，这个误差远远大于手术刀的误差，这一点无手套、无标记的手势识别也是有初科技的优势。

对于医疗来讲，延迟和视角是高精度的间接影响因素，却直接影响着医生对病人的治疗。利用现有SLAM摄像头实现手势识别，大部分用于SLAM的摄像头均为鱼眼或者广角灰度摄像头，在实现的精度上，用同样的计算资源或者用同样复杂度模型的话，基于深度的或者灰度的摄像头能够做到精度最高，RGB的精度反而相对会弱一些，因此，直接在SLAM的相机上实现手势识别的精度也能够达到比较满意的效果。

在成本、延迟、广角都占据优势的条件下，SLAM相机进一步加速“普通摄像头+深度学习”方案落地，也可能是未来的主流方案，等待临床数据去训练和验证。

三、远程医疗“最自然交互”手势识别成为VR/AR选择

**的交互就是没有交互，当下的交互方式都是人适应机器，这样就容易导致用户的操作失误，医生的操作失误就会导致病人的生命危险，所以，交互方式适应人才是**方案。

人类诞生语言前，手势识最原始、最自然的交流方式，成为人的一种习惯、潜意识，出错率大大降低，而手势识别就是基于最自然的交互，适应医生的习惯，让医生全身心投入治疗，而不是分心于交互习惯。

而无论具有高度三维立体沉浸感的VR/AR，还是交互自然而生的手势控制，模仿人体日常生活中的行为方式，如挥手、握手、击掌、猜拳、抓取……动态追踪手势进行实时识别，保障动作识别的及时性、准确性。

为了提高真实手术场景的触感，基于VR/AR定制手术刀、镊子等设备，实现手势的触觉反馈体验，进一步感知手部复杂自由度的姿态和意图，未来手势识别成为VR/AR设备主流交互方式指日可待。