该系统包含多视角RGB摄像机、深度摄像机、激光雷达以及麦克风等多模态硬件，录制程序、数据库和系统设置三部分软件。通过录制帕金森病患者面部表情、声音、步态、姿势、手指拍打、握拳张开、轮替动作、脚趾拍地、抬腿跺地、椅中起立、后拉试验、静止性/动作性震颤等动作，可自动识别视频中身体部位的关键节点，定量分析动作指标，对动作进行“量化”和“精细化”分析，实时获取各检测项的精确定量动作特征数据和运动曲线。同时，经过基于决策树的机器学习方法，该系统可实现对各检测项异常程度的自动评分以及帕金森病整体严重程度的自动评分。目前，该系统利用人工智能算法得到的自动化评分已经接近于医生的评分水平，在多个检测项中甚至超越了医生的评分水平。

该系统建立了帕金森病运动症状的精细评估方法与体系，为医生提供了运动量化数据以辅助诊断；通过量化数据的对比实现了帕金森病的准确分级，对患者病情进行评估和持续跟踪，为帕金森病的临床诊断及干预提供依据；同时，该系统也可辅助医生进行科学研究，促进医学发展。

技术创新点：

1）研究方法改进：采用了2D图像和深度数据的融合的方式，在2D空间和3D空间中提取人体关键点并互相修正，从而得到更为精确的人体关键点。同时，优化了现有的跟踪算法，使系统可以应用在场景更为复杂的科室和病区环境中。此外，在机器学习方法上进行了优化，基于决策树分类的基础上，增加惩罚函数f，函数f分两部分，第一部分为机器和医生评分的偏差，第二部分为机器和医生评分大于1的例数，通过系数λ结合。即首先以Gini指数作为切分准则训练得到一组次优树集合。然后，在次优树中搜索，寻找机器和医生评分相差最小的决策树且尽可能让机器和医生评分相差不大于1，从而提高人机一致性。最后，通过打通微信小程序端和PC端的系统，可以在检测大幅度动作的同时，捕捉小幅度的震颤动作，从而检测范围更加完整，具有更强的实用性。

2）设计思想先进，国内领先：采用UPDRS第III部分评估帕金森患者的运动功能存在主观评价偏倚、不能分辨较小的功能变化、评估维度单一等问题。通过视频评估患者的运动功能，确保了评估结果的精确性、提升了运动功能变化的识别能力，丰富了运动功能评估的指标，建立了客观、量化的运动功能评估方法。且评估依据的视频真实地记录了评估过程，任何时间都可以回溯原始档案，任何医生都可以复核评估结果，是一种临床信息可复现的评估方法。