研究人员将计算机视觉和不确定性融入机器人假肢的人工智能中
立即发布
研究人员已经开发出可以与现有硬件集成的新软件，使使用机器人假肢或外骨骼的人在不同类型的地形上以更安全、更自然的方式行走。新的框架将计算机视觉融入假肢腿的控制，并包含了鲁棒的人工智能(AI)算法，允许软件更好地解释不确定性。
“下肢机器人假肢需要根据使用者行走的地形来执行不同的行为，”Edgar Lobaton说，他是一篇关于这项工作的论文的合著者，也是北卡罗莱纳州立大学电子和计算机工程的副教授。“我们创建的框架允许机器人假肢中的人工智能预测用户将涉足的地形类型，量化与预测相关的不确定性，然后将这种不确定性纳入决策中。”
研究人员专注于区分需要调整机器人假体行为的六种不同地形:瓷砖、砖块、混凝土、草地、“楼上”和“楼下”。
“如果不确定性的程度过高,AI不是被迫作出一个令人质疑的决定——它可以通知用户没有足够的信心在其预测,也可以默认为“安全”的模式,“钟Boxuan说,该论文的主要作者最近博士毕业数控状态。
新的“环境上下文”框架包含了硬件和软件元素。研究人员设计的框架可用于任何下肢机器人外骨骼或机器人假肢设备，但还需要一个额外的硬件:相机。在他们的研究中，研究人员使用了戴在眼镜上的摄像头和安装在下肢假肢上的摄像头。研究人员评估了人工智能是如何利用来自两种摄像机的计算机视觉数据的，无论是单独使用还是结合使用。
“将计算机视觉与可穿戴机器人的控制软件结合是一个令人兴奋的新研究领域，”该论文的合著者海伦·黄(Helen Huang)说。“我们发现，使用这两个摄像头都可以很好地工作，但需要很大的计算能力，而且可能成本高昂。然而，我们也发现，只使用安装在下肢上的摄像头效果非常好，尤其是在短期预测方面，比如下一步或两步的地形会是什么样子。”黄教授是北卡罗来纳大学教堂山分校和北卡罗来纳大学生物医学工程系的杰克逊家族生物医学工程特聘教授。
然而，最重要的进步在于AI本身。
“我们提出了一种更好的方法来教深度学习系统如何评估和量化不确定性，从而使系统能够将不确定性纳入决策中，”Lobaton说。“这当然与机器人假肢有关，但我们的工作可以应用于任何类型的深度学习系统。”
为了训练人工智能系统，研究人员将摄像头与健全的人连接，然后让他们在各种室内和室外环境中行走。然后，研究人员通过让一个下肢截肢的人在同样的环境中佩戴摄像头来进行概念验证评估。
Lobaton说:“我们发现这个模型可以被适当地移植，这样这个系统就可以在不同的人群中运行。”“这意味着，即使人工智能是由一群人训练，并由不同的人使用，它也能很好地工作。”
然而，新的框架还没有在机器人设备上进行测试。
黄说:“我们很高兴能将这个框架纳入工作机器人假肢的控制系统——这是下一步。”
他说:“我们还计划通过减少视觉数据输入和数据处理来提高系统的效率。”
纸”,基于不确定性量化的下肢假肢环境预测，，发表于自动化科学与工程学报．该论文的合著者是北卡罗来纳州的博士生拉斐尔·达·席尔瓦(Rafael da Silva);联合生物医学工程系博士生李敏汉。
这项研究得到了美国国家科学基金1552828,1563454和1926998的资助。
希普曼-
编辑:研究摘要如下。
基于不确定性量化的下肢假肢环境预测
作者:北卡罗莱纳州立大学钟博轩、Rafael L. da Silva、Edgar Lobaton;北卡罗来纳州立大学和北卡罗来纳大学教堂山分校联合生物医学工程系的李敏汉和黄贺(海伦)
发表: 5月22日,自动化科学与工程学报
DOI: 10.1109 / TASE.2020.2993399
文摘:可靠的环境环境预测对于可穿戴机器人(如假体和外骨骼)协助地形适应运动至关重要。本文提出了一种新的基于视觉的下肢假肢上下文预测框架，用于在多个预测窗口中同时预测人的环境上下文。通过利用贝叶斯神经网络(Bayesian Neural Networks, BNN)，我们的框架可以量化由不同因素引起的不确定性(如观测噪声、不足或有偏差的训练)，并为在线决策生成一个经过校准的预测概率。我们比较了两个可穿戴摄像头的位置(一副眼镜和一个下肢设备)，分别独立和共同。我们利用校正后的预测概率进行在线决策和融合。我们演示了如何用不确定性度量解释深度神经网络，以及如何在不确定性分析的基础上改进算法。我们的框架在便携式嵌入式系统上的推理时间是每帧不到80ms。本研究的结果可能导致新的上下文识别策略在可靠的决策，有效的传感器融合和改进的智能系统设计在各种应用。注意从业者,本文基于可穿戴机器人计算机视觉中的两个实际问题:(1)深度神经网络的性能受到现实干扰的挑战。然而，往往缺乏可靠的置信度估计，导致故障的因素也难以确定。(2)由于需要人体实验，通过直观的试错法评估可穿戴机器人的成本较高。我们的框架产生一个校准的预测概率以及三个不确定性度量。通过考虑相应的应用程序可以容忍多少误差，经过校准的概率使得定制预测决策标准变得很容易。在本研究中，我们演示了一个实际的程序来解释和提高深度神经网络的性能与不确定性量化。我们期望我们的方法可以扩展到其他应用，作为一个普遍的科学和有效的程序来评估和改进智能系统。
