一个自主的无人机如何飞行深度学习

东圣诗歌网 诗词大会 2020-04-16 21:06:45 0 无人  我们  id  

Nvidia的一个工程师团队分享了他们如何创造一种能够在森林中完全自主飞行的无人机。

自动驾驶汽车尚未完全上路,而且公司已经在宣传自动化无人机在天空中的潜在好处-从包裹运送和工业检查到现代战争。

但是无人机在汽车之外呈现出新的挑战。虽然自动驾驶汽车或陆基自动机器人至少具有用作基线的地面,但无人驾驶飞机可能会有一个完整的360度空间来移动并且必须避免所有固有的障碍和陷阱有了这个。在2017年GPU技术大会(GTC)上,来自Nvidia的工程师团队认为,拥有自由自主无人机的解决方案在于深度学习。根据Nvidia的说法,他们的研究已经在3米/秒的速度下通过一条1公里长的森林小径完成了一次完全自主的无人机飞行。人工智能长期以来一直是开发人员从事高性能计算和基于云的系统的工具。人工智能改变了网络监控方式,电子邮件扫描方式,甚至是我们与手机和设备交互的方式。虽然AI和机器学习总是感觉像是一个生活在实时嵌入式系统之外的遥远工具,但机器学习正在基于微控制器的系统中实现,事实上,它已经存在!我们决定选择森林,因为它是最复杂的用例,它适用于搜索和救援以及军事应用,Nvidia的主要软件工程师NikolaiSmolyanskiy告诉GTC观众。森林具有挑战性的光线和动态环境,光线遮挡使它们成为自主飞行的绝对梦魇。Smolyanskiy和他的团队认为,如果他们能够获得一架自主无人机飞越森林,他们几乎可以在任何地方飞行。这款无人机是一款商用3DRIris+四轴飞行器,底部采用3D打印底座进行改装,可安装NvidiaJetsonTX1开发板,可处理所有计算。该板连接到一个朝下的小型PX4Flow智能相机,该相机与激光雷达传感器配合使用,用于视觉惯性稳定。在九个月的测试过程中,该团队最初尝试使用GPS导航来引导无人机,但很快发现它很容易发生崩溃。它也没有解决如何在可能无法使用GPS的偏远地区部署这些无人机的大问题(例如在搜索和救援应用中)。在没有GPS的地区,你需要在视觉上导航,Smolyanskiy说。Nvidia团队选择使用他们称为TrailNet的深度神经网络(DNN)来解决问题,训练它来处理方向和横向偏移以跟随穿过森林的路径。为了避免障碍,他们采用了同步定位和映射(SLAM),相同的算法技术用于帮助自动汽车避免碰撞。SLAM允许无人机在3D物理空间以及它周围的障碍物(在这种情况下是树木,树枝和其他树叶)中获得自身感。我们尝试了几种神经网络拓扑。到目前为止,我们发现表现最好的是基于S-ResNet-18并进行了一些修改,Nvidia的高级深度学习和计算机视觉工程师AlexeyKamenev告诉GTC观众。深度残留学习神经网络(ResNets)于2015年由Microsoft首次推出,专门针对图像识别应用。与其他DNN相比,ResNet的主要优势在于更容易培训和优化。使用由瑞士阿尔卑斯山和西北太平洋地区的其他研究人员捕获的公开可用的图像数据集(Nvidia团队在西雅图测试了他们的无人机),Kamenev说他们能够快速训练无人机。然而,Kamenev说,有些挑战要求团队对ResNet架构进行调整。我们发现网络可能过于自信[导航时],他说。当无人机指向左,右或中心时,它应该充满信心。但如果它面临中间会发生什么呢解决这个问题的方法是在编程中实现一个损失函数,帮助无人机在其他角度找到它的位置。此外,该团队发现神经网络很容易被森林中的亮点和树木覆盖的光照变化所混淆。他们还需要考虑像风一样的干扰,这可能会使无人机偏离航向并需要进行调整。有人建议用棍子击打无人机,加梅内夫笑道。但我们只是使用手动覆盖来转动无人机,看看它重新回到路径上。Nvidia的高级计算机视觉软件工程师杰弗里史密斯说:除了低水平导航,我们还希望有一些系统来帮助我们避开障碍物。他解释了在无人机中使用SLAM。还必须确定意外的危险。史密斯表示,虽然SLAM系统可以很好地估计相机的位置以及它在现实世界空间中的位置,但它也存在准确性和缺少尺度信息的问题。史密斯说:我们可以跟踪物体,但无法分辨它们在现实世界中的距离。Smith说,通过使用基于Procrustes分析的算法,一种统计形状分析,团队能够确定平移,旋转和缩放因子。现实世界以测量误差的形式进入,他说。距离估计值有10-20%的误差。最终,史密斯说团队意识到他们根本不需要从SLAM空间到真实世界的空间进行计算,因为我们没有做绘图,所以我们不关心规模,我们不打算做事。相机的类型也带来了挑战。我们使用了一个简单的网络摄像头,史密斯说。廉价数码相机的问题在于滚动快门。SLAM假设一个想象力一下子被采取。对于滚动快门而言并非如此。由于滚动快门通过垂直或水平快速扫描来捕捉场景,因此引入了肉眼无法看到的异常,但是SLAM接受了这些异常-导致SLAM算法出现巨大错误。史密斯所说的解决方案是实现专门用于卷帘门的半密集SLAM。当然,Nvidia团队的项目距离我们在科幻电影中想象的那种完全有能力的无人机还有很长的路要走。在测试中,无人机即将飞离地面一到两米,并被限制在相对较慢的速度。Smolyanskiy承认,如果没有特殊的夜视摄像头,该模型可能在晚上不起作用,并且可能还需要额外的训练来处理雨水和其他条件。问题不在于DNN,而是在光线不足的情况下光流,他说。该团队的目标是尽可能保持价格低廉,同时注重小型化。Smolyanskiy表示,考虑到JetsonTX1和TX2开发板的小巧外形,不难想象已经有更小的无人机处理这些任务。郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。标签:。

版权声明

本文仅代表作者观点,不代表本站立场。

下一篇 :返回列表

分享:

扫一扫在手机阅读、分享本文

留言与评论 (共有 条评论)
验证码: