科技的魅力 腾讯无人配送机器人研发总结

本文根据腾讯自动驾驶实验室机器人团队负责人吴伟，在「智东西公开课」的超级公开课腾讯专场《楼宇复杂环境下无人配送技术的落地实现》 的讲解整理而来。吴伟博士以腾讯自动驾驶实验室自主研发的微派智能配送机器人为案例，结合自身全程参与研发的经历，对Visual-SLAM技术在复杂楼宇环境中应用的难点及突破进行了全面的解析。以下是吴伟博士的主讲实录，共计3805字，预计5分钟读完。一起了解下的主讲提纲：

1、楼宇复杂环境下无人配送技术的背景介绍

2、视觉SLAM技术原理与难点突破

精华整理

3、楼宇无人配送实现路径及案例分析

吴伟：

大家好，我是腾讯自动驾驶实验室机器人团队负责人吴伟。非常荣幸有机会能和大家一起分享腾讯自动驾驶技术落地以及机器人应用的一些实践和经验。

今天的分享主题是楼宇复杂环境下无人配送技术的落地实现，会分为三个部分展开。第一部分是相关背景的介绍;第二部分，考虑到到无论是自动驾驶还是机器人，所涉及到的技术体系都非常繁杂，今天我们会重点分享团队在SLAM方面的突破;第三部分是腾讯内部在机器人技术上的一些落地应用。

一、为什么要做楼宇复杂环境下的无人配送

先简单介绍一下背景，我们团队最早由腾讯街景积累而来。腾讯在2012年时上线了街景，到2013年，在所有的街景采集设备上安装了32线激光雷达。腾讯整个的全景相机、采集以及处理完全是自主研发，而这一过程也为今天无人车和机器人需要的相关技术打下了一定基础。

基于腾讯在街景技术上的积累，我们在2015年开始研发高精度地图，主要通过激光雷达和全景相机去提取车道线以及相关的路标、路牌等要素。在这一过程中，我们需要有相应的设备去验证我们的地图是否可用，基于这一点，我们开始了一些无人车方向的探索。

2016年年初，腾讯自动驾驶实验室正式成立，通过名字就可以看出该实验室的导向是无人车研发。由于当时无人车整体离落地较远，所以我们也去关注另外一些能够在短期内实现落地的项目。

在腾讯内部，我们按照空间范围做了一些划分：在0到10米范围内，主要对应家用场景，在这一场景中，扫地机器人是一个很好的应用点。扫地机器人不一定非常高效，但它能在有限的时间内完成一些任务，与此同时，扫地机器人作为一个比较成熟的应用，目前基本处于一片红海。

在家用领域，另一个大的场景是家庭管家类的应用，但是目前对于家庭管家类以及家庭服务类应用，存在的问题在于其对于交互的要求非常高，而目前家用场景下应用仅运动问题也没有完全解决。

而在10到100米的区间中，现阶段离落地最近的服务导览类机器人，也是目前市场的热门方向，属于近期可以落地的应用。此外，在100到1000米以及更广阔的区间内，对应的则是园区物流、载客自动驾驶、货运等应用，而这些应用就目前来说，整体挑战非常大，离真正使用还比较远。

腾讯之所以要做楼宇复杂环境下的无人配送，其出发点并非一个明确的商业行为，这一需求更多是来自于内部。

目前腾讯有三万多员工，在北京、上海、广州、深圳等主要城市均有几千人规模的公司。以北京为例，在北京的员工目前有大几千人，分布在4到5栋办公楼内，每栋楼的规模在一到两千人。

我们都知道国内网购非常火热，在腾讯，一栋办公楼内每天均有上千件员工的快递包裹。腾讯内部会尽可能给员工提供各种福利，关于快递问题，服务部门就设想是否可以利用机器人自动给员工派送快递?这与扫地机器人有些类似，取包裹对于大部分人来说并不是紧急事件，对时效性的要求不会很强。所以实际上，我们目前在解决的是一种室内通行能力，这种能力可用于多个场合，比如在新员工入职时，他们所需要的办公设备及其他IT用品等可以通过机器人代替服务人员进行配送。

上图于2016年设计场景时制作。在腾讯，每一栋楼都有单独的邮件中心，各家快递都会集中投放至邮件中心，由邮件中心的工作人员统一收取，再让员工写微信邮件，并发送通知让员工前来领取。而我们希望将这个流程进行优化。起初，我们也想将邮件分拣实现自动化，但由于技术的成熟度尚不能满足要求，其成本也非常之高，因此目前分拣盒装的阶段仍是需要工作人员去完成的。

机器人在接收到员工的包裹后，会在派送过程中执行场景感知与规划等，如果要在整栋大楼中实现高效运行，一定要具备解决进出闸机门禁和电梯的能力。对于大多数人来说，电梯是主要的痛点。针对这一问题，目前主要有两种解决方法，第一，通过与电梯厂商协商，拿到电梯API的授权，直接通过后台服务去调用梯控系统;第二，是需要在电梯上添加执行模块。

在解决内部需求的同时，我们也会注意外部的商业机会。比如，大部分人都不愿意在炎热天气下跑几条街去取快递，夜间取外卖对于女性朋友来说也并不方便，而一些企业机关的保卫制度和高端物业则需要下楼自取快递。

我们最早于2016年七八月份开始微派机器人的原型研发，曾探索过非常多的方案，包括两驱、四驱等方案都曾做过尝试，团队当时是基于第三方成熟的机器人平台去开发，主要做算法研发。到2017年，我们实现了第一个版本“微派1.0”，采用了全向驱动系统。

在开发“微派1.0”时，我们曾踩过很多坑，采用全向驱动方案是临时变更的方案，最初团队打算采用四驱方案，但在测试过程中，四驱电机烧了很多次，因此我们将其变更为了全向的驱动方案。除此之外，“微派1.0”顶部有一个双目相机，该双目相机是临时增加的，由于全向底盘的控制精度非常低，因此加入一个VO去纠正它的定位。

对于“微派2.0”的研发，我们在一代的基础上做了一些优化，主要体现在外观与交互方面。其中最大的变是改变了驱动系统，“微派1.0”采用了伺服电机，但伺服电机存在噪声问题，在室内尤其是办公环境下运动时会非常吵，因此在“微派2.0”上最大的变更是采用了更低音的轮毂电机方案。

在“微派3.0”上，外观发生了很大的变化，与前几代非常不同，团队在设计阶段更多地考虑实用性，在后面设计了一系列不同规格的箱体，每个箱体都可以单独控制，同时灵活搭配，我们参考了中国邮政的包裹标准来设计它们;对于超大物件，则可以将全部箱体拿掉将其作为平板推车使用。另外，将箱体拿掉后，它就能够在不同应用场景下更加方便地进行扩展。

二、团队在Visual-SLAM技术方面的突破

在开始介绍之前，先大概讲一下整个系统的架构。无论是无人车还是机器人，架构图看起来都比较类似，目前我们已经实现了整个地图的采集、编辑以及最终上传至云端和自动更新OTA等功能。

目前在Visual-SLAM领域最成功的几家公司是Google Tango、Microsoft Hololens与Apple ARKit。除此之外，还有Amazon、Facebook、Magic Leap、Meta Vision以及Snapchat等也都在做类似的事。这其中尤其值得关注的是Facebook，因为整个SLAM领域各个不同流派的大神都聚集在Facebook。

对于SLAM的具体原理，我在此不做过多的介绍，主要是做Sliding window bundler adjustment去优化这15个变量。

对于Visual-SLAM，存在一些老大难的问题：白墙反光、重复纹理、过道往返特征不一致以及场景变更等，SLAM应用在机器人上要面临的更大挑战在于其场景特别大，还需解决双向以及场景动态的问题。除此之外，还包括设备标定、最后生成FeatureMap文件的大小、在端上的计算资源是否足够以及如何去构建Ground Truth等问题。

目前我们所讲的SLAM实际上是一个多传感器融合的方案，这之前则是基于单目加IMU以及双目加IMU的方案。在实际的产品中，不仅有这些，还需要用到更多的设备，这其中一个很关键设备的是编码器。编码器的数据在SLAM中非常重要，除此之外，在某些特定场景下，我们还需要用到激光，在此也有一个特别需要注意的事项，尤其是对于相机和惯导来说，多传感器同步的误差需要控制在5毫秒以内。

上面提到SLAM面临的关键问题中的设备标定，对于机器人来说，实际上不可能将其用机械臂架起来去进行摇动等操作，但如果不完成这个操作，IMU激励不够，在实际的使用过程中误差就会很大。

拆过HoloLens的同学可能知道，将HoloLens拆开后会发现它里面的所有camera和project都是非常牢固地固定在一块钛合金上，这样做的好处在于会使得设备标定变得非常牢固。但仅仅只做这个是不够的，在实际应用中，除了要做初始的标定之外，还需在运行过程中进行在线标定。

另外，现阶段我们使用的大广角的双目相机，在建图过程中尽可能保证经常发生一些小回环，在十字路口(连接处)多往四周看一看;对于地图管理，如果是在大型办公场所或商超，需要对地图做Tiling及稀疏化，在refine map时去掉约束。

三、腾讯内部在无人配送机器人方面的一些进展

接下来我将简要介绍目前在这块的进展。上图的测试地点是腾讯滨海大厦，可以看到，在整个地图构建完后，它的尺度能够和激光构建的地图保持相当。另外，我们是基于构建的地图去做定位的，值得一提的是，这里使用了相机加惯导，可以看到在走完整一圈后，它的误差非常小。

上图是我们针对一些特定场景进行的测试画面，比如行人干扰、纯粹的平移、整个相机剧烈抖动以及光线变化。其中剧烈抖动在实际中是会发生的：在电梯停时是无法严格保证电梯跟它的箱体保持一致;在进出电梯时，整个车体会抖动得比较厉害。另外，对于光线的变化，我们也有比较好的应对方式。

对于室内机器人来说，大家出于成本的考虑都会采用2D激光，2D激光只能扫到一个平面，对于垂直方向上的障碍物，我们目前主要采用深度相机来做。

另外，我们的无人车能够进行倒车，因此在无人车的前后都需要做感知。同时，如果相机数量太多，对于计算来说会是一个较大的挑战，对于前面的相机，除了SLAM，还做了一部分感知的工作，目前我们是采用stixel的方案。