单目SLAM在移动端应用的实现难点有哪些?

发布时间:2017年07月14日 11:38:26    浏览数:577次    来自:王小新
我目前做的项目是类似于Android手机端SLAM,具体目的是什么不便透露,作为过来人,分享下经验,避免后来人走弯路,手机端最难以解决的问题从难到易排序如下。

作者:王小新
链接:https://www.zhihu.com/question/50385799/answer/135164952
来源:知乎
著作权归作者所有,转载请联系作者获得授权。

我目前做的项目是类似于Android手机端SLAM,具体目的是什么不便透露,作为过来人,分享下经验,避免后来人走弯路,手机端最难以解决的问题从难到易排序如下:
1.手机处理速度
2.手机卷帘相机
3.人体移动速度
4.手机移动方向
5.多款相机参数难以统一
目前市面上的android手机多种多样,硬件越来越强大,使用人数也是最多,同时也有前人经验将orb-SLAM2移植到手机上的经验,移植过的人因该都知道,使用的时候,加载词袋模型需要花费7-8分钟时间,变成二进制文件也是缓慢,然后出来效果是每秒1-2帧(记不太请),慢的可以,然后果断放弃了。

然后 开始在手机端重写几乎所有算法,框架仿照ORB-SLAM2,以用来更加容易的适用手机的所有的特性,若是想要达到实时效果或者稍有延迟,只有两种路可以选择 1,降低图像的采样率 2,增加手机处理速度,面对需要用在实际中的项目,只有采用谦前者,果断采用每秒10帧采样,并对图像进行压缩,并使用多线程处理,结果效果不好,采样率只有再降~,采样降低势必造成一些精度损失,只能使用其他传感器进行弥补,所以走到了多传感器融合的道路。

然后就是手机相机了,卷帘相机,确实是个头疼的问题,走快了,图像花的不行,发生严重畸变,所有自己就写了个算法对可以用和不可用进行处理,并完善采样过程中的不足,但是依然没有彻底解决,但是解决了不少。

手机移动方向,手机移动方向是个大问题,实际用的时候不能总是手拿着相机不动吧,不现实,Tango不知道怎么做到的,一直研究。

要注意:回环检测一定要适合自己系统重写!!,识别不同场景,目前开源的所有算法几乎都尝试过,不是前期库加载太慢,就是效率太低,无法使用!!

优化算法可以研究后进行移植,适合自己的,我用的是g2o。

再就是手机花费最多的时间是mapping过程,这个过程是将手机形成的三维点进行对帧之间的对照,也就是说是寻找一个三维点被那几个帧看到了,从而进行优化,一定要注意!!!

这里最好解决的就是手机参数了,简单粗暴,每个手机都校准一下呗,然后写到数据库中,这里就怀念iphone了,就那么几种型号,怪不的好多做视觉的都使用iphone,唉!!

补充: 注意尺度问题,我推荐使用IMU进行对尺度补充,可以降低计算成本!!


都是实际中遇到的问题,给大家避免一些坑,说的不对的地方请大家勿喷.

————————————————————————————————————————————————————————————————————

更多高端分析:https://www.zhihu.com/question/50385799



标签: ROSClubSLAM

评论共0条评论

登录后再评论!

全部评论

目前没有评论