RoNIN：基于残差网络的IMU传感器数据用于运动估计和定位（CVPR-2019）

RoNIN：基于残差网络的IMU传感器数据用于运动估计和定位（CVPR-2019）

文章来源 RoNIN: Robust Neural Inertial Navigation in the Wild: Benchmark, Evaluations, and New Methods

1.文章概述

1.1 Main Idea

IMU传感器数据–>>深度网络–>>自然运动的轨迹

1.2 Main Contribution

• 构建了一个新的数据集，包含来自100个人体物体的40小时以上的IMU传感器数据，在自然人体运动下具有真实的三维轨迹（是身体轨迹，不是IMU phone的轨迹）。
• 提出了一种新的直接对IMU传感器数据进行处理的学习模式，对比了现有的最佳方法，能够取得较好的效果，在实际的测试数据是有显著改进。

2.The RoNIN dataset

2.1 数据说明

规模、多样性和可信度是构建下一代惯性导航数据库的三个关键因素，与目前最大的数据库oxiod相比：
规模（276个序列，3栋建筑）
多样性（100人，用了3台设备）
可信度（日常生活轨迹）

2.2数据采集

作者开发了一个用于数据收集的Android应用程序，它既可以安装在3D追踪设备上，也可以安装在IMU手机设备上。该应用程序允许一对3D追踪设备和IMU手机通过蓝牙连接起来，以实现粗略的时间同步和集中控制。

设备

• 3D追踪器
  三星Galaxy S9和谷歌Pixel 2XL，使用来自STMicro的相同的lsm6dsl传感器。
• IMU采集设备
  华硕Zenfone AR、使用InvenSense的icm20602 IMU传感器

标定设备

对所有传感器进行仔细校准，如陀螺仪偏差、加速度计偏差/标度灵敏度和磁强计偏差，以及每个数据序列。作者了使用经过校准的原始IMU数据，而不是系统提供的原始出数据，因为发现后者在不同制造商之间存在差异。

对加速度计的三轴偏差和标度灵敏度进行了标定。首先将智能手机静态地放置在不同的朝向上，标定参数是通过求解一个非线性优化问题得到的，通过给定这个优化问题的约束条件，即每个静态周期的加速度的平均值经修正后应接近重力加速度g，每部智能手机每天重新校准一次。

通过将智能手机静态放置10秒，可以有效地估计陀螺仪偏差，在此期间，将陀螺仪读数平均为偏差。同时在每个序列之前和之后执行这种校准。

时间同步

当通过蓝牙连接时，两个智能手机的系统时钟被粗略地同步。在每个序列之前，我们执行水平旋转，同时将两个电话刚性连接在一起。然后通过信号相关性估计精确的时间差。

空间对准

我们在屏幕上安装了两个电话屏幕，以便进行空间对齐。屏幕面向外部的手机是3D跟踪设备（绿色），而屏幕内的设备是imu手机（橙色）。zt和zi是两个设备的局部z轴，假设屏幕绝对平坦，它们彼此完全相反。gt和gi是两个局部帧中的重力分量。

修正 Ground-truth 漂移
地面真相轨迹和imu器件的定向都会随着时间的推移而漂移。作者设计了减少这种漂移误差的程序。
我们依靠Android的传感器融合来实现IMU手机的其他功能，即使用应用程序而不使用磁力计。陀螺仪偏差是在每个序列之前估计的。我们利用[1]中提出的基于滤波的算法，利用地面真实信息进一步减少旋转漂移。标准运动学模型用于预测原始加速度和角速率的6自由度。来自3D跟踪设备的地面真值位置被用作测量，以过滤出最佳状态，即位置和方向，以及相应的不确定性。

当手机放在口袋或包中时，IMU手机的方向不可见（由于没有图像信息）。我们通过端点旋转漂移来近似评估质量，在这里我们执行与第2节中描述的相同的空间对齐，并计算预期方向和实际方向之间的角度，假设探戈的方向没有漂移。我们发现Android的传感器融合通常会在10分钟内漂移10到20度，而过滤会将其降低到5到10度。请注意，过滤后的方向仅用于训练，我们在测试期间完全依赖于Android设备的game rotation向量。

注意
在数据采集之前，对空间和时间内的两个设备进行偏置和对齐。在数据采集之后，也会再次对两个IMU传感器设备进行空间对齐，以评估IMU设备定向中的累积误差。
将数据集分为两组：第1组85人，第2组其余15人：第1组进一步分为训练、验证和测试集，第2组用来测试模型的泛化能力。

3.网络结构

4.参考文献

[1] A. Solin, S. Cortes, E. Rahtu, and J. Kannala. Inertial odometry on handheld smartphones. In 2018 21st International Conference on Information Fusion (FUSION), pages 1–5. IEEE,2018.

转载请注明出处，欢迎交流讨论、纠错，敬请留言！