arxiv 2023 | 4D Millimeter-Wave Radar in Autonomous Driving: A Survey

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg4MjgxMjgyMg==&mid=2247486550&idx=1&sn=98bf915a047bd4312f9eddad3d47d705&chksm=cf51beaff82637b90b37bc9c17addade80cb13ffef8edcb71a57e5b3c735b44fcf6776f0a957#rd

arxiv 2023 | 4D Millimeter-Wave Radar in Autonomous Driving: A Survey

毫米波雷达论文阅读笔记： arxiv 2023, 4D Millimeter-Wave Radar in Autonomous Driving: A Survey

Abstract

动机
- 4D毫米波雷达有诸多优势：
  
  ✅ 能够测量目标的距离、方位角、仰角和速度
  ✅ 鲁棒性强
- 问题：尽管4D毫米波雷达研究快速发展
  
  ❌ 但目前还缺乏对该主题的调研总结
本文目标
- 填补这一空白
- 促进该领域未来研究
本文内容
- 回顾4D毫米波雷达的理论背景和发展进展
  
  ✅ 信号处理流程
  
  ✅ 分辨率提升方法
  
  ✅ 外参标定过程
  
  ✅ 点云生成方法
- 介绍 4D毫米波雷达在 环境感知和定位与映射任务中的数据集和应用算法
- 4D毫米波雷达领域的 未来发展趋势
本文贡献
- 第一篇关注自动驾驶中的4D毫米波雷达的综述
- 详细介绍4D毫米波雷达的理论背景和信号处理流程
- 详尽综述了4D毫米波雷达在自动驾驶中的应用算法,包括感知、定位和建图

1 INTRODUCTION

背景：毫米波雷达在自动驾驶中应用前景大

自动驾驶
- 目的:提供安全、便捷、舒适的交通体验
- 环境感知、定位和映射能力至关重要
传感器
- 摄像头
- 激光雷达
- 毫米波雷达
毫米波雷达优势
- 体积小、成本低
- 全天候工作
- 速度测量能力强
- 距离分辨率高等
4D毫米波雷达
- 可以测量四类目标信息：距离，方位角，俯仰角，速度

本文动机：

尽管4D毫米波雷达快速发展，但几乎没有专门的综述文章

本文贡献

第一篇关注自动驾驶中的4D毫米波雷达的综述
详细介绍4D毫米波雷达的理论背景和信号处理流程
详尽综述了4D毫米波雷达在自动驾驶中的应用算法,包括感知、定位和建图

章节安排

section 2:
- 介绍4D毫米波雷达的基本理论
- 信号处理流程
- 数据格式
- 提高分辨率的方法
section 3:
- 概述外参标定算法
section 4:
- 总结基于学习的点云生成算法
section 5:
- 总结常用的4D毫米波雷达数据集
section 6:
- 回顾4D毫米波雷达在感知中的应用
- 仅基于4D雷达的方法
- 多模态方法
section 7:
- 介绍4D毫米波雷达在定位和映射中的应用
- 里程计、重定位、SLAM
section 8:
- 讨论未来发展趋势
section 9: conclusion

2 BACKGROUND OF 4D MMWAVE RADARS

2.A Signal Processing Flow

step 1: 发射接收信号
step 2: 混频
step 3: ADC获取 raw ADC 数据
step 4: 2D FFT生成 range-doppler 图
step 5: CFAR
step 6: 2D AOA
- DBF等

2.B Methods to Improve Resolution

硬件层面
- 增加发射-接收对数量
  
  ✅ 级联:级联多个雷达芯片增加对数
- 集成更多天线于一芯片
- 扩大天线孔径
- 超材料:控制大小的同时显著提高角分辨率
软件层面
- 虚拟实现硬件改进
- 优化信号处理算法
- 虚拟孔径成像:扩大虚拟天线孔径提高角分辨率
- 超分辨率:用创新算法(e.g., 基于学习的算法)替代传统FFT等信号处理方法

3. EXTRINSIC CALIBRATION

雷达点云噪声大, 外参标定具有挑战性
- 高分辨率缓解了问题,但仍缺乏足够鲁棒的在线标定方法
传统方法
- 使用角反
  
  ✅ 分析感知结果
  
  ✅ 与激光雷达、摄像头数据比较
  
  ✅ 标定外参
最新方法
- 不需要专门放置角反
  
  ✅ 利用雷达运动测量自标定
  
  ✅ 或雷达与摄像头对标定
- 方便实用,但在极端天气下的验证有待实现

4 LEARNING-BASED RADAR POINT CLOUD GENERATION

雷达点云稀疏的一个主要原因是CFAR导致的信息损失
- 越来越多基于学习的方法被提出以替代CFAR
- 也有方法直接处理RD图或4D张量
- 改善点云质量 + 提高下游任务(如感知和定位)性能
CFAR类型方法的问题
- 实际目标形状各异并占据多个单元
- 会导致遮挡效应、分辨率下降、信息损失
代表性方法
- DRD net
  
  ✅ 首次将CNN应用于RD图目标检测
  
  ✅ 将其形象化为分割任务
- 基于U-Net、GAN的网络
  
  ✅ 使用激光雷达点云作为监督
  
  ✅ 生成更少杂点、更密集的真目标点云

5 DATASETS

公开数据集对相关算法研究至关重要
- 目前公开的4D雷达数据相对较少
代表性数据集
- Astyx
  - 首个数据集
  - 500帧同步数据,3000标注
- Coloradar
  - 定位和映射研究数据集
  - 2小时数据,不同处理形式
- VoD
  - 多传感器数据集,用于3D目标检测
  - 8693帧,12万标注
- TJ4DRadSet
  - 7757帧,丰富场景
- K-Radar
  - 目前最大数据集,3.5万帧
  - 提供4D雷达张量
  - 模块化的网络训练代码
相比视觉和激光雷达,4D雷达数据量仍不足

6 PERCEPTION APPLICATIONS

介绍在下游感知任务上的应用

6.A 4D-Radar-only Methods

自然地来自于 基于激光雷达的方法
- 但仍需要特定网络设计应对稀疏性和噪声
3D检测
- CNN-based:PointPillars等
- Transformer-based:应对稀疏嘈杂数据
场景流估计
- 将方法从其他模态转移到4D雷达
- 代表性方法
  
  ✅ 利用车辆传感冗余进行跨模态学习, 解决标注难题

6.B Fusion Methods

4D雷达可以提供点云信息
- 与摄像头或激光雷达融合进行目标检测
- 以提高模型精度和鲁棒性
主要是特征级融合
4DRV融合
- 4D雷达提供深度、速度信息弥补摄像头不足
- 通常将雷达信号转换为图像特征
- 代表性方法
  
  ✅ 生成鸟瞰图和前视图
  
  ✅ 动态适配不同模态融合
- 优于仅摄像头方法
4DRL融合
- 激光雷达近距离精确,雷达远距离检测
- 有望成为低成本高质量技术解决方案
- 代表性方法
  
  ✅ 交互提升两模态特征表达
  
  ✅ 多尺度融合

7 LOCALIZATION AND MAPPING APPLICATIONS

在定位和建图方面的应用

7.A Odometry

定位的核心,SLAM的重要组成部分
4D毫米波雷达相关研究广泛
- 但稀疏性和噪声影响,通常需要IMU帮助
代表性方法
- EKF框架
  - 融合雷达点云速度估计和IMU
  - 实现雷达惯性测距
- 基于学习
  - CNN和RNN特征提取和融合
  - 输出6自由度测距
- 存在的问题
  - EKF可能难以应对大规模环境
  - 曼哈顿世界假设可能限制适用性

7.B Relocalization

依赖高精度的在线映射
在闭环检测时很重要
- 雷达点云噪声和稀疏影响重定位
代表性方法
- 数据增强
  - 融合多帧、删除运动目标
- 提取每个点的特征
- 将当前扫描与全局地图比较
  - 实现重定位

7.C SLAM

Odometry + Relocalization 是SLAM必不可少的部分
最近出现 4D毫米波雷达SLAM相关研究
- 基于迭代EKF的4D毫米波雷达点云 SLAM
- 基于lidar方法的毫米波SLAM系统
在极端环境下也可工作

8 FUTURE TRENDS

点云增强
- 提高点云质量
- 基于学习的方法替代CFAR
算法重新设计
- 从其他模态转移的算法可能不够理想
- 需要考虑4D雷达特性
利用更原始数据
- 原始ADC、RD图、4D张量
- 实时性和信息利用是挑战
数据集扩充
- 更多包含4D雷达的数据集
- 丰富数据格式和场景

9 CONCLUSION

本文回顾了4D毫米波雷达在自动驾驶中的应用
内容包括
- 4D毫米波雷达的信号处理流程
- 提高其分辨率的方法
- 外参标定过程
- 基于学习的点云生成算法
- 总结了4D毫米波雷达数据集
- 在环境感知和定位与映射任务中的应用算法
- 未来可能的发展方向

首篇系统综述 4D毫米波雷达在自动驾驶领域的应用文章来源地址https://uudwc.com/A/z3NvY