自动驾驶数据集的公开为研究人员提供了宝贵的数据资源，从而加速了技术进步。主流数据集(如KITTI、Waymo、nuScenes)提供多模态传感器数据，支持感知算法训练、SLAM建图及轨迹聚类研究。盈利模式包括数据服务收费、技术解决方案销售及平台化运营，通过数据闭环赋能产业升级。

01

自动驾驶数据集的多维价值和盈利模式

（1）公开自动驾驶数据集的多维价值

1.加速技术创新

自动驾驶数据集的公开为研究人员提供了宝贵的数据资源，从而加速了技术进步。例如，Waymo 数据集对驾驶条件和地理环境的全面覆盖，对于不同任务（如检测、跟踪和分割）的稳健性和可推广性至关重要。

各种自动驾驶数据集的公开为该领域的进步做出了重大贡献，尤其是在感知和E2E规划任务方面。KITTI数据集在德国的城市道路上提供了多种计算机视觉任务所需的数据。

2.减少重复投入

对于自动驾驶行业的其他从业者而言，有了公开的数据集，他们能在一定程度上免去重复的资源投入。研发人员可以利用这些数据集来帮助开发自动驾驶汽车的感知算法。

http://www.wrdrive.com/news/show.php?itemid=3529

3.提升行业整体水平

数据集的开放有助于整个行业的健康发展，通过共享数据，企业可以更快地验证和改进其算法，进而推动整个行业向前发展。例如，Lyft公布的“全球最大”自动驾驶数据集涵盖了多个传感器的数据，以及高精度地图信息。

4.促进跨领域合作

数据集的开放促进了学术界与工业界的紧密合作，使得工业界和学术界可以在同样的数据基础上相互比较研究结果，互通有无。企业和研究机构可以通过共同使用同一套数据集进行研究，从而实现更高效的技术突破。例如，V2Xverse数据集被用于全面基准测试，分析模块化性能和闭环驾驶性能。

（2）公开自动驾驶数据集的盈利模式

1.基于数据的服务收费

一些公司通过提供高质量的自动驾驶数据集作为服务来盈利。例如，华为云以打造自动驾驶数据闭环的模式来赋能产业，其云服务能够有效打通底层元数据管理模式，构建统一数据治理底座，同时创新存算架构。

2.技术支持与解决方案销售

提供与数据集相关的技术支持和解决方案也是重要的盈利方式。例如，百度萝卜快跑（ApolloGo）业务不仅提供数据集，还提供了一系列配套的技术支持和服务，旨在探索萝卜快跑未来商业化的广阔空间。

3.平台化运营

构建自动驾驶数据交易平台，允许企业和个人上传、下载和交易数据集，从中收取交易手续费或会员费。这种模式可以吸引更多的参与者，形成良性循环的生态系统。例如，Azure Architecture Center提到的自动驾驶汽车运营(AVOps)解决方案，需要处理大量来自多个传感器的数据，这为数据交易平台提供了应用场景。

https://learn.microsoft.com/zh-cn/azure/architecture/solution-ideas/articles/avops-architecture

4.数据驱动的产品开发

利用公开数据集开发新的产品和服务，通过销售这些产品和服务获利。例如，所谓的「端到端」方案是将整个智驾系统看作一个整体模块，系统接收到传感器的输入数据后，直接输出驾驶决策，其开发模式也由规则驱动转向了数据驱动。

5.概括

公开自动驾驶数据集不仅能带来显著的经济效益，还能通过多种盈利模式为企业创造价值。比如数据交易直接数据变现，帮助研发更好的产品通过产品间接变现，提高企业知名度和市场地位，卖给本企业下属机构或者其他企业用来建设自动驾驶仿真平台时作为场景库数据。自动驾驶仿真平台一般是昂贵的建设项目。

02

主要的公开学术自动驾驶数据集

首先，列举一些主要的公开自动驾驶数据集，将挑选其中几个出现频率较高的进行详细解读：

（1）KITTI数据集

KITTI Vision Benchmark Suite是由德国卡尔斯鲁厄理工学院(KIT)和丰田美国技术研究院(Toyota Technological Institute at Chicago)联合创办的自动驾驶场景下的计算机视觉算法评测数据集。它被认为是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集之一。

该数据集涵盖了多种传感器的数据，包括：4个相机：用于捕捉高分辨率RGB图像和灰度立体图像；1个激光雷达(LiDAR)：提供3D点云数据；1个IMU/GPS惯导系统：记录车辆的姿态和位置信息。这些传感器共同工作，提供了丰富的多模态数据，支持多种计算机视觉任务的研究和评估。

1.KITTI数据集主要用于以下几种计算机视觉技术的评测

立体图像(Stereo)：评估从立体图像中恢复深度信息的能力。一般是双目摄像头。

光流(Optical Flow)：评估运动物体在连续帧中的像素位移。

（https://mp.weixin.qq.com/s/uqCj3nWFWE3JfFuN5xzRTQ）

视觉测距(Visual Odometry)：评估基于视觉的位姿估计。

3D物体检测(3D Object Detection)：评估检测和分类3D空间中的物体。

3D跟踪(3D Tracking)：评估对动态物体的持续跟踪能力。

语义分割(Semantic Segmentation)：评估将图像中的每个像素分类到特定类别。

单目深度预测(Single Image Depth Prediction)：评估从单张图像中预测深度图的能力。（https://registry.opendata.aws/kitti/）单目摄像头依靠焦点原理也可以判断距离景深。

2.KITTI数据集与结构

立体图像数据集：包含194个训练场景和195个测试场景，所有场景均为静态环境，使用立体相机捕捉。

https://www.cvlibs.net/datasets/kitti/eval_stereo.php

2D物体检测数据集：包含7481张训练图像和7518张测试图像，用于评估2D物体检测和方向估计。

https://www.cvlibs.net/datasets/kitti/eval_3dobject.php

语义分割数据集：包含200张训练图像和200张测试图像，对应于KITTI Stereo和Flow Benchmark 2015。

https://www.cvlibs.net/datasets/kitti/eval_semseg.php?benchmark=semantics2015

深度预测数据集：用于深度补全和单目深度预测的任务。

https://www.cvlibs.net/datasets/kitti/eval_depth.php?benchmark=depth_prediction。

请注意到，KITTI数据集并不包括路径轨迹，所以一般不能用于轨迹聚类。

（2）Lyft自动驾驶数据集

该数据集是由美国Lyft公司创建，可以访问帕伊提提下载使用（https://www.payititi.com）。Lyft L5数据集是由Lyft公司提供的L5级别自动驾驶数据集，目前仅提供训练集的下载。（注意盈利模式，测试集就需要付费了）Lyft公布的称为“全球最大”自动驾驶数据集是其L5级别自动驾驶数据集，该数据集自发布以来引起了广泛关注。

1.数据集规模与内容

3D 注释帧：包含超过55,000个由人类标记的3D注释帧，官方称这是目前同类产品中最大的公开数据集。

传感器数据：数据集来自七个摄像头和多达三个激光雷达（LiDAR）传感器的比特流，提供了丰富的原始传感信息。

驾驶场景：涵盖了大约3,000个驾驶场景，总计16.7小时的视频数据，约600,000 帧，以及大约2500万个3D边界框和2200万个2D边界框。

2.额外资源还包括

地图信息：包括一个可供驾驶使用的地面地图和一个空间语义高精地图，有助于更精确的环境感知和路径规划。

预测数据集：除了感知数据集外，Lyft还发布了L5级别的自动驾驶预测数据集，包含了超过1000个小时的驾驶记录，每个场景持续约25秒，涵盖交通信号灯、航拍地图、人行道等内容。

3.应用与影响

科研支持：该数据集以nuScenes格式免费对外提供，旨在帮助科研机构推进相关技术和解决方案的研发。

竞赛活动：Lyft发起了运动预测竞赛，鼓励研究人员使用该数据集训练和测试模型，推动自动驾驶技术的进步。

4.Lyft数据集规格列表如下

（3）nuScenes数据集

nuScenes数据集是自动驾驶领域中广泛使用的大型数据集，提供了丰富的传感器数据和详细的标注信息。该数据集不仅包括了多种传感器的数据（如摄像头、激光雷达、毫米波雷达等），还包含了车辆坐标、校准信息、地图数据等元数据。nuScenes 数据集的文件组织方式非常有条理，主要分为以下几个部分：

JSON文件：nuScenes 数据集的核心是多个JSON文件，这些文件描述了数据库模式，存储了所有的注释和元数据。例如，v1.0-mini版本中包含多个JSON 文件，每个文件负责不同的数据类型。

传感器数据：每个传感器（如摄像头、激光雷达、毫米波雷达）都有自己的数据文件，通常以二进制格式（如.bin文件）存储原始数据，并附带相应的元数据（如时间戳、传感器token等）。这些文件通常位于sweeps目录下。

地图数据：maps目录包含地图相关的图像数据，用于表示驾驶环境中的静态元素（如道路、建筑物等）。这些地图数据对于理解场景上下文非常重要。

1.nuScenes 数据集的核心文件主要分类

scene.json：描述每个场景的基本信息，如场景 ID、开始时间、结束时间等。

sample.json：记录每个样本的时间戳、传感器数据路径等信息。

sample_data.json：详细描述每个传感器的数据，包括文件路径、时间戳、传感器类型等。

sample_annotation.json：包含每个样本的标注信息，如物体类别、位置、尺寸等。

calibrated_sensor.json：存储传感器的校准参数，确保不同传感器之间的数据对齐。

ego_pose.json：记录车辆在全局坐标系中的姿态信息，帮助将传感器数据转换到全局坐标系中。

2.nuScenes数据集提供了多种类型的标注信息，主要包括：

2D 和 3D 边界框：为每个检测到的对象提供精确的边界框标注，支持多视角图像和点云数据的联合使用。

lidarseg：激光雷达点云的逐点语义分割标签，允许对点云中的每个点进行分类。

instance：实例级别的标注，确保同一对象在不同帧中的唯一性。

3.nuScenes数据集中涉及多个坐标系，主要包括：

全局坐标系：所有传感器数据最终都会转换到全局坐标系中，以便于统一处理。

车身坐标系：以车辆为中心的坐标系，方便描述车辆周围的环境。

相机坐标系：用于描述摄像头拍摄的图像数据。

激光坐标系：用于描述激光雷达采集的点云数据。

为了实现不同坐标系之间的转换，nuScenes提供了详细的转换矩阵和工具函数，确保数据在不同坐标系之间的一致性(nuScenes 3D目标检测数据集解析。

4.nuScenes 数据集常见版本

v1.0-mini：小型版本，适合快速测试和调试，包含少量场景。

v1.0-trainval：训练和验证集，包含更多的场景，适用于模型训练和评估。

v1.0-test：测试集，不包含标注信息，用于最终的模型评估。

以下是 nuScenes数据集中的JSON文件举例：

{

"calibrated_sensor_token": "sensor_calib_token_1",

"ego_pose_token": "ego_pose_token_1",

"width": 1024,

"height": 1024

}

（4）Waymo自动驾驶数据集

Waymo Open Dataset是由谷歌母公司Alphabet旗下的自动驾驶公司Waymo 公开发布的一个大型数据集，旨在促进自动驾驶技术、机器感知和相关领域的研究。

1.数据集组成

该数据集由两个主要部分组成：感知数据集(Perception Dataset)和运动数据集(Motion Dataset)。

https://opendatalab.com/OpenDataLab/Waymo

https://www.leiphone.com/category/yanxishe/9NjyPnXWbxgF8oF3.html

运动数据集则包含了对象轨迹和相应的3D地图信息，涵盖了103,354个片段。这些片段同样来自Waymo自动驾驶车辆在多种条件下的行驶记录。每个片段长度为20秒，采样频率为10Hz，包含对象轨迹和地图数据。该数据集主要用于行为预测(潜在障碍物下一秒会出现在哪里)等任务。

2.数据集特点

传感器规格：数据集使用五个LiDAR和五个高分辨率针孔相机进行数据采集，提供了丰富的多模态传感器数据。

标注质量：Waymo对数据进行了高度标注，确保了数据的准确性和可靠性。

多样性：涵盖了广泛的环境和条件，使得研究人员可以测试算法在不同情况下的表现。

扩展性：2022年4月，Waymo扩展了感知数据集，增加了关键点标签、2D到3D关联标签、3D语义分割标签以及新的测试集数据集-OpenDataLab。

https://opendatalab.com/OpenDataLab/Waymo

3.数据集应用

Waymo Open Dataset已经被广泛应用于自动驾驶技术的研究，特别是在目标检测、跟踪、行为预测等领域。研究人员可以利用该数据集来开发和评估新的算法和技术，推动自动驾驶领域的发展。

https://www.helloxiaobai.cn/article/btp/1-6

（5）Oxford RobotCar数据集

Oxford RobotCar Dataset是由牛津大学发布的自动驾驶数据集，包含了一条固定路线在一年内的重复驾驶数据。该数据集旨在支持自动驾驶技术的研究和开发，特别是在长期自主性方面。

1.数据集概述

覆盖范围：超过100次重复通过英国牛津市中心的一致路线，总里程超过1000公里。

时间跨度：从2014年5月6日到2015年12月13日，跨越了大约一年半的时间。

传感器配置：摄像头：6个摄像头，共收集了约2000万张图像。

激光雷达(LIDAR)：Dual Velodyne HDL-32E LIDAR。

GPS和INS：用于提供高精度的定位和姿态信息。

毫米波雷达：Navtech CTS350-X 毫米波FMCW雷达（扩展数据集）。

2.数据集特点

多样化场景：数据集捕捉了各种天气条件（如晴天、雨天、雪天）、交通状况、行人活动等不同组合的路况。

长期变化：包括建筑施工和道路工程等长期变化，有助于研究长期定位和地图构建问题。

丰富的时间维度：多次重复同一路径的数据，使得研究人员可以分析不同时间段的变化。

多传感器融合：结合了多种传感器的数据，提供了丰富的感知信息，适合进行多模态数据处理的研究。

3.数据集应用

目标检测：可用于训练和评估目标检测算法，涵盖车辆、行人和其他障碍物。

语义分割：适用于开发和测试语义分割模型，以理解复杂的交通环境。

光流估计：可用于运动估计和视频分析任务。

立体视觉：支持深度估计和三维重建研究。

定位与建图(SLAM)：特别适合研究长期定位和动态环境下的地图构建。

4.下载和支撑工具集

下载地址：Oxford RobotCar Dataset

开发工具：提供了MATLAB和Python开发工具包，方便用户访问和操作数据集。https://robotcar-dataset.robots.ox.ac.uk/documentation

（6）扩展毫米波雷达数据集

Oxford Radar RobotCar Dataset：这是Oxford RobotCar Dataset的一个扩展版本，增加了毫米波雷达数据，特别适用于恶劣天气条件下的研究。

https://robotcar-dataset.robots.ox.ac.uk/documentation/

图：Oxford RobotCar数据集的内容列表

03

自动驾驶数据集典型应用

一般业界把自动驾驶划分为感知-决策（规划）-控制三个阶段。

所谓E2E端到端自动驾驶，是把这三个阶段融合成一个单一大模型。本文为了描述清晰，在讲述用途用法时，还是按感知-决策（规划）-控制三个阶段描述。 需要说明的是，控制部分虽然也包含很多高级算法，但控制部分是靠线控底盘或者电控的各个域控制器来执行的，和自动驾驶数据集关系不大。

（1）自动驾驶数据集主要用途

自动驾驶数据集主要用途还是集中在感知-决策（规划）这两个阶段，具体的描述如下。

1. 感知系统训练

语义分割：将图像中的每个像素分类为不同的类别（如道路、建筑物、天空等）。BDD100K 数据集包含丰富的图像标注，适用于语义分割任务 。

2.预测和规划

为了确保安全驾驶，自动驾驶系统需要预测其他交通参与者的行动，并规划出最优行驶路径。数据集帮助训练以下算法：

行为预测：预测行人和其他车辆的行为，如转弯、并道、变道等。DAIR-V2X 数据集专注于车路协同，有助于研究复杂交通环境下的行为预测。

路径规划：根据预测结果生成安全高效的行驶路径。DrivingDojo数据集包含了各种开放世界驾驶场景，有助于训练路径规划算法 DrivingDojo。

https://www.xinfinite.net/t/topic/8257

3.仿真测试

自动驾驶仿真平台，用ROS机器人操作系统给训练中模型不断回放数据录像来训练模型，而不是实车运行来训练模型。

https://mp.weixin.qq.com/s/KUfr5daKwx-Cdqa5TN12CA

在虚拟环境中测试自动驾驶算法可以减少实际道路测试的风险和成本。数据集用于：

驾驶场景仿真：模拟不同的天气条件、交通流量和突发事件。Oxford RobotCar 数据集收集了多种天气和交通情况下的数据，适合用于仿真测试。

交通流仿真：研究交通流动态，优化交通管理策略。Berkeley 的 BDDV 数据集包含大量的视频片段，可用于交通流仿真的研究。

4.多模态融合

自动驾驶系统通常使用多种传感器（如摄像头、激光雷达、毫米波雷达等）获取信息。数据集帮助训练多模态融合算法：

视觉测距与光流估计：通过立体图像和光流计算物体距离和运动方向。CSDN 博客提到 KITTI 数据集可用于评测这些任务 。

3D目标检测：结合点云和图像数据进行三维物体检测。nuScenes 数据集提供了大规模的 3D 扫描数据，支持多模态融合的研究 。

把感知-定位-建图结合在一起的应用是SLAM，也是自动驾驶数据集的一类重要的独立应用。

（2）广泛使用的自动驾驶SLAM数据集

在自动驾驶领域，SLAM是一个关键的技术，特别是在封闭园区场景，比如港口矿区机场等。为了评估和改进SLAM算法，研究人员依赖各种公开的数据集。

1.KITTI数据集（通用数据集可以用于SLAM）

KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最知名的自动驾驶场景下的计算机视觉算法评测数据集。该数据集不仅包含高精度的GPS/IMU轨迹、多视图立体图像，还包括激光雷达（LiDAR）数据等。这些丰富的传感器数据使得KITTI成为研究SLAM的理想选择。

2.4Seasons数据集（通用数据集可以用于SLAM）

3.Oxford RobotCar数据集（通用数据集可以用于SLAM）

Oxford RobotCar数据集是早期的重要工作之一，它记录了多个具有挑战性的城市驾驶环境，包括不同时间段、天气状况和交通情况。这个数据集对于研究在复杂环境中进行视觉SLAM非常有价值。

4.ZUST Campus数据集（专门的SLAM数据集）

ZUST Campus 数据集是一个轻量级且实用的LiDAR SLAM数据集，专为自动驾驶场景设计。它使用低分辨率LiDAR作为主要传感器，适用于需要高效处理的小型设备或嵌入式系统 。

5.FusionPortableV2数据集（专门的SLAM数据集）

FusionPortableV2是一个多传感器SLAM数据集，包含了多种传感器类型、多样化的运动模式以及广泛的环境场景。这种多样性使得它可以用于更通用化的SLAM研究 。

自动驾驶数据集用于SLAM总结表：

（3）比较特殊的算法应用--轨迹聚类

1.轨迹聚类的主要应用场景

路径规划：通过聚类算法，可以对历史轨迹数据进行分析，提取出常见的行驶路径模式。这些模式可以作为自动驾驶车辆在不同场景下的参考路径，帮助其做出更合理的决策。

2.常见的轨迹聚类算法

TRACLUS算法：TRACLUS是一种专门针对轨迹数据设计的聚类算法，它首先将轨迹分割成线段，然后对这些线段进行聚类。这种方法能够更准确地发现子轨迹，适用于处理复杂的轨迹数据 。

ST-DBSCAN算法：ST-DBSCAN是一种基于时空距离的聚类算法，特别适合处理单辆车或多辆车的轨迹数据。该算法通过引入时间和空间两个维度的距离度量，能够有效处理噪声点，并且不需要预先指定聚类的数量 。

有向密度聚类方法：对于浮动车轨迹数据，有向密度聚类方法可以有效地整合方向信息，实现快速聚类分析。该方法不仅能够揭示轨迹数据的空间分布特性，还能反映车辆的行驶方向特征 。

K-means聚类：K-means是一种经典的聚类算法，广泛应用于车辆轨迹数据的聚类分析中。它通过最小化簇内样本之间的距离来形成聚类，适用于大规模数据集的快速聚类。然而，K-means的一个缺点是需要预先设定聚类的数量。

3.轨迹聚类的应用挑战

尽管轨迹聚类在自动驾驶中有广泛应用，但仍然面临一些挑战：

数据质量：轨迹数据通常包含噪声和不完整的信息，这会影响聚类结果的准确性。因此，在进行聚类之前，通常需要对数据进行预处理，如去除异常点、填补缺失值等 。

实时性要求：在实际应用中，自动驾驶系统需要在短时间内完成轨迹聚类和分析，这对算法的计算效率提出了较高要求。为了满足这一需求，研究人员正在探索更加高效的聚类算法和硬件加速技术。

多模态数据融合：除了轨迹数据外，自动驾驶系统还需要考虑其他传感器（如摄像头、雷达等）提供的信息。如何将这些多模态数据有效融合，并在此基础上进行轨迹聚类，是一个值得研究的方向。

4.未来发展方向

随着自动驾驶技术的不断发展，轨迹聚类的研究也在不断深入。未来的研究可能会集中在以下几个方面：

深度学习的应用：利用深度学习模型（如LSTM、CNN等）进行轨迹预测和聚类，可以更好地捕捉复杂的时间序列特征，提高预测的准确性。

联邦学习框架：为了保护用户隐私，研究人员正在探索基于联邦学习的聚类方法，使车辆可在本地设备上进行数据处理，而无需将原始轨迹数据上传到云端 。

环境感知增强：结合环境信息（如天气、路况等）进行轨迹聚类，可以进一步提升自动驾驶系统的适应性和安全性 。