drivelm是一个基于语言的驱动项目，它包含一个数据集和一个模型。通过drivelm，我们介绍了自动驾驶（ad）中大型语言模型的推理能力，以做出决策并确保可解释的规划。
在drivelm的数据集中，我们将人工书写的推理逻辑作为连接，以促进感知、预测和规划（p3）。在我们的模型中，我们提出了一个具备思维图能力的ad视觉语言模型，以产生更优质的规划结果。目前，我们已经发布了数据集的演示版本，完整的数据集和模型将在未来发布
项目链接：https://github.com/opendrivelab/drivelm需要重写的内容是：项目链接：https://github.com/opendrivelab/drivelm
what is graph-of-thoughts in ad?数据集最令人兴奋的方面是，p3中的问答（qa）以图形风格的结构连接，qa对作为每个节点，对象的关系作为边。
相较于纯语言的思维树或思维图，我们更倾向于多模态。在ad域中，我们之所以这样做，是因为每个阶段都定义了ad任务，从原始传感器输入到最终控制动作
drivelm数据集中包含什么？基于主流的nuscenes数据集构建我们的数据集。drivelm最核心的元素是基于帧的p3 qa。感知问题需要模型识别场景中的对象。预测问题要求模型预测场景中重要对象的未来状态。规划问题促使模型给出合理的规划行动，避免危险的行动。
标定过程如何？关键帧选择。给定一个剪辑中的所有帧，注释器将选择需要注释的关键帧。标准是，这些框架应该涉及自车运动状态的变化（变道、突然停车、停车后启动等）。关键对象选择。给定关键帧，注释器需要拾取周围六个图像中的关键对象。标准是这些物体应该能够影响自车（交通信号灯、过街行人、其他车辆）问答注释。给定这些关键对象，我们会自动生成关于感知、预测和规划的单个或多个对象的问题。更多细节可以在我们的演示数据中找到。以上就是大模型「上车」关键一步：全球首个语言+自动驾驶开源数据集来了的详细内容。