Interpretable Autonomous Driving VLA through Belief Distillation (IBD)

TL;DR

A language-conditioned driving VLA writes a commentary and drives conditioned on it, so the commentary is both the explanation people read and an input to control.
Its training labels come from privileged simulator state and can name causes the camera cannot see: safety knowledge, but unverifiable as a sentence.
IBD rewrites the unseen cause into an honest caution phrase and distills the privileged teacher's caution into a camera-only belief token with a readable risk map.

언어 기반 주행 VLA는 해설을 먼저 쓰고 그 해설을 조건으로 주행합니다. 해설은 사람이 읽는 설명이면서 제어 입력입니다.
학습 라벨은 특권 시뮬레이터 상태로 만들어져 카메라가 볼 수 없는 원인을 말할 수 있습니다. 안전 지식이지만, 문장으로는 검증할 수 없는 주장입니다.
IBD는 보이지 않는 원인을 정직한 주의 문구로 바꾸고, 특권 교사의 감속을 위험 지도로 읽을 수 있는 카메라 기반 신념 토큰으로 증류합니다.

语言条件驾驶 VLA 先写解说、再以解说为条件驾驶，因此解说既是人阅读的解释，也是控制输入。
其训练标签来自仿真器特权状态，可能提到相机看不到的原因：这是安全知识，但写成句子就无法验证。
IBD 把看不见的原因改写为如实的提醒用语，并把特权教师的减速蒸馏到仅用相机、带可读风险地图的信念 token 中。

Chan Park

Ongoing project진행 중인 프로젝트进行中的项目

Motivation연구 동기研究动机

Accidents demand a reason. After an accident, people need to read why the car decided as it did: to find the cause, assign responsibility, and prevent the next one.
Language makes the reason readable. A language-conditioned driving VLA such as SimLingo writes a commentary, e.g. “Decelerate due to the child.”, and then drives conditioned on it.
So the explanation must be true. The same sentence is the reason a person reads and an input the controller uses.
Privileged labels carry safety knowledge. The training commentary is written by a rule-based generator from the full simulator state. It can name a child the camera cannot see yet, and the expert planner that shares this state already slows down. That is exactly the knowledge that prevents accidents, but as a sentence it is a claim the camera cannot verify.

사고에는 이유가 필요합니다. 사고가 나면 사람이 “왜 그렇게 판단했는가”를 읽을 수 있어야 원인을 찾고, 책임을 가리고, 같은 사고를 막을 수 있습니다.
언어는 그 이유를 읽을 수 있게 만듭니다. SimLingo 같은 언어 기반 주행 VLA는 “Decelerate due to the child.” 같은 해설을 먼저 쓰고, 그 해설을 조건으로 주행합니다.
그래서 설명은 사실이어야 합니다. 같은 문장이 사람이 읽는 이유이자 제어기가 쓰는 입력이기 때문입니다.
특권 라벨에는 안전 지식이 담겨 있습니다. 학습용 해설은 시뮬레이터 전체 상태를 아는 규칙 기반 생성기가 씁니다. 그래서 카메라에 보이지 않는 아이를 말할 수 있고, 같은 정보로 계획하는 전문가는 이미 감속합니다. 사고를 막는 데 필요한 바로 그 지식이지만, 문장으로 가르치면 카메라가 검증할 수 없는 주장이 됩니다.

事故需要原因。发生事故后，人们需要读懂车辆为何这样决策，才能找到原因、明确责任并防止再次发生。
语言让原因变得可读。SimLingo 等语言条件驾驶 VLA 会先写出解说，例如“Decelerate due to the child.”，再以该解说为条件驾驶。
因此解说必须属实。同一句话既是人阅读的理由，也是控制器使用的输入。
特权标签蕴含安全知识。训练用解说由掌握完整仿真状态的规则生成器写成，因此可以提到相机尚未看到的儿童，而共享这些信息的专家规划器已经开始减速。这正是防止事故所需的知识，但写成句子时，它就成了相机无法验证的陈述。

Training data: the label already knows the hidden child학습 데이터: 라벨은 숨은 아이를 이미 알고 있음训练数据：标签已经“知道”被遮挡的儿童Dataset frames with verbatim labels; no model output. The child is behind the vending machine and the camera cannot see it, yet the label already says “Decelerate due to the child.” and the expert's target speed starts to drop before the child appears. Meaning: privileged labels encode what is about to happen. The goal is to keep that knowledge without teaching the model to state what it cannot see.데이터셋 프레임과 라벨 원문이며, 모델 출력은 없습니다. 아이는 자판기 뒤에 있어 카메라에 보이지 않는데, 라벨은 이미 “Decelerate due to the child.”라고 쓰고, 전문가의 목표 속도는 아이가 보이기 전부터 내려갑니다. 의의: 특권 라벨은 곧 일어날 일을 담고 있습니다. 목표는 이 지식은 살리되, 모델이 보지 못한 것을 말하도록 가르치지 않는 것입니다.数据集帧与标签原文，不含模型输出。儿童在自动售货机后面，相机看不到，但标签已经写着“Decelerate due to the child.”，专家的目标速度在儿童出现之前就开始下降。意义：特权标签包含即将发生的事情。目标是保留这些知识，同时不教模型说出它看不到的东西。

Problem문제问题

Language steers the car. Giving the same camera image a different commentary changes the predicted path and speed. The commentary is a control input, not narration.
Deleting the hallucinated sentence deletes the command. The braking command lives in the verb (“Decelerate …”). Removing an unsupported sentence also removes the command, so a fix has to keep the verb and change only the cause.
Dropping privileged labels is not the answer. Labels at scale come from the simulator, and they are where the safety signal comes from. IBD converts this information instead of deleting it: it serves as a teacher during training, while the commentary stays honest.

언어가 차를 움직입니다. 같은 카메라 이미지에 다른 해설을 넣으면 예측 경로와 속도가 바뀝니다. 해설은 설명이 아니라 제어 입력입니다.
환각 문장을 지우면 명령도 지워집니다. 감속 명령은 동사(“Decelerate …”)에 실려 있습니다. 근거 없는 문장을 통째로 지우면 명령도 함께 사라지므로, 동사는 남기고 원인만 바꿔야 합니다.
특권 라벨을 버리는 것이 답은 아닙니다. 대규모 라벨은 시뮬레이터에서 나오고, 안전 신호도 거기서 나옵니다. IBD는 이 정보를 지우지 않고 바꿉니다. 학습 때는 교사 신호로 쓰고, 해설은 정직하게 유지합니다.

语言在操控车辆。给同一张相机图像换一句解说，预测的路径和速度就会改变。解说是控制输入，而不是叙述。
删除幻觉句子也会删除指令。制动指令在动词里（“Decelerate …”）。整句删除无依据的句子会连同指令一起删除，所以修复时要保留动词、只改原因。
丢弃特权标签不是答案。大规模标签来自仿真器，安全信号也来自那里。IBD 不删除这些信息，而是转换它：训练时把它作为教师信号，解说则保持如实。

Same image, different commentary (released SimLingo, open loop)같은 이미지, 다른 해설 (공개 SimLingo, 개루프)同一图像，不同解说（公开版 SimLingo，开环）Only the text given to the model changes; the camera image stays the same. The predicted path and speed follow the words. Meaning: in a driving VLA, an unverifiable sentence is also an unverifiable command.모델에 넣는 문장만 바꾸고 카메라 이미지는 그대로입니다. 예측 경로와 속도가 문장을 따라 바뀝니다. 의의: 주행 VLA에서 검증할 수 없는 문장은 검증할 수 없는 명령이기도 합니다.只改变输入模型的文本，相机图像保持不变。预测的路径和速度随文字而变。意义：在驾驶 VLA 中，无法验证的句子也是无法验证的指令。

Method: Interpretable Belief Distillation (IBD)방법: Interpretable Belief Distillation (IBD)方法：Interpretable Belief Distillation（IBD）

Stage 1 · Language conversion. A cause the camera cannot verify is rewritten into an honest caution phrase, and the action verb is kept: “Decelerate due to the child.” → “Decelerate because the situation ahead cannot be fully verified from this view.” The VLA is fine-tuned on these sentences.
Stage 2 · Belief distillation. The VLA is frozen. A belief module reads the camera's image tokens with one query per risk-map cell (object type × three directions × three distance ranges). It outputs a risk map p that people can read, and a belief token z placed after the commentary, so z changes the waypoints, not the words.
Privileged teacher, camera-only student. The teacher is the same VLA given the original privileged sentence. The student's waypoints learn to follow the teacher's, and the risk map learns the hidden-cause cell from the simulator state. At test time the car uses the camera only.

1단계 · 언어 변환. 카메라로 확인할 수 없는 원인을 정직한 주의 문구로 바꾸고, 행동 동사는 그대로 둡니다: “Decelerate due to the child.” → “Decelerate because the situation ahead cannot be fully verified from this view.” 이 문장으로 VLA를 미세조정합니다.
2단계 · 신념 증류. VLA는 고정합니다. 신념 모듈은 위험 지도 칸마다 하나씩 있는 질의(대상 종류 × 방향 3 × 거리 3)로 카메라 이미지 토큰을 읽습니다. 사람이 읽을 수 있는 위험 지도 p와, 해설 뒤에 붙는 신념 토큰 z를 냅니다. 그래서 z는 문장이 아니라 경로점을 바꿉니다.
특권 교사, 카메라만 쓰는 학생. 교사는 같은 VLA에 원래 특권 문장을 넣은 것입니다. 학생의 경로점은 교사를 따라가도록, 위험 지도는 시뮬레이터 상태의 숨은 원인 칸을 맞히도록 학습합니다. 실제 주행에서는 카메라만 씁니다.

第 1 阶段 · 语言转换。把相机无法验证的原因改写为如实的提醒用语，同时保留动作动词：“Decelerate due to the child.” → “Decelerate because the situation ahead cannot be fully verified from this view.”，并用这些句子微调 VLA。
第 2 阶段 · 信念蒸馏。冻结 VLA。信念模块为风险地图的每个格子设一个查询（目标类型 × 3 个方向 × 3 个距离段），读取相机图像 token，输出人可读的风险地图 p，以及放在解说之后的信念 token z，因此 z 改变的是路径点而不是文字。
特权教师，仅用相机的学生。教师是输入原始特权句子的同一个 VLA。学生的路径点学习跟随教师，风险地图学习仿真状态中的隐藏原因格子。测试时车辆只使用相机。

Slide: Proposed Method, Interpretable Belief Distillation. Stage 1 rewrites 'Decelerate due to the child' into 'Decelerate because the situation ahead cannot be fully verified from this view'; stage 2 trains a belief module that reads camera image tokens, outputs a belief token z and a risk map p, and is distilled from a teacher that reads the original label — **IBD overview.** Stage 1 keeps the action verb and rewrites the unseen cause. Stage 2 distills the privileged teacher's waypoints into a camera-only belief token z, readable as a risk map p. The risk map has 9 cells per object type (vehicle, pedestrian); its shading here is illustrative.IBD 전체 구조. 1단계는 행동 동사를 남기고 보이지 않는 원인만 바꿉니다. 2단계는 특권 교사의 경로점을 카메라만 보는 신념 토큰 z로 증류하고, 이를 위험 지도 p로 읽을 수 있게 합니다. 위험 지도는 대상 종류(차량, 보행자)마다 9칸이며, 그림의 음영은 예시입니다.IBD 总览。第 1 阶段保留动作动词，只改写看不见的原因。第 2 阶段把特权教师的路径点蒸馏到仅用相机的信念 token z 中，并以风险地图 p 的形式可读。风险地图按目标类型（车辆、行人）各 9 格；图中深浅仅为示意。

Slide: Belief Module, Reading Risk from the Camera. Cell queries attend over the image tokens; one head outputs the risk map p, another the belief token z; the risk map is supervised with the hidden-cause cell from privileged information — **Belief module inside the VLA.** One query per cell reads the image tokens; one head gives the risk map p (hidden-risk probability per cell), another the belief token z, placed after the commentary. The risk map learns from the hidden-cause cell in the privileged state (BCE), i.e. how often similar scenes hid a risk in that cell. Attention lines and shading are illustrative.VLA 안의 신념 모듈. 칸마다 하나인 질의가 이미지 토큰을 읽고, 한 헤드는 위험 지도 p(칸별 숨은 위험 확률)를, 다른 헤드는 해설 뒤에 붙는 신념 토큰 z를 냅니다. 위험 지도는 특권 상태의 숨은 원인 칸으로 학습하며(BCE), 비슷한 장면에서 그 칸에 숨은 위험이 있었던 비율을 배웁니다. 어텐션 선과 음영은 예시입니다.VLA 内部的信念模块。每个格子一个查询，读取图像 token；一个头输出风险地图 p（各格的隐藏风险概率），另一个头输出放在解说之后的信念 token z。风险地图以特权状态中的隐藏原因格子为目标（BCE），学习相似场景中该格子隐藏风险的比例。注意力连线和深浅仅为示意。

Closed-loop driving videos폐루프 주행 영상闭环驾驶视频

Closed-loop runs in CARLA. The lower panel or box shows the model's own commentary; dots are the predicted path and speed waypoints. In IBD clips, the 3×3 grids at the top right are the risk map drawn by the agent itself while driving.CARLA 폐루프 주행입니다. 아래 패널(또는 상자)은 모델이 직접 쓴 해설이고, 점은 예측 경로·속도 경로점입니다. IBD 영상의 오른쪽 위 3×3 격자는 주행 중 에이전트가 직접 그린 위험 지도입니다.CARLA 中的闭环行驶。下方面板（或方框）是模型自己生成的解说；圆点为预测的路径与速度路径点。IBD 视频右上角的 3×3 网格是智能体在行驶中自己绘制的风险地图。

IBD · vehicles approaching a junctionIBD · 교차로로 다가오는 차량IBD · 驶向路口的车辆As cross traffic approaches from the right, the far front-right vehicle cell lights up, and the commentary says to pay attention to the vehicle coming towards the junction. Meaning: the risk map gives a readable reason in the direction the risk comes from. It stays on once those cars are visible, so it marks risky directions rather than detecting hidden cars. Real time.오른쪽에서 교차 차량이 다가오자 오른쪽 앞 먼 거리의 차량 칸이 켜지고, 해설은 교차로로 오는 차량에 주의하라고 말합니다. 의의: 위험 지도는 위험이 오는 방향을 사람이 읽을 수 있는 이유로 보여 줍니다. 그 차들이 보인 뒤에도 켜져 있으므로, 숨은 차를 찾는다기보다 위험한 방향을 표시합니다. 실제 속도.当横向车辆从右侧驶近时，右前方远距离的车辆格子亮起，解说提醒注意驶向路口的车辆。意义：风险地图以人可读的方式指出风险来自哪个方向。这些车辆可见后它仍保持亮起，因此它标记的是危险方向，而不是在检测被遮挡的车辆。实时速度。

REWRITE vs. IBD · pedestrian behind a parked carREWRITE vs IBD · 주차 차량 뒤의 보행자REWRITE 与 IBD · 停放车辆后的行人A pedestrian steps out from behind a parked car. Both models name the pedestrian, slow down, stop, and finish the route. Meaning: in closed loop, too, the commentary and the action move together. In this version the pedestrian cells of the risk map had no training targets, so this stop comes with the commentary; pedestrian risk targets are the next step. 0.5× speed.주차된 차 뒤에서 보행자가 나옵니다. 두 모델 모두 보행자를 말하며 감속하고 정지한 뒤 경로를 마칩니다. 의의: 폐루프에서도 해설과 행동은 함께 움직입니다. 이번 버전에서는 위험 지도의 보행자 칸에 학습 정답이 없어서, 이 정지는 해설과 함께 일어난 것입니다. 보행자 위험 정답이 다음 단계입니다. 0.5배속.一名行人从停放的车辆后走出。两个模型都提到行人、减速、停车并完成路线。意义：在闭环中，解说与动作同样同步变化。本版本中风险地图的行人格子没有训练目标，因此这次停车是伴随解说发生的；行人风险目标是下一步。0.5 倍速。

Risk map activation위험 상황 해설과 신념토큰 추가 후 리스크 맵 활성화意义与下一步

pedestrian risk map보행자 위험 지도行人风险地图A sample of the same pedestrian scene: once the pedestrian cells have training targets, the front-right cells should light up like this while the pedestrian is still hidden behind the parked car. The real run is in the closed-loop section above. 0.5× speed.같은 보행자 장면의 실험 샘플입니다. 보행자 칸에 학습 정답이 생기면, 보행자가 아직 주차 차량 뒤에 숨어 있을 때 오른쪽 앞 칸이 이렇게 켜져야 합니다. 실제 주행의 폐루프 영상 입니다. 0.5배속.行人格子有了训练目标后，行人仍被停放车辆遮挡时，右前方的格子应像这样亮起。真实行驶见上方闭环视频。0.5 倍速。

Honest explanations are a safety property. In a driving VLA the commentary is also a command, so an explanation people can trust starts with sentences the camera can verify.
Privileged information is safety knowledge. IBD keeps it as a teacher signal during training instead of putting it into the words.
Two readable channels. IBD separates what the camera can verify (honest commentary) from where risk may come from (a camera-based risk map people can inspect).
Next. Risk targets the camera can learn (events inside the view a few seconds later), training targets for the pedestrian cells, and the same hindsight rule on real driving logs.

정직한 설명은 안전의 일부입니다. 주행 VLA에서 해설은 명령이기도 하므로, 믿을 수 있는 설명은 카메라로 검증할 수 있는 문장에서 시작합니다.
특권 정보는 안전 지식입니다. IBD는 이 정보를 문장에 넣는 대신, 학습 때 교사 신호로 씁니다.
읽을 수 있는 두 개의 통로. IBD는 카메라로 검증할 수 있는 것(정직한 해설)과 위험이 올 수 있는 곳(사람이 확인할 수 있는 카메라 기반 위험 지도)을 분리합니다.
다음 단계. 카메라로 배울 수 있는 위험 정답(몇 초 뒤 시야 안에서 실제로 일어난 사건), 보행자 칸의 학습 정답, 그리고 같은 사후 규칙을 실제 주행 로그에 적용하는 것입니다.

如实的解释本身就是安全属性。在驾驶 VLA 中，解说同时也是指令，因此值得信任的解释要从相机能够验证的句子开始。
特权信息是安全知识。IBD 不把它写进句子，而是在训练时作为教师信号使用。
两个可读的通道。IBD 把相机能验证的内容（如实的解说）与风险可能来自哪里（人可检查的、基于相机的风险地图）分开。
下一步。相机可以学习的风险目标（几秒后在视野内真实发生的事件）、行人格子的训练目标，以及把同一事后规则用于真实驾驶日志。

Related: Route-Guided CBF-QP Repair, a safety layer for robot VLA policies.관련 프로젝트: 로봇 VLA 정책용 안전 계층 Route-Guided CBF-QP Repair.相关项目：面向机器人 VLA 策略的安全层 Route-Guided CBF-QP Repair。