Route-Guided CBF-QP Repair: Safe Obstacle Bypass for VLA Robot Policies
- A CBF-QP safety filter (AEGIS) keeps each VLA action safe, but can push the arm off its task path with no way back.
- Our repair detects a blocked path and adds an entry–exit–rejoin route as soft guidance. Safety stays a hard constraint.
- SafeLIBERO, 4-suite average vs. AEGIS: collision avoidance 64.7% → 69.1%, SafeSuccess 47.2% → 49.7% (Object suite: 56.3% → 76.3%).
- CBF-QP 안전 필터(AEGIS)는 VLA의 매 동작을 안전하게 하지만, 팔을 작업 경로 밖으로 밀어내고 돌아올 길은 주지 않습니다.
- 제안 방법은 막힌 경로를 감지해 진입–이탈–재합류 경로를 소프트 가이던스로 더합니다. 안전은 하드 제약으로 유지합니다.
- SafeLIBERO 4개 스위트 평균, AEGIS 대비: 충돌 회피율 64.7% → 69.1%, SafeSuccess 47.2% → 49.7% (Object 스위트 56.3% → 76.3%).
- CBF-QP 安全过滤器（AEGIS）让 VLA 的每个动作都安全，却可能把机械臂推离任务路径且无法返回。
- 本文方法检测受阻路径，把进入–离开–重新汇入路径作为软引导加入；安全仍是硬约束。
- SafeLIBERO 4 个套件平均，对比 AEGIS：避碰率 64.7% → 69.1%，SafeSuccess 47.2% → 49.7%（Object 套件 56.3% → 76.3%）。
SSituation
- VLA models such as π0.5 turn camera images and an instruction into robot-arm motions.
- They solve the task well, but nothing in training says “avoid obstacles”. A straight path can sweep through a wine bottle.
- A common fix is a safety filter. AEGIS solves a CBF-QP (control barrier function + quadratic program) at every step.
- It picks the action closest to the VLA's that never enters the obstacle, a hard constraint.
- That stops the immediate collision, but only pushes the arm away. It never plans a way around, or back to the task.
- The arm can hover at the obstacle boundary, drift into unseen states, and still collide or fail.
S상황
- π0.5 같은 VLA 모델은 카메라 영상과 지시문을 받아 로봇 팔 동작을 출력합니다.
- 작업은 잘 하지만, 학습에 “장애물을 피하라”는 신호가 없습니다. 곧장 가는 경로가 와인병을 쓸고 지나갈 수 있습니다.
- 흔한 해결책은 안전 필터입니다. AEGIS는 매 스텝 CBF-QP(제어 장벽 함수 + 이차 계획법)를 풉니다.
- 장애물 안으로 들어가지 않는다는 하드 제약 아래, VLA 동작에 가장 가까운 동작을 고릅니다.
- 당장의 충돌은 막지만 팔을 밀어낼 뿐입니다. 돌아갈 길도, 작업으로 복귀할 길도 정하지 않습니다.
- 그래서 팔이 경계에서 맴돌거나 처음 보는 상태로 흘러가, 결국 충돌하거나 실패할 수 있습니다.
S情境
- π0.5 等 VLA 模型根据相机图像和指令输出机械臂动作。
- 它们擅长完成任务，但训练中没有“避开障碍物”的信号。直奔目标的路径可能扫倒途中的酒瓶。
- 常见做法是加一个安全过滤器。AEGIS 每一步求解一个 CBF-QP（控制屏障函数 + 二次规划）。
- 它在“不得进入障碍物”的硬约束下，选出最接近 VLA 原动作的动作。
- 这能挡住眼前的碰撞，但只会把机械臂推开，不规划如何绕过障碍、如何回到任务。
- 机械臂可能在障碍边界徘徊，或漂移到没见过的状态，最终仍会碰撞或失败。
TTask
- Keep the CBF-QP filter's hard safety guarantee.
- Add a recoverable route: go around the obstacle, then rejoin the task trajectory.
- Stay post-hoc and plug-in: VLA weights untouched, no retraining.
T과제
- CBF-QP 필터의 하드 안전 보장은 그대로 유지한다.
- 복귀 가능한 경로를 더한다: 장애물을 돌아간 뒤 작업 궤적에 재합류.
- 사후(post-hoc) 플러그인으로 동작한다: VLA 가중치 고정, 재학습 없음.
T任务
- 保留 CBF-QP 过滤器的硬安全保证。
- 增加一条可恢复的路径：绕过障碍物，再重新汇入任务轨迹。
- 以事后插件形式工作：不改 VLA 权重，无需重新训练。
AAction
As first author, I designed the repair module and the ablation that isolates route scoring and rejoin guidance.
- 1. Detect a blocked path. Summing the VLA's short action chunk gives the arm's upcoming path. Each obstacle is an inflated ellipsoid. The path is blocked if any predicted point falls inside.
- 2. Generate and score routes. Two candidates (left, right), each with entry, exit and rejoin waypoints. The score rewards clearance and progress along the VLA path. It penalizes detour length and deviation (fixed weights in all experiments).
- 3. Route-guided CBF-QP. The QP keeps its usual objective (stay close to the VLA action) and the hard CBF constraint. One soft term pulls the arm toward the active waypoint. It is on only while the path is blocked; otherwise the solver is the standard CBF-QP.
- 4. Rejoin. The arm visits entry, exit, then rejoin. At rejoin, guidance switches off and normal VLA execution resumes.
- Fair comparison. AEGIS and ours share the same π0.5 backbone and weights, so the gap isolates route guidance. Simulated SafeLIBERO: 4 suites (Spatial, Goal, Object, Long), 10 episodes per task.
A행동
제1저자로서 복구 모듈과, 경로 점수화·재합류 가이던스의 효과를 분리하는 제거 실험을 설계했습니다.
- 1. 막힌 경로 감지. VLA의 짧은 액션 청크를 누적하면 팔이 곧 지나갈 경로가 나옵니다. 장애물은 여유를 둔 타원체로 모델링합니다. 예측 점 하나라도 그 안에 들어가면 막힌 경로입니다.
- 2. 경로 생성과 점수화. 진입·이탈·재합류 웨이포인트로 된 좌/우 후보 두 개를 만듭니다. 장애물 여유 거리와 VLA 경로상 진척은 가점, 우회 길이와 경로 이탈은 감점입니다(모든 실험에서 가중치 고정).
- 3. 경로 유도 CBF-QP. QP는 원래 목표(VLA 동작에 가깝게)와 하드 CBF 제약을 유지합니다. 현재 웨이포인트로 팔을 당기는 소프트 항 하나만 더합니다. 이 항은 경로가 막혔을 때만 켜지며, 그 외에는 표준 CBF-QP와 같습니다.
- 4. 재합류. 팔은 진입 → 이탈 → 재합류 순으로 이동합니다. 재합류 지점에 닿으면 가이던스를 끄고 일반 VLA 실행으로 돌아갑니다.
- 공정한 비교. AEGIS와 제안 방법은 같은 π0.5 백본과 가중치를 씁니다. 따라서 차이는 경로 가이던스의 효과입니다. 시뮬레이션 벤치마크 SafeLIBERO 4개 스위트(Spatial, Goal, Object, Long), 작업당 10 에피소드.
A行动
作为第一作者，我设计了修复模块，以及分离路径评分与重新汇入引导作用的消融实验。
- 1. 检测路径受阻。累加 VLA 的短动作块，得到机械臂即将经过的路径。每个障碍物建模为膨胀后的椭球。只要有一个预测点落入其中，即判定路径受阻。
- 2. 生成并评分路径。生成左、右两条候选路径，各含进入、离开、重新汇入三个路径点。障碍间距和沿 VLA 路径的进展加分，绕行长度和偏离程度扣分（所有实验权重固定）。
- 3. 路径引导 CBF-QP。QP 保留原目标（贴近 VLA 动作）和硬 CBF 约束，只增加一个把机械臂拉向当前路径点的软项。该项仅在路径受阻时启用，其余时间与标准 CBF-QP 完全相同。
- 4. 重新汇入。机械臂依次经过进入点、离开点和汇入点。到达汇入点后关闭引导，恢复正常 VLA 执行。
- 公平对比。AEGIS 与本文方法使用相同的 π0.5 骨干网络和权重，差异只来自路径引导。在仿真基准 SafeLIBERO 的 4 个套件（Spatial、Goal、Object、Long）上评估，每个任务 10 个 episode。
Internship context (LG Electronics Toronto AI Lab, Jan.–Aug. 2026). I also built a MuJoCo / RoboCasa simulation pipeline for a Franka arm with safe and unsafe scenes. I collected VR-teleoperated demonstrations and expanded them with MimicGen. I LoRA fine-tuned VLA backbones (OpenVLA, π0.5, DreamVLA, DD-VLA) with multi-GPU distributed training on a Slurm HPC cluster. Done during a graduate visiting studentship at the University of Toronto (CARTE program), in partnership with LG Electronics Toronto AI Lab.
인턴십 맥락 (LG Electronics Toronto AI Lab, 2026년 1월 – 8월). Franka 로봇 팔용 MuJoCo / RoboCasa 시뮬레이션 파이프라인(안전/위험 장면)도 구축했습니다. VR 원격조작으로 시연 데이터를 모으고 MimicGen으로 확장했습니다. Slurm HPC 클러스터에서 멀티 GPU 분산 학습으로 VLA 백본(OpenVLA, π0.5, DreamVLA, DD-VLA)을 LoRA 미세조정했습니다. University of Toronto CARTE 프로그램의 대학원 방문 연구 과정에서, LG Electronics Toronto AI Lab과 협력해 수행했습니다.
实习背景（LG Electronics Toronto AI Lab，2026年1月–8月）。我还为 Franka 机械臂搭建了 MuJoCo / RoboCasa 仿真流程（安全/危险场景）。我用 VR 遥操作采集示范数据，并用 MimicGen 扩充。我在 Slurm HPC 集群上以多 GPU 分布式训练，对 VLA 骨干（OpenVLA、π0.5、DreamVLA、DD-VLA）做 LoRA 微调。这些工作完成于我经 CARTE 项目在 University of Toronto 做研究生访问研究期间，与 LG Electronics Toronto AI Lab 合作进行。
Rollouts: AEGIS vs. route guidance롤아웃 비교: AEGIS vs. 경로 가이던스执行对比：AEGIS vs. 路径引导
Same task, obstacle and π0.5 policy. Selected cases where AEGIS collides and route guidance finishes without collision.같은 작업, 같은 장애물, 같은 π0.5 정책입니다. AEGIS는 충돌하고 경로 가이던스는 충돌 없이 끝낸 사례를 골랐습니다.相同任务、相同障碍物、相同 π0.5 策略。所选案例中 AEGIS 发生碰撞，而路径引导无碰撞完成任务。
RResult
- 4-suite average vs. AEGIS: better on all three success metrics. Collision avoidance 64.69% → 69.06%, task success 62.81% → 65.00%, SafeSuccess 47.19% → 49.69%.
- Largest gain: Object suite, where avoidance must be coordinated with object manipulation. Collision avoidance 56.25% → 76.25%, task success 67.50% → 72.50%, SafeSuccess 41.25% → 55.00%.
- Not uniform: AEGIS is better on the Goal suite and on Long-suite collision avoidance (Table I).
- Both ideas matter (ablation): SafeSuccess drops to 47.92% without rejoin guidance and to 48.15% without route scoring (full model: 49.69%). Bypassing alone is not enough.
- Cost: longer paths. Average execution steps rise from 109.87 to 118.45, spent on bypass and rejoin.
- Accepted as a first-author paper at the RSS 2026 Workshop on Trustworthy Embodied Foundation Models.
R결과
- 4개 스위트 평균, AEGIS 대비: 세 가지 성공 지표 모두 향상. 충돌 회피율 64.69% → 69.06%, 작업 성공률 62.81% → 65.00%, SafeSuccess 47.19% → 49.69%.
- 최대 향상: Object 스위트. 장애물 회피와 물체 조작을 함께 조율해야 하는 스위트입니다. 충돌 회피율 56.25% → 76.25%, 작업 성공률 67.50% → 72.50%, SafeSuccess 41.25% → 55.00%.
- 모든 스위트에서 앞서지는 않음: Goal 스위트와 Long 스위트 충돌 회피율은 AEGIS가 더 높습니다(표 I).
- 두 아이디어 모두 필요(제거 실험): 재합류 가이던스를 빼면 SafeSuccess 47.92%, 경로 점수화를 빼면 48.15%입니다(전체 모델 49.69%). 돌아가기만으로는 부족합니다.
- 대가: 경로가 길어집니다. 평균 실행 스텝이 109.87에서 118.45로 늘었고, 우회와 재합류에 쓰였습니다.
- RSS 2026 Workshop on Trustworthy Embodied Foundation Models에 제1저자 논문으로 채택되었습니다.
R结果
- 4 个套件平均，对比 AEGIS：三项成功指标全部提升。避碰率 64.69% → 69.06%，任务成功率 62.81% → 65.00%，SafeSuccess 47.19% → 49.69%。
- 提升最大：Object 套件。该套件需要同时协调避障与物体操作。避碰率 56.25% → 76.25%，任务成功率 67.50% → 72.50%，SafeSuccess 41.25% → 55.00%。
- 并非全面领先：在 Goal 套件和 Long 套件避碰率上，AEGIS 更好（表 I）。
- 两个设计缺一不可（消融实验）：去掉重新汇入引导，SafeSuccess 降至 47.92%；去掉路径评分，降至 48.15%（完整模型 49.69%）。只绕开障碍还不够。
- 代价：路径更长。平均执行步数从 109.87 增至 118.45，多出的步数用于绕行和重新汇入。
- 以第一作者论文被 RSS 2026 Workshop on Trustworthy Embodied Foundation Models 接收。
Table I. SafeLIBERO results (same π0.5 backbone)표 I. SafeLIBERO 결과 (동일한 π0.5 백본)表 I. SafeLIBERO 结果（相同 π0.5 骨干网络）
| Method방법方法 | Metric지표指标 | Spatial | Goal | Object | Long | Average평균平均 |
|---|---|---|---|---|---|---|
| AEGIS | CAR (%) ↑ | 63.75 | 83.75 | 56.25 | 55.00 | 64.69 |
| AEGIS | TSR (%) ↑ | 60.00 | 85.00 | 67.50 | 38.75 | 62.81 |
| AEGIS | SafeSuccess (%) ↑ | 52.50 | 73.75 | 41.25 | 21.25 | 47.19 |
| AEGIS | ETS ↓ | 85.61 | 104.33 | 67.68 | 181.85 | 109.87 |
| Ours제안 방법本文方法 | CAR (%) ↑ | 66.25 | 81.25 | 76.25 | 52.50 | 69.06 |
| Ours제안 방법本文方法 | TSR (%) ↑ | 65.00 | 80.00 | 72.50 | 42.50 | 65.00 |
| Ours제안 방법本文方法 | SafeSuccess (%) ↑ | 53.75 | 67.50 | 55.00 | 22.50 | 49.69 |
| Ours제안 방법本文方法 | ETS ↓ | 91.20 | 129.50 | 65.10 | 188.00 | 118.45 |
CAR: collision avoidance rate; TSR: task success rate; SafeSuccess: task completed without collision; ETS: execution time steps. Bold = the better of the two methods per column (paper's Table I). Ours leads on average CAR, TSR and SafeSuccess. AEGIS leads on the Goal suite and Long-suite CAR, and uses fewer steps on average.CAR: 충돌 회피율, TSR: 작업 성공률, SafeSuccess: 충돌 없는 작업 완료, ETS: 실행 스텝 수. 굵은 글씨 = 열별로 두 방법 중 더 나은 값(논문 표 I). 제안 방법은 CAR·TSR·SafeSuccess 평균에서 앞섭니다. AEGIS는 Goal 스위트와 Long 스위트 CAR에서 앞서고, 평균 스텝 수가 더 적습니다.CAR：避碰率；TSR：任务成功率；SafeSuccess：无碰撞完成任务；ETS：执行时间步数。粗体 = 每列中两种方法里较好的值（论文表 I）。本文方法在 CAR、TSR、SafeSuccess 平均值上领先。AEGIS 在 Goal 套件和 Long 套件 CAR 上领先，平均步数也更少。
Table II. Ablation (averages over the 4 suites)표 II. 제거 실험 (4개 스위트 평균)表 II. 消融实验（4 个套件平均）
| Path경로路径 | Gate게이트门控 | Score점수评分 | Rejoin재합류重新汇入 | CAR (%) | TSR (%) | SafeSucc. (%) | ETS |
|---|---|---|---|---|---|---|---|
| × | × | × | × | 64.69 | 62.81 | 47.19 | 109.87 |
| ✓ | ✓ | ✓ | × | 67.12 | 63.95 | 47.92 | 112.50 |
| ✓ | ✓ | × | ✓ | 65.88 | 63.10 | 48.15 | 114.12 |
| ✓ | ✓ | ✓ | ✓ | 69.06 | 65.00 | 49.69 | 118.45 |
Row 1 is local CBF-QP repair (AEGIS): no blocked-path detection, route scoring or rejoin. The full model (last row) has the best average CAR, TSR and SafeSuccess.1행은 막힌 경로 감지·경로 점수화·재합류가 없는 국소 CBF-QP 복구(AEGIS)입니다. 전체 모델(마지막 행)이 CAR·TSR·SafeSuccess 평균에서 가장 높습니다.第 1 行为局部 CBF-QP 修复（AEGIS），不含受阻路径检测、路径评分和重新汇入。完整模型（最后一行）的平均 CAR、TSR 和 SafeSuccess 最高。
BibTeX
@inproceedings{park2026routeguided,
title = {Route-Guided {CBF-QP} Repair for Safe Vision-Language-Action Models},
author = {Park, Chan and Hong, Sunwoo and Kim, Kirak and Park, Yoonjeong
and Olson, Alexander W. and Pesaranghader, Ali},
booktitle = {RSS 2026 Workshop on Trustworthy Embodied Foundation Models},
year = {2026}
}