Chan Park

Chan Park

AI researcher — vision-language-action models for driving and roboticsAI 연구자 — 자율주행·로봇을 위한 vision-language-action 모델AI 研究员 — 面向自动驾驶与机器人的 vision-language-action 模型

Submersivity: XR-Guided Underwater Debris Detection

TL;DR
  • Submerged garbage in Toronto's Peter Street Basin is hard to see. This system turns RC-submarine video into XR swim-goggle guidance.
  • A YOLOv8s detector finds debris, COLMAP + ArUco place it on a basin map, and a Vuzix HUD shows direction, distance and class.
  • My part: the detector (TACO mAP50 0.27 → 0.49, multi-class YOLOv8n → single-class YOLOv8s; 92.1% precision) and the Android HUD receiver.
  • 토론토 Peter Street Basin의 물속 쓰레기는 잘 보이지 않습니다. 이 시스템은 RC 잠수정 영상을 XR 수경 안내로 바꿉니다.
  • YOLOv8s가 쓰레기를 탐지하고, COLMAP + ArUco가 위치를 수조 지도에 올리며, Vuzix HUD가 방향·거리·클래스를 보여 줍니다.
  • 담당: 탐지 모델(다중 클래스 YOLOv8n → 단일 클래스 YOLOv8s, TACO mAP50 0.27 → 0.49, 정밀도 92.1%)과 안드로이드 HUD 수신 앱.
  • 多伦多 Peter Street Basin 的水下垃圾难以看清。本系统把 RC 潜艇视频转成 XR 泳镜上的引导。
  • YOLOv8s 检测垃圾，COLMAP + ArUco 将其标到水池地图上，Vuzix HUD 显示方向、距离和类别。
  • 我的部分：检测器（多类 YOLOv8n → 单类 YOLOv8s，TACO mAP50 0.27 → 0.49；精确率 92.1%）和 Android HUD 接收端。

Submersivity: XR-Guided Garbage Detection with an RC Submarine for Peter Street Basin Cleanup

Chris McGale1, Michel A. Herrera Viyella1, Chan Park2, Daniel Bros, Alexander Vicol1, Steve Mann1,*

1Department of Electrical and Computer Engineering, University of Toronto2Department of Mechanical and Industrial Engineering, University of Toronto

* Corresponding author* Corresponding author* Corresponding author

IEEE International Conference on Mechatronics and Automation (ICMA) 2026

Project page프로젝트 페이지项目主页Code코드代码

Mann Lab, University of Toronto · Jan.–Jul. 2026 · Built jointly with Chris McGale and Michel A. Herrera Viyella · My part: the debris detector and the native Android XR HUD receiver.Mann Lab, University of Toronto · 2026년 1월 – 7월 · Chris McGale, Michel A. Herrera Viyella와 공동 개발 · 담당: 쓰레기 탐지 모델, 네이티브 안드로이드 XR HUD 수신 앱.Mann Lab, University of Toronto · 2026年1月–7月 · 与 Chris McGale、Michel A. Herrera Viyella 共同完成 · 我的部分：垃圾检测器和原生 Android XR HUD 接收端。

0.27 → 0.49mAP50 on the TACO val split (multi-class YOLOv8n → single-class YOLOv8s)TACO 검증 세트 mAP50 (다중 클래스 YOLOv8n → 단일 클래스 YOLOv8s)TACO 验证集 mAP50（多类 YOLOv8n → 单类 YOLOv8s）
92.1%final detector precision (combined validation set)최종 탐지 모델 정밀도 (통합 검증 세트)最终检测器精确率（合并验证集）
12,177terrestrial + underwater images for fine-tuning미세조정용 지상 + 수중 쓰레기 이미지用于微调的陆地 + 水下垃圾图像
796 / 823survey frames registered by COLMAP for the basin map수조 지도용으로 COLMAP이 정합한 조사 프레임COLMAP 为水池地图配准的勘测帧

SSituation

  • Peter Street Basin is a roughly 60 m × 30 m outdoor safety basin on Toronto's waterfront, linked to Lake Ontario.
  • Cleanup means finding submerged debris. Light attenuation, scattering, particles and colour shift hide it.
  • A swimmer has no map of where the garbage is.

S상황

  • Peter Street Basin은 토론토 호숫가의 약 60 m × 30 m 야외 안전 수조로, 온타리오 호수와 이어져 있습니다.
  • 청소하려면 물속 쓰레기를 찾아야 합니다. 빛의 감쇠, 산란, 부유물, 색 왜곡이 물체를 가립니다.
  • 수영하는 사람에게는 쓰레기 위치를 알려 줄 지도가 없습니다.

S情境

  • Peter Street Basin 是多伦多湖滨一处约 60 m × 30 m 的户外安全水池，与安大略湖相连。
  • 清理需要找到水下垃圾，但光衰减、散射、悬浮颗粒和色偏会让物体难以看清。
  • 游泳者也没有标出垃圾位置的地图。
Aerial photo of Peter Street Basin in winter, surrounded by high-rise buildings
Peter Street Basin, Toronto (aerial view, from the paper's site figure).토론토 Peter Street Basin 항공 사진 (논문 현장 그림 중 일부).多伦多 Peter Street Basin 航拍图（取自论文的现场图）。

TTask

  • Turn underwater video into guidance a swimmer can act on.
  • Detect debris from a small RC submarine's camera and place each detection on a basin map. Show the nearest target on XR swim goggles.
  • My part in the team: the debris detector and the goggle-side HUD receiver.

T과제

  • 수중 영상을 수영하는 사람이 바로 쓸 수 있는 안내로 바꾼다.
  • 소형 RC 잠수정 카메라로 쓰레기를 탐지하고, 탐지 위치를 수조 지도에 올린다. 가장 가까운 목표를 XR 수경에 보여 준다.
  • 팀 내 담당: 쓰레기 탐지 모델과 고글 쪽 HUD 수신 앱.

T任务

  • 把水下视频转成游泳者可直接使用的引导信息。
  • 用小型 RC 潜艇的摄像头检测垃圾，并把每个检测结果标到水池地图上；在 XR 泳镜上显示最近的目标。
  • 我在团队中的部分：垃圾检测器和泳镜端 HUD 接收端。
Pipeline: design RC submarine, acquire underwater frames, detect garbage, localize and map the basin, display location on XR goggles
Fig. 2. End-to-end pipeline: RC submarine design, underwater frame capture, garbage detection, basin localization and mapping, XR goggle display.그림 2. 전체 파이프라인: RC 잠수정 설계, 수중 프레임 획득, 쓰레기 탐지, 수조 위치 추정·지도화, XR 고글 표시.图 2. 端到端流程：RC 潜艇设计、水下帧采集、垃圾检测、水池定位与建图、XR 泳镜显示。

AAction

  • Sensing: an open-source ESP-DIVE RC submarine with a XIAO ESP32-S3 camera streams frames over Wi-Fi to a laptop for detection.
  • Detection (my part): a cleanup swimmer does not need “bottle” vs. “can”. So I merged all debris categories into one “garbage” class. Multi-class YOLOv8n → single-class YOLOv8s raised TACO val mAP50 from 0.27 to 0.49. The final YOLOv8s was fine-tuned on 12,177 combined terrestrial and underwater garbage images.
  • Localization: COLMAP structure-from-motion plus ArUco markers on the basin walls register camera poses, and thus detections, in basin coordinates.
  • XR HUD receiver (my part): a native Android app on Vuzix Smart Swim goggles shows the nearest target. It displays a compass arrow, distance, class and a basin mini-map. I built the receiving side: byte-stream packet reassembly, 500 ms stale-data detection, auto-reconnect and a link-quality indicator.

A행동

  • 수중 촬영: 오픈소스 ESP-DIVE RC 잠수정의 XIAO ESP32-S3 카메라가 Wi-Fi로 노트북에 프레임을 보내고, 노트북에서 탐지합니다.
  • 탐지 (담당): 쓰레기를 줍는 사람에게 병과 캔의 구분은 필요 없습니다. 그래서 모든 종류를 “쓰레기” 한 클래스로 합쳤습니다. 다중 클래스 YOLOv8n → 단일 클래스 YOLOv8s로 TACO 검증 mAP50이 0.27에서 0.49로 올랐습니다. 최종 YOLOv8s는 지상·수중 쓰레기 이미지 12,177장으로 미세조정했습니다.
  • 위치 추정: COLMAP SfM(Structure-from-Motion)과 수조 벽의 ArUco 마커로 카메라 위치, 즉 탐지 위치를 수조 좌표계에 정합합니다.
  • XR HUD 수신 앱 (담당): Vuzix Smart Swim 고글의 네이티브 안드로이드 앱이 가장 가까운 목표를 보여 줍니다. 나침반 화살표, 거리, 클래스, 수조 미니맵을 표시합니다. 저는 수신부를 만들었습니다: 바이트 스트림 패킷 재조립, 500 ms 오래된 데이터 감지, 자동 재연결, 링크 품질 표시.

A行动

  • 水下采集：开源 ESP-DIVE RC 潜艇搭载 XIAO ESP32-S3 摄像头，经 Wi-Fi 把画面传到笔记本电脑上做检测。
  • 检测（我的部分）：清理垃圾的游泳者无需区分瓶子和罐子，因此我把所有垃圾类别合并为单一“垃圾”类。从多类 YOLOv8n 改为单类 YOLOv8s 后，TACO 验证集 mAP50 从 0.27 升至 0.49。最终的 YOLOv8s 在 12,177 张陆地与水下垃圾图像上微调。
  • 定位：COLMAP 运动恢复结构（SfM）结合池壁上的 ArUco 标记，把相机位姿及检测结果配准到水池坐标系。
  • XR HUD 接收端（我的部分）：Vuzix Smart Swim 泳镜上的原生 Android 应用显示最近的目标，包括罗盘箭头、距离、类别和水池小地图。我负责接收端：字节流分包重组、500 ms 过期数据检测、自动重连和链路质量指示。
Two underwater frames with debris detections: packaging under turbid light and a small distant object near the basin floor
Fig. 5. Detections during deployment in the basin: packaging-like debris in turbid light (left) and a small, distant object near the floor (right).그림 5. 수조 현장 탐지 예시: 탁한 조명 속 포장재 쓰레기(왼쪽), 바닥 근처의 작고 먼 물체(오른쪽).图 5. 水池实地部署中的检测：浑浊光线下的包装类垃圾（左），以及池底附近一个小而远的物体（右）。
Map of Peter Street Basin with the camera trajectory around the perimeter and accumulated garbage detections
Fig. 4. Survey path around the basin perimeter, with accumulated detections in basin coordinates. The trajectory comes from the COLMAP reconstruction of 796 registered frames. Points are frame-level detection events, not de-duplicated objects.그림 4. 수조 둘레를 따라간 조사 경로와, 수조 좌표계에 누적된 탐지 결과. 경로는 정합된 796개 프레임의 COLMAP 복원에서 얻었습니다. 점은 프레임 단위 탐지 이벤트이며, 중복 제거된 물체 수가 아닙니다.图 4. 沿水池周边的勘测路径，以及在水池坐标系中累积的检测结果。轨迹来自 796 个已配准帧的 COLMAP 重建。图中的点是逐帧检测事件，并非去重后的物体。
XR HUD on Vuzix Smart Swim goggles: compass arrow, 4.1 m range, class OTHER, and a mini map of Peter Street Basin
Fig. 6. The XR HUD on the goggles: compass arrow to the nearest target, range, class label, and a reduced basin map with registered detections.그림 6. 고글의 XR HUD: 가장 가까운 목표를 가리키는 나침반 화살표, 거리, 클래스, 탐지 위치가 표시된 수조 미니맵.图 6. 泳镜上的 XR HUD：指向最近目标的罗盘箭头、距离、类别标签，以及标有已配准检测的缩略水池地图。

RResult

  • 92.1% precision on the combined validation set for the single-class detector, fine-tuned on 12,177 images.
  • Multi-class YOLOv8n → single-class YOLOv8s: TACO mAP50 0.27 → 0.49.
  • The basin map registered 796 of 823 survey frames, giving a basin-aligned trajectory for detections.
  • Preliminary field runs: debris detected in poor underwater visibility, with live direction and range cues on the goggles.
  • Published at IEEE ICMA 2026 (built jointly with the first two authors).

R결과

  • 12,177장으로 미세조정한 단일 클래스 탐지 모델: 통합 검증 세트 정밀도 92.1%.
  • 다중 클래스 YOLOv8n → 단일 클래스 YOLOv8s: TACO mAP50 0.27 → 0.49.
  • 수조 지도가 조사 프레임 823개 중 796개를 정합해, 탐지가 쌓이는 수조 기준 경로를 만들었습니다.
  • 예비 현장 실험: 탁한 수중 환경에서도 쓰레기를 탐지했고, 고글에 방향·거리 안내를 실시간 표시했습니다.
  • IEEE ICMA 2026 게재 (제1·2저자와 공동 개발).

R结果

  • 单类检测器在 12,177 张图像上微调后，合并验证集精确率 92.1%。
  • 多类 YOLOv8n → 单类 YOLOv8s：TACO mAP50 0.27 → 0.49。
  • 水池地图配准了 823 帧中的 796 帧勘测画面，得到与水池对齐、可累积检测的轨迹。
  • 初步实地测试：在水下能见度差的条件下检测到垃圾，并在泳镜上实时显示方向和距离提示。
  • 发表于 IEEE ICMA 2026（与前两位作者共同完成）。