Object Detection에서 Depth Cam/LiDAR/Camera 별 Coordinate System 정리

이번 포스팅에서는 3D Object Detection 문제를 해결하는 생태계에서 사용하는 Coordinate System에 대해 정리하겠습니다. 데이터를 해석하기 위해 알아야 하는 굉장히  중요하고 기본이 되는 개념입니다. MMDetection3D에서 제공하는 Tutorial을 바탕으로 작성하였습니다. 

Coordinate System이 중요한 이유

데이터를 수집하는 장비마다 사용하는 좌표계(Coordinate System)가 다르기 때문에, 그에 따라 수집된 데이터를 해석하고 활용해야 합니다. 또한 구축된 Datasets(KITTI, Waymo 등)마다 다른 Data format을 사용하고 있어서, 이에 대한 정리가 중요합니다. 이번 포스팅에서는 LiDAR, Camera, Depth Camera 3가지 장비의 Coordinate System에 대해 설명드리겠습니다. 

LiDAR's Coordinate System

보통 자율주행 차량의 경우, Main LiDAR를 Roof에 장착하게 되는데 위와 같은 좌표축을 갖습니다. 즉 차량 기준 전방에 위치한 물체에 의해 반사된 Point는 x 값을 양수로 갖습니다. 반면 Camera와 Depth Camera의 좌표축은 이와 다르기 때문에, 동일하게 전방을 향하도록 설치하더라도 다르게 해석해야 합니다.

 

Coordinate System 비교

Depth Camera, LiDAR, Camera의 Coordinate System을 비교하면 아래와 같습니다. 간단히 설명하면 장비의 앞쪽에 높인 물체에 대한 정보를 Depth Camera는 양수 y값으로 해석하고 Camera는 양수 z값을 갖는다고 해석합니다.

---

(Camera 좌표축에 대한 자세한 내용은 아래 블로그를 참고하면 됩니다.)

https://darkpgmr.tistory.com/77

[영상 Geometry #1] 좌표계

---

Coordinate System별 Bounding Box 해석 방법

3D Object Detection에서 물체는 Bouding Box로 표현하며 (x, y, z, dx, dy, dz, r) 값을 갖습니다. 그리고 각 Coordinate System에서 Box Dimensions(dx, dy, dz), yaw angle(r)을 어떻게 해석하는지 정의할 수 있습니다. 

 

Yaw angle //

최근 Datasets은 전부, Annotation에 Pitch angle과 Roll angle을 포함시키지 않습니다. 따라서 Box prediction, Box overlap 계산(NMS 알고리즘)과 같은 상황에서 Yaw angle만 고려하면 됩니다. 

위에서 본 바와 같이 x, ,y, z 축은 장비마다 다르기 때문에, 3D Object Detection은 gravity axis(중력 축)을 기준으로 삼습니다. gravity axis에 수직이고 Plane Ⅱ에 포함된 축의 방향을 reference direction라고 정의합니다. 

 

- 3개의 Coordinate System은 모두 Righ-hanede Coordinate System, 오른손 법칙을 사용

- Yaw angle이 증가하는 방향은 gravity axis의 counter-clockwise (반시계 방향)

- 3개의 Coordinate System 모두, 항상 x축의 양의 방향이 reference direction이다. 

- Yaw angle이 0이면, Box direction과 x축이 평행(parallel) 하다.

 

Box Dimensions 

Box direction은 항상 dx와 parallel 합니다.

---

https://mmdetection3d.readthedocs.io/en/latest/tutorials/coord_sys_tutorial.html

Tutorial 6: Coordinate System — MMDetection3D 1.0.0rc3 documentation