Point Cloud가 가졌던 한계와 그것을 해결해온 Model

https://blog.testworks.co.kr/3d-ai-data-point-cloud/
<참조 사이트>

3D 인공지능 데이터 Point Cloud (1) – Testworks

위 사이트를 참조하면 앞으로의 3D object detection, segmentation을 위한 Point Cloud를 활용하기 위해 그동안의 발전 방식이 잘 나와있다. 요약하자면 불과 몇년전 딥러닝 모델 동향을 살펴보면 Point Cloud 데이터를 활용한 사례를 보기가 힘들었다. 그 이유는 Point Cloud 데이터는 3D 공간상의 수많은 점들을 순서 없이 기록하는 방식으로 데이터가 저장되기 때문에 이들 점들간의 데이터 특성을 파악하기가 너무 어려워고 뿐만아니라 Point Cloud 데이터내 빈공간이 상당히 많아 불필요한 데이터로 학습이 진행되는 경우가 많았다. 이러한 한계점을 극복하여 나선 Point Cloud 데이터로 부터 유의미한 정보를 추출한 연구 방식은 PointNet 이라는 모델로 부터 시작되었다. 이 모델은 비정형적인 Point Cloud 데이터를 있는 그대로 Input으로 사용하고 이를 위해서 두가지 성질은 만족시켜야 한다고 말한다.
 
1. Permutation invariant
2. Rigid motion invariant
 
먼저 Permutation invariant는 인풋이 비정형이기 떄문에 네트워크 내에서는 데이터가 어떠한 순서로 오더라도 Output이 달라지면 안된다는 것이다. 이를 위해서 본 논문에서는 Max pooling을 통해 이를 해결했다고 한다.
두번째로 Rigid motion invariant는 transformation을 해도 Point들 간의 Distance와 direction은 그대로 유지되는 transform이여야 한다는 것이다. 이를 위해 본 논문에서는 spatial transformer network(STN)을 이용했다고 한다. 
자세한 사항은 논문을 더 파헤쳐 봐야겠지만 우선적으로 위 두가지 성질을 위와 같은 방식으로 만족시켜 비정형적인 PointCloud 데이터를 다루어 Object detection과 Semantic segmentation에 성공적인 결과를 도출했다는 것이다.
이는 'Point based method'로 Point cloud데이터를 있는 그대로 사용하는 방법론중 하나이다.
이외에도 Point cloud 데이터로 부터 격자 단위의 Feature Map을 생성해 이를 해석하는 'Grid based method' 방법론도 활발히 연구되어지고 있다. 이를 위한 모델로 VoxelNet,SECOND,PointPillar 등의 모델이 있다고 한다.
 
어쨋거나 PointCloud를 활용한 3D Modeling의 연구가 최근들어 활발히 진행되고있고 나또한 Point Cloud 데이터를 중심으로 연구를 진행해볼 생각이다.