NeRF 라는 정말 3D Representation 분야에서 혁신적인 개념이 등장했다. 2020년에 처음 출시되어 꾸준히 하루에 한개씩 논문이 나올만큼 3D Vision 분야에서 뜨거운 감자 같은 주제이니 반드시 알아 두어야 겠다고 생각하여 리뷰를 하고자 한다. 1. INTRODUCTION 기존에 3D Representation 방식에서 많이 사용되어지는 방법은 Discrete Representation 방식이며 주로 Voxel,PointCloud, Mesh등으로 많이 표현되었다. NeRF 는 일반 2D 카메라를 이용해서 카메라로 인해 훼손된 빛에 의한 손실과 깊이정보를 복원하여 3D Representation을 하는 기술을 말한다. MLP에 학습시킬 입력으로써 카메라 시점 View Direction (..

Contact-GraspNet: Efficient 6-DoF Grasp Generation in Cluttered Scenes 논문리뷰를 진행해보고자 한다. 로봇 Grasping Task에서 제한되지 않고 어떤 환경에서도 물체를 잘 잡는것이 중요하다. 그러기 위해서 필요한 요구사항들은 먼저 모든 잠재적 그립을 찾고 camera와 object poses에 불변 하는 6-DOF를(3DOF- 자세 3DOF- 위치) 찾는 것이 중요하다. 그리고 둘째로 로봇이 충격받지 않고 모든 환경에서도 충돌을 피할 수 있도록 Collision-free가 보장되어야한다. 세번째로 운동학적으로 잡을 수 있는 grasp 포인트의 조밀함을 말하는 높은수준의 Dense Covergage가 필요하다. 마지막으로 빠른 속도까지 포함하여 ..

3D Localization(RGB-D 이미지 상에서 물체의 위치와 영역파악) 3가지 방법론 존재 1. Tradional Methods => RGB-D -> 3D sliding boxes -> 3D descriptors -> Use tranined classifiers => RGB-D -> 3D points cloud -> 3D Contours -> Clustring 2. RGB-Detection Combined Methods => RGB-D -> 2D detction results -> Related 3D regions -> Compute 3D boiunding boxes ex) FrustumConvNet , PointRCNN, VoteNet => RGB-D -> 2D segmentation resul..

앞서 1탄에서 FPN과 RPN 의 기능에 대해서 잘 알아보았고 이제 마지막으로 ROI Head를 설명해보고 아키텍쳐에 대한 기본설명을 마치려고 한다. ROI Head에서는 FPN Featuremap(P2~P5) 그리고 Region proposal box 그리고 Ground truth box를 입력으로 사용하게된다. 앞서 RPN 에서는 피쳐맵을 p~p6까지 사용하였지만 ROI Head에서는 p6는 사용하지 않는다. ROI Head는 StandardROIHeads class로 정의 되어있고 아래와 같은 개략도를 가진다. 먼저 Proposal Box를 재샘플링하게 되고 샘플링한 박스를 통해 ROI pooling을 거치게 된다. 샘플링한 roi들을 각각 p2~p5 중 어떤 feature map에서 roi를 잘라..

오늘은 내가 개발 엔진으로 아주 잘 활용을 하고있는 Detectron2에 관해서 꼼꼼히 살펴보며 정리하는 포스팅을 해보려한다. Detectron2란 먼저 FaceBook AI Research에서 개발한 차세대 오픈 소스 물체 감지 시스템이다. 한마디로 Vision과 관련한 Task들에서 Detectron2엔진을 사용해 개발을 하면 Detectron2 내부 engine 에서 학습이 진행되고 개발자는 모델 구축 이후에 입력과 출력만 어떻게 할 지 잘 정의하면 된다. 모델 zoo를 활용해서 Detectron2에서 제공하는것을 써도 되고 없는 모델을 사용하고 싶다면 모델구조와 configlation을 잘 정의하면 Detectron engine에서 학습할 수 있다. 먼저 Detectron2 설치를 해야한다. De..

이번 포스팅에선 그동안 해보고싶었던 CNN 안에서 Backpropagation을 유도 하는 과정을 정리해보고자한다. 참조한 동영상(https://www.youtube.com/watch?v=vbUozbkMhI0)을 보면서 정리를 하였고 그동안 머리속에만 있던 아주 복잡한 과정이였지만 이렇게 정리를 해보고 나니 뿌듯했다. 정리한 노트는 아래 사진으로 첨부하였다.