AI그림에 이어 AI 3D모델링까지? OpenAI에서 공개한 Shap-E
ChatGPT의 개발사인 오픈AI(OpenAI)가 3D 모델을 자동 생성하는 인공지능 도구인 Shap-E를 오픈소스로 무료로 공개했다고 합니다. Shap-E 깃허브(Github)에서 받을 수 있습니다.
Shap-E는 텍스트와 이미지를 입력받아 3D 모델을 자동 생성하는 AI라고 하는데요. 이 도구는 AI특화 GPU인 NVIDIA V100를 1개만 사용해도 텍스트 입력에는 약 13초, 이미지 입력에는 1분 내에 3D 모델을 생성할 수 있는 빠른 속도가 특징이라고 합니다.
Shap-E는 다양한 카메라 위치에서 촬영한 정지 사진을 활용하여 3D 모델을 생성하는 NeRF(Neural Radiance Fields) 기능을 사용합니다. 이 기능은 개체의 3차원 장면을 생성한 다음, 확산 모델을 적용하여 개체의 모양과 질감을 완성합니다. 이를 통해 쉐이프-E는 개체의 세밀한 부분까지 잘 포착할 수 있습니다.
다만 개체의 여러 속성을 결합한 모델을 생성하거나, 정확한 Vertex를 생성하는데는 한계가 있을수 있다는데요. 이런 문제를 해결하기 위해선 Shap-E에 대규모 3D 모델을 학습시킬 필요가 있다고 합니다. 또는 다른 3D생성기술과 결합해 사용할 수도 있다고 합니다.
한편, 지난해 오픈AI는 텍스트에서 3D 모델을 생성해주는 Point-E라는 도구도 공개한 바 있습니다. Point-E는 특정 개체의 3D 모양을 나타내는 공간 상의 여러 점의 집합인 Point Cloud를 기반으로 3D 모델을 생성하는데요. Shap-E는 Point-E보다 더 빠르고 상세하며 정확한 3D 모델을 생성할 수 있다고 합니다.
Shap-E는 제품의 프로토타입을 제작할 때 빠르고 쉽게 3D모델을 만들어줄 수 있을것입니다. 더불어 부품 및 조립품의 3D 모델을 쉽게 생성하는데에도 사용이 가능할 것으로 보입니다.
