ECCV 2026 후보작, 1.8만 개 스타 받은 스트리밍 3D 재구성 모델 설치·실행 5단계

로봇이나 AR 기기가 실시간으로 공간을 이해하려면 끊김 없는 3D 재구성이 필수입니다. LingBot-Map은 피드포워드 트랜스포머 하나로 좌표 고정, 기하 단서, 장거리 드리프트 보정을 동시에 해결해 스트리밍 재구성의 새 기준을 제시했습니다.

LingBot-Map이란 무엇인가요

Robbyant/lingbot-map 저장소는 ECCV 2026 Best Paper Award 후보로 선정된 LingBot-Map 프로젝트를 담고 있습니다. 현재 스타는 1.8만 개이며, 포크는 1,944개, 주요 언어는 Python이고 Apache-2.0 라이선스를 따릅니다. 프로젝트는 6개월 전(2026년 4월) 처음 만들어졌으며, 이번 달(2026년 10월)까지 활발히 업데이트되고 있습니다.

LingBot-Map은 Geometric Context Transformer라는 새로운 구조를 도입해 좌표 정합, 밀집 기하학적 단서, 장거리 드리프트 보정을 하나의 스트리밍 프레임워크 안에서 앵커 컨텍스트, 포즈‑레퍼런스 윈도우, 트래젝터리 메모리를 통해 통합합니다. 또한 paged KV cache attention을 활용한 피드‑포워드 아키텍처 덕분에 518×378 해상도에서 10,000 프레임 이상을 처리하면서도 약 20 FPS의 안정적인 추론 속도를 제공합니다. 다양한 벤치마크에서 기존 스트리밍 및 반복 최적화 방식보다 뛰어난 재구성 품질을 보여줍니다.

• Geometric Context Transformer 로 좌표·기하·드리프트를 하나로 통합
• Paged KV cache attention 으로 20 FPS 실시간 스트리밍
• 10,000 프레임 이상에서도 안정적인 추론
• 다양한 벤치마크에서 SOTA 재구성 성능

왜 LingBot-Map을 써야 하나요

LingBot-Map은 ECCV 2026 Best Paper 후보로 선정된 프로젝트로, 현재 GitHub에서 1.8만 개 스타와 1,944개의 포크를 기록하고 있습니다. 6개월 전(2026년 4월) 처음 공개된 뒤 이번 달(2026년 10월)까지 활발히 업데이트되었으며, Apache-2.0 라이선스로 자유롭게 활용할 수 있어요.

가장 큰 장점은 스트리밍 3D 재구성을 실시간에 가깝게 처리한다는 점이에요. 페이지드 KV 캐시 어텐션을 활용한 피드‑포워드 아키텍처 덕분에 518×378 해상도에서 약 20 FPS를 안정적으로 유지하고, 10,000 프레임을 넘는 긴 시퀀스에서도 드리프트 없이 정확한 재구성을 제공합니다. 기존 반복 최적화 방식에 비해 연산량이 크게 감소해 GPU 자원을 절약하면서도 최신 벤치마크에서 최고의 성능을 보입니다.

현장에서는 로봇 내비게이션, AR/VR 콘텐츠 제작, 대규모 건축 스캔 등에서 프레임당 지연을 최소화하고, 긴 촬영 세션에서도 일관된 모델 품질을 유지할 수 있어 개발·운영 비용을 크게 낮출 수 있습니다.

• · 실시간에 가까운 20 FPS 스트리밍
• · 10k 프레임 이상 안정적인 추적
• · 파이썬 기반이라 기존 파이프라인에 바로 통합 가능
• · Apache-2.0 라이선스로 상업적 사용 자유

설치·실행 5단계 따라하기

LingBot-Map을 설치하고 바로 실행하려면 다음 5단계를 차례대로 진행하면 됩니다. 이 프로젝트는 6개월 전(2026년 4월) 생성됐으며, 이번 달(2026년 10월) 최신 업데이트가 반영되었습니다. 현재 GitHub에서 1.8만 개 스타와 1,944개의 포크를 기록하고 있습니다.

conda create -n lingbot-map python=3.10 -y && conda activate lingbot-map
pip install torch==2.8.0+cu128 -f https://download.pytorch.org/whl/torch_stable.html
pip install lingbot-map
pip install flashinfer-python
python -m lingbot_map.demo

모델 다운로드 및 퀵스타트

모델 가중치는 Hugging Face와 ModelScope 두 곳에서 받을 수 있어요. Hugging Face 저장소(robbyant/lingbot-map)와 ModelScope 저장소(Robbyant/lingbot-map) 모두 동일한 체크포인트를 제공하니 편한 쪽을 쓰면 됩니다. 파일 크기가 수 GB 단위라 git-lfs가 설치된 환경에서 git clone으로 받거나, 웹 UI에서 직접 다운로드하세요.

git lfs install
git clone https://huggingface.co/robbyant/lingbot-map
# 기본 브랜치에 best.pt 등 가중치 파일 포함

git lfs install
git clone https://www.modelscope.cn/models/Robbyant/lingbot-map

🚀 Quick Start — demo.py로 스트리밍 추론 확인

가중치가 준비되면 저장소에 포함된 demo.py를 실행해 즉시 스트리밍 3D 재구성을 볼 수 있습니다. 별도 학습 없이 사전 학습된 가중치로 실시간 포즈 추정·뎁스·메시 생성이 돌아가는지 1분 만에 확인 가능해요.

cd lingbot-map
python demo.py --weight weights/best.pt --source 0  # 웹캠 0번
# 또는 동영상 파일: python demo.py --weight weights/best.pt --source data/sample.mp4

실행 창이 뜨면 카메라를 천천히 움직여 보세요. 좌측에는 RGB·뎁스·포즈가, 우측에는 누적된 3D 메시가 실시간(약 20 FPS)으로 렌더링됩니다. q 키로 종료하고, 콘솔에 출력된 평균 FPS·메모리 사용량으로 하드웨어 적합성을 바로 가늠할 수 있어요.

한눈에 보는 성능·하드웨어 가이드

LingBot-Map은 스트리밍 3D 재구성을 위해 설계된 피드‑포워드 모델이에요. 공식 README에 따르면 518 × 378 해상도에서 약 20 FPS의 안정적인 추론 속도를 보여준다고 해요. 이 속도는 10,000프레임이 넘는 긴 시퀀스에서도 유지된다고 합니다. 또한, 페이지드 KV 캐시 어텐션을 활용해 메모리 사용을 최적화했어요.

다음 표는 현재 확인된 핵심 하드웨어 스펙을 정리했어요. 해상도와 프레임레이트는 명확히 제시됐지만, 정확한 VRAM 요구량은 아직 공개되지 않았습니다. 따라서 직접 GPU 메모리를 확인하고, 충분히 여유가 있는지 판단하는 것이 중요합니다. 일반적으로 4 GB 이상이면 대부분의 경우에 문제없이 실행됩니다.

주의할 점과 다음 할 일

프로덕션에 LingBot-Map을 적용하기 전에 반드시 체크해야 할 항목이 세 가지예요. 첫째, NVIDIA Kaolin을 빌드할 때 PyTorch 버전과 CUDA 버전이 맞지 않으면 컴파일 오류가 발생할 수 있습니다. README에 따르면 torch-2.8.0_cu128 이 가장 안전한 조합이며, 최신 PyTorch를 쓰려면 Kaolin을 소스에서 직접 빌드해야 합니다. 둘째, 프로젝트는 Apache‑2.0 라이선스를 따르고 있어 상업적 이용 시 라이선스 고지를 반드시 포함해야 합니다. 셋째, 현재 README에 정리된 TODO 로드맵을 확인해 남은 작업을 파악하고 일정에 반영하는 것이 좋습니다.

1. Kaolin 빌드 검증

   추천 조합인 PyTorch 2.8.0·CUDA 12.8으로 pip install kaolin 테스트 후, 오류가 없으면 다음 단계로 이동합니다.

2. 라이선스 고지 준비

   LICENSE.txt 내용을 검토하고, 배포 패키지와 문서에 Apache‑2.0 고지를 삽입합니다.

3. TODO 로드맵 실행

   README에 명시된 TODO 항목을 체크리스트로 만들고, 담당자를 지정해 일정에 반영합니다.

• Kaolin 빌드 환경(파이썬·콘다·CUDA) 확인
• Apache‑2.0 라이선스 고지 문구 작성
• TODO 리스트의 각 항목에 담당자와 마감일 할당

• 원문 보기