AI 의사결정 모델로 팩맨 돌리기: Jevman 벤치마크로 직접 돌려보는 법

OpenAI의 Decisions 엔드포인트, Cloudflare의 Clef 등 경량 의사결정 모델이 쏟아지면서 '우리 케이스에서 제일 빠른 놈'을 골라야 하는 상황이 잦아졌습니다. Jevman은 팩맨이란 공통 환경에서 100판씩 돌려 지연 시간·점수·비용까지 한눈에 보여줍니다.

로컬에서 벤치마크 실행하고 내 모델 올리기

로컬에서 Jevman 벤치마크를 직접 실행하고, 여러분만의 모델을 올리는 과정을 5단계로 정리했습니다. 먼저 깃허브에서 리포지토리를 복제하고, 파이썬 의존성을 설치합니다. 그 다음 API 키를 환경 변수에 설정한 뒤, 모델 이름을 지정해 스크립트를 실행하면 됩니다. 마지막으로 실행 결과 파일을 업로드하면 순위에 반영됩니다.

1. 리포지토리 클론

   git clone https://github.com/opper-ai/jevman-benchmark.git 명령으로 저장소를 복제합니다.

2. 의존성 설치

   복제한 폴더로 이동한 뒤 pip install -r requirements.txt 로 필요한 패키지를 설치합니다.

3. API 키 설정

   발급받은 API 키를 export API_KEY=your_key 형태로 환경 변수에 등록합니다.

4. 모델 실행

   아래 코드를 터미널에 입력해 모델을 실행합니다.

5. 결과 제출

   생성된 results.json 파일을 레포지토리의 제출 페이지에 업로드하면 순위가 업데이트됩니다.

python run.py --model 내모델

• GitHub 계정이 필요합니다.
• API 키는 Opper 대시보드에서 발급받을 수 있습니다.
• 결과 파일은 JSON 형식이어야 합니다.

추가 참고

한눈에 보는 모델별 성능표

이 표는 깃허브 저장소의 벤치마크 결과와 공개된 리더보드 데이터를 바탕으로 작성되었습니다. 직접 벤치마크를 돌려 내 모델을 올리면 이 표에 새로운 행이 추가되고, 다른 사용자와 순위를 비교할 수 있어요.

직접 플레이하며 고스트 모델 체험하기

브라우저에서 바로 Jevman 벤치마크를 체험할 수 있습니다. Opper에서 제공하는 데모 페이지에 접속하면, 여러분은 직접 팩맨을 조작하고 고스트는 jev·kev·clef·clef flash·GPT‑6 Luna·Laya 같은 최신 AI 모델이 담당합니다. 현재 모든 모델은 무료 크레딧으로 실행되며, 한 번의 게임에 약 2센트 정도의 비용이 소요됩니다. 무료 크레딧이 충분히 제공되니 처음 시작할 때 별도 결제 없이 바로 플레이해 볼 수 있어요.

1. 데모 사이트 열기

   https://opper.ai/jevman-benchmark 에 접속하면 로그인 없이 바로 시작할 수 있어요.

2. Free Credits 받기

   오른쪽 상단의 “Free Credits 받기” 버튼을 클릭하면 5달러 상당의 크레딧이 계정에 추가됩니다.

3. 플레이 모드 선택

   “Play as Pac‑Man” 모드를 고르고, 고스트 모델을 jev·kev·clef 등 원하는 조합으로 설정합니다.

4. 게임 시작

   “Start Game”을 누르면 실시간으로 고스트가 움직이며, 점수를 높이기 위해 미로를 탐험합니다.

5. 결과 확인

   게임 종료 후 점수가 즉시 리더보드에 반영되고, 남은 크레딧은 다음 라운드에 재사용할 수 있습니다.

• jev 1.13
• kev
• clef
• clef flash
• GPT‑6 Luna
• Laya

고스트 모델이 어떻게 움직이는지 직접 체험하면서 AI 의사결정 속도를 눈으로 확인해 보세요. 높은 점수를 기록하면 리더보드에 자동으로 올라가니, 친구들과 경쟁해 보는 재미도 놓치지 마세요!

• 원문 보기