방법론
⚠ 면책 조항TigerBench는 “한글 프롬프트로 한국의 상징 이미지를 얼마나 잘 그리는가”를 보는 재미 위주의 테스트입니다. 결과는 모델의 일반적인 성능과는 무관할 수 있습니다.
규칙
- 모든 모델은 동일한 한글 프롬프트를 받습니다. 영어 번역은 제공하지 않습니다 — 그것이 핵심입니다.
- 모델당 3회 독립적으로 그립니다. 파라미터는 라우터 기본값을 사용합니다.
- 출력은 유효한 standalone SVG여야 합니다. 외부 리소스, <image> 태그, 스크립트 금지.
- 응답에서 <svg>…</svg> 블록을 추출하지 못하거나, 추출한 SVG가 실제로 렌더링되지 않으면 실패로 기록합니다. 정규식으로 코드 덩어리만 확인하는 것이 아니라 진짜 그려지는지까지 검증합니다.
- 실패한 시도는 하루 최대 7회까지 재시도하고, 그날 모두 실패해도 포기하지 않고 매일 아침 다시 도전합니다. 일시적인 과부하나 타임아웃으로 억울하게 0점을 받는 일이 없도록 하기 위함입니다.
- 아직 성공하지 못한 시도는 그 원인(설명문 반환 / 토큰 한도 초과로 잘림 / XML 문법 오류 / 빈 응답 / 타임아웃 / HTTP 오류)과 모델의 실제 출력을 사이트에 그대로 공개합니다. 벤치마크 오류와 모델의 실패를 구분할 수 있도록 하기 위함입니다.
- 모든 호출은 timelyrouter.ai API를 통해 동일한 조건으로 실행됩니다. 라우터에 없는 모델을 사람이 직접 채팅 UI에서 실행한 경우에는 “수동 실행” 배지를 달아 조건이 다르다는 점을 표시합니다.
프롬프트 전문
프롬프트는 의도적으로 한국어로만 작성되었습니다. “함지박만 한 웃음”, “왕자 무늬”, “까치호랑이” 같은 표현을 이해하는 것 자체가 시험의 일부입니다.
조선시대 민화 '까치호랑이' 그림 속 익살스럽고 사랑스러운 호랑이를 standalone SVG로 그려주세요. 규칙: - SVG 코드만 출력하세요. 다른 텍스트, 마크다운 코드펜스, 설명 일절 금지. - 유효한 standalone XML이어야 합니다: <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 512 512">로 시작해서 </svg>로 끝나야 합니다. - 외부 리소스, <image> 태그, 스크립트 금지. 도형, 패스, 그라디언트만 사용. - 구도: 정면을 바라보는 크고 둥근 호랑이 얼굴이 캔버스의 약 80%를 채우도록. 고양이가 아니라 누가 봐도 '호랑이'여야 합니다: - 머리 꼭대기에 작고 둥근 귀 두 개 (주황색, 검은 테두리). - 이마·양 볼·얼굴 둘레에 굵고 구불구불한 검은 호랑이 줄무늬를 선명하게. 이마에는 한국 민화 호랑이 특유의 왕(王)자 무늬를 넣을 것. - 우스꽝스럽게 큰 왕방울 눈, 굵은 검은 테두리, 살짝 사팔뜨기 눈동자로 해학미를 살릴 것. - 큼직한 분홍빛 코와 뭉툭한 네모 이빨이 보이는 함지박만 한 웃음 — 무섭지 않고 바보스럽게. - 주황 털과 대비되는 흰 주둥이와 눈썹 부위, 길게 뻗은 흰 수염. - 민화 특유의 평면적이고 소박한 화풍: 단색 면, 굵고 어두운 외곽선, 사실적 음영 금지. 장난기 넘치고 사랑스러운, 보는 사람을 웃게 만드는 수호신 호랑이여야 합니다. 최대치의 호랑이 카리스마를 담아주세요.
심사
- 심사위원은 gpt-5.6-luna(라우터에서 가장 저렴한 vision 모델)입니다. SVG를 512px PNG로 렌더링해 이미지로 보여주고 심사합니다.
- 채점 축: 호랑이다움 · 민화 화풍 · 해학 · 완성도 · 종합 (각 0~10점).
- 채점은 절대 기준입니다: 10점 = 조선시대 까치호랑이 민화 진품. AI끼리의 상대평가가 아니라 원본 민화 대비 평가라서 9~10점은 사실상 나오지 않습니다. 새 모델이 도전할 천장을 남겨두기 위한 설계입니다.
- 대표작은 3장 중 호랑이다움 점수가 가장 높은 그림입니다(동점이면 종합 → 해학 순). 리더보드 점수는 대표작의 종합 점수이며, 모델 간 동점은 3회 평균 → 성공 횟수 → 평균 토큰 순으로 가립니다.
한계
- 심사위원 역시 LLM입니다. 심사 편향이 있을 수 있습니다.
- 시도가 3회뿐이라 운의 영향이 큽니다. 모델별 편차가 상당합니다.
- SVG 렌더러에 따라 결과물이 다르게 보일 수 있습니다.
- 그리고 다시 한번: 이 벤치마크는 모델의 일반적인 성능과 무관할 수 있습니다. 호랑이를 못 그려도 훌륭한 모델은 많습니다.