오늘의 흐름 정리
지난 주말과 월요일의 AI 뉴스는 두 축으로 수렴된다. 하나는 이름조차 밝히지 않은 익명 모델과 오픈 웨이트가 프런티어의 점수를 따라잡으며 단가를 무너뜨리고 있다는 점이다. 다른 하나는 그 “점수”라는 것 자체가 모델이 아니라 하네스의 산물일 수 있다는 실측이 쌓이고 있다는 점이다. 본인은 이 두 축이 같은 결론을 가리킨다고 본다 — 모델 이름값의 프리미엄이 빠르게 녹고 있다는 것이다.
익명 모델의 습격, 프런티어 단가가 흔들린다
금요일 OpenRouter에 정체불명의 모델이 올라왔다. 이름은 Ox Alpha뿐 — 발표도, 논문도, 만든 곳 표시도 없다. 1M 토큰 컨텍스트에 텍스트·이미지·비디오 입력을 받고, 한동안 무료로 풀렸다. 커뮤니티는 곧장 실측에 들어갔다. SWE-bench Verified Mini 50과제 실측에서 공식 mini-swe-agent 스캐폴드 그대로 48/50, 96%가 나왔다. 비교선이 흥미로운데, Claude Fable 5가 Anthropic 자체 튜닝 에이전트로 기록한 수치가 95%다. 토크나이저가 GLM과 같다는 관찰이 이어지며 GLM 계열 인프라라는 추정이 유력하지만, 확인된 것은 아직 없다.
같은 주말 GLM-5.3 오픈 웨이트는 28개 실무 과제를 전부 통과하며 총비용 약 $0.28을 기록했다. gpt-5.5의 약 5분의 1 비용이다. 17개 모델에 동일 프롬프트·동일 자동 채점을 적용한 단일 시험이라는 한계는 있지만, 방향은 분명하다.
수요 쪽 지표도 같은 방향을 가리킨다. Financial Times발 보도에 따르면 미국 기업들의 Anthropic 지출에서 최상위 모델 Fable 5가 차지하는 비중은 출시 두 달이 지나도록 약 11%에 머물렀다. 기업 고객이 가장 강력한 모델을 기본 선택하던 패턴이 깨지고 있고, 이유는 높은 가격과 “대부분의 업무는 이전 모델로 충분하다”는 판단이다. 로컬 쪽에서는 TielCoder 35B-A3B의 22GB 4비트 양자화가 실제 코딩 이슈에서 Opus 4.6 medium급 성능을 내며 KAT-Coder를 밀어냈다. 위로는 익명·무료 모델이, 아래로는 22GB 로컬 모델이 프런티어 단가를 양쪽에서 조이는 그림이다.
그 점수는 모델의 것인가, 하네스의 것인가
반대편 축에서는 점수 자체를 의심하는 논의가 커졌다. Hacker News 상위에 오른 What Is a Harness?는 모델을 감싸는 실행 환경 — 도구 접근, 컨텍스트 관리, 재시도 루프 — 이 결과물을 어떻게 바꾸는지 정리했다. 더 극단적인 실측은 ARC-AGI-3 사례다. 같은 공개 세트에서 가중치를 하나도 건드리지 않고 하네스만 바꿔 점수가 13%에서 100%까지 뛰었다. 벤치마크가 모델이 아니라 하네스를 측정하고 있었던 셈이다. Ox Alpha의 96%도 이 렌즈로 다시 읽게 된다 — 그 숫자는 모델 단독이 아니라 모델과 스캐폴드 쌍의 성적이다.
비용도 하네스의 영역으로 들어왔다. 9개 모델을 실측한 연구는 “짧게 답하라”는 출력 압축이 정확도를 유지하면서 평균 1.5배, 최대 3배 비용을 줄이는 반면, 입력 프롬프트를 줄이는 쪽은 오히려 비용이 늘었다고 보고했다. 같은 모델, 같은 과제에서 지시 한 줄이 청구서를 가른다. 지난 회차들에서 이어 온 “점수가 아니라 단가”의 문법에, 이번 주는 “그 점수마저 하네스의 것”이라는 각주가 붙었다.
한 줄 정리
익명 모델과 오픈 웨이트가 프런티어와 점수를 맞춘 주간, 하네스 실측은 그 점수의 소유권마저 모델에게서 회수하기 시작했다 — 이름값의 프리미엄이 설 자리가 좁아지고 있다.
조회수: 0