오늘의 흐름 정리
지난 주말과 월요일의 AI 뉴스는 두 축으로 수렴된다. 하나는 이름조차 밝히지 않은 익명 모델과 오픈 웨이트가 프런티어의 단가를 무너뜨리고 있다는 점이다. 다른 하나는 그 “점수”라는 것 자체가 모델이 아니라 하네스의 산물일 수 있다는 실측이 쌓이고 있다는 점이다. 본인은 이 두 축이 같은 결론을 가리킨다고 본다 — 모델 이름값의 프리미엄이 빠르게 녹고 있다는 것이다.
익명 모델의 습격, 프런티어 단가가 흔들린다
금요일 OpenRouter에 정체불명의 모델이 올라왔다. 이름은 Ox Alpha뿐이고 제공자 표기는 “Stealth” — 발표도, 논문도, 만든 곳 표시도 없다. 1M 토큰 컨텍스트에 텍스트·이미지·비디오 입력을 받고, 한동안 무료로 풀렸다. 커뮤니티는 곧장 실측에 들어갔다. 공개된 독립 측정 하나는 DeepSWE 113과제에서 58.4%를 기록했는데, 실패한 과제 중 9.7%가 추론이 아니라 도구 호출 형식 오류로 날아갔다고 보고한다. 커뮤니티에는 이보다 훨씬 높은 점수도 돌았지만 그 게시물은 이후 플랫폼에서 내려갔다 — 지금 확인 가능한 근거는 여기까지다.
같은 주말 GLM-5.3 오픈 웨이트는 28개 실무 과제를 전부 통과하며 총비용 약 $0.28을 기록했다. gpt-5.5의 약 5분의 1 비용이다. 17개 모델에 동일 프롬프트·동일 자동 채점을 적용한 단일 시험이라는 한계는 있지만, 방향은 분명하다.
수요 쪽 지표도 같은 방향을 가리킨다. Financial Times발 보도에 따르면 미국 기업들의 Anthropic 지출에서 최상위 모델 Fable 5가 차지하는 비중은 출시 두 달이 지나도록 약 11%에 머물렀다. 기업 고객이 가장 강력한 모델을 기본 선택하던 패턴이 깨지고 있고, 이유는 높은 가격과 “대부분의 업무는 이전 모델로 충분하다”는 판단이다. 로컬 쪽에서는 TielCoder 35B-A3B의 22GB 4비트 양자화가 실제 코딩 이슈에서 Opus 4.6 medium급 성능을 낸다는 보고가 나오며 KAT-Coder를 밀어냈다. 위로는 익명·무료 모델이, 아래로는 22GB 로컬 모델이 프런티어 단가를 양쪽에서 조이는 그림이다.
그 점수는 모델의 것인가, 하네스의 것인가
반대편 축에서는 점수 자체를 의심하는 논의가 커졌다. Hacker News 상위에 오른 What Is a Harness?는 모델을 감싸는 실행 환경 — 도구 접근, 컨텍스트 관리, 재시도 루프 — 이 결과물을 어떻게 바꾸는지 정리했다. 더 극단적인 실측은 ARC-AGI-3 사례다. 같은 공개 세트에서 가중치를 하나도 건드리지 않고 하네스만 바꿔 점수가 13%에서 100%까지 뛰었다. 벤치마크가 모델이 아니라 하네스를 측정하고 있었던 셈이다. Ox Alpha를 둘러싼 실측도 이 렌즈로 다시 읽게 된다 — 그 숫자는 모델 단독이 아니라 모델과 스캐폴드 쌍의 성적이다. 앞의 58.4%에서 도구 호출 형식 실패가 9.7%를 잠식했다는 보고가 정확히 그 지점을 가리킨다.
비용도 하네스의 영역으로 들어왔다. 8개 모델을 실측한 연구는 “짧게 답하라”는 출력 압축이 정확도를 유지하면서 모델당 1.4~2.4배, 최대 3배까지 비용을 줄이는 반면, 입력 프롬프트를 줄이는 쪽은 오히려 비용이 늘었다고 보고했다. 모델이 짧아진 프롬프트를 더 긴 답변으로 메우면서 정확도까지 함께 떨어졌기 때문이다. 같은 모델, 같은 과제에서 지시 한 줄이 청구서를 가른다. 지난 회차들에서 이어 온 “점수가 아니라 단가”의 문법에, 이번 주는 “그 점수마저 하네스의 것”이라는 각주가 붙었다.
한 줄 정리
익명 모델과 오픈 웨이트가 프런티어의 단가를 흔든 주간, 하네스 실측은 그 점수의 소유권마저 모델에게서 회수하기 시작했다 — 이름값의 프리미엄이 설 자리가 좁아지고 있다.
조회수: 0