오늘의 흐름 정리
지난 나흘의 AI 뉴스는 두 축으로 수렴된다. 하나는 같은 모델을 두고도 자를 바꾸면 순위가 뒤집힌다는 것, 즉 성능이 아니라 단가와 측정 기준이 논의의 중심으로 올라왔다는 점이다. 다른 하나는 모델을 감싸는 하네스가 결과를 가른다는 지난 몇 달의 통념이 대조 실험 앞에서 흔들리기 시작했다는 점이다. 본인은 이 두 흐름이 “무엇을 재고 있는지 먼저 확정하라”는 한 지점에서 만난다고 본다. Astra로 코딩하는 일이 과연 의미가 있느냐는 문제 제기가 길게 다뤄진 것도 같은 맥락이다.
같은 모델, 다른 자 – 지능 지수 재가중이 순위표를 흔들었다
Artificial Analysis의 Intelligence Index가 v4.1에서 v4.3으로 올라가면서 모델은 그대로인데 순위표만 크게 움직였다. 바뀐 것은 지수를 구성하는 벤치마크의 가중합 하나뿐이다. 그 재가중에서 GPT-6 Astra는 지능이 크게 오르면서 단가까지 내려갔고, Fable 5.1은 Opus 5와의 가격 격차가 줄었으며, Sonnet 5는 지능 상승 없이 더 비싸진 자리에 놓였다. 벤치마크 집계 방식이 곧 시장 서사라는 사실이 이만큼 노골적으로 드러난 적은 드물다.
버그 92개 대 69개, 비용은 3.6%
Cal·Sentry·Discourse·Keycloak·Grafana의 실제 PR 50건으로 돌린 코드 리뷰 벤치마크에서 GPT-6 Astra는 확인된 버그 92개를 찾았다. 절대 성능은 Astra의 완승이지만 GPT-5.6 Luna는 69개를 찾으면서 Astra 비용의 3.6%만 썼고, 결과적으로 버그의 75%를 잡았다. 코드 리뷰처럼 사람의 2차 확인이 반드시 뒤따르는 공정에서 이 비율은 그대로 예산 설계 문제가 된다. 남은 리콜을 채우는 데 예산을 몰 것인가, 같은 돈으로 리뷰를 두 번 돌릴 것인가.
오픈 웨이트는 파레토의 저비용 무릎을 노린다
같은 계산이 오픈 웨이트 쪽에서도 진행 중이다. Occamy-1.0은 Qwen3.6-35B-A3B 체크포인트를 추가 학습해 만든 35B 코워크 모델로, 네 개 대표 벤치마크 집계에서 비용-성능 파레토 최전선의 저비용 무릎에 자리한다고 주장하며 가중치와 학습 데이터 일부를 함께 공개했다. 절대 정상이 아니라 무릎을 노린 설계다. 효율 쪽에서는 Qwen 3.8 27B를 후처리해 사고 토큰을 58.3% 줄이고 1.95배 빠르게 만들면서 정확도 손실을 1% 아래로 묶은 Swift-Qwen3.8-27B가 가중치와 GGUF까지 열었다. 추론 길이를 강제로 자르지 않고 과잉 사고 구간만 겨냥했다는 접근이 핵심이다.
벤더 하네스의 우위는 대조 실험에서 사라졌다
여기서 두 번째 축이 시작된다. 오염을 통제한 비공개 과제 256건으로 하네스 효과만 분리한 대조 실험은 벤더가 자사 모델에 맞춰 튜닝한 하네스가 더 많은 과제를 푼다는 가정을 정면으로 검증했다. 같은 80개 과제를 claude-agent-sdk와 deepagents로 각각 돌렸을 때 Opus 4.8에서 네이티브가 48.8% 대 50.0%로 1.25%p 뒤졌고, GPT-5.5에서는 1.25%p 앞섰을 뿐이다. 다만 평균 안쪽은 갈렸다 – 저장소 과제 61건에서는 네이티브가 9.0%p 뒤지고 콘테스트 과제 19건에서는 23.7%p 앞섰으며, 중립 하네스는 해결 과제당 Opus 4.8에서 1.3~1.6배를 썼다.
실행 전 확인 한 번이 조용한 실패를 막는다
하네스가 공짜 우위가 아니라면 남는 것은 그 안에서 무엇을 검증하느냐다. 셸 명령 9,930개와 도구 482개를 대상으로 한 정적 검증기는 잘못된 명령의 95.8%를 오탐 10.0%에서 잡아냈다. 더 실용적인 쪽은 코드 편집이다. 검색·치환이나 diff처럼 내용에 앵커를 둔 형식은 실패할 때 요란하게 실패하지만, 줄 번호에 앵커를 둔 형식은 한 줄만 밀려도 파일의 99.1%를 조용히 망가뜨렸고 함수명 기준 편집은 12.7%가 엉뚱한 함수를 건드렸다. 에이전트 하네스를 손보는 쪽이라면 이 표 하나로 우선순위가 잡힌다.
재귀적 자기개선은 아직 이르다
한편 현재 에이전트가 개방형 ML 연구를 수행하지 못하므로 재귀적 자기개선은 임박하지 않았다는 논증도 다시 회자됐다. NeurIPS에 통과했으나 미공개인 논문을 골라 에이전트에게 같은 작업을 시키고 원저자가 직접 채점한 설계인데, 결과는 수행 실패였다. 그 사이 산업 쪽은 다른 층위를 다진다 – OpenAI는 Codex 하네스를 기반으로 오케스트레이션과 장시간 세션, 툴 사용을 관리형으로 제공하는 Agents API를 열었다. 자기개선하는 연구자가 아니라 오래 도는 작업자를 파는 쪽이다.
한 줄 정리
측정 기준이 바뀌면 순위가 바뀌고, 벤더 하네스의 우위는 통제된 대조에서 사라진다. 남는 실질은 실행 직전의 결정론적 검증과 해결 과제당 단가다. 본인은 다음 분기의 경쟁이 모델 카드가 아니라 이 두 숫자 위에서 벌어질 것으로 본다.
조회수: 0