오늘의 흐름 정리
화요일 이후 이틀 사이 들어온 소식은 한 방향을 가리킨다. 추론 단가가 모델 등급이 아니라 자릿수 단위로 벌어졌고, 그 격차의 아래쪽이 개인 장비까지 내려왔다는 점이다. 본인은 이 이틀의 기록이 “싼 모델도 쓸 만하다”는 말보다 “비싼 모델이 무엇으로 값을 하느냐”는 질문에 가깝다고 본다.
추론 단가가 자릿수로 갈라졌다
기준선부터 바뀌었다. Artificial Analysis가 주요 모델에 같은 벤치마크를 돌려 토큰 비용을 비교한 결과, DeepSeek V4-Flash가 테스트당 평균 3센트로 가장 저렴했고 Kimi K3는 86센트, GPT-5.6 Sol은 1.86달러, Claude Fable 5는 3.15달러였다. 위아래 끝이 100배 차이다.
같은 이틀 동안 그 아래쪽을 개인 장비로 끌어내린 기록이 연달아 올라왔다. 304B 규모의 V4-Flash-0731을 추가 양자화나 오프로딩 없이 단일 AMD MI300X에서 프로덕션 구성으로 돌린 사례가 나왔고, RTX 5090 한 장과 DDR5 256GB 데스크톱에 1M 컨텍스트 전체를 올린 셋업도 공개됐다. 2비트 양자화본이 한 SQL 벤치마크에서 처음으로 100%를 기록했다는 보고까지 붙었다. 프런티어 모델도 좀처럼 못 채우던 점수다.
크기의 반대편도 같이 움직였다. Liquid AI가 내놓은 LFM2.5-2.6B는 128K 컨텍스트와 툴콜을 갖추고 휴대폰에서 초당 30토큰을 낸다. ToolSandbox 77.83으로 Qwen3.5-9B의 76.44를 넘겼다. 276B 규모 Inkling-Small을 상주 메모리 10GB 아래에서 돌린 기록도 나왔다. 응용 단에서는 검색 과제에서 100배 싼 오픈 모델 조합이 GPT-5.6 Sol을 앞섰다는 사례가 보고됐다.
싸진 만큼 프런티어는 체감으로 심판받는다
가격이 무너지자 값비싼 쪽을 보는 눈이 까다로워졌다. Opus 5가 4.8보다 지저분하다는 글이 어제 반향을 얻었다. 절차적 생성 플랫포머 과제에서 4.8과 Fable 5, Kimi K3는 타일셋 아틀라스를 썼는데 Opus 5만 레벨 전체를 벡터 그래픽으로 그려 성능을 망쳤다는 지적이다. 바로 옆에는 정반대 결론이 있다. 장황함을 감수하고 프롬프트와 스킬을 다시 쓰고 나니 확실히 낫다는 정리다. 두 글이 갈리는 지점은 모델이 아니라 그 모델을 감싼 설정이다.
비용도 같은 자리를 가리킨다. 에이전트 워크플로의 캐시 keepalive 비용이 8배 과하게 나가고 있다는 분석이 그렇다. 청구서를 키우는 것은 토큰 단가가 아니라 그 위에 얹은 운영 방식이다.
한 줄 정리
모델 값은 자릿수 단위로 내려왔고, 이제 남은 변수는 그 모델을 어떻게 감싸느냐다. 싼 모델을 쓸 이유와 비싼 모델을 쓸 이유가 같은 자리에서 갈린다.
조회수: 0