해외에 직접 Claude 4.7 의 토크나이저 분석을 한 사람이 있었네요.
원본 출처 : https://www.claudecodecamp.com/p/i-measured-claude-4-7-s-new-tokenizer-here-s-what-it-costs-you
요약을 하자면 다음과 같습니다.
Claude 4.7 새 토크나이저 분석: 토큰 사용량 증가와 실제 비용 영향
핵심 결론
앤스로픽의 공식 문서에는 Claude 4.7의 새 토크나이저가 기존 4.6 대비 1.0~1.35배 더 많은 토큰을 사용한다고 안내되어 있습니다. 하지만 실제 콘텐츠로 측정해 본 결과, 기술 문서에서는 1.47배, 실제 CLAUDE.md 파일에서는 1.45배까지 토큰 사용량이 증가했습니다. 즉, 공식 범위의 상단이 실제 사용 환경에서 더 일반적이라는 의미입니다.
토큰 증가가 의미하는 것
가격표는 동일하지만, 같은 프롬프트에 더 많은 토큰이 소모됩니다.
Max 플랜 사용자의 경우 컨텍스트 윈도우가 더 빨리 소진되고, 캐시된 프리픽스 비용도 증가하며, 속도 제한에도 더 빨리 도달합니다.
결국 앤스로픽은 무언가를 희생하고 다른 것을 얻은 것입니다. 그게 무엇인지, 가치가 있는지가 핵심 질문입니다.
어우 정말... 요즘 뭐 프롬프트 몇 개 하고 나면 5시간 쿨타임 그냥 걸려버려서 뭘 하기가 두렵더라구요.
다른 분들도 그러신가요?
실험 방법 및 결과
저자는 count_tokens API를 사용해 동일 콘텐츠에 대해 4.6과 4.7의 토큰 수를 비교했습니다.
실제 사용 콘텐츠 7종 샘플 결과
콘텐츠 유형 | 4.6 토큰 | 4.7 토큰 | 증가율 |
|---|
CLAUDE.md 파일 | 1,399 | 2,021 | 1.45배 |
사용자 프롬프트 | 1,122 | 1,541 | 1.37배 |
블로그 포스트 | 1,209 | 1,654 | 1.37배 |
깃 커밋 로그 | 910 | 1,223 | 1.34배 |
터미널 출력 | 652 | 842 | 1.29배 |
파이썬 스택 트레이스 | 1,736 | 2,170 | 1.25배 |
코드 차이 | 1,226 | 1,486 | 1.21배 |
전체 가중 평균: 약 1.33배 증가
콘텐츠 유형별 차이
영어 및 코드: 1.20~1.47배 증가 (기술 문서가 가장 높음)
CJK(중·일·한): 1.01배로 거의 변화 없음
JSON/CSV 등 구조화 데이터: 1.07~1.13배로 상대적으로 낮은 증가
왜 토큰이 더 많이 쓰일까?
토크나이저 변경 패턴을 분석한 결과:
CJK, 이모지, 기호류는 어휘 변경이 적어 토큰 증가율이 낮음
영어와 코드는 더 짧은 서브워드 단위로 분할되는 경향 → 토큰 수 증가
코드는 반복되는 키워드·식별자가 많아 BPE 학습 시 더 작은 단위로 쪼개질 가능성이 큼
즉, 같은 텍스트를 더 작은 단위로 표현하도록 토크나이저가 변경된 것으로 추정됩니다.
이 변화가 가져온 이점: 지시 이행 정확도 향상?
앤스로픽은 "더 정확한 지시 이행, 특히 낮은 노력 수준에서도 일반화를 하지 않음"을 장점으로 내세웠습니다.
저자는 IFEval 벤치마크로 이를 검증했습니다 (20개 프롬프트 샘플링):
결론: 작지만 측정 가능한 개선이 있으나, "극적인 향상"이라고 보기에는 미미한 수준입니다. 샘플 수가 작고, 토크나이저 외에 가중치·사후학습 변경도 함께 반영된 결과이므로 인과관계 단정은 어렵습니다.
실제 세션 비용 시뮬레이션
80턴 규모의 코딩 세션을 가정했을 때:
항목 | Claude 4.6 | Claude 4.7 |
|---|
캐시 라이트 (1회) | $0.05 | $0.06 |
캐시 리드 (79회) | $3.40 | $4.54 |
신규 입력 | $0.20 | $0.26 |
출력 생성 | $3.00 | $3.00~$3.90 |
총계 | ~$6.65 | ~$7.86~$8.76 |
→ 세션당 약 20~30% 비용 증가. 토큰 단가는 동일하지만, 동일 작업에 더 많은 토큰이 소모되기 때문입니다.
프롬프트 캐시와의 상호작용
모델 전환 시 캐시 무효화: 4.6 → 4.7 전환 시 기존 캐시가 초기화되며, 새 캐시 작성 비용도 1.3~1.45배 증가
캐시 볼륨 증가: 캐시에 저장되는 토큰 자체가 늘어나 읽기/쓰기 비용 모두 상승
관측 지표 변화: 동일 트랜스크립트라도 토큰 카운트가 달라지므로, 기존 로그 기반 분석 시 주의 필요
결론: 가치가 있는 트레이드오프인가?
"이 작은 정확도 향상이 추가 비용을 정당화하는가?" 는 사용자의 워크로드에 따라 다릅니다.
