Fable 5 vs Opus 4.8 비용 비교: Devin Fusion 벤치마크 해석
토큰 단가가 비싼 모델도 작업 전체 비용은 더 낮을 수 있습니다. Cognition은 Devin Fusion에서 Fable 5와 Opus 4.8에 같은 사이드킥을 붙여 비교했고, Fable 쪽의 평균 실행 비용이 더 낮았다고 보고했습니다. 다만 이것은 특정 벤치마크와 설정에서 나온 결과이지, Fable이 언제나 더 저렴하다는 뜻은 아닙니다.
이 글은 Cognition의 Making Fable Cheaper Than Opus(2026년 7월 13일 게시)를 분석한 자료입니다. 필자가 같은 실험을 재현한 후기가 아닙니다. 보고된 측정값, 이 글에서 다시 계산한 비율, 실제 도입 시 판단할 기준을 구분해 설명합니다.
자료 재확인·개정: 2026년 11월 4일. 종전의 ‘더 저렴하게 쓰는 방법’이라는 제목을 사례 분석에 맞게 바꿨습니다. 기존 URL과 이미지 4개는 유지하고 실험 범위를 명시했습니다. Claude Code 설정 예시는 별도 오케스트레이션 가이드에서 다룹니다.
1. 모델만이 아니라 실행 구조까지 포함한 비교입니다
Devin Fusion의 사이드킥 구조에서는 리드 에이전트가 사용자와 대화하고 계획·검토·최종 통합을 담당합니다. 더 저렴한 모델로 구동되는 사이드킥은 별도 컨텍스트에서 위임받은 작업을 수행하고 결과를 돌려줍니다. 단순히 요청 하나를 싼 모델이나 비싼 모델 중 하나로 보내는 라우팅과는 구분됩니다.
Cognition이 비교 글에 밝힌 조건은 다음과 같습니다.
- 평가 대상: FrontierCode 1.1 Extended, 네 가지 구성에 걸친 총 3,000개 평가 세션
- 리드 설정: Fable 5는
low, Opus 4.8은medium - 비교 구성: 각 모델의 단독 실행과 동일한 사이드킥을 붙인 실행
- 분석: 세션의 LLM 호출·도구·토큰·비용을 분석하고, 비용 차이가 큰 사례와 중간 범위의 무작위 표본을 포함한 40개 작업을 더 자세히 검토
Extended는 150개 작업으로 구성된 평가 범위입니다. 여기서 3,000은 고유 작업 수가 아니라 평가 세션 수입니다. 비교 글은 네 구성에 몇 회씩 배정했는지까지 밝히지 않으므로, 구성마다 750회였다고 추정해서는 안 됩니다.
또한 low와 medium은 서로 다른 모델의 설정입니다. 동일한 추론 강도로 맞춘 비교가 아니라 원문에 제시된 두 실행 설정의 비교로 읽는 것이 정확합니다.
2. 같은 사이드킥끼리 비교하면 약 8.8% 저렴했습니다
아래 값은 Cognition이 공개한 표를 옮긴 것입니다. 비용은 실행당 평균 비용이며 구독료나 월간 청구액이 아닙니다.
| 구성 | 점수 | 평균 비용/실행 |
|---|---|---|
| Fable 5 (low) + 사이드킥 | 60.7 | $1.86 |
| Opus 4.8 (medium) + 사이드킥 | 54.6 | $2.04 |
| Fable 5 (low) 단독 | 60.8 | $4.03 |
| Opus 4.8 (medium) 단독 | 55.4 | $3.06 |
FrontierCode의 점수는 평가 기준별 결과를 가중 집계한 지표입니다. 필수 차단 기준을 통과하지 못하면 0점을 받습니다. 따라서 60.7을 ‘정답률 60.7%’나 ‘전체 작업의 60.7% 완료’로 바꿔 설명하면 안 됩니다.
비교 기준에 따라 절감률이 달라집니다
- Fable+사이드킥 vs Opus+사이드킥:
(2.04 − 1.86) ÷ 2.04 × 100 ≈ 8.8%. 실행당 차이는 $0.18입니다. - Fable+사이드킥 vs Fable 단독:
(4.03 − 1.86) ÷ 4.03 × 100 ≈ 53.8%. 원문은 이를 반올림해 54%로 표현합니다. - Opus+사이드킥 vs Opus 단독:
(3.06 − 2.04) ÷ 3.06 × 100 ≈ 33.3%.
위 비율은 공개된 평균값으로 이 글에서 검산한 값입니다. “Fable이 Opus보다 54% 저렴하다”라고 쓰면 비교 대상을 잘못 섞게 됩니다. 54%는 Fable 자신의 단독 실행과 비교한 수치입니다.
수치 출처: Cognition의 결과 표
3. 사이드킥 비용은 더 썼지만 리드 비용을 줄였습니다
원문은 평균 비용을 리드와 사이드킥으로 나눠 보여줍니다. 이 구분을 보면 “싼 모델에 많이 맡겨서 끝”이라는 설명보다 실제 차이가 더 분명해집니다.
- Fable 구성: 리드 $1.28 + 사이드킥 $0.58 = 총 $1.86
- Opus 구성: 리드 $1.73 + 사이드킥 $0.31 = 총 $2.04
Fable 구성은 사이드킥에서 $0.27 더 썼지만, 리드에서 $0.45 덜 썼습니다. 두 차이를 합치면 전체 비용이 $0.18 낮아집니다. 모든 단계가 싸진 것이 아니라, 비용이 발생하는 위치가 달라진 것입니다.
함께 보고된 리드의 평균 턴 수는 11.5 대 26.5, 누적 입력 토큰은 545k 대 1,679k였습니다. 누적 입력은 여러 호출에서 읽은 토큰을 합한 값이므로, 서로 다른 문서가 그만큼 있었다거나 컨텍스트 윈도가 그 크기였다는 뜻은 아닙니다. 이 숫자도 리드 부분만 비교한 것이며 사이드킥을 포함한 전체 토큰 절감률로 바꿔서는 안 됩니다.
근거: 원문의 Cost of an agent 항목
4. ‘매니저와 마이크로매니저’는 로그를 설명하는 비유입니다
Cognition은 두 모델의 행동 차이를 매니저와 마이크로매니저로 표현했습니다. 이를 모델의 고정된 성격이나 모든 작업에 적용되는 서열로 볼 필요는 없습니다. 특정 하네스에서 관찰한 실행 경로를 설명하는 비유입니다.
특히 놓치기 쉬운 점은 두 리드의 위임 횟수가 모두 실행당 약 3회로 비슷했다는 사실입니다. 차이는 단순한 위임 횟수보다 언제, 무엇을 맡기고 어떤 방식으로 검토했는지에 있었습니다.
- Fable 쪽에서 보고된 경향: 이른 탐색 위임, 제약·예외 조건·완료 기준을 담은 요청, 결과 차이 검토 후 필요한 수정 재위임
- Opus 쪽에서 보고된 경향: 리드가 탐색과 구현을 진행한 뒤 늦게 위임, 요약받은 파일 재열람, 리드가 직접 수정하는 작업의 증가
예를 들어 원문은 해시 함수 작업에서 길이에 대한 O(1) 제약을 지시서에 명시한 사례를 제시합니다. 이 사례에서 얻을 만한 교훈은 “모든 구현을 넘겨라”가 아니라, 빠뜨리면 실패하는 조건을 위임할 때도 명확히 전달하라는 것입니다.
파일을 다시 읽거나 직접 수정하는 행동이 항상 낭비인 것도 아닙니다. 요약이 불충분하거나 보안상 중요한 변경이라면 재검토가 필요합니다. 이 실험의 비용 차이를 따라 하려고 검증을 생략하면, 낮은 청구액 대신 더 큰 재작업 비용을 만들 수 있습니다.
5. 점수가 비슷하다고 품질 저하가 없다고 단정할 수는 없습니다
Fable 단독의 60.8과 사이드킥 구성의 60.7은 평균값이 가깝습니다. 그러나 이 표만으로 모든 작업에서 같은 품질이었다거나 통계적으로 동등하다고 결론 내릴 수는 없습니다.
- 벤더 자체 평가: Cognition이 자사 하네스와 벤치마크로 수행한 비교입니다. 독립적인 재현 결과와 구분해야 합니다.
- 평균과 개별 작업은 다름: 평균 점수가 비슷해도 특정 언어·저장소·보안 요구사항에서 결과가 달라질 수 있습니다.
- 공개 조건의 한계: 검토한 비교 글과 벤치마크 설명에는 사이드킥의 정확한 모델명, 실험 실행 날짜, 네 구성별 세션 배분, 신뢰구간 등 재현·불확실성 판단에 필요한 일부 정보가 제시되지 않았습니다. 다른 자료에도 없다고 단정하는 것은 아닙니다.
- 하네스가 다름: Devin Fusion의 결과가 Claude Code에서 Fable과 Sonnet을 조합했을 때 그대로 재현된다는 근거는 아닙니다. 사이드킥을 Sonnet이나 Haiku라고 임의로 치환해서도 안 됩니다.
원문 역시 짧아서 나눌 일이 거의 없는 작업이나, 원인 추적이 하나의 긴 판단 흐름으로 이어지는 디버깅에서는 위임의 이점이 제한된다고 설명합니다. 또 Opus에 탐색 위임을 강제하는 방식이 성능을 낮추는 경향을 보였다고 보고합니다. 규칙 하나로 특정 모델의 행동을 복제할 수 있다는 식의 조언은 피해야 합니다.
6. 35%·41%·54%·60%는 한 실험의 같은 숫자가 아닙니다
Devin Fusion 소개 글에는 최초 게시 당시 35% 절감을 보고했고, 2026년 8월 7일 갱신한 데이터에서 최대 60%를 제시한다는 주석이 있습니다. 같은 페이지의 Fable 관련 41%는 접근 중단 이전 측정과 당시 내부 Fusion 버전에 근거한다고 별도로 설명합니다.
반면 이 글이 중심으로 다룬 7월 13일 비교 글의 54%는 $4.03에서 $1.86으로 바뀐 평균 비용을 설명합니다. 서로 다른 보고 시점·구성·비교 대상을 하나의 “35~60% 절약 보장” 범위로 묶으면 안 됩니다. 게시일이나 차트 업데이트 날짜 역시 모든 실험의 실행 날짜를 뜻하지 않습니다.
접근 가능 여부도 별개입니다. 과거 소개 글의 중단 설명만으로 현재 Fable을 사용할 수 없다고 판단해서는 안 됩니다. Anthropic은 2026년 7월 1일 접근 재개를 공지했습니다. 실제 사용 시에는 현재 계정·제공자·요금 조건을 다시 확인해야 합니다.
7. 내 프로젝트에서는 ‘작업 한 건을 제대로 끝내는 비용’을 보세요
이 사례가 보여주는 것은 고가 모델을 무조건 고르라는 결론이 아닙니다. 모델의 토큰 단가뿐 아니라 작업 분배, 중복 읽기, 재시도와 검토 비용을 함께 보라는 것입니다.
도입을 검토할 때는 아래 세 질문부터 확인해 보세요.
- 품질: 같은 완료 조건과 테스트를 통과하는가? 민감한 변경의 사람 검토가 누락되지 않았는가?
- 전체 비용: 리드·워커·재시도의 비용을 모두 포함했는가? API 추정 비용과 구독료, 사람의 수정 시간을 섞어 계산하지 않았는가?
- 작업 적합성: 따로 조사하거나 구현해도 되는 부분이 있는가? 나누는 설명과 통합 작업이 실제 구현보다 커지지 않는가?
여러 작업을 비교할 때는 성공한 실행만 골라 평균을 내지 말고, 실패와 재시도까지 든 비용을 함께 기록하는 것이 좋습니다. 예를 들어 같은 종류의 작업 묶음에서 전체 시도 비용 ÷ 완료 기준을 통과한 작업 수를 참고 지표로 볼 수 있습니다. 이것은 Cognition이 위 표에서 보고한 지표가 아니라, 실무 평가를 위해 제안하는 추가 기준입니다. 성공 건수가 적다면 이 값도 크게 흔들립니다.
결론은 제한적이지만 유용합니다. Cognition의 해당 실험에서는 Fable 리드가 더 높은 단가를 효율적인 실행으로 상쇄했습니다. 내 프로젝트에서도 그러한지는 같은 품질 기준으로 다시 측정해야 합니다. 구체적인 에이전트 파일과 비교 기록 양식은 아래 설정 가이드로 이어집니다.
댓글
댓글 쓰기