[AI Frontier] 작업완료 비용의 관점에서 AI 모델 경쟁

[AI Frontier]

최저 토큰 단가가 최저 운영비를 뜻하지 않는다. 이제 기업이 비교해야 할 것은 모델 호출 가격보다 ‘승인 가능한 업무 하나를 끝내는 데 실제로 얼마가 드는가’에 가깝다.

2026년 8월 14일, Google은 에이전트 작업과 코딩을 겨냥한 제미나이 3.7 플래시(Gemini 3.7 Flash)를 공개했다. 연말까지 입력 100만 토큰당 0.75달러, 출력 100만 토큰당 3.75달러라는 프로모션 가격을 제시하면서 성능 향상뿐 아니라 수동 개입과 재시도를 줄이는 실행 능력을 강조했다.

하루 앞서 DeepSeek는 V4 Pro를 정식 출시했고, OpenAI는 GPT-5.6 계열에서 가격 대비 성능을 주요 메시지로 내세웠다. Anthropic도 Claude Sonnet 5의 입력 2달러·출력 10달러 가격을 한시 가격이 아닌 표준 가격으로 확정했다. 기업들의 발표 문구는 다르지만 공통된 방향이 있다. 인공지능(Artificial Intelligence, AI) 모델 경쟁의 질문이 ‘가장 똑똑한 모델은 무엇인가’에서 ‘필요한 결과를 얼마에 끝낼 수 있는가’로 넓어지고 있다는 점이다.

AGENCYTIMES VIEW

모델 가격표의 단위는 토큰이다. 기업 업무의 단위는 토큰이 아니다. 보고서 한 건, 코드 수정 한 건, 고객 문의 처리 한 건처럼 ‘승인 가능한 완료 결과’가 실제 비용의 기준이 된다.

AI 모델 비용은 왜 토큰 가격만 보면 틀리기 쉬운가

대규모 언어 모델(Large Language Model, LLM)을 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API)로 사용할 때 가장 쉽게 비교할 수 있는 숫자는 입력·출력 토큰 가격이다. 가격표를 한 줄로 정리할 수 있고 예산 계산도 쉽다. 문제는 이 숫자가 업무의 성공 여부를 말해주지 않는다는 데 있다.

한 번에 원하는 결과를 내지 못하면 다시 호출해야 한다. 검색이나 브라우저, 데이터베이스 같은 도구를 부르면 추가 비용이 생길 수 있다. 답은 나왔지만 사람이 15분 동안 고쳐야 한다면 그 시간도 운영비다. 처리 속도가 느려 고객이나 직원이 기다려야 한다면 비용은 모델 청구서 밖으로 이동한다.

그래서 100만 토큰당 가격이 낮은 모델이 항상 싼 모델은 아니다. 반대로 비싼 모델이라고 항상 비효율적인 것도 아니다. 같은 일을 더 적은 시도와 짧은 검수로 끝낸다면 높은 호출 단가의 일부를 회수할 수 있다.

WHAT CHANGED

모델별 지능 차이뿐 아니라 저가·고성능 계층이 빠르게 세분화되고 있다.
추론 강도를 조정해 속도와 비용을 바꾸는 방식이 확산되고 있다.
Batch, Flex, Fast, Priority처럼 같은 모델 안에서도 처리 방식에 따라 가격이 달라진다.
DeepSeek처럼 작업 실행 시간 자체를 피크·오프피크 가격과 연결하는 사례도 등장했다.

같은 토큰을 쓴다고 가정하면 가격 차이는 얼마나 날까

먼저 가장 단순한 가격표 비교부터 해보자. 아래 표는 입력 5만 토큰과 출력 1만 토큰을 한 번 사용한다고 가정해 2026년 8월 14일 공식 API 가격으로 AgencyTimes가 계산한 값이다. 캐시, 검색, 별도 도구 호출, 재시도와 사람 검수는 넣지 않았다.

모델	입력 / 출력 100만 토큰	가정한 1회 직접비용	가격 조건
GPT-5.6 Sol	$5.00 / $30.00	$0.550	Standard, short context 기준
GPT-5.6 Terra	$2.00 / $12.00	$0.220	Standard, short context 기준
GPT-5.6 Luna	$0.20 / $1.20	$0.022	Standard, short context 기준
Gemini 3.7 Flash	$0.75 / $3.75	$0.075	2026년 12월 31일까지 프로모션 가격
Claude Sonnet 5	$2.00 / $10.00	$0.200	표준 API 가격
DeepSeek V4 Pro	$0.435 / $0.87	$0.0305	캐시 미스 기준, 가격 개편 전

AgencyTimes 계산. 가정: 입력 50,000 토큰 + 출력 10,000 토큰, 1회 호출. 모델별 토크나이저와 성능, 추론 방식이 다르므로 이 표는 성능 순위가 아니라 가격 민감도를 보기 위한 예시다.

가격만 놓고 보면 같은 가정에서 GPT-5.6 Sol과 Luna 사이에는 25배 차이가 난다. 그러나 여기서 ‘Luna가 25배 경제적이다’라고 결론 내리면 안 된다. 이 계산에는 해당 업무를 실제로 완료할 확률도, 필요한 재시도 횟수도, 사람이 확인하는 시간도 들어 있지 않기 때문이다.

가격표를 읽을 때 한 가지 더

DeepSeek V4 Pro는 2026년 8월 16일 16:00 UTC, 한국시간 8월 17일 오전 1시부터 피크·오프피크 가격으로 전환될 예정이다. 같은 5만 입력·1만 출력 토큰 가정에서 새 가격 적용 후 직접비용은 오프피크 약 $0.0528, 피크 약 $0.1056이다. 모델 선택뿐 아니라 작업을 언제 실행하는지도 비용 변수가 되는 사례다.

토큰 단가가 낮아도 재시도가 늘면 무엇이 달라질까

에이전트형 업무에서는 이 문제가 더 커진다. 모델이 계획을 세우고, 검색하고, 파일을 읽고, 코드를 실행하고, 결과를 확인하는 동안 한 업무 안에서 여러 차례의 모델 호출과 도구 호출이 이어진다. 중간 단계에서 잘못 판단하면 그 뒤의 호출 비용까지 다시 발생한다.

Google이 3.7 Flash 발표에서 수동 개입과 재시도 감소를 별도로 강조한 이유도 이 지점에서 읽을 수 있다. OpenAI 역시 GPT-5.6을 설명하면서 단순 토큰 가격뿐 아니라 작업당 비용과 처리시간을 언급했고, Anthropic은 Sonnet 5를 추론 노력 수준에 따른 비용-성능 곡선으로 설명했다. 세 회사의 자체 평가를 직접적인 우열 비교로 사용할 수는 없지만, 공급자 스스로 경쟁 단위를 넓히고 있다는 신호는 분명하다.

AGENCYTIMES COST FRAME

완료 작업당 비용 = (모델·도구 비용 + 검수 인건비 + 재작업 비용 + 측정 가능한 지연 비용) ÷ 승인된 완료 작업 수

가격 비교의 분모를 ‘토큰 수’에서 ‘승인된 완료 작업 수’로 바꾸는 것이 핵심이다. 기업마다 인건비와 지연 비용이 다르므로 하나의 글로벌 순위를 만드는 대신 자기 업무 데이터를 넣어 계산해야 한다.

측정 항목	실제로 기록할 값	왜 필요한가
직접 호출비	모델, 검색, 도구, 캐시 비용	청구서에 직접 나타나는 비용
첫 시도 완료율	사람의 수정 없이 승인된 비율	저가 모델의 숨은 재시도 비용을 찾는다
평균 시도 횟수	완료까지 발생한 모델·도구 호출	에이전트 루프의 비용 증폭을 확인한다
사람 검수 시간	완료 건당 수정·승인에 쓴 분	AI 밖으로 이동한 인건비를 잡는다
완료 시간	요청부터 승인까지 p50·p95 시간	고객 경험과 운영 대기시간을 함께 본다
사후 재작업률	승인 후 다시 수정한 비율	겉으로 보이지 않는 품질 비용을 찾는다

가장 비싼 모델이 가장 비효율적인 것도 아니다

작업완료 비용으로 보면 ‘회사 전체가 어떤 모델을 쓸 것인가’라는 질문부터 바뀐다. 실제 업무에는 난이도와 실패 비용이 다른 여러 단계가 섞여 있기 때문이다.

예를 들어 대량 문서 분류나 형식이 정해진 데이터 가공은 낮은 비용과 높은 처리량이 중요하다. 반대로 모호한 요구사항을 해석하거나 중요한 소프트웨어 변경 계획을 세우는 단계에서는 한 번의 잘못된 판단이 뒤의 수십 번 호출을 무효화할 수 있다. 이 경우 더 강한 모델에 먼저 비용을 쓰는 편이 전체 작업비를 낮출 가능성이 있다.

업무 성격	우선할 조건	모델 운영 방향
반복적·고용량·오류 수정이 쉬움	단가, 속도, 처리량	저비용 모델 우선 검토
중간 난이도·도구 사용 포함	첫 시도 완료율과 비용 균형	균형형 모델 + 내부 평가
모호함이 크고 실패 비용이 높음	정확도, 판단 품질, 검수 부담	고성능 모델 + 사람 승인

따라서 한 모델을 모든 단계에 고정하는 것보다 업무 단계에 따라 모델을 나누는 모델 라우팅(model routing)이 더 현실적인 전략이 될 수 있다. 어려운 판단은 높은 지능을 사용하고, 결정된 계획의 반복 실행은 저비용 모델에 맡기는 식이다. 중요한 것은 모델 이름이 아니라 각 단계에서 추가 지능이 실제로 완료율을 얼마나 높이는지 측정하는 일이다.

기업은 AI 모델 비용을 어떻게 비교해야 할까

모델 평가에서 가장 흔한 오류는 모델부터 정한 뒤 업무를 끼워 맞추는 것이다. 실제 운영에서는 반대로 시작하는 편이 낫다. 먼저 어떤 상태를 ‘완료’라고 인정할지 정하고, 같은 실제 업무 묶음을 여러 모델에 넣어 비용과 완료율을 함께 측정해야 한다.

플랫폼과 최적화 업무에서도 단가 하나만으로 성과를 설명하기는 어렵다. 목표 이벤트를 무엇으로 정했는지, 실패를 어떻게 분류했는지, 어느 단계에서 사람이 개입했는지가 결과를 바꾼다. AI 모델 평가 역시 같은 방식으로 보는 편이 실무적이다. 벤치마크 점수는 후보를 고르는 데 유용하지만 조직의 최종 선택은 실제 작업 표본에서 확인해야 한다.

MODEL EVALUATION CHECKLIST

모델 테스트 전에 ‘완료’와 ‘실패’의 기준을 정했는가?
동일한 실제 업무 표본으로 모델을 평가하는가?
API 비용뿐 아니라 도구 호출과 검색 비용을 기록하는가?
재시도 횟수와 사람 검수 시간을 함께 측정하는가?
평균값뿐 아니라 느린 작업의 p95 완료시간을 확인하는가?
전체 업무를 하나의 모델에 맡길 필요가 있는지 검토했는가?

다음 모델 경쟁에서 봐야 할 숫자는 무엇인가

앞으로 모델 가격은 더 복잡해질 가능성이 높다. 이미 캐시 할인, Batch 처리, 우선 처리, 추론 강도, 피크·오프피크처럼 가격을 바꾸는 변수가 늘고 있다. 모델 이름 옆에 붙은 ‘100만 토큰당 얼마’만으로는 운영 경제성을 설명하기 어려워진 이유다.

기업이 다음에 볼 숫자는 다섯 가지면 충분하다. 완료 작업당 실제 비용, 첫 시도 완료율, 사람 검수 시간, 평균 재시도 횟수, 그리고 승인까지 걸린 시간이다. 이 숫자를 업무 유형별로 쌓으면 어느 모델이 가장 높은 벤치마크를 기록했는지가 아니라 어느 모델 조합이 우리 조직의 일을 가장 경제적으로 끝내는지가 보이기 시작한다.

AI 모델 경쟁은 끝나지 않았다. 다만 기업이 그 경쟁을 바라보는 기준은 바꿀 수 있다. 가장 싼 모델을 찾는 대신, 가장 낮은 비용으로 필요한 품질의 일을 끝내는 시스템을 찾는 것이다.

Summary

AI 모델의 토큰 단가는 필요한 정보지만 충분한 정보는 아니다. 실제 기업 운영에서는 모델·도구 호출비, 재시도, 사람 검수, 재작업, 완료시간을 함께 보고 ‘승인된 작업 한 건당 비용’을 계산해야 한다. 업무 난이도에 따라 여러 모델을 조합하고 이 지표를 지속적으로 측정하는 조직이 모델 가격 경쟁의 혜택을 실제 손익으로 연결할 가능성이 높다.

FAQ

AI 모델 비용에 대해 자주 묻는 질문

Q. AI 모델 비용은 토큰 가격만 비교하면 되나요?

아니다. 토큰 가격은 직접 호출비를 비교하는 출발점이다. 실제 운영에서는 재시도, 도구 사용, 사람 검수와 수정 시간까지 포함해 승인된 완료 작업당 비용을 함께 보는 것이 적절하다.

Q. 작업완료 비용이란 무엇인가요?

특정 업무를 요구한 품질 수준으로 완료하고 승인받기까지 발생한 전체 비용이다. AgencyTimes는 모델·도구 비용, 검수 인건비, 재작업 비용과 측정 가능한 지연 비용을 승인된 완료 건수로 나눠 보는 방식을 제안한다.

Q. 비싼 AI 모델이 실제로 더 경제적일 수도 있나요?

가능하다. 높은 단가의 모델이 재시도와 사람 수정 시간을 크게 줄인다면 전체 작업비가 낮아질 수 있다. 반대의 경우도 있으므로 실제 업무 표본으로 측정해야 한다.

Q. 기업은 하나의 AI 모델로 표준화하는 것이 좋나요?

반드시 그렇지는 않다. 반복적이고 실패 비용이 낮은 작업과 모호하고 중요한 판단 작업은 필요한 지능 수준이 다르다. 업무 단계별 완료비용을 측정한 뒤 여러 모델을 라우팅하는 방식도 검토할 수 있다.

TERMINOLOGY

본문의 주요 용어

용어	뜻	실무 포인트
API	외부 프로그램이 AI 모델을 호출하는 인터페이스	사용량에 따라 실제 청구비가 발생하는 주요 지점
첫 시도 완료율	첫 실행 결과가 추가 수정 없이 승인되는 비율	단가보다 재작업 경제성을 보는 지표
프롬프트 캐싱	반복되는 입력 일부를 재사용해 처리비를 낮추는 방식	반복 워크로드에서는 실질 가격을 크게 바꿀 수 있음
모델 라우팅	업무 난이도와 조건에 따라 다른 모델을 선택하는 방식	모든 작업에 최고가 모델을 쓰지 않고 비용과 품질을 조정할 수 있음

이 블로그 검색