앞선 글들에서 AI 앱의 원가는 매 응답이 변동원가이고, 그래서 마진은 성장이 아니라 원가 구조로 지켜야 한다고 했다. 그 얘기의 전제가 조용히 바뀌었다. 추론 모델이 기본값이 되면서, 한 번의 응답에 드는 원가의 ‘성격’ 자체가 달라졌다.
화면에 없고 청구서엔 있는 토큰
o 계열을 비롯한 추론 모델은 답을 내놓기 전에 속으로 길게 생각한다. 여러 경로를 펼치고, 자기 답을 검증하고, 되짚는다. 이 과정에서 쏟아내는 '생각 토큰(reasoning token)'은 사용자 화면에 거의 나오지 않는다. 그런데 청구는 된다. 그것도 가장 비싼 출력 단가로. 생각 토큰은 별도 항목이 아니라 출력 토큰의 일부로 잡혀서, 눈에 보이는 답이 몇백 토큰일 때 그 뒤에서 수천 토큰을 태우는 일이 예사다. 업계 보고들은 작업 난이도에 따라 실효 원가가 표시 단가의 3~10배까지 뛴다고 말한다. 당신이 대시보드에서 보는 응답 길이는 진짜 원가를 숨긴다.
'더 똑똑하게’가 이제 '더 비싸게’와 같은 말이다
토큰 단가만 보면 시대는 우리 편이었다. 2022년 말부터 2024년 말까지 토큰 단가는 수백 배 떨어졌다. 그런데 추론 모델은 답 하나에 훨씬 많은 토큰을 쓴다. 그래서 단가가 내려가는 와중에도, 어려운 작업 한 건의 원가는 오히려 올라간다. 여기가 핵심이다. 예전엔 원가가 입력과 눈에 보이는 출력으로 대략 고정됐다. 이제 원가는 모델이 '얼마나 오래 생각했는가’에 비례하고, 그 시간은 쿼리 난이도가 정한다. 정확도를 한 칸 올리는 방법이 곧 생각을 더 시키는 것이라면, 품질을 높이는 손잡이와 원가를 높이는 손잡이가 같은 손잡이가 된다.
훈련 비용이 당신의 추론 비용으로 넘어왔다
이 변화의 산업적 의미는 더 크다. 성능을 끌어올리는 무게중심이 훈련에서 추론으로 옮겨갔다. 예전엔 더 큰 모델을 훈련해 성능을 샀고, 그 비용은 랩이 한 번 치르고 수많은 호출에 나눠 상각했다. 지금은 답하는 순간에 계산을 더 태워 성능을 산다. 그 비용은 랩이 아니라, 매 호출마다 당신이 낸다. 훈련이라는 고정비를 랩이 흡수하던 구조에서, 추론이라는 변동비를 앱 사업자가 떠안는 구조로 원가가 옮겨탄 것이다. SWE-bench 해결률이 1년 새 4.4%에서 71.7%로 뛴 그 도약의 상당 부분이 이 방식으로 왔고, 그 청구서의 상당 부분이 이제 당신 앞으로 온다.
추론은 기본값이 아니라 다이얼이다
그래서 하지 말아야 할 건 분명하다. 모든 요청을 추론 모델의 최대 사고로 부르는 것. 그건 프론티어를 런타임 기본값으로 두는 습관의 더 비싼 버전이다. 대신 추론을 다이얼로 다뤄야 한다. 대다수 예측 가능한 요청 — 분류, 추출, 요약 — 은 애초에 생각이 필요 없으니 값싼 비추론 모델로 흘리고, 정말 어려운 소수만 추론으로 올린다. 올릴 때도 무제한이 아니라 사고 예산(thinking budget)을 걸어 상방을 닫는다. 얼마까지 생각하게 둘지는, 그 문제에서 '충분히 좋은 답’의 통과선이 정한다. 여기서도 결국 eval이 없으면 손잡이를 어디에 둘지 알 수 없다.
보이지 않는 원가는 계측하지 않으면 거짓말을 한다
마지막은 계측이다. 생각 토큰은 눈에 안 보이니, 대다수 팀의 원가 예측이 조용히 틀린다. 응답당 원가를 추정할 때 반드시 reasoning 토큰까지 세야 한다. 그러지 않으면 마진은 장부에서만 멀쩡하다가 트래픽이 붙는 순간 무너진다. 요약하면 이렇다. 추론 모델은 새로운 능력을 열었지만, 원가를 쿼리마다 가변이고 상방이 열린 것으로 바꿔 놓았다. 능력은 기본값으로 켜 두는 게 아니라 필요한 곳에만 꺼내 쓰는 것이다 — 특히 응답 하나하나의 원가가 곧 생존인 1인 사업가에게는.