지난 글에서 AI 앱은 매 응답이 변동원가라, 마진을 성장이 아니라 원가 구조로 방어해야 한다고 했다. 거기서 가장 큰 레버로 모델 라우팅을 짚었다. 이번엔 그 레버를 끝까지 당긴다. 그리고 원가 너머에 하나가 더 걸려 있다는 걸 말하려 한다 — 해자.
대부분의 프로덕션 앱은 습관 하나를 공유한다. 모든 요청을 그 시점의 가장 강한 모델로 부른다. 그게 안전해 보이기 때문이다. 하지만 그 습관은 두 가지 세금을 물린다.
세금 하나: 원가
프론티어 모델과 빠른 소형 모델의 토큰 단가 차이는 계속 벌어져 왔다. 2023년엔 서너 배였지만 지금은 열 배 안팎, 자릿수에 가까운 구간까지 왔다. 문제는 이 배수가 트래픽에 그대로 곱해진다는 것이다. 매 쿼리를 최강 모델로 부르면, 사용자가 늘수록 당신은 남들보다 열 배 비싼 원가 곡선을 탄다. 앞 글에서 말한 ‘성장이 마진을 태우는’ 현상이 여기서 가속된다.
세금 둘: 해자
이쪽이 덜 논의되지만 더 무섭다. 제품의 똑똑함 전부를 벤더 API 한 줄에 얹으면, 그 똑똑함은 당신 것이 아니다. 벤더가 값을 올리면 당신 마진이 깎이고, 벤더가 그 기능을 기본 제공으로 삼키면 당신 제품이 사라진다. 경쟁자도 같은 API를 한 줄이면 부른다. 모두가 같은 뇌를 빌려 쓰는 시장에서, 그 뇌는 누구의 해자도 아니다.
대부분의 일에 프론티어는 과분하다
실무의 패턴은 이미 정해져 있다. 예측 가능한 요청의 대다수 — 의도 분류, 필드 추출, 요약, 형식 맞추기, 안전 필터 — 는 잘 조준된 소형 모델이 무리 없이 통과한다. 프론티어가 진짜로 필요한 건 애매하고 어려운 나머지 소수다. 라우터를 하나 세워 쉬운 요청을 값싼 모델로 흘리고 어려운 것만 위로 올리는 것만으로 원가 곡선이 꺾인다. Gartner는 2027년까지 조직이 범용 LLM보다 소형·태스크특화 모델을 세 배 이상 쓸 것으로 본다. 방향은 분명하다.
더 내려가는 길이 distillation이다. 프론티어를 교사로 삼아 특정 태스크에서 소형 학생 모델을 훈련하면, 학생은 교사 성능의 상당 부분을 유지하면서 추론 원가를 몇 배 낮춘다. 라우팅이 '어디로 보낼까’라면, distillation은 '내 몫의 뇌를 직접 갖는다’에 가깝다.
못 내려가는 진짜 이유는 기술이 아니다
그런데도 많은 팀이 프론티어에 계속 매달린다. 이유는 대개 기술이 아니라 통과선의 부재다. 무엇이 '충분히 좋은 답’인지 정의하는 평가 세트가 없으면, 소형 모델이 그 기준을 넘는지 확인할 방법이 없다. 그래서 겁이 나 가장 비싼 모델을 켜 둔다. 프론티어를 런타임 기본값으로 쓰는 건, 자주 원가 규율의 승리가 아니라 eval을 아직 만들지 않았다는 증상이다. 통과선을 세우는 순간 비로소 안심하고 내려갈 수 있다.
진짜 해자는 모델이 아니라 교사다
여기서 원가 얘기가 해자 얘기와 만난다. distillation의 학생 모델 자체는 복제된다 — 남도 오픈 웨이트를 내려받아 훈련할 수 있다. 복제되지 않는 건 그 학생을 정확히 조준하는 재료다. 당신의 도메인 데이터, 라벨, 실패 사례, 그리고 그것들이 어떤 개체·관계로 엮이는지에 대한 구조. 프론티어가 교사라면, 그 교사에게 무엇을 가르칠지 아는 것은 당신이다. 남과 같은 소형 모델을 쓰더라도, 그 모델이 당신 문제에서만 유독 잘 맞는다면 그 차이가 해자다.
프론티어는 런타임 기본값이 아니라 R&D 도구다
정리하면 이렇다. 최강 모델은 매 쿼리를 처리하라고 있는 게 아니라, 교사가 되고 통과선을 세우고 어려운 20%를 받으라고 있다. 그것으로 평가 세트를 만들고, 학생을 가르치고, 가장 작은 통과 모델까지 내려가라. 그때 두 가지가 동시에 일어난다. 원가 곡선이 트래픽과 함께 치솟기를 멈추고, 제품의 똑똑함이 비로소 당신 것이 된다. 1인 사업가에게 이건 특히 절실하다 — 빌린 뇌 위에 세운 제품은 언제든 벤더가 거둬갈 수 있지만, 당신이 가르친 뇌는 그렇지 않다.