지난 글에서 AI에 쏟아진 돈이 왜 대부분 GPU로 흘러가는지 짚었다. 이번엔 그 반대편이다. 인프라가 그렇게 벌어간다면, 앱 레이어에는 얼마가 남는가.
투자자들이 AI 스타트업에 소프트웨어의 밸류에이션 배수를 붙일 때, 그 배수는 하나의 가정 위에 서 있었다. 한 번 만들면 거의 공짜로 무한히 판다. 서버 비용은 매출이 커질수록 상대적으로 얇아지고, 그래서 전통 SaaS는 매출의 75~85%를 매출총이익으로 남긴다. 2025년 소프트웨어 업계의 중간값이 80%였다. 이 숫자가 SaaS를 세상에서 가장 좋은 사업으로 만들었다.
AI 앱은 그 가정을 상속받지 못한다.
매 응답이 변동원가다
차이는 단순하다. SaaS에서 사용자가 버튼을 한 번 더 누르는 비용은 거의 0이다. 코드는 이미 짜여 있고, 한 번 더 실행하는 데 드는 추가 원가가 없다시피 하다. AI 앱에서 사용자가 질문을 한 번 더 하면, 모델이 한 번 더 돈다. GPU 연산과 메모리 대역폭과 전력이 그때마다 실제로 소모된다. '한 번 만들어 무한히 판다’는 마법이 여기서 깨진다. 모든 트랜잭션에 진짜 변동원가가 붙기 때문이다.
숫자가 이걸 그대로 보여준다. ICONIQ의 2026년 1월 스냅샷 기준, AI 제품의 평균 매출총이익률은 52%였다. 낮아 보이지만 이건 오른 값이다 — 2024년 41%, 2025년 45%에서 올라왔다. a16z의 마틴 카사도와 맷 본스타인은 이미 몇 년 전 에세이에서 AI 회사의 마진이 전통 SaaS의 60~80%+가 아니라 50~60% 구간에 자주 앉는다고 지적했다. 규모가 커지는 단계의 AI B2B 기업에선 추론 비용 하나가 매출의 약 23%를 먹는다. 더 뼈아픈 건 이 비율이 제품이 성숙할수록 줄지 않고 오히려 커진다는 점이다. 쓰는 사람이 늘수록 추론이 더 돈다.
마진은 '규모’가 아니라 '원가 구조’로 방어한다
전통 SaaS 창업자는 마진을 성장이 알아서 해결해주는 문제로 다뤘다. 매출이 커지면 고정비가 희석되니까. AI 앱에서 그 직관은 위험하다. 원가의 상당 부분이 고정비가 아니라 매출과 함께 자라는 변동비라, 성장만으로는 희석되지 않는다. 마진은 저절로 좋아지지 않고, 설계로 만들어야 한다.
그래서 앱 레이어의 진짜 싸움은 기능이 아니라 원가 구조에서 벌어진다. 실무에서 가장 큰 레버는 모델 라우팅이다. 모델 간 가격차가 5배를 넘기 때문에, 쉬운 요청을 값싼 모델로 흘리고 어려운 요청만 비싼 모델로 올리는 것만으로 원가 곡선이 달라진다. 반복되는 프롬프트의 캐싱, 응답 길이 통제, 불필요한 재시도 제거가 그 위에 얹힌다. 가격을 좌석당 정액이 아니라 사용량에 연동해, 많이 쓰는 고객이 마진을 갉아먹지 않게 막는 것도 같은 방향이다.
한 가지 지표를 계기판에 올려두길 권한다. 추론 원가가 매출의 몇 %인가. 이 비율이 시간이 갈수록 내려가면 원가 구조가 규율 아래 있는 것이고, 올라가면 성장이 마진을 태우고 있다는 신호다. 전통 SaaS에선 볼 필요 없던 숫자가, AI 앱에선 생존 지표가 된다.
그래서 무엇이 달라지나
여기서 앞 글의 결론과 이어진다. 인프라가 돈을 버는 이유는, 앱이 매 응답마다 인프라에 원가를 내기 때문이다. 두 문장은 같은 사실의 앞뒷면이다.
이게 앱 레이어의 사업을 못 할 이유는 아니다. 성숙한 AI 네이티브 제품이 50~65%까지 마진을 끌어올린다는 건, 원가를 설계로 다스릴 여지가 분명히 있다는 뜻이다. 다만 시작점이 다르다는 걸 인정해야 한다. 소프트웨어의 80%가 공짜로 주어지지 않는 세계에선, 무엇을 만들지 못지않게 한 번의 응답에 얼마를 쓰는지가 사업의 성패를 가른다. 기능은 경쟁자가 한 달이면 따라붙지만, 남들보다 싸게 같은 답을 내놓는 원가 구조는 그렇게 쉽게 복제되지 않는다. 1인 사업가에게는 특히 그렇다 — 마진 1%p가 곧 혼자 버틸 수 있는 개월 수다.