데모에서 에이전트가 3분짜리 일을 깔끔하게 끝내는 걸 보면 "이 업무 통째로 맡겨도 되겠다"는 생각이 든다. 그런데 실제 업무는 3분이 아니라 세 시간짜리고, 스텝은 서너 개가 아니라 수십 개다. 데모가 감춘 건 모델의 지능이 아니다. 얼마나 긴 일을 사람 손 안 대고 끝까지 끌고 가느냐 — 이 지평(horizon)이다. 에이전트를 가르는 건 IQ가 아니라 완주율이다.
측정 가능한 축이 생겼다: 태스크 지평
2025년 3월, METR은 모델의 능력을 "얼마나 어려운 문제를 푸나"가 아니라 **“얼마나 긴 태스크를 끝내나”**로 다시 정의했다. 지표는 '50% 완료 시간 지평’이다. 사람 전문가 기준 몇 분, 몇 시간짜리 일을 모델이 50% 확률로 완수하느냐를 시간으로 환산한 값이다. 이 값은 지난 6년간 지수적으로 늘었고 약 7개월마다 두 배가 됐다. GPT-2는 2초, Claude 3.7 Sonnet은 약 50분, o3는 두 시간 가까이. 2024년 이후엔 곡선이 더 가팔라졌다는 신호도 있다.
여기까지만 보면 낙관적이다. 몇 년 뒤엔 하루짜리, 일주일짜리 태스크를 에이전트가 통째로 처리한다는 외삽이 나온다. 문제는 그 곡선 뒤에 숨은 두 개의 함정이다.
함정 1: 50%는 코인 토스다
50% 지평은 데모용 숫자다. 무인 자동화에 걸 수 있는 값이 아니다. 곁에서 지켜볼 사람이 없다면 필요한 건 "반반"이 아니라 "다섯 번 중 네 번"이다. 그런데 요구 신뢰도를 80%로 올리는 순간 지평이 4~6배 짧아진다. 같은 METR 측정에서 Claude 3.7 Sonnet은 50% 기준으로 59분짜리 일을 하지만, 80% 기준으로는 15분짜리로 쪼그라든다. "두 시간짜리 일을 한다"는 헤드라인과 "손 안 대도 되는 일은 15분짜리"라는 현실 사이의 간극이 여기 있다. 게다가 이 80% 지평은 50%보다 훨씬 느리게 오른다.
함정 2: 스텝은 곱해진다
긴 태스크가 위험한 건 길어서가 아니라 스텝이 곱해지기 때문이다. 스텝 하나가 95% 확률로 맞아도, 20스텝을 이으면 0.95^20 ≈ 0.36 — 세 번 중 두 번은 어딘가에서 샌다. 스텝당 99%짜리라도 20번이면 0.82다. 실제 실패는 이 계산보다 더 고약하다. 최근 연구(‘Is there a half-life for the success rates of AI agents?’)는 에이전트 실패가 **일정한 위험률(hazard rate)**을 따른다고 본다. 태스크가 길어질수록 성공률이 반감기처럼 지수적으로 떨어진다는 뜻이다. 단계마다 조용히 새는 확률이, 긴 자동화에선 재앙으로 누적된다.
그래서 1인 규모에선 뭘 해야 하나
지평을 이해하면 자동화 설계가 달라진다. 세 가지가 실무의 핵심이다.
- 경계는 지능이 아니라 완주율로 긋는다. "이 모델이 똑똑한가"가 아니라 "이 태스크가 우리 에이전트의 80% 지평 안에 드나"를 묻는다. 지평 아래는 무인으로 돌리고, 위는 사람 승인 게이트를 남긴다.
- 긴 일을 지평 안으로 쪼갠다. 30스텝짜리 자동화를 각각 검증 가능한 5스텝 블록으로 나누고 사이에 체크포인트를 둔다. 온톨로지나 워크플로우로 상태를 고정하면 에이전트가 매 블록을 깨끗한 상태에서 다시 시작한다. 한 번에 완주시키려 들지 않는다.
- 완주율을 로깅한다. 데모 성공률이 아니라 실제 n-스텝 태스크의 끝까지 완주율을 측정한다. 그 숫자 없이 감으로 배포하면 자기 에이전트가 곡선의 어디쯤 서 있는지 영영 모른다.
데모는 지능을, 제품은 완주율을 판다
태스크 지평은 매년 늘어난다. 7개월마다 두 배라는 곡선이 사실이라면, 올해 사람이 지키던 게이트가 내년엔 무인으로 넘어간다. 하지만 오늘 무엇을 자동화할 수 있는지는 모델의 IQ가 아니라 당신이 실측한 완주율이 정한다. 데모는 한 번의 성공으로 지능을 판다. 제품은 백 번 중 몇 번을 손 안 대고 끝내느냐로 팔린다. 그 숫자를 모른다면, 당신은 아직 배포할 준비가 안 된 것이다.