에이전트를 만들어 본 사람은 비슷한 경험을 한다. 데모에선 기가 막히게 돈다. 그런데 실제 업무에 붙여 몇십 턴을 돌리면 어느 순간부터 답이 흐트러진다. 지시를 흘려듣고, 아까 정한 걸 잊고, 엉뚱한 도구를 부른다. 대부분은 여기서 "모델이 아직 부족하다"고 결론 내린다. 틀렸다. 무너진 건 모델이 아니라 컨텍스트다.
프롬프트가 아니라 컨텍스트가 문제다
2025년 9월, Anthropic은 에이전트 설계의 질문을 이렇게 바꿔 놨다. "어떤 단어를 넣을까"가 아니라 “모델이 원하는 행동을 하게 만드는 컨텍스트 구성은 무엇인가”. 프롬프트 엔지니어링이 한 번의 요청을 다듬는 일이라면, 컨텍스트 엔지니어링은 매 추론 순간 모델의 창(window)에 무엇이 담기고 무엇이 빠지는지를 통제하는 일이다. 에이전트는 요청 한 번으로 끝나지 않는다. 수십 번의 추론이 이어지고, 그때마다 창의 내용물이 결과를 좌우한다.
컨텍스트는 저장소가 아니라 작업 메모리다
가장 흔한 착각은 컨텍스트 창을 "넣을수록 좋은 창고"로 보는 것이다. 실제로는 창고가 아니라 RAM에 가깝다. 용량이 유한하고, 채울수록 개별 정보의 무게가 옅어진다. 관련 없는 토큰이 쌓이면 신호 대 잡음비가 떨어지고 모델의 선택이 나빠진다. 실무에선 이걸 **context rot(컨텍스트 부패)**라고 부른다. 창에 정보가 물리적으로 남아 있어도, 그걸 끄집어내 쓰는 능력이 측정 가능하게 나빠진다.
조용히 무너진다
문제는 이 붕괴가 요란하지 않다는 점이다. 에이전트는 멈추지 않는다. 계속 그럴듯하게 대답하면서 정확도만 떨어진다. 알려진 두 가지 힘이 작동한다.
- Lost in the middle: 모델은 입력의 앞과 뒤는 잘 쓰지만 가운데 묻힌 사실은 체계적으로 놓친다. 긴 대화 중간에 정한 규칙이 가장 먼저 증발한다.
- 최신 편향(recency bias): 방금 들어온 도구 출력이 아까 세운 원칙보다 크게 취급된다. 대화가 길어질수록 초반의 지시가 최근 잡음에 밀린다.
경험칙으로, 에이전트가 20~30턴을 넘어가면 일관성이 흔들리기 시작한다. 데모가 짧아서 안 보였을 뿐이다.
그래서 무엇을 설계하나
핵심은 창을 적게, 정확하게 유지하는 것이다. 세 가지가 기본이다.
- 압축(compaction): 창이 차오르면 오래된 대화를 요약으로 접는다. 최신 모델은 이걸 자동으로 하기 시작했지만, 무엇을 남기고 무엇을 버릴지는 여전히 설계자의 몫이다.
- 메모리 분리: 지금 이 작업에 필요한 단기 기억과, 창 밖 외부 저장소에 두는 장기 지식을 나눈다. 전부 창에 이고 다니지 않는다.
- 적시 인출: 매 턴 모든 걸 밀어넣지 말고, 그 순간 그 결정에 필요한 것만 꺼내 넣는다. 검색을 통째로 붓는 RAG가 흔히 실패하는 이유가 여기 있다.
1인 규모에서 왜 더 중요한가
혼자 사업을 굴리는 사람에게 자동화의 조용한 붕괴는 치명적이다. 곁에서 감시할 사람이 없으니, 에이전트가 정확도를 잃어도 결과가 나빠진 다음에야 알아챈다. 그래서 1인 유니콘의 자동화는 더 똑똑한 모델이 아니라 흔들리지 않는 컨텍스트 설계 위에서 돌아야 한다. 모델은 매년 좋아진다. 하지만 창에 무엇을 담을지 정하는 규율은 모델이 대신 세워 주지 않는다. 데모에서만 똑똑한 에이전트와, 실전에서 버티는 에이전트를 가르는 선이 바로 거기에 있다.