모델 스펙 시트에서 요즘 제일 큰 숫자는 컨텍스트 창이다. 12만 8천, 100만, 200만 토큰. 책 몇 권을 통째로 밀어넣으라는 초대장처럼 읽힌다. 하지만 창이 크다는 건 "거기까지 담긴다"는 뜻이지, "거기까지 다 읽고 제대로 쓴다"는 뜻이 아니다. 오히려 채울수록 답은 나빠진다.
오버플로우가 아니라, 그 한참 전부터
흔한 오해부터 걷어내자. 성능이 무너지는 건 창을 꽉 채워 토큰이 넘칠 때가 아니다. 훨씬 이전부터 시작된다. 200K 창을 가진 모델이 겨우 50K 지점에서 이미 정확도가 흔들린다. 창은 그릇의 크기일 뿐, 그 그릇을 채운다고 모델이 그 안을 고르게 이해하는 게 아니다. 이 현상에는 이제 이름이 붙었다 — 컨텍스트 로트(context rot).
Chroma가 2025년에 GPT-4.1, Claude 4, Gemini 2.5, Qwen3를 포함한 18개 프론티어 모델을 통제된 조건에서 측정했다. 결과는 예외 없이 한 방향이었다. 입력이 길어질수록 모든 모델의 성능이 단조롭게 떨어졌다. 텍스트를 그대로 복사하는 것 같은 사소한 과제에서조차 그랬고, 10만~50만 토큰 구간에서 하락이 가장 가팔랐다.
"건초더미 속 바늘"을 통과했다는 착각
벤더들이 자랑하는 needle-in-a-haystack 테스트는 긴 문서 어딘가에 한 문장을 심어두고 찾게 하는 방식이다. 문제는 그 바늘이 대개 주변과 단어가 겹친다는 점이다. 질문에 나온 단어를 문서에서 그대로 매칭하면 되는, 사실상 Ctrl+F에 가까운 과제다.
Adobe 연구팀의 NoLiMa(2025)는 이 리터럴 매칭 단서를 지웠다. 질문과 정답 문장이 표현을 공유하지 않게 만들어, 모델이 의미로 연결을 추론해야만 답을 찾도록 했다. 그러자 그림이 달라졌다. 32K 지점에서 11개 모델이 짧은 컨텍스트 기준 점수의 절반 아래로 떨어졌다. 거의 만점(99.3%)이던 GPT-4o조차 69.7%로 주저앉았다. needle 테스트를 화려하게 통과한 모델도, 단어가 아니라 뜻으로 찾아야 하는 순간 무너진 것이다.
여기에 오래된 결함 하나가 겹친다. 정답이 컨텍스트 한가운데 묻혀 있으면, 맨 앞이나 맨 끝에 있을 때보다 놓칠 확률이 훨씬 높다(“lost in the middle”). 어텐션은 긴 입력 위에서 고르게 작동하지 않는다. 길이가 늘면 신호는 흐려지고, 관련 없는 토큰이 잡음으로 예산을 갉아먹는다.
컨텍스트는 데이터베이스가 아니다
실무 함의는 단순하고 아프다. "일단 다 넣고 모델이 알아서 골라내게 하자"는 가장 비싸고 가장 부정확한 설계다. 컨텍스트 창을 검색 가능한 데이터베이스처럼 다루는 순간, 원가는 토큰 수만큼 오르고 정확도는 로트만큼 내린다. 위험은 조용하다. 답이 그럴듯하게 나오기 때문에, 무엇을 놓쳤는지 화면에 보이지 않는다.
그래서 진짜 레버리지는 더 큰 창이 아니라 더 좋은 큐레이션에 있다. 관련 있는 것만, 최소한으로, 제때 넣는다. RAG의 목표는 "많이 검색하기"가 아니라 "적게, 정확히 검색하기"다. 에이전트라면 매 턴 컨텍스트를 눌러 담을 게 아니라 압축하고 잘라내야 한다 — 오래된 관찰은 요약으로 접고, 지금 결정에 필요한 것만 앞에 세운다. 이건 모델을 바꾸기 전에 손대야 할 층이고, 코드 한 줄 없이 정확도와 청구서를 동시에 움직인다.
컨텍스트를 늘리는 건 공짜가 아니다. 토큰마다 돈이 나가고, 정확도가 깎이고, 무엇보다 실패가 눈에 띄지 않는다. 벤더가 파는 건 창의 크기지만, 당신이 관리해야 할 건 그 안에 무엇을 넣지 않을지다.