AI가 만든 콘텐츠가 학습 데이터에 다시 포함되면서 '모델 붕괴(model collapse)'가 주목받았다. 모델의 출력을 다음 세대 학습에 반복해서 쓰면 원래 데이터의 분포와 다양성을 잃을 수 있다는 문제다. 다만 이 현상은 합성 데이터의 비율과 실제 데이터를 유지하는 방식에 따라 달라진다.
반복 학습에서 관찰된 분포 변화
2024년 7월 Nature에 실린 Shumailov 팀의 논문은 모델 출력을 다음 세대 학습 데이터로 반복 사용하면 원래 분포의 드문 사건부터 잃을 수 있음을 보였다. 연구진은 이를 초기 모델 붕괴와 후기 모델 붕괴로 나눠 설명했고, OPT 언어모델을 포함한 제한된 실험에서도 세대가 지날수록 분포가 달라지는 현상을 관찰했다.
연구가 강조한 부분은 분포의 꼬리에 있는 드문 사례가 먼저 줄어들 수 있다는 점이다. 흔한 사례의 평균 성능만 보면 변화를 늦게 발견할 수 있다. 희귀한 표현과 예외 사례를 별도 평가에 포함해야 하는 이유다.
실제 데이터의 보존 여부가 중요하다
같은 해 나온 Gerstgrasser·Schaeffer 팀의 연구는 학습 데이터 구성에 따라 결과가 달라진다고 설명했다. 매 세대 실제 데이터를 합성 데이터로 교체하면(replace) 오차가 누적되는 반면, 원래 실제 데이터를 남기고 합성 데이터를 축적하면(accumulate) 분석한 조건에서 테스트 오차가 유한한 상한에 머물렀다.
현실의 웹에서는 기존 데이터와 새 데이터가 함께 남는 경우가 많다. 따라서 제한된 실험의 결과를 인터넷 전체의 필연적인 붕괴로 곧바로 확대하기는 어렵다. 개별 학습 파이프라인이 실제 데이터를 합성 데이터로 대체하는지, 함께 축적하는지가 더 직접적인 점검 대상이다.
개별 학습 파이프라인에서 확인할 조건
개별 팀의 학습 파이프라인은 웹 전체와 구성이 다를 수 있다. 모델 출력을 다음 학습 세트로 재활용하면서 검증된 실제 데이터를 빼거나, 합성 데이터만으로 증류를 반복하면 연구의 교체 조건에 가까워진다. 라운드마다 실제 데이터와 합성 데이터의 비율, 출처, 필터링 기준을 기록해야 한다.
증류에서도 교사 모델의 출력만 반복해서 사용하면 드문 사례의 정보가 줄어들 수 있다. 평균 점수만 보는 평가 세트는 이런 변화를 놓칠 수 있으므로 실제 사용자 데이터에서 나온 예외와 실패 사례를 별도 구간으로 관리하는 편이 좋다.
실제 데이터를 기준점으로 남긴다
합성 데이터를 쓸 때는 검증된 실제 데이터를 계속 보존하고, 드문 사례를 따로 포함한 평가 세트로 분포 변화를 확인해야 한다. 사용자의 질문과 교정, 도메인 특유의 실패 사례는 공개 합성 데이터만으로 만들기 어려운 중요한 자료다.
모델 붕괴는 모든 재귀 학습에서 자동으로 발생한다고 단정할 수 없다. 하지만 실제 데이터를 합성 출력으로 계속 교체하는 조건에서는 분포의 꼬리가 사라질 위험이 연구로 확인됐다. 실제 데이터의 유지 비율, 합성 데이터 필터링, 희귀 사례 평가는 파이프라인별로 함께 설계해야 한다.