개념
일반화는 모델이 학습 데이터에 없는 새로운 데이터에서도 잘 작동하는 능력이다. 기계학습의 핵심 목표는 학습 데이터 암기가 아니라 일반화이다.
일반화 성능은 실제 데이터 분포에서의 기대 손실로 나타낼 수 있다.
왜 중요한가
실제 환경에서는 학습 때 본 데이터와 완전히 같은 입력이 들어오지 않는다. 이미지가 조금 이동하거나 밝기가 달라질 수 있고, 주식 시장처럼 환경 자체가 바뀔 수도 있다.
어려운 이유
모델이 너무 복잡하면 과적합이 발생하고, 데이터가 편향되어 있으면 새로운 상황에서 성능이 떨어진다. LLM도 문제 표현 방식이 조금 달라졌을 때 답이 흔들릴 수 있다.