프롬프트 한 줄로 답을 다양하게: Verbalized Sampling

비슷한 답만 나오는 모드 붕괴를 "여러 답을 확률과 함께 생성하라" 한 문장으로 줄이는 방법입니다. 아이디어를 넓힐 때 바로 쓸 수 있습니다.

LLM을 오래 쓰다 보면 비슷한 답만 계속 나올 때가 있습니다.

이런 현상을 모드 붕괴 (mode collapse)라고 하는데 최근 스탠포드 연구진이 "Verbalized Sampling" 이라는 방법으로 해결책을 제시했다고 합니다.

방법은 생각보다 간단한데요, 프롬프트에 "여러개의 답변을 그 확률과 함께 생성하라" 는 한 문장만 추가하면 된다고 합니다.

이 한문장으로 모델의 창의력은 2배정도 향상되었고 인간평가점수는 25%정도 향상되었다고 하네요.

특히 모델의 크기가 크면 클수록 더 효과가 있다고 하니 한번 실전에 사용해보시면 좋을 것 같습니다.

아래는 논문과 관련 코드 링크입니다!

논문: https://arxiv.org/pdf/2510.01171 깃헙: https://github.com/CHATS-lab/verbalized-sampling

---

주제: 프롬프트 · 논문
카톡방 공유 2025-10-23