LLMs get lost in multi-turn conversation 논문해석

대형 언어 모델은 한 번에 모든 지시사항을 받을 때보다 대화를 나눠 정보를 받을 때 평균적으로 39%의 성능 하락을 겪는다는 그런 내용의 마이크로소프트에서 진행한 연구이다.

LLM으로 여러 대화를 주고받는 '멀티 턴' 환경에 20만개 넘는 대화를 시뮬레이션하여 싱글턴 대비 멀티턴의 성능을 연구진들은 비교하였다.

LLM의 트랜스포머 층이 겹겹이 있는 와중에 저층부, 그니까 층들을 지나는 과정의 초반부부터 LLM이 '와 답 내도 되겠다' 싶은 순간이 와서 이 때 성급하게 결론을 내버리면 그 자체로 엄청난 성능 감소가 일어난다. 레이어 초반 20% 이내에 답이 나왔을 때의 답변의 평균 점수는 30.9점에 불과했다. 그에 비해 마지막 20%구간에서 답이 나온 경우엔 평균 점수가 64.4점이였다. 사고가 적어서 생기는 '비신뢰성'이라고 연구진들은 보았다.

오늘의 결론:말할 때 생각좀해!!! LLM아..

그래서 컨택스트 엔지니어링 관점에선 무슨 교훈을 얻을 수 있는가??? 이 논문에선 2가지 방법을 제시하는데

1. RECAP: 마지막 턴에 모든 조건을 종합해서 재요청하면 비신뢰성이 줄어든다.
2. SNOWBALL: 매 턴마다 이전의 조건을 누적해서 에이전트에게 제공-이건 컨택스트 크게 잡아먹는거에 비해서 성능의 회복은 효과가 상대적으로 별로다..