llm

인터넷전문은행 카카오뱅크가 LLM의 성능을 평가, 검증할 수 있는 프로젝트를 최근 마쳤다. 카카오뱅크가 고려대학교와 함께 한 ‘듀오 프로젝트’는 LLM의 전반적인 능력을 측정한다. 쉽게 말해, 대화를 잘 하는 LLM이 금융 서비스에서도 문제 없이 잘 작동하는지, 사용자(고객)의 의도를 잘 이해했는지, 정확한 정보를 전달했는지, 답이 편향되진 않았는지 등을 평가하기 위한 것이다. 즉, 써도 되는 LLM인지 시험문제를 내고, 결과에 따라 도입 여부를 결정할 수 있다.