코히어, 토큰 종량제 대신 정액제·소형 모델로 B2B 공략
|

코히어, 토큰 종량제 대신 정액제·소형 모델로 B2B 공략

By김원민

이번 기자간담회는 아시아태평양 지역 사업 확대 전략을 공유하고 소버린 인공지능(AI) 플랫폼의 비용 효율성을 알리기 위한 목적으로 주최됐다. 현재 대다수 거대언어모델(LLM) 공급사는 데이터 처리 단위인 토큰을 기준으로 요금을 매긴다. 사용자가 질문을 던지고 답변을 받을 때마다 실시간으로 비용이 발생하는 시스템이다. 전사적으로 기술을 도입할수록 사용량이 급증해 기업 입장에서는 정확한 정보기술(IT) 예산을 세우기 어렵다는 의견도 존재한다.

[인터뷰] “생성AI도 시험치자” LLM 테스트 만든 카카오뱅크
|

[인터뷰] “생성AI도 시험치자” LLM 테스트 만든 카카오뱅크

By홍하나

인터넷전문은행 카카오뱅크가 LLM의 성능을 평가, 검증할 수 있는 프로젝트를 최근 마쳤다. 카카오뱅크가 고려대학교와 함께 한 ‘듀오 프로젝트’는 LLM의 전반적인 능력을 측정한다. 쉽게 말해, 대화를 잘 하는 LLM이 금융 서비스에서도 문제 없이 잘 작동하는지, 사용자(고객)의 의도를 잘 이해했는지, 정확한 정보를 전달했는지, 답이 편향되진 않았는지 등을 평가하기 위한 것이다. 즉, 써도 되는 LLM인지 시험문제를 내고, 결과에 따라 도입 여부를 결정할 수 있다.

End of content

End of content