“답이 매번 다르네”…배민 AI 검색 팀의 고민

검색창에 ‘치킨’을 입력하면 몇 번을 해도 같은 결과가 나온다. 그런데 AI에 “비 오는데 뭐 먹지”라고 물으면 어떤 때는 칼국수를, 어떤 때는 파전이나 국밥을 추천한다. AI를 만든 개발자조차 어떤 답이 나올지 장담하지 못한다.

이처럼 정답이 정해지지 않은 AI 검색은 어떻게 설계하고, 무엇을 기준으로 출시 가능 여부를 판단해야 할까? 배달의민족(배민)이 지난 20일 일부 이용자를 대상으로 AI 검색을 내놓기까지 고민한 문제다. 배민은 AI가 할 일과 코드가 할 일을 나누고, 안전과 품질을 따로 평가하는 방식으로 답을 찾았다.

우아한형제들은 28일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 열린 자사 콘퍼런스 ‘우아콘2026’에서 배민 AI 검색을 기획하고 검증한 과정을 소개했다.

답이 매번 달라지는 AI 검색, 어떻게 설계했나

우아한형제들 이서구 PM은 AI 검색을 만든 이유로 기존 검색의 불편 두 가지를 꼽았다. 이용자는 막연한 식욕을 ‘치킨’, ‘마라탕’ 같은 검색어로 바꿔야 하고, 검색어를 입력한 뒤에도 필터와 정렬을 직접 조작해야 원하는 가게를 찾을 수 있다는 것이다.

배민은 이 두 가지를 AI에 맡기기로 했다. “비도 오고 꿀꿀한데 뭐 먹지”처럼 모호한 요청에도 AI가 대화하며 원하는 메뉴를 좁혀 주고, “최소주문금액 1만4900원 이하에 파전과 육회를 같이 파는 가게”처럼 복잡한 조건은 AI가 대신 찾아 준다.

문제는 기획 첫 단계부터 생겼다. 기존 앱 기능은 기획자가 조건별로 어떻게 반응해야 하는지(기대 동작)를 정하면 개발자가 구현하고, 품질검증(QA) 담당자가 정해진 대로 100% 동작하는지 확인한 뒤 배포했다. 하지만 AI 검색은 답이 확률에 따라 달라져 기대 동작을 100% 확정할 수 없었다. 기획자가 “이 기능을 만들 수 있나요”라고 물으면 개발자는 “확신할 수 없다”고 답했고, 개발자가 “제대로 동작하나요”라고 물으면 QA 담당자는 “됐다 안 됐다 한다”고 답하는 식이었다.

배민은 AI에 주는 지침을 잘 다듬고 성능이 높은 모델을 쓰면 충분하리라 기대했지만, 곧 비용과 정보량이라는 두 가지 벽에 부딪혔다. 이서구 PM은 “고지능은 너무 비싸다”며 “수백만, 수천만 명이 쓰는 서비스에서 최고 성능 모델을 모든 대화에 쓸 수는 없었다”고 말했다. 서비스 정책, 가게·상품 데이터, 대화 맥락을 한꺼번에 맡기면 AI가 중요한 정보를 놓치거나 기대와 다른 답을 내놓기도 했다.

배민 AI 검색팀은 비싼 최고 성능 모델에 기대는 대신, AI가 따를 정책을 유형별로 나누고 AI와 프로그램의 역할을 구분하는 쪽을 택했다.

먼저 AI 검색이 따라야 할 규칙(정책)을 직선형·깔때기형·가드레일형 세 가지로 나눴다. 이서구 PM은 “구분의 기준은 AI를 쓰느냐가 아니라 각 정책에서 무엇을 고정하느냐였다”고 설명했다.

직선형은 조건과 동작을 모두 미리 정해 두는 방식으로, 기존 앱 기능과 같다. “별점 데이터가 있으면 별점을 노출한다”가 대표적이다.

깔때기형은 표현이 달라도 도착점을 하나로 모으는 방식이다. 이용자가 “주문 내역 보여줘”라고 하든 “지난번에 시킨 거 찾아줘”라고 하든, AI가 같은 의도로 판단하면 모두 주문 내역 기능으로 연결한다.

가드레일형은 답변 문장은 AI가 자유롭게 쓰게 두고, 넘어서는 안 될 선만 정해 두는 방식이다. 반드시 존댓말로 답하고, 하지 않은 동작을 했다고 말하지 않도록 하는 것이 그 예다.

AI가 맡을 일과 프로그램이 맡을 일도 나눴다. 이용자가 한 말의 의도를 해석하는 단계와 답변 문장을 쓰는 단계는 AI가, 그 사이에서 기능을 실행하고 가게·상품 후보를 추리는 단계는 프로그램이 맡는다. 이서구 PM은 AI가 확률에 따라 움직인다고 해서 모든 단계를 확률에 맡길 필요는 없다며 “해석과 상식이 필요한 영역은 AI에 맡기고 입력에 따른 동작을 명확하게 정할 수 있는 영역은 시스템이 처리하도록 했다”고 말했다.

합격률 74%…AI 검색, 이걸로 충분할까?

AI 검색을 설계한 뒤에는 출시해도 되는 수준인지 검증해야 했다. QA팀이 AI 검색을 시험한 결과, 합격률은 74.1%였다. 그런데 이 성적표로는 ‘그래서 출시해도 될까’라는 가장 중요한 질문에 답할 수 없었다. 합격선이 없었고, 존재하지 않는 가게를 추천한 오류와 말투가 조금 어색한 오류가 똑같이 불합격 한 건으로 집계됐기 때문이다.

AI 검색 검증 초기에 QA팀은 시나리오마다 ‘반드시 충족할 조건’과 ‘걸리면 바로 탈락인 조건’을 따로 정했다. 날씨를 확인하지도 않고 “지금 비가 온다”고 답하면 불합격 처리하는 식이다. 하지만 시나리오가 100개를 넘자, 정책이 제대로 반영되지 않는 문제가 생겼다.

박세연 QA 엔지니어는 “시나리오가 100개를 넘자, 정책이 바뀔 때마다 기준을 미처 고치지 못한 시나리오가 생겼고, 합격이 나와도 믿기 어려운 문제가 있었다”며 “합격선도 없어 합격률 74.1%가 나왔지만 이 숫자로 배포해도 되는지, 다음 품질 목표를 어디로 잡을지 판단할 수 없었다”도 말했다.

배민은 평가 기준을 ‘지켜야 할 것(안전)’과 ‘잘해야 할 것(품질)’ 두 축으로 다시 세웠다. 안전은 합격·불합격으로 판정한다. 국내외 AI 표준과 가이드라인을 참고해 신뢰, 안전, 소통 존중, 공정성 4개 축 아래 8개 평가 요소를 두고, 하나라도 어기면 불합격이다. 존재하지 않는 가게를 지어내거나, 알레르기 성분이 들었는지 불분명한데 안전하다고 답하는 경우가 해당한다. 박세연 QA 엔지니어는 “위험한 답변은 단 한 번만 나와도 큰 문제로 이어질 수 있다”고 설명했다.

품질은 점수로 차이를 구분했다. “2만원 이하로 매운 파스타 찾아줘”라는 요청에 5곳 중 1곳이 2만2000원인 답변과, 가격과 매운맛을 모두 무시하고 반말까지 섞은 답변은 기존 방식으로는 둘 다 불합격이다. 이를 정확성·명료성·정책 준수와 시나리오별 기대 동작에 따라 평가하자, 각각 92점과 42점으로 구분할 수 있었다.

자동 평가 도구도 검증 대상이었다. 초기에는 사람과 판정이 일치한 비율이 44.6%에 그쳤다. 도구가 평가 대상을 잘못 보거나 정책을 모르는 경우가 있었고, 기준 자체가 모호하기도 했다. 배민은 답변 유형을 먼저 분류한 후 안전과 품질을 따로 평가하도록 도구를 고쳤다. 평가 프롬프트도 도구 안에서 바로 수정할 수 있게 했다. 결과 45% 안팎이던 평가 일치율은 안전 약 90%, 품질 약 96%까지 올랐다.

또 테스트가 실제 이용 환경을 담아낼 때의 한계도 개선했다. 같은 발화라도 계정의 가입과 주문 이력이나 가게의 영업 상태에 따라 답이 달라져 오류를 재현하기 어려웠다. 베타와 내부 구성원 대상 오픈에서는 복합적인 요청부터 ‘알잘딱깔센’과 같은 유행어, 배민 앱 기능을 찾는 질문까지 예상 밖 발화가 쏟아졌다. 손하경 PM은 “정성 리서치와 정량 데이터로 시나리오를 만들었지만, 그것만으로 자연어 입력 세상을 커버하기에는 한계가 있었다”고 설명했다.

지금은 테스트 계정으로 시나리오 122개를 병렬 실행해 5분 안에 평가를 끝내고, 버그 리포트도 도구가 자동으로 만든다. 사람의 검증은 여전히 병행한다. AI가 1차로 평가하면 사람이 다시 확인하는 방식이다.

박 엔지니어는 “처음에는 합격률 74.1%면 배포해도 되는지에 답하지 못했지만, 이제는 답할 수 있다”고 말했다. 같은 시나리오를 반복 측정해 안전 위반이 한 번도 없는지, 품질 점수가 합격선을 넘었는지를 보고 배포를 결정한다. 지난 8월 TF를 꾸린 배민은 10월 AI 검색을 출시했고, 발표 시점 기준 출시 약 일주일 차로 이용 지표를 추적하고 있다.

이 PM은 “고객의 모든 발화와 AI의 모든 답변을 미리 정할 수는 없지만, 어떤 결과를 허용하고 어떤 방식으로 그 결과에 도달할지는 설계할 수 있었다”고 말했다.

글. 바이라인네트워크
<성아인 기자> aing8@byline.network