[인터뷰] 토스플레이스가 AI로 ‘메뉴판 등록’ 시간 줄이는 법

새로 매장을 열거나 포스(POS)를 바꿀 때, 사장님들이 가장 많이 하는 고민은 ‘메뉴판 입력’이다. 수십, 많게는 수백 개에 달하는 메뉴를 하나씩 옮겨 적어야 하는 반복 작업이 이어진다. 메뉴 이름과 가격, 카테고리를 일일이 입력하거나 엑셀로 정리해야 해 번거롭고, 적지 않은 시간이 든다.

이 문제에 대해 비바리퍼블리카(토스)의 자회사 토스플레이스가 해법을 내놨다. 토스플레이스는 최근 자사 포스 솔루션 ‘토스 포스(Toss POS)’에 ‘AI 자동 상품 등록’ 기능을 도입했다. 메뉴판을 촬영해 업로드하면 AI가 상품명과 가격, 카테고리, 옵션까지 인식해 자동으로 등록하는 방식이다.

단순한 기능처럼 보이지만 출발은 현장의 불편이었다. 매장 오픈이나 기기 교체 때 반복되는 초기 상품 등록 과정을 줄이려는 고민이 이번 업데이트로 이어졌다. 이 기능은 정식 조직에서 만든 게 아니다. 토스의 ‘길드’ 문화에서 출발했다. 토스의 길드는 다른 팀에 속한 팀원들이 느슨하게 모여 공통의 관심사를 공유하는 조직이다.

이번 결과물은 단순한 자동화를 넘어, 매장 운영 시스템 전반의 편의성을 높이려는 시도에 가깝다. 특히 온보딩(도입) 단계의 허들을 한 번에 낮추자는 데 공감대가 형성됐다. 이런 배경에서 길드명 ‘원샷’도 붙었다. 토스플레이스 원샷길드의 서자헌 서버 개발자, 유승완 프론트엔드 개발자, 정나림 제품 디자이너를 만나 개발 과정과 향후 계획을 들어봤다.

AI 자동 상품등록 기능의 특징은 무엇인가

사장님들이 처음 포스를 세팅할 때 본인 매장의 상품을 모두 등록해야 한다. 메뉴명부터 가격, 카테고리 옵션까지 모두 수기로 입력해야 하는 구조다. 이에 사장님이 메뉴판 사진만 등록하면 AI가 문구를 인식해 상품을 한 번에 자동 등록해 주는 기능을 도입했다.

창업을 준비 중인 경우 메뉴판이 없는 상황도 고려했다. 공책에 손글씨로 메모해 둔 내용을 촬영하면 이를 자동으로 정확하게 인식하도록 했다. 다른 포스를 사용하다가 토스 포스로 바꾸는 상황에서도 기존 포스 화면을 촬영해 업로드하면 이미지 인식을 통해 자동으로 상품 등록이 이뤄지도록 했다.(정나림)

기술적으로는 비교적 단순한 구조로 구현했다. 오픈AI에서 제공하는 거대언어모델(LLM)을 활용했고, 최신 모델인 챗GPT-5.0 수준의 모델을 적용했다.

다만 단순히 오픈AI 기술만 적용한 것은 아니다. 차별성은 기술 자체보다 사용성 고도화에 있다. LLM을 사용하면 원하는 결과물이 바로 나올 것처럼 보이지만 실제로는 그렇지 않았다. 결과물이 만족스럽지 않거나 실수가 발생하거나 일부 수정이 필요한 등 다양한 사례가 존재했다. 이런 상황을 고려해 반복적으로 개선하는 과정이 중요했고, 사장님에게 적합한 사용성을 만드는 데 집중했다는 점이 차별 포인트다.

기술적으로는 LLM 기반에 멀티모달리티를 결합한 형태다. 멀티모달리티는 서로 다른 형태의 데이터를 한 번에 이해하고 처리하는 기술이다. 사진과 텍스트를 함께 입력으로 넣을 수 있는 구조로, 챗GPT에 이미지를 넣고 분석을 요청하는 방식과 유사하다. 이미지 속 텍스트를 인식하고 이를 기반으로 처리하는 기능을 활용해 메뉴판이나 다양한 형태의 이미지를 입력받아 상품 등록으로 이어지도록 구현했다.(서자헌)

초기에는 메뉴판 사진을 기준으로 기능을 설계했다. 실제로 검색을 통해 확보한 메뉴판 이미지를 활용해 프롬프트(지시문) 입력을 진행했지만, 사장님들의 실제 사용 패턴은 달랐다. 기존에 사용하던 포스 화면을 촬영해 업로드하는 경우가 많았고, 이에 따라 인식이 잘 되는 경우와 그렇지 않은 경우가 혼재했다. 이 과정에서 일반 메뉴판 이미지와 포스 화면을 구분해 각각 다른 프롬프트를 적용해야겠다고 판단했다.

이에 모든 처리를 AI에 일임하기보다 일부 판단을 사용자에게 위임하는 방식이 필요하다고 봤다. 이를 통해 다양한 입력 상황에서도 보다 안정적인 결과를 제공할 수 있도록 설계했다. 사용자에게 입력하는 게 어떤 이미지인지 직접 묻는 단계를 추가했다. 입력 정보를 더 구체적으로 전달하기 위한 구조였고, 사장님이 AI에 직접 설명하는 방식으로 설계했다. 추출된 결과에 대해서도 검수 과정을 넣었다. 결과물이 항상 만족스럽지 않을 수 있고 취향 차이도 반영해야 하기 때문에, 바로 저장하지 않고 한 번 확인하는 절차를 거치도록 했다.(유승완)

명함 앱에서 흔히 쓰이는 광학문자인식(OCR)과 AI LLM의 차이는

OCR은 이미지에서 특정 텍스트나 정보를 추출하는 기술이다. 반면 LLM 기반 멀티모달리티는 단순 텍스트 추출을 넘어, 어떤 목적을 가지고 데이터를 해석하도록 만들 수 있는 점이 다르다. 가령 ‘메뉴를 추출해 달라’거나 ‘업종에 맞게 옵션까지 정리해 달라’는 식으로 목표와 맥락을 함께 전달할 수 있어 더 확장된 형태의 처리라고 봤다.(서)

OCR은 하나의 작업을 정확하게 수행하도록 설계할 수 있다는 장점이 있다. 다만 입력 데이터가 예상과 조금이라도 다르면 원하는 결과를 얻기 어려운 한계가 있다. 반면 LLM 기반 기술은 입력 형태가 일부 달라지더라도 보다 유연하게 대응할 수 있다. 예상하지 못한 이미지나 다양한 형태의 입력이 들어오더라도, 원하는 구조의 결과를 추출해낼 수 있다는 점에서 유연성이 큰 장점이다.(유)

잘못 입력될 가능성은 없나

아예 없지는 않다. 사진이 선명하지 않거나 글자 위에 줄이 그어져 있는 경우 등에서는 오인식이 발생할 수 있다. 다만 최종적으로는 사장님의 확인 절차를 거치도록 설계했다. AI가 인식한 결과를 그대로 등록하는 것이 아니라, 전체 결과물을 먼저 보여주고 사장님이 틀린 부분이 없는지 검수한 뒤 필요하면 수정하고 최종 등록하도록 했다.

결과를 확인한 뒤 실제로 저장까지 이어지는 비율을 기준으로 보고 있다. 내부적으로는 이를 ‘퍼널 통과율’로 정의하고 있으며, AI가 제안한 결과를 사장님이 확인하고 문제가 없다고 판단해 등록까지 완료한 비율이다. 현재는 약 83%에서 90% 수준을 오가는 것으로 보고 있다.(서)

왜 자동 상품등록 기능을 개발했는지

타사 포스에서 토스 포스로 넘어오는 계기가 될 수 있다고 봤다. 가장 큰 진입 장벽은 포스를 세팅해야 하는 번거로운 작업이었고, 특히 카페처럼 상품이 100종 이상인 경우에는 익숙한 환경에 머무르려는 경향이 강했다. 이 같은 허들을 낮춰 타사 포스에서 자연스럽게 전환하도록 만드는 것이 기능 개발의 주요 목적 중 하나였다. 해당 기능은 포스 업계에서는 아직 없는 형태로, 토스 포스만 제공하고 있다.(서)

특히 고령의 사장님들은 혼자 세팅하기 어려워 가족이나 대리점에 의존하는 경우가 많았다. 실제로 메뉴판 사진을 자녀에게 보내 대신 입력을 부탁하거나, 대리점에서 수기로 등록을 대행하는 사례가 많았다. AI가 이를 자동으로 처리할 수 있다면 이러한 구조적인 불편을 근본적으로 해결할 수 있는 솔루션이 될 수 있다고 봤다.

기존 포스를 사용할 경우 메뉴 등록에만 1시간 이상이 소요되기도 하고, 메뉴 수가 많은 매장은 그보다 훨씬 더 시간이 늘어났다. 반면 해당 기능을 통해 30분 걸리던 작업을 5분 내로 줄였다는 사례도 확인됐다. 대리점 입장에서도 상품 등록은 큰 부담이었고, 업종에 따라서는 하루 종일 작업해야 하는 경우도 있었다.

이 기능은 대리점의 업무 효율도 크게 개선했다. 메뉴판 사진을 받아 수기로 입력하던 과정을 자동화함으로써 하루 몇 시간씩 소요되던 작업을 줄일 수 있었다. 실제로 해당 기능을 계기로 토스 포스를 선택하거나 타사에서 전환을 결정했다는 반응을 확인하기도 했다.(정)

오픈AI LLM을 사용할 때 비용은

무료로 사용할 수 있는 구조는 아니어서 비용에 대한 고민이 있었다. 다만 실제 테스트를 진행해 보니 예상보다 비용 부담이 크지는 않았다. 캐싱 기능(자주 쓰는 데이터를 미리 기억해 두고 재사용하는 기술) 등을 통해 이전 입력을 일부 활용하면서 비용을 절감할 수 있는 구조도 제공되고 있어 효율적으로 운영할 수 있었다.

여러 사장님들이 반복적으로 사용하는 과정에서 이러한 최적화 효과도 확인됐고, 비교적 낮은 비용으로도 충분히 활용 가능한 도구라고 봤다. 다른 대안 기술도 검토할 수 있었지만, 초기에는 오픈AI를 선택했다. 사용 경험이 축적돼 있고 기술적으로 가장 발전된 형태라고 판단했기 때문이다.(유)

각자 어떤 점에 가장 중점을 두고 서비스를 개발했나

초기에는 LLM 기술 구현 자체에 초점을 맞췄지만, 그 접근만으로는 좋은 결과를 만들기 어렵다는 점을 깨달았다. LLM은 문제 해결을 위한 여러 도구 중 하나일 뿐이라는 점을 배웠고, 결국 중요한 것은 사용자의 문제를 해결하는 것이라는 점을 알게 됐다. 이번 서비스에서도 LLM에 의존하기보다 사용자경험(UX)을 통해 사용성을 개선하는 데 초점을 맞췄고, 이러한 접근이 가능했던 배경이 됐다.(서)

특정 기능을 어느 단계에서 어떻게 제안해야 초기 메뉴 세팅을 가장 쉽게 마칠 수 있을지에 집중했다. 포스를 처음 접하면 메뉴가 하나도 등록되지 않은 빈 화면을 보게 되는데, 이 지점에서의 경험이 단절된 느낌을 줄 수 있다고 판단했다. 이에 메뉴를 하나씩 등록할지, 한 번에 쉽게 등록할지를 묻는 방식으로 자연스럽게 AI 메뉴 등록 기능으로 유도하는 UX를 설계했다.(정)

사용자 경험 측면에서는 AI 결과와 실제 사용 의도 간의 간극을 줄이는 데 집중했다. 이미지 추출 이후 추가 메뉴를 입력하고 싶은 경우 등을 고려했다. 금액 미입력, 메뉴명 중복 등 오류 상황이 발생할 수 있기 때문에 이러한 상태에서는 등록이 이뤄지지 않도록 가이드를 제공했다. 문제가 발생한 지점으로 화면이 바로 이동해 수정할 수 있도록 하고, 옵션이나 카테고리 확인이 필요한 경우에는 추가 안내를 제공하는 등 전체 과정을 직관적으로 설계하는 데 중점을 뒀다.(유)

포스의 역사가 무척 긴데 왜 이제야 이런 서비스가 나왔나

타사 포스가 부족했다기보다는, 기존 온라인에서 축적된 경험을 오프라인 시장에 접목하는 과정에서 나온 아이디어라고 봤다. 기존 포스는 결제 안정성에 초점을 맞춰 발전해 왔고, 이는 당연히 중요한 영역이다.

토스 포스 역시 결제 안정성에 집중하고 있지만, 이를 넘어 사장님의 매장 운영 전반을 어떻게 효율화할 수 있을지에 대한 고민에서 출발했다. 단순히 결제를 위한 도구가 아니라, 매장 운영 전반을 돕는 도구로 확장하려는 질문이 새로운 기능으로 이어졌다.(서)

어떤 문제에 집중하느냐에 따라 접근 방식이 달라졌다고 봤다. 매장 운영에 필요한 모든 과정에서 사장님에게 도움이 되고, 더 많은 손님을 받을 수 있도록 하는 데 초점을 맞추면서 자연스럽게 해결해야 할 문제들이 도출됐다. 그 결과로 AI 메뉴판 등록 기능과 같은 서비스가 등장하게 됐다고 보고 있다.(유)

향후 고도화 방향은

AI 메뉴판 업로드 시점을 앞당기는 방향을 검토하고 있다. 현재는 토스 포스를 설치한 이후에만 메뉴판 이미지를 업로드할 수 있는데, 이를 가입 단계나 설치 이전 단계로 확장하는 구조를 준비 중이다. 사장님이 미리 메뉴판 이미지를 업로드해 두면, 실제 설치 시점에는 이미 상품 등록이 완료된 상태에서 검수 후 바로 사용할 수 있도록 하는 방식이다. 창업 첫날부터 데이터가 준비된 포스를 바로 활용할 수 있게 만드는 것이 목표다.

출시 시점은 다음 단계 과제로 보고 있으며, 약 2~3개월 내 적용을 목표로 하고 있다. 프론트 단말기 설치 알림과 함께 해당 기능을 안내하는 방식도 함께 검토 중이다. 또한 포스를 아직 설치하지 않은 고객도 사용할 수 있도록 별도의 웹페이지를 통해 이미지 업로드와 메뉴 등록을 지원하는 구조를 계획하고 있다.

다국어 지원 기능도 아이디어 단계에서 검토 중이다. 성수 등 외국인이 많이 찾는 지역에서 필요할거라 생각한다. 메뉴를 등록한 이후 일본어, 중국어 등으로 자동 번역해 키오스크나 매장에서 바로 활용할 수 있도록 하는 방향이다. 기존처럼 메뉴 하나하나를 번역기에 입력해야 하는 번거로움을 줄이는 데 초점을 맞추고 있다.(서)

원샷길드는 어떻게 구성됐나

총 6명으로 구성됐고, 지난해 7월 시작했다. 모든 구성원이 서로 다른 팀에 속해 있었고 공통 분모가 없는 상태였지만, 해당 문제를 해결해 보고 싶다는 의지와 함께 일하고 싶다는 공감대를 바탕으로 시간을 쪼개 참여했다. 김민주 프로덕트오너(PO), 이성수 품질보증(QA), 권수빈 데이터 분석(DA) 길드원이 함께했다.

구성원 각자가 아이디어를 내고 빠르게 반영하는 방식으로 운영됐다. 가령 상품 등록 과정에서 몇 분 정도 소요되는 구간이 있는데, 초기에는 단순한 로딩 화면이었다. 이성수 QA가 해당 화면을 제품을 소개하는 영역으로 활용해 보자는 아이디어를 제안했고, 이를 바탕으로 디자인이 적용되고 개발까지 이어졌다. 이처럼 아이디어에 공감이 형성되면 곧바로 실행으로 이어지는 구조였다.

이번 제품의 경우 최소기능제품(MVP)을 만들어 대리점에 적용하기까지는 약 1개월이 소요됐고, 이후 사용성을 지속적으로 고도화하는 과정을 거쳐 실제 포스에 적용되기까지는 약 3~4개월 정도가 걸렸다.(서)

토스 길드 문화의 장점은 무엇인가

평소에 해결하고 싶었던 문제를 뾰족하게 해결해 볼 수 있는 경험을 할 수 있다는 점이 가장 큰 장점이다. 각자 소속된 팀 업무 외의 시간을 활용해 길드 활동을 해야 하는 만큼 쉽지 않은 일이지만, 그만큼 평소 풀어보고 싶었던 문제를 사이드 프로젝트처럼 자유롭게 다뤄볼 수 있었다. 각 팀은 이미 설정된 목표에 따라 움직이기 때문에 개별 팀 단위에서는 다루기 어려운 문제를, 길드를 통해 별도로 모여 해결할 수 있었다.

동료 측면에서도 의미가 컸다. 본업만으로도 충분히 바쁜 상황에서 추가로 시간을 내어 문제 해결에 몰입하는 과정 자체가 강한 동기부여가 됐다. 문제 해결에 진심인 동료들과 함께 일하며 자극을 받고, 조직 내에 이런 사람들이 많다는 점을 체감할 수 있었다. 주말이나 야간에도 자발적으로 참여해 결과물을 만들어내려는 의지, 그리고 유능한 동료들과 협업할 수 있다는 점이 큰 장점으로 작용했다.(유)

프로덕트 디자이너는 사용자의 문제를 해결하는 솔루션을 잘 도출하는 것이 중요한 역할이라고 봤다. 일반적으로는 화면 문구를 개선하거나 버튼 위치를 조정하는 등 사용자경험(UX)·사용자 인터페이스(UI)를 다듬는 방식으로 문제를 해결하는 경우가 많다.

다만 이번 프로젝트에서는 접근 방식이 달랐다. 사장님의 문제를 깊게 파고들어 보니, 포스에서 메뉴를 하나씩 타이핑하는 과정 자체가 길고 어려운 문제라는 점에 주목했다. 이에 해당 과정을 단순히 개선하는 것이 아니라 아예 없애는 방향의 근본적인 해결책을 고민했다. 이러한 접근 자체가 이번 프로젝트에서 중요했던 지점이었다고 생각한다.(정)

토스 포스의 향후 발전 방향은 무엇인가

근본적으로는 사장님들이 성공적인 매장 운영을 할 수 있도록 돕는 제품이 되는 것을 목표로 하고 있다. 설치 과정에서의 불편을 줄였던 것처럼, 매장 운영 전반에서 발생하는 비효율을 지속적으로 제거하고, 고객 재방문과 단골화, 매출 증대까지 이어지는 과정을 지원하는 방향이다.

AI는 이러한 문제를 해결하는 핵심 도구로 활용할 계획이다. 다국어 대응뿐 아니라 쿠폰이나 메시지 발송 기능에서도 사장님들이 겪는 어려움을 줄이는 데 적용할 수 있다. 마케터가 아닌 사장님들도 매장 분위기와 업종에 맞는 문구를 쉽게 만들 수 있도록 LLM을 활용해 메시지 작성까지 지원하는 방향을 검토하고 있다.(정)

또한 대기업 프랜차이즈에서만 가능했던 마케팅과 운영 방식을 소규모 매장에서도 구현할 수 있도록 돕는 것을 중요한 방향성으로 보고 있다. 프로모션 실험, 상품 구성, 신규 메뉴 기획 등 다양한 영역에서 데이터를 기반으로 한 의사결정을 지원해 작은 매장도 경쟁력을 가질 수 있도록 하는 것이 목표다.

향후에는 LLM을 활용한 대화형 챗봇도 확장할 수 있을 거라 본다. 매장 운영과 관련된 고민을 함께 해결하거나, 신제품 기획을 위한 아이디어를 확장하는 데 도움을 주고, 메시지 작성과 발송까지 자동화하는 등 다양한 시도를 이어갈 예정이다. 이러한 흐름은 특정 기능에 국한되지 않고, 여러 팀에서 동시에 확장해 나가고 있는 방향이다.(서)

올해 이루고 싶은 목표는 무엇인가

길드 활동을 꾸준히 이어가고 싶다고 생각했다. 단순한 아이디어에 그치지 않고 실제로 구현해 눈으로 확인할 수 있는 결과로 만들어가는 과정을 하나씩 완성해 나가고 싶다. 동시에 소속된 팀의 목표를 달성하기 위해 본업에도 더욱 집중하고, 그 기반 위에서 길드 활동까지 성공적으로 병행하는 경험을 해보는 것을 올해 목표로 삼았다.(유)

소속된 팀에서는 포스의 차별화된 제품 가치를 찾는 것을 목표로 두고 이를 달성하고자 한다. 동시에 길드 활동도 병행해 잘 수행하고 싶다. 이를 위해서는 결국 본업에서의 성과가 뒷받침돼야 한다고 본다. 나아가 길드 활동을 통해 기존에는 포스 설치를 돕는 데 기여했다면, 앞으로는 포스를 사용하지 않던 대상까지 확장해 더 큰 성장으로 이어지는 결과를 만들어내는 것을 목표로 삼고 있다.(정)

사장님에게 없어서는 안 되는 제품을 만드는 것이 목표다. AI LLM을 활용해 더 다양하고 흥미로운 기능들을 지속적으로 실험해 보고자 한다.(서)

글. 바이라인네트워크
<이수민 기자>Lsm@byline.network