생성형 AI를 넘어 실행형 AI로 넘어가기

“생성형 AI를 실제 비즈니스 임팩트를 만들 수 있는 현장의 핵심 요소로 자리잡게 하는게 기업의 과제다. AI 도입의 성공은 모델 자체보다 개발이나 배포 운영을 얼마나 안정적으로 수행하느냐에 달렸다.”

최우형 AWS코리아 프린시펄 솔루션아키텍트는 지난 5일 <바이라인네트워크>가 개최한 ‘AI-Ready DATA 전략’ 웨비나에서 ‘생성형 AI를 넘어 실행형 AI로’를 주제로 한 발표에서 이같이 강조했다.

그는 “AI 도입의 흐름은 AI 에이전트란 구체적 활용 방안으로 옮겨가고 있으며, 단순한 질의 응답에서 스스로 판단해 실행하는 AI 에이전트 기술이 기업의 효율을 높이는 방안으로 주목받고 있다”며 “초기 에이전트가 고객 문의에 답변을 검색하는 식의 단순하고 명확히 정의된 업무에 활용됐다면, 점차 완전 자율형 멀티 에이전트 시스템으로 발전중”이라고 설명했다.

그는 “IT 운영환경에서 발생하는 문제를 자율적으로 진단하고 조치하며, 단일 프롬프트로 풀스택 업데이트를 생성하고 배포도 하는 등 복잡한 업무 사례에 적용되고 있다”고 덧붙였다.

맥킨지의 작년 11월 ‘The State of AI: Global Survey 2025’ 보고서에 따르면, 전세계 기업의 88%가 최소 하나 이상의 업무에 AI를 활용하고, 생성형 AI 사용률은 79%에 달한다. 또 전세계 기업의 62%는 AI 에이전트를 도입해 최소 실험 단계 이상의 프로젝트를 진행중이고, 기업의 23%는 전사적 업무 환경에서 에이전틱 AI 시스템을 실제 규모로 확장해 운영중인 것으로 조사됐다.

AI 에이전트 기반의 업무 시스템 구축은 실험적 단계에서 성공할 수 있지만, 보안, 비용, 품질, 책임소재 등 다양한 이유로 전사 확산이 쉽지 않다.

AWS는 아마존 베드락과 아마존 에이전트코어 등의 솔루션을 통해 기업의 AI 에이전트 여정을 돕는 기술과 운영 기반을 제공한다. 아마존 베드락은 다양한 파운데이션 모델을 기업의 성능, 비용, 지연시간, 규정준수 등 기준에 따라 최적으로 선택하도록 한다. 아마존 에이전트코어는 AI 앱과 에이전트 개발을 하나의 환경에서 통합하고 운영까지 할 수 있게 한다. 이를 통해 기업은 보안과 운영 거버넌스를 전체 AI 에이전트 시스템에 일관되게 적용하고, 에이전틱 AI 여정을 가속할 수 있다.

최 아키텍트는 “파운데이션 모델의 발전 속도가 매우 빠르고, 모델 성능이 상향 평준화되고 있어 멀티 모델 전략이 필요하다”며 “모델 선택에 대한 기업의 핵심 전략은 하나의 모델로 모든 걸 해결하려 하지 않는 것이며, 각 업무에 적합한 모델을 선택하는 포트폴리오 전략이 비용과 품질을 동시에 최적화하는 현실적 접근법”이라고 설명했다.

모델 포트폴리오 전략의 첫 기준은 비용, 지연시간이다. 단순하고 반복적이며 대량인 업무에는 가볍고 빠른 모델로 실시간 응답성과 비용 효율성을 확보하는 게 좋다. 두번재 기준은 도구 호출과 지시 따르기 능력이다. AI 에이전트가 복잡한 지시를 이해하고, 여러 도구를 순서에 맞게 호출할 수 있어야 하므로, 그 영역에 강점을 갖는 모델을 선택해야 한다. 세번째는 실제 업무에서 텍스트, 문서, 이미지, 비디오, 오디오 등을 함께 이해하고 결과를 만들 수 있는 멀티 모달 처리 능력이다. 마지막 기준은 규정준수와 데이터 경계다. 산업과 지역별 규제를 충족하고. VPC 내 배포나 데이터 접근 제한을 지원하는 정책이 필요하다.

그는 “기업의 모델 전략은 업무에 맞는 모델을 조합하는 것”이라며 “아마존 노바 패밀리는 멀티 모델 전략을 실제로 구현한 예”라고 말했다.

아마존 노바는 하나의 파운데이션 모델이 아니라 업무 특성에 따라 역할을 나눈 모델 패밀리로 이뤄졌다. 간단한 도구 호출과 문서 정보 추출, 대규모 추론 업무 등에 빠르고 비용 효율적인 노바 2.0 라이트 모델, 복잡한 문제를 단계적으로 분석하고 여러 도구를 계획적으로 연계하는 에이전틱 AI를 위한 노바2 프로, 실시간 음성 처리에 특화된 노바 소닉, 멀티 모달로 복합적 컨텍스트를 처리할 수 있는 노바 옴니 등이다.

기업의 에이전틱 AI 환경에서 중요한 또다른 부분이 일관된 품질과 보안이다. 기업이 에이전틱 AI를 주목하는 건 단순 업무 동화가 아니다. 목표를 이해하고 계획을 세워 명확히 목표를 달성하는 완전한 업무 흐름 자동화에 있다.

그는 “에이전틱 AI의 실행 주체는 사람이 아니라 시스템”이라며 “자동화를 넘어 반복적인 자율 실행에도 흔들리지 않는 완료율을 보이려면, 예측 가능하고 통제 가능한 환경에서 신뢰성을 확보하는 시스템을 구축해야 한다”고 밝혔다.

그는 “기존 챗봇과 에이전틱 AI의 차별점은 지능이 아니라 실행과 통제, 학습에 있다”고 덧붙였다.

기업이 에이전틱 AI를 POC 이후 전사 시스템에 적용하려면 그 여정 사이에서 운영, 보안, 품질 측면의 간극을 메워야 한다. AWS는 엔터프라이즈 환경에서 에이전틱 AI에 필요한 5가지 요건을 ▲세션격리/보안 실행 환경 ▲메모리(단기 및 장기, 학습) ▲도구/데이터/에이전트 연결 ▲ID/권한/정책 기반 접근 제어 ▲관측가능성 및 품질 평가 등으로 정리한다.

그는 “각 AI 에이전트의 실행이 서로 영향을 주지 않고 격리되는 안전한 런타임 환경을 보장해야 하며, 단기 대화 맥락뿐 아니라 과거의 경험을 학습하는 장기 메모리를 통해 에이전트를 고도화해야 한다”며 “외부 API나 내부 데이터, 멀티 에이전트 등의 원활한 상호작용은 필수이며, 사용자와 에이전트의 신원을 명확히 하고 정의된 정책에 따라 시스템 접근을 통제해야 한다”고 말했다.

그는 “마지막으로 에이전트의 모든 행동을 추적하고, 성능과 결과의 품질을 지속적으로 측정해야 신뢰성 있는 운영이 가능해진다”며 “그래야 현업 환경에서 AI 에이전트가 신뢰 가능한 업무 파트너 역할을 할 수 있다”고 강조했다.

이같은 복잡한 요구사항을 아마존 에이전트코어로 충족할 수 있다는 게 AWS의 설명이다. 개별 에이전트를 만드는 도구를 넘어 대규모의 에이전트를 표준에 기반해 안전하게 구축, 운영할 수 있는 플랫폼이라고 한다. 아마존 에이전트코어의 런타임은 격리된 실행 환경을 제공하고, 에이전트코어 메모리는 장단기 맥락을 기억해 학습하고 에이전트를 발전시킨다. 게이트웨이는 외부 도구와 내부 데이터, 에이전트 등의 연결을 표준화하고 통제하며, 아이덴티티는 모든 사용자와 에이전트의 권한을 관리해 보안을 강화한다. 옵저버빌리티는 모든 에이전틱 AI 활동을 실시간으로 추적하고 분석할 수 있는 가시성을 제공하며, 파운데이션 툴은 코드 실행, 웹 브라우징 등의 필수 도구를 제공한다.

최 아키텍트는 “에이전트코어는 개별 에이전트 개발을 넘어 수많은 에이전트를 전사적으로 안정되게 운영하기 위한 표준 운영 레이어”라고 밝혔다.

초기 AI 에이전트가 업무를 잘게 쪼개고 단기적인 목표를 달성하는데 초점을 맞췄다면,점차 장시간 작업을 지속하며 장기 목표 달성을 위해 활동하는 에이전트가 나타나고 있다. AWS는 이를 프론티어 에이전트라 부른다. 자율성, 대규모 확장성, 장기 실행 등의 특징을 갖는 프론티어 에이전트는 업무 보조도구에서 개발, 보안, 운영 등의 영역에서 실제 팀원처럼 일하는 AI의 진화 모습이다.

AWS는 프론티어 에이전트의 레퍼런스를 제시하기 위해 다양한 에이전트를 선보였다. 데브옵스, 시큐리티, 키로 오토노머스 등 3종의 프론티어 에이전트는 IT운영, 보안, 개발 등의 업무를 수행한다.

그는 기업의 에이전틱 AI 도입 로드맵으로 파일럿, 표준화, 전사확산 등 3단계를 제안했다. 그는 “파일럿에서 ROI 높고 리스크 관리 가능한 핵심 프로세스 한두개를 선정해 완료율, 오류율, 평균처리 시간, 감사 가능성 등 명확한 성공 지표를 정의하게 된다”며 “표준화에서 에이전트코어 기반으로 표준 런타임과 ID 관리, 공유 도구 카탈로그를 구축하고 모든 에이전트의 정책, 평가, 관찰가능성 기능을 활용하면서 재사용 가능한 구성요소와 운영표준을 만들어야 한다”고 말했다.

이어 “마지막 전사 확산 단계는 검증된 표준을 기반으로 에이전트 도입을 확산시키고, 품질을 보장하는 에이전트만 배포하며, 업무 특성에 따라 최적 모델을 자동 선택해 비용과 성능을 지속적으로 최적화해야 한다”며 “결국 성공적인 에이전틱 AI 확산의 핵심은 빠른 파일럿이 아니라 표준화된 운영 기반을 만들어가는 것에 있다”고 강조했다.

그러면서 기업의 CIO, CTO가 회사의 에이전틱 AI 도입을 위해 조직 준비 상태를 스스로 점검할 수 있는 6가지 체크리스트를 제시했다.

전략, 데이터, 보안, 운영, 조직, 비용 등에서 살필 내용이다. 어떤 업무를 에이전트에게 맡길지 우선순위를 정의했는지(전략), 내부 데이터 접근 및 권한 관리 모델이 표준화돼 있는지(데이터), 정책 깁나 접근 제어를 코드와 분리해 중앙에서 운영할 수 있는지(보안), 평가 및 관찰성을 통해 품질 저하를 자동 탐지하고 이전 버전으로 롤백하는 쳬계를 갖췄는지(운영), 제품 담당자나 보안, 법무, 운영 등의 팀이 함께 참여하는 에이전트 승인 체계를 갖췄는지(조직), 모델 라우팅, 캐싱, 토큰 사용량 모니터링 등 비용관리 체계가 있는지(비용) 등이다.

그는 “이런 6개의 질문에 명확히 답할 수 있을 때 에이전틱 AI가 실험을 넘어 전사 전략으로 확산될 수 있다”며 “에이전틱 AI는 자동화의 연장이나 일을 빨리 하게 하는 게 아니라, 업무 방식 자체를 재설계하고 사람의 판단과 실행 일부를 시스템의 책임으로 옮기는 커다란 전환의 하나”라고 밝혔다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network