애저 AI 파운드리, 경계없는 AI 에이전트 플랫폼으로

마이크로소프트의 생성형 AI 플랫폼 ‘애저 AI 파운드리’가 더 다채로워졌다. xAI의 그록3를 새로운 제공 모델로 추가했고, 플랫폼이 알아서 적합한 AI 모델을 골라 연결해준다. 앤트로픽의 MCP와 구글의 A2A 프로토콜을 지원해 다양한 에이전트의 활동을 조율할 수 있다. 인터넷 연결없는 환경에서 이용할 수 있는 ‘파운드리 로컬’과 윈도우에서 활용하는 AI 플랫폼 ‘윈도우 AI 파운드리’ 등은 경계없는 AI 에이전트의 세계를 구축한다.

마이크로소프트는 19일(현지시간) 미국 시애틀에서 개최한 연례 개발자 컨퍼런스 ‘마이크로소프트 빌드 2025’에서 애저 AI 파운드리의 업데이트를 발표했다.

마이크로소프트 애저 AI 파운드리는 7만명 이상의 고객이 사용하는 생성형 AI 플랫폼이다. 지난 분기 100조개의 토큰을 처리하고, 매일 20억건의 엔터프라이즈 검색 쿼리를 처리했다. 마이크로소프트는 보안과 신뢰를 내장한 풀스택 AI 플랫폼을 제공해 클라우드부터 엣지까지 AI 기반 앱과 에이전트를 쉽게 구축하고 실행할 수 있도록 한다.

사티아 나델라 마이크로소프트 CEO가 자사의 AI 개발 플랫폼을 소개하고 있다.

설계부터 운영까지, AI 에이전트 플랫폼으로 확장

마이크로소프트 애저 AI 파운드리는 지속적으로 제공 모델을 확장하고 있다. 이번에 xAI의 그록3(Grok3), 블랙포레스트랩의 플럭스프로1.1(Flux Pro) 등을 추가했다 또한 파운드리 모델스에서 애저 오픈AI를 통해 오픈AI의 ‘소라(Sora)’를 출시할 예정이다. 현재 파운드리모델스는 허깅페이스의 오픈소스 모델 1만여개를 제공한다.

마이크로소프트는 LoRA/QLoRa 및 DPO를 포함한 미세조정 기능을 지원한다. 미세조정을 위한 새로운 개발자 티어도 출시했다. 이는 호스팅 비용 부하없이 미세조정 방법을 실험하고 평가할 수 있게 한다.

애저 AI 파운드리는 각 작업에 적합한 모델을 선택하기 쉬워졌다. 새로운 ‘모델 라우터’는 프롬프트에 맞는 최적의 애저 오픈AI 모델을 자동으로 선택해 품질을 향상시키고, 비용을 절감한다. 마이크로소프트는 다음달부터 애저 오픈AI와 일부 파운드리 모델스에 예약 용량을 확장해 과부하 상태에서도 일관된 성능을 보장한다. 모든 모델은 애저 AI 파운드리 모델용 통합 API와 모델컨텍스트프로토콜(MCP) 서버를 통해 접근할 수 있다.

마이크로소프트는 애저 AI 파운드리 에이전트 서비스를 정식 출시했다. 이를 통해 프로덕션급 AI 에이전트를 손쉽게 설계, 배포, 확장할 수 있다. 마이크로소프트는 하이네켄, 카바나, 후지쯔 등 1만개 기업조직에서 애저 AI 파운드리를 사용해 복잡한 비즈니스 프로세스를 자동화했다고 강조했다.

애저 AI 파운드리 에이전트 서비스는 인프라와 오케스트레이션을 처리하며, 1400개 이상의 엔터프라이즈 데이터 소스(셰어포인트, 마이크로소프트 패브릭, 타사 시스템)에 대한 사용 가능한 템플릿, 작업, 커넥터 등을 제공한다. 몇번의 클릭으로 다른 플랫폼에 에이전트를 배포하면, 직원이 업무도구에 직접 에이전트를 연결할 수 있다.

애저 AI 파운드리는 멀티 에이전트 오케스트레이션을 제공한다. 에이전트 간 통신에 A2A 프로토콜을 사용하고, 외부 데이터와 기능에 MCP로 접근하게 하며, 다양한 에이전트의 협업 체계를 구축할 수 있다.

‘애저 AI 서치’는 에이전트 기반 검색 기능을 제공한다. 복잡한 질문을 위해 설계된 새로운 멀티턴 쿼리 엔진이다. 대화 컨텍스트와 내장된 대형언어모델(LLM)을 사용해 사용자 쿼리를 하위 쿼리로 분할하고, 여러 검색을 병렬로 실행한 후, 인용 정보를 포함한 포괄적 답변을 컴파일한다. 마이크로소프트에 따르면, 내부 테스트에서 에이전트 기반 검색 방식을 통해 복잡하고 여러 부분으로 구성된 질문의 답변 관련성을 최대 40% 향상시키는 것으로 나타났다.

애저 AI 파운드리의 ‘파운드리 옵저버빌리티’ 기능을 활용하면 프로덕션 환경에서 에이전트의 성능을 모니터할 수 있다. 지연 시간, 처리량, 사용량, 품질 등에 대한 기본 제공 메트릭과, 각 에이전트의 추론 단계 및 도구 호출에 대한 자세한 추적 로그를 제공받을 수 있다. 프로덕션 환경에서 애저 모니터와 통합된 대시보드를 통해 모델과 에이전트에 대한 실시간 인사이트와 알림을 제공받는다.

마이크로소프트 엔트라 에이전트 ID가 도입됐다. 조직 내 에이전트마다 ID를 자동으로 부여해 보안 관리자의 AI 에이전트 가시성을 확보하게 한다. AI 에이전트는 마이크로소프트 엔트라 디렉토리에 표시되는 사용자와 동일한 ID로서 에이전트를 보고, 각 에이전트에 대한 접근 제어와 권한을 설정할 수 있다. 보안 관리자는 조건부 접근 정책, 다단계 인증, 최소 권한 역할 등을 에이전트에 적용하고, 로그인 활동을 모니터링할 수 있게 된다. 에이전트가 리소스에 접근해선 안 되는 경우 일반 사용자와 마찬가지로 해당 리소스가 차단된다.

책임감 있는 AI에 많은 투자를 해온 마이크로소프트는 애저 AI 파운드리에 ‘에이전트 평가자(Agent Evaluator)’를 추가했다. 에이전트 평가자는 에이전트가 사용자 의도를 따르고 도구를 올바르게 사용하는지 자동으로 확인하고 개발자에게 문제를 표시한다. ‘AI 레드팀 에이전트’가 에이전트의 취약점이나 편향을 지속적으로 조사해 배포 전에 취약점을 수정하도록 지원한다.

콘텐츠 필터링은 ‘프롬프트 실드(Prompt Shields)’의 향상된 기능인 ‘스포트라이팅(Spotlighting)’을 통해 더 스마트해졌다. 이 기능은 사용자 또는 수신 데이터에서 발생하는 악의적인 프롬프트 인젝션을 탐지하고 완화한다. 에이전트가 중요정보(PII)를 오출하거나 승인된 작업을 벗어나지 않도록 강화된 가드레일을 활성화했다. 애저 AI 파운드리는 마이크로소프트 디펜더 포 클라우드와 통합돼 위협 발생 시 알림을 발생시킨다. 각종 거버넌스 도구와 기본 통합된다.

마이크로소프트는 애저 AI 파운드리를 클라우드 대신 디바이스 차원에서 실행할 수 있는 ‘파운드리 로컬(Foundry Local)’을 선보였다. AI 모델과 에이전트를 위한 윈도우 및 맥용 런타임이다.

파운드리 로컬을 사용하면 오프라인에서 작동하고, 민감한 데이터를 로컬에 보관하며, 대역폭 비용을 절감하는 크로스 플랫폼 AI 앱을 구축할 수 있다. 인터넷 연결이 불안정한 공장 현장이나 제조시설, 원격 지역 등에서 AI 앱을 활용할 때 유용하다.

애저 AI 파운드리는 애저 아크와 통합될 예정이다. 온디바이스 AI 배포를 중앙에서 관리하고 업데이트할 수 있다.

윈도우 AI 파운드리 출시

마이크로소프트는 온디바이스 AI 개발을 위해 로컬 디바이스에서 활용 가능한 AI 개발 플랫폼을 출시한다고 밝혔다. ‘윈도우 AI 파운드리’다.

윈도우 AI 파운드리는 윈도우 클라이언트 환경에서 AI 개발부터 핵심 IT 워크플로우까지 광범위한 시나리오를 다룰 수 있게 한다.

윈도우 코파일럿 런타임에서 발전된 버전으로 클라이언트와 클라우드 전반에서 모델 선택, 최적화, 미세조정, 배포 등에 이르는 AI 개발 수명주기를 지원한다.

윈도우 AI 파운드리는 윈도우에 내장된 AI 추론 런타임 ‘윈도우ML’을 포함한다. 개발자는 자체 모델을 가져와 AMD, 인텔, 엔비디아, 퀄컴 등의 CPU, GPU, NPU 등 다양한 실리콘을 활용할 수 있다.

윈도우 AI 파운드리는 파운드리로컬과 올라마(Ollama), 엔비디아 NIM 등 다른 모델 카탈로그를 통합해 윈도우 실리콘에서 즉시 사용 가능한 오픈소스 모델에 빠르게 액세스하게 지원한다. 개발자는 로컬 앱에서 모델을 탐색, 테스트, 상호작용, 배포할 수 있다.

윈도우 AI 파운드리는 코파일럿+PC에서 윈도우 받은 편지함 모델을 기반으로 즉시 사용가능한 AI API를 제공한다. 텍스트 인텔리전스, 이미지 설명, 텍스트 인식, 사용자 지정 프롬프트, 객체 삭제 등 주요 언어 및 비전 작업을 지원한다. 사용자 지정 데이터를 사용해 SLM인 ‘파이 실리카(Phi Silica)’를 미세조정할 수 있는 LoRa 같은 새 기능을 포함한다. 개발자가 사용자 지정 데이터를 사용해 앱에서 자연어 검색 및 RAG 시나리오를 구축할 수 있게 의미 검색 및 지식 검색을 위한 새 API도 제공한다.