‘애저 AI 파운드리’ 생성형 AI 개발의 도약적 출발선

마이크로소프트가 기업의 생성형 인공지능(AI) 개발을 지원하는 인프라와 플랫폼을 개편했다. 여러 AI 개발 도구가 한곳에 모이고, 다양한 언어모델을 성능 비교하며 선택할 수 있으며, 배포한 AI를 종합적으로 관리하는 플랫폼이다. 여러 AI 에이전트를 생성, 배포, 조율할 수도 있다. 대형언어모델(LLM)부터 시작해 모든 것을 쌓아올리는데 시간과 노력을 버리지 말고, AI 전문 생산 공장의 잘 구축된 토대 위에서 출발하라고 한다.

마이크로소프트는 19일 개최한 연례 컨퍼런스 ‘마이크로소프트 이그나이트 2024’에서 코파일럿과 AI 에이전트를 위한 개발자 플랫폼 ‘애저 AI 파운드리’를 발표했다.

애저 AI 파운드리는 기업에서 자체 AI 솔루션을 최적화하고, 실행하며, 관리하는 통합 플랫폼으로 설명된다.

딜로이트에 따르면, 조직의 70%는 실험한 생성형 AI 중 30%만 실제 운영 환경에 배포했다. 아직 많은 조직에서 개발한 생성형 AI 상당수는 테스트 과정에 머물러있다는 얘기다. 이런 상황은 AI 혁신을 향후 비즈니스 성공의 핵심으로 여기는 기업 리더에게 투자대비이익(ROI) 압박을 주고 있다.

기업이 생성형 AI를 운영 단계로 넘기기 힘들어 하는 이유는 여러가지지만, 그중에서 기술적 진입장벽이 크다. 시대의 흐름을 따라 생성형 AI 개발에 도전하지만, 내부 역량의 부족, 도구의 부족, 인력의 부족 등이 실 서비스까지 이동을 막는다. 장벽을 해소하다보면 많은 비용과 시간이 들어가게 돼 기업 리더는 더 엄격한 평가 잣대를 들이댄다.

AI 모델부터 에이전트까지, AI 개발 도구 다 모았다

마이크로소프트의 애저 AI 파운드리는 기업의 AI 구축 진입장벽을 낮추는 플랫폼이다.

기존 애저 AI 모델, 툴링 및 안전 및 모니터링 솔루션을 새로운 기능과 결합해 조직이 AI 솔루션을 설계, 맞춤화 및 관리할 수 있도록 지원한다. 최신 대형언어모델(LLM)을 다양하게 구비하고, 여기에 기업 내 데이터를 연결시켜 학습, 추론하게 하며, 보안을 내재한 환경에서 사용할 수 있게 한다. 애저 AI 파운드리는 비즈니스 애플리케이션과 AI 기술 사이의 격차를 메우고 조직의 AI 잠재력을 효율적으로 끌어올린다고 회사측은 강조한다.

애저 AI 파운드리는 크게 소프트웨어개발도구(SDK)와 포털 등으로 구성된다. SDK로 애저 AI 서비스와 각종 개발자도구를 쉽게 통합하고, 포털로 마이크로소프트의 모든 AI 개발도구를 쉽게 접근할 수 있다.

애저 AI 파운드리 SDK는 깃허브, 비주얼스튜디오, 코파일럿 스튜디오 등 친숙한 AI 개발도구에 ‘애저 AI’ 서비스를 쉽게 연동하게 해준다.

AI 앱과 에이전트를 커스터마이징, 테스트, 배포 및 관리하기 위한 통합 툴체인을 제공한다. 모델과 도구의 통합 라이브러리로 코딩생산성을 향상시킬 수 있다. 개발자는 25개의 사전 구축된 앱 템플릿 중에서 선택할 수 있고, 애저 AI를 앱에 쉽게 통합할 수 있다.

현재 파이썬과 C#으로 제공되며 곧 자바스크립트 버전을 출시할 예정이다. 애저 오픈AI, AI 모델 추론, 애저 AI 검색, 애저 AI 에이전트 서비스, 평가, 추적, AI 앱 템플릿 등이 포함된다.

비주얼스튜디오코드(VS코드)용 AI 툴킷을 설치해 깃허브 모델을 편집기에서 바로 활용할 수 있다. 애저 AI 모델 추론 서비스는 언어모델로 오픈AI의 모든 GPT 시리즈와 메타, 미스트랄, 코히어, AI21랩 등을 제공한다. 프롬프트 템플릿으로 다양한 프롬프트를 쉽게 구성할 수 있다. 에이전트도 쉽게 개발할 수 있다.

애저 AI 파운드리 포털은 이전의 애저 AI 스튜디오를 개편한 것이다. 개발자가 AI 모델, 서비스 및 도구를 발견하고 평가하는 데 도움을 주는 포괄적인 시각적 사용자 인터페이스다. 필수 구독 정보와 제어를 중앙 집중형으로 할 수 있는 관리 센터를 이용하게 된다. 관리센터 기능은 연결된 리소스, 액세스 권한, 할당량 사용량 등 핵심 구독 정보를 하나의 대시보드에서 제공한다. 이를 통해 개발팀은 시간을 절약하고, AI 수명주기 전반에 걸쳐 보안 및 규정 준수 워크플로우를 더 쉽게 관리할 수 있다.

애저 AI 파운드리는 여러 언어모델의 성능과 효과를 측정, 비교할 수 있는 평가 도구를 제공한다.

애저 AI 파운드리의 모델 벤치마킹은 대기시간, 예상 비용, 처리량 등의 새로운 성능 지표와 생성 품질 지표를 추가했다. 다양한 기준에 따라 기본 모델을 비교해 잠재적인 상충광계를 이해할 수 있다. 개인 데이터로 기본 모델을 평가하고 비교할 수 있다.

개발자는 애저 AI 파운드리 포털에서 기본 모델과 미세 조정된 모델을 평가하고 비교할 수 있다. 학습 데이터의 영향을 확인할 때도 유용하다. 자체 테스트 데이터와 사전 구축된 품질 및 안전 평가기를 사용해 모델을 평가하고, 생성형 AI 애플리케이션을 빌드할 때 모델을 나란히 비교하고, 데이터 기반 의사 결정을 쉽게 수행할 수 있다.

이미지와 멀티모달 콘텐츠에 대한 새로운 위험 및 안정성 평가는 생성형 AI 상호 작용에서 유해 콘텐츠의 빈도와 심각성을 평가하게 해준다. 텍스트 기반 생성형 AI 모델 및 앱 품질 지표 평가는 정식으로 출시됐다.

새로운 파이썬 API를 사용해 클라우드에서 원격으로 평가를 할 수 있으며, 간편한 CI/CD 통합으로 규모에 맞게 평가 프로세스를 간소화할 수 있다. 생성형 AI 평가를 위한 깃허브 액션을 이용해 개발작업을 자동화할 수 있다. 이는 코딩 환경 내에서 더 빠른 실험과 반복을 위해 모델과 애플리케이션을 평가한다.

애저 AI 파운드리의 ‘AI 모델 카탈로그’는 선택의 폭과 유연성을 제공한다. 조직에 필요한 AI 모델의 잠재력을 탐구할 수 있도록 설계됐다. 오픈AI의 최신 기술과 마이크로소프트의 소형언어모델(SLM) ‘파이(Phi)’ 시리즈 외에도 오픈 모델과 최첨단 모델을 포함한 1800개 이상의 옵션을 제공한다.

기업 내 IT 전문가와 경영자는 AI 기술 도입의 현황을 측정하고, ROI를 평가할 수 있다. 애저 AI 파운드리는 효과 측정과 목표 조정을 할 수 있는 도구다. 애저 에센셜에서 AI 도입과 아키텍처에 대한 포괄적 지침을 도입할 수 있다. 애저 에센셜은 마이크로소프트의 모범 사례, 제품 경험, 참조 아키텍처, 기술 및 자원을 쉽게 접근하게 해준다.

마이크로소프트는 곧 AI 에이전트를 개발할 수 있는 ‘애저 AI 에이전트 서비스’를 제공할예정이다. 사용자 친화적인 인터페이스와 도구로 에이전트 구축에 필요한 프롬프트, 출력 및 기능 호출 등의 결합을 쉽게 할 수 있다.

애저 AI 에이전트 서비스로 개발된 에이전트는 최종 검토나 조치가 필요한 경우에만 사람을 개입시키면서, 독립적으로 작업을 처리한다. 애저 AI 에이전트 서비스는 마이크로소프트 빙, 셰어포인트, 패브릭, 애저 AI 검색 등 1400여개의 작업 커넥터로 데이터를 가져올 수 있다. BYOS(Bring Your Own Storage) 및 프라이빗 네트워킹 기능을 통해 데이터 프라이버시와 규정을 준수할 수 있도록 지원해 민감한 데이터를 보호한다. 기존 데이터와 시스템을 활용해 안전한 에이전트 워크플로우를 구축할 수 있다.

생성형 AI로 생성형 AI 구축을 지원

애저 AI 검색은 이제 고성능을 위해 설계된 생성형 쿼리 엔진을 제공하게 됐다. 쿼리 재작성 기능은 SLM을 활용해 쿼리를 변환하고 다양한 변형을 생성한다. 의미론적 순위 지정 기능은 고객 피드백과 업계 시장 동향을 반영해 1년 이상 훈련된 새로운 재순위 지정 모델을 도입했다.

애저 AI 검색의 성능도 더 빨라졌다. 새로운 쿼리 엔진은 최대 12.5%의 더 높은 적합성을 제공하며, 작년 대비 최대 2.3배 더 빠른 속도를 기록했다. 추가 설정이나 사용자 정의 없이 향상된 검색증강생성(RAG) 성능을 바로 활용할 수 있다. 필요한 모든 복잡한 작업은 사전 처리된 상태로 제공된다는 것이다.

애저 AI 검색은 곧 깃허브 모델에서 RAG 기능을 지원해. 실험부터 IDE까지 쉽고 빠르게 연결되는 작업 경로를 제공하게 된다. 데이터를 드로그앤드롭 방식으로 업로드하면 무료 애저 AI 검색 인덱스가 자동으로 프로비저닝된다.

애저 데이터베이스는 벡터 검색과 RAG 지원을 강화했다.

그래프 RAG가 애저 데이터베이스 포 포스트그레SQL에서 제공된다. LLM을 조직의 포스트그레SQL 데이터셋과 결합해 RAG 기능을 강화할 수 있다.

낮은 대기 시간과 고도로 확장 가능한 벡터 검색을 위한 최첨단 알고리즘 ‘디스크ANN(DiskANN)’이 제공된다. 애저 코스모스 DB에서 일반적으로 사용 가능하며, 애저 데이터베이스 포 포스트그레SQL에서 제공된다. 전체 텍스트 검색과 결합해 애저 코스모스 DB 하이브리드 검색을 지원한다.

마이크로소프트는 안전과 규제준수를 보장하는 데 도움을 주는 ‘책임있는 AI 툴’을 제공한다. 마이크로소프트의 신뢰할 수 있는 AI 철학을 기반으로 AI 보고서 이미지에 대한 위험성 과 안전성 평가 등이 더 제공된다.

AI 보고서를 통해 개발자는 미세 조정 된 모델과 생성형 AI 애플리케이션에 대한 사용 사례, 모델 카드 및 평가 결과를 문서화하고 공유할 수 있다. 규제 담당팀은 조직 전체에서 이 보고서를 쉽게 검토, 내보내기, 승인 및 감사해 AI 자산 추적 및 거버넌스를 간소화할 수 있다. 크레도 AI(Credo AI)와 협업해 포괄적인 AI 거버넌스를 활용하게 했다.

‘애저 AI 콘텐츠 이해’ 기능이 도입된다. 비정형 데이터를 멀티모달 앱 경험으로 변환해준다. 텍스트, 오디오, 이미지, 비디오 등을 활용하는 멀티모달 앱을 쉽고 빠르게, 비용 효율적으로 구축할 수 있다고 한다. 생성형 AI가 콘텐츠의 정보를 추출하고, 사용자 정 의 가능한 구조화된 출력으로 만들어 준다. 사전 구축된 템플릿은 간소화된 워크플로와 콜센터 분석, 마케팅 자동화, 콘텐츠 검 색 등 광범 위 한 사용 사례에 대한 출력을 사용자정의 할 수 있게 한다. 여러 모달리티의 데이터를 동시에 처리해 개발자가 보안과 정 확성을 중심에 두면서 AI 앱을 구축하는 복잡성을 줄이게 해준다.

애저에 ‘서버리스 GPU’가 도입됐다. 서버리스 GPU는 애저 컨테이너 앱스에서 사용 가능하다. 최적화된 콜드 스타트, 초당 청구 및 운영 오버헤드 감소로 서버리스 스케일링을 제공함으로써 맞춤형 AI 모델에 대한 쉬운 실시간 추론을 지원한다. 이는 GPU를 사용할 때 핵심 AI 코드에 더 집중하고 인프라 관리에 덜 집중할 수 있게 한다.

애저 컨테이너 앱스의 동적 세션이 도입됐다. 강력하게 격리해야 하는 코드를 실행할 수 있는 안전한 샌드박스 환경 접근을 제공한다. LLM 생성 코드를 대규모로 안전하게 실행하거나 SaaS 앱으로 소프트웨어를 확장, 맞춤화할 수 있다. 비용 효율적인 방식으로 위험을 완화하고, 서버리스 규모를 활용하며, 운영 오버헤드를 줄일 수 있다. 동적 세션은 인프라 또는 컨테이너를 관리할 필요 없이 가장 일반적인 코드 실행 시나리오를 위해 인기 있는 라이브러리와 함께 사전 설치된 파이썬 코드 인터프리터를 제공한다.

사티아 나델라 마이크로소프트 최고경영자(CEO)는 “웹, 모바일, 클라우드 등 각 기술의 세대 전환이 새로운 애플리케이션 플랫폼의 필요성을 가져왔던 것처럼, AI 역시 애플리케이션 설계, 맞춤화, 관리 방식을 변화시키고 있다”며 “이러한 변화에 대응하기 위해 AI 시대를 위한 일류 애플리케이션 서버를 발표했다”고 말했다.

그는 “애저 AI 파운드리는 최신 AI 기술을 활용해 애플리케이션 개발, 배포, 관리를 혁신적으로 단순화하고, 조직이 AI의 잠재력을 극대화할 수 있도록 설계된 플랫폼”이라며 “AI 중심의 시대에 맞춘 이 플랫폼은 새로운 방식으로 애플리케이션을 설계하고 최적화하며, 관리하는 데 필요한 모든 도구를 제공한다”고 강조했다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network