데이터독, GPU 모니터링 공개…AI 운영 비용 관리 겨냥

데이터독, GPU 모니터링 공개…AI 운영 비용 관리 겨냥

By김원민

데이터독이 GPU 모니터링 기능을 23일 정식 출시했다. GPU 모니터링은 기업의 인공지능(AI) 인프라 운영 과정에서 발생하는 비용과 성능 문제를 관리하기 위한 기능이다. 회사 측은 이를 통해 워크로드 병목과 리소스 비효율을 파악할 수 있다고 전했다.

“쿠버네티스는 GPU를 잘 활용하기 힘든 플랫폼”

“쿠버네티스는 GPU를 잘 활용하기 힘든 플랫폼”

By김우용

쿠버네티스는 클라우드의 운영체제라 불릴 정도로 스테이트리스 서비스 운영의 기본 선택지로 자리잡았다. 그렇게 좋은 쿠버네티스지만, CPU와 메모리 자원을 최적화하는 걸 목적으로 태어났기 때문에, 학습과 추론의 AI 워크로드를 운영할 때 GPU를 효율적으로 활용하기에 어려운 부분이 많다. 쿠버네티스에서 GPU를 잘 활용하려면 실제 플랫폼을 구축할 때 발생하는 문제를 운영 관점에서 어떻게 해결할 수 있을 지 봐야 한다.

지금의 엔비디아를 만든 젠슨 황의 ‘결정적 선택’
|

지금의 엔비디아를 만든 젠슨 황의 ‘결정적 선택’

By심재석

“엔비디아는 지포스가 지은 집이다” 젠슨 황 CEO는 AI 연구자 렉스 프리드먼이 진행하는 팟캐스트에 출연해 이같이 말했다. 어떤 의미일까? 지포스가 잘 나갈 때 젠슨 황 CEO는 다소 의외의 의사결정을 내렸다. 쿠다(CUDA)라는 소프트웨어를 지포스에 탑재하기로 한 것이다. 쿠다는 개발자들이 GPU의 병렬연산 능력을 그래픽 이외의 목적으로 사용할 수 있도록 지원하는 인터페이스다.

엔비디아 vs. AMD, 불꽃 튀는 AI 스케일 경쟁

엔비디아 vs. AMD, 불꽃 튀는 AI 스케일 경쟁

By김우용

전세계적인 공급 부족 상황을 겪고 있는 AI 반도체 시장에서 압도적 선두 엔비디아와 무서운 추격자 AMD의 규모 확장 전쟁이 치열하게 벌어지고 있다. 엔비디아는 그레이스블랙웰(GB)의 뒤를 잇는 베라루빈(VR) 아키텍처 출하를 예고했고, AMD는 현 GPU 제품보다 1000배 향상된 차세대 AI 칩 로드맵을 발표했다.

End of content

End of content