“AI 판도 6개월마다 변한다” AI 기술 리더가 짚은 생존 전략
| |

“AI 판도 6개월마다 변한다” AI 기술 리더가 짚은 생존 전략

AI 기술 발전 주기가 빨라지면서 빅테크의 칩·인프라·LLM·앱 전방위 확장에 대응하기 위한 기업들의 생존 전략이 논의됐다. 패널들은 이기종 칩 최적화, 하드웨어의 긴 개발 주기, 에이전트 최적화, 인프라 조합 증가에 따른 테스트 부담 등을 주요 병목으로 꼽았다. 특화 도메인, 비용 효율성, 최적화 기술, 브랜드와 신뢰 등을 차별화 요소로 제시하며 AI 인프라의 변화 방향을 전망했다.

“쿠버네티스는 GPU를 잘 활용하기 힘든 플랫폼”

“쿠버네티스는 GPU를 잘 활용하기 힘든 플랫폼”

쿠버네티스는 클라우드의 운영체제라 불릴 정도로 스테이트리스 서비스 운영의 기본 선택지로 자리잡았다. 그렇게 좋은 쿠버네티스지만, CPU와 메모리 자원을 최적화하는 걸 목적으로 태어났기 때문에, 학습과 추론의 AI 워크로드를 운영할 때 GPU를 효율적으로 활용하기에 어려운 부분이 많다. 쿠버네티스에서 GPU를 잘 활용하려면 실제 플랫폼을 구축할 때 발생하는 문제를 운영 관점에서 어떻게 해결할 수 있을 지 봐야 한다.

End of content

End of content