[기고] 지속가능한 AI를 위해 고려해야 할 5가지 사항

인공지능(AI)은 산업 전반을 빠른 속도로 변화시키고 있다. 그러나 많은 조직이 이러한 AI 기술 도입에 속도를 내는 과정에서, 환경에 미치는 영향을 충분히 고려하지 못하고 있다. 그 결과, 기업의 지속가능성과 환경 목표를 동시에 위협하는 보이지 않는 위기가 점점 커지고 있다.

이러한 상황에서 AI 네이티브 네트워킹(AI-native networking)은 결정적인 역할을 수행할 수 있다. AI 워크로드 배치, 라우팅, 모니터링 방식을 최적화함으로써, 뛰어난 성능 향상이 환경 지속가능성 저하로 이어지지 않도록 돕기 때문이다. 그렇다면 AI 시대에 성공적인 전략을 수립하기 위해, 조직들이 반드시 피해야 할 5가지 치명적인 실수는 무엇일까.

단순 업무에 초거대 모델을 선택하는 실수

업무의 경중에 비해 초거대 언어 모델을 사용하는 것은 에너지 낭비의 주범이다. 많은 조직이 ‘클수록 좋다’는 단순한 믿음으로 최신의 대규모 언어 모델을 채택하는 경향이 있다. 그러나 초거대 모델로 추론을 실행하는 것은 소규모 또는 최적화된 모델에 비해 쿼리당 10배에서 100배 더 많은 에너지를 소모한다. 1,750억 개의 매개변수 모델을 사용해 단순 이메일 분류나 기초 데이터 추출을 수행하는 것은 식료품 구매를 위해 대형 화물 트럭을 운전하는 것과 같다. 정말로 최고 수준의 성능을 필요로 하는지 검토하고, 소규모 모델이나 기존의 머신러닝 기술로도 충분한 결과를 얻을 수 있는지 판단해야 한다.

에너지 효율적인 인프라 구축을 외면하는 실수

다음으로 컴퓨팅 인프라의 탄소 집약도를 고려하지 않은 채 AI 워크로드를 운영하는 경우다. 모든 데이터센터나 인프라 구성 요소가 에너지 효율성 면에서 동등하지 않다. 동일한 모델이라도 석탄 화력발전 기반인지 재생 에너지 기반인지에 따라 탄소 발자국이 최대 10배까지 차이 날 수 있다. 더불어 양자화(quantization), 가지치기(pruning), 지식 증류(knowledge distillation)와 같은 최적화 기술을 적용하지 않으면 불필요한 에너지를 소모하게 된다. 앞서가는 조직은 데이터센터 및 클라우드 공급자의 재생에너지 사용 여부를 점검하고, 정확도뿐만 아니라 효율성까지 고려한 모델 아키텍처를 선택한다.

데이터 관리 및 저장 관행을 소홀히 하는 실수

거버넌스 정책 없이 방대한 데이터 세트를 무기한 저장하는 것은 데이터센터의 불필요한 에너지 소비로 이어진다. 데이터는 AI의 핵심 동력이지만, 관리가 부실하면 보이지 않는 막대한 비용이 발생한다. 많은 조직이 만약을 대비해 중복되거나 쓸모없는 데이터까지 저장하지만, 이렇게 쌓인 데이터는 저장·백업·유지 과정에서 지속적인 에너지를 소모하게 된다. 따라서 정기적 데이터 가치 평가, 보존 정책 수립, 압축 기법 등을 포함한 데이터 거버넌스가 필요하다. 원본 데이터를 영구 보관할지, 아니면 가공된 축소 데이터 세트로 충분할지를 신중히 검토해야 한다.

인력과 커뮤니케이션 투자를 소홀히 하는 실수

AI 시대에 맞춰 조직은 직원 교육이나 역할 변화에 대한 명확한 소통 없이 AI를 도입한다. 이로 인해 조직 내 저항이 생기고 효율성은 떨어지며, 결과적으로 AI 도입에 투입된 에너지마저 낭비된다. 직원들이 일자리 상실을 우려하거나 AI 툴 활용 역량이 부족하면, 채택률은 낮아지고 중복 작업이 늘어난다. 이는 환경적으로나 경제적으로 지속가능하지 못한 결과를 초래한다. 따라서 AI는 인간의 역할을 대체하는 툴이 아니라, 협업하고 역량을 강화하는 툴로 명확히 소통해야 한다. 또한 이에 상응하는 포괄적인 교육 프로그램을 제공함으로써, AI 투자의 잠재력을 최대한 발휘하고 인력의 생산성을 유지할 수 있다.

AI 지속가능성 영향을 측정·모니터링을 소홀히 하는 실수

마지막으로, 지속가능성을 사후적으로만 고려하고 초기부터 측정·모니터링 체계를 갖추지 않는 경우가 있다. 많은 조직이 여전히 AI 시스템의 에너지 사용이나 탄소 배출을 추적하지 못하고 있어, 최적화 기회를 놓치고 지속가능성 목표 달성에도 어려움을 겪고 있다. 이를 해결하기 위해 토큰 처리량 대비 전력 사용량, 질의당 에너지 소비, 모델 응답 시간 대비 연산 부하, 사용자 상호작용당 탄소 배출량 등 핵심 지표를 모니터링할 수 있는 툴과 프레임워크를 도입해야 한다.

아울러 작업별 에너지 소비, 탄소 발자국 감소, 재생에너지 사용 비율 등 환경 영향 KPI와, 작업 완료 시간 단축, 절감된 인적 자원, 프로세스 자동화 효율 향상 등 생산성 향상 KPI를 정확도·지연률 같은 기존 성능 지표와 함께 추적해야 한다. 이렇게 이중 관점의 측정 체계를 갖추면 지속적인 개선이 가능하며, 모델이 비효율적으로 작동할 때를 식별하고, 더 효율적인 AI 활용을 위한 투자 근거를 명확하게 제시할 수 있다.

지속가능한 AI는 단순히 환경 보호에 대한 선의를 넘어, 스마트한 비즈니스 전략이기도 하다. 효율적인 AI 시스템은 운영 비용을 절감하고 성능을 향상시키며, 에너지 비용 상승 및 기후 규제 강화에 대비한 미래 대비형 투자다. 앞서 언급한 흔한 실수들을 피함으로써, 조직은 AI의 혁신적 잠재력을 온전히 활용하는 동시에 더욱 지속가능한 디지털 미래를 구축할 수 있다.

핵심은 지속가능성이라는 원칙을 나중에 덧붙이는 것이 아니라, AI 전략 수립 단계부터 핵심 가치로 내재화하는 것이다. AI가 보편화되는 현시점에서, 지속가능한 AI를 선도적으로 실천하는 조직만이 다가올 시대의 확실한 경쟁 우위를 확보하게 될 것이다.

글. 오동열 한국HPE 네트워킹 부문 세일즈 엔지니어링 디렉터