[까다로운 IT] AI 성능 판단에 TOPS 숫자는 필수일까
이종철의 까다로운 IT, 오늘은 여러분이 앞으로 PC를 살 때 많이 보게 될 단위, TOPS에 대해서 알아보겠습니다.
AI 성능을 나타내는 지표에는 크게 테라플롭스(TFLOPS), 톱스(TOPS), 여기서는 탑스로 부르겠습니다. 이 두가지가 있는데, 요즘은 TOPS를 훨씬 많이 쓰죠. 이게 이유가 테라플롭스는 고성능 컴퓨터 연산 능력을 말하는 단위고, TOPS는 우리가 쓰는 스마트폰이나 노트북 같은 데서 쓰기 좋은 단위라서 그렇습니다. 테라플롭스도 여전히 많이 쓰이지만 우리가 굳이 알 필요가 있을까요?
TOPS는 Tera Operations Per Second의 약자입니다. NPU가 1초에 몇조번 연산을 할 수 있느냐를 말하죠. 계산은 MAC 연산이라는 방법으로 하는데요. 두 수를 곱하고, 다음 두 수를 곱해서 합산하는 식으로 이뤄집니다. 공식으로 치면 Y=W1X1 + W2X2 + … + Wn*Xn + b 이런 식인데 몰라도 됩니다. 저도 잘 몰라요. 이걸 클럭 당 MAC 연산 수, 아까 그 공식 말죠. MAC 연산 수x엔진 수x작동 클럭/1조를 하면 TOPS가 됩니다.
NPU에 들어가는 부품을 DSP나 MAC 유닛이라고 부르는데요. 이게 곱하기 부품과 더하기 부품으로 이뤄져 있고요. 이걸로 아까 말한 곱하기·더하기 연산 능력을 측정하는 단위가 TOPS입니다. 복잡한가요? 그냥 곱하기랑 더하기를 잘하는 게 좋다는 말입니다. 복잡한 연산을 하는 CPU·GPU와 다르게 NPU는 이 곱하기 더하기를 잘하는 게 좋은 제품입니다.
현재 모든 제조사들이 노트북용 칩셋의 TOPS 성능을 경쟁적으로 공개하고 있죠. 가장 TOPS 수가 높은 건 AMD의 AI 300 칩셋입니다. 최대 50TOPS고요. 인텔 코어 울트라 200V, 루나레이크 칩셋은 그것보다 근소하게 적습니다. 최대 48TOPS고요. 퀄컴 스냅드래곤 X 엘리트와 X 플러스는 45TOPS, 애플의 M4 칩셋은 38TOPS입니다.
그럼 AMD AI 300 칩셋의 AI 성능이 가장 좋은 걸까요? 애매합니다. 우선 산업 표준이 명확하지가 않아요.
이 TOPS를 계산할 때는 보통 INT8이라는 정수 연산을 사용합니다. 원래 데이터는 보통 32비트 부동소수점, FP32 데이터를 사용하는데요. 이걸 8비트 정수로 데이터 정밀도를 낮춰서 계산하는 거고요. 이렇게 하면 모델 메모리 사용량을 크게 줄일 수 있습니다. 그리고 애초에 개발사들도 INT8로 개발을 하기 때문에 정확도를 더 높일 필요는 없죠.
인텔, AMD, 퀄컴은 TOPS 성능을 낼 때 모두 INT8을 사용했다고 밝혔습니다만, 애플은 이걸 안 밝히고 있어요. 일각에서는 INT4를 썼다는 말도 있습니다. INT4는 32비트 부동소수점 데이터를 4비트 정수 연산으로 변환했다는 말이죠. 이경우에는 언어 모델의 정밀도가 올라가면 TOPS 수치가 반토막이 나거든요. 그래서 애플의 TOPS 성능은 정확하게 추산하기가 어렵습니다. 애초에 OS 구동 방식이 달라서 직접 비교가 힘들죠.
그럼 AMD, 인텔, 퀄컴은 순서대로 봐도 될까? 이것도 또 아닙니다. PC 연산은 작동환경이 중요해요. 만약 이 연산을 할 때 열이 과도하게 발생한다? 이러면 PC가 녹지 말라고 일부러 성능을 낮추죠. 스로틀링이라고 부릅니다. 이걸 방지하기 위해서 게이밍 노트북이나 워크스테이션은 엄청나게 큰 팬을 달고 방열 처리에 신경을 쓰죠.
전력 소모량도 중요합니다. 전력을 많이 소모하면 그만큼 열이 많이 발생하기도 하고요. 전기를 때려 박아서 연산을 잘하는 건 노트북용 프로세서에 적합한 방법은 아니죠. 그래서 인텔이 코어 울트라 200V를 발표할 때 “우리가 경쟁사보다 전력 소모 적다” 이렇게 발표하기도 했죠. 그냥 전력 소모만 적은 건지 성능도 떨어지는 건지는 모르겠지만 하여튼 그랬습니다. 그런 생각이 드는데요. 인텔이 전력 소모를 아무리 줄여도 퀄컴 칩보다 적게 먹을까요? 이런 생각.
애플리케이션 호환성도 중요하죠. 그래서 인텔과 AMD는 100개 이상의 기업과 협업하고 있다고 밝히고 있고요. 이들이 자사 NPU를 잘 쓰게 만들면 AI 성능 역시 동반해서 높아집니다. 퀄컴은 MS와 프리즘 에뮬레이션이라고 x86 앱을 ARM 기반 PC에서 구동되도록 만들긴 했는데, 그래봤자 호환성은 별로입니다.
자, 그래서 중요한 거. TOPS를 믿으면 안 되냐. 믿어도 되는데 무조건적으로 믿으면 안 된다-이렇게 말씀드리겠습니다. 앞으로는 TOPS/W, 전력 1와트당 행할 수 있는 AI 연산의 수가 더 중요한 지표가 될 것 같습니다. 그런데 아직은 기업들이 자신이 없는지 TOPS/W는 안 밝히고 있습니다. 전력 소모에 자신이 있는 인텔과 퀄컴은 좀 공개해도 되지 않을까요?
결론. TOPS 숫자를 보고 AI 성능을 파악해도 되냐. 답변. 아니다. 어차피 45, 48, 50 별로 차이 안 난다. 마음에 드는 CPU를 사시면 된다.
이제 시중에 노트북용 AI 프로세서들이 풀리고 있죠. AI 실제 성능이 어느 CPU가 얼마나 어떻게 좋은지, 리뷰에서 찾아뵙도록 하겠습니다. 그럼 그때까지 구독, 좋아요, 알림 설정.
영상제작. 바이라인네트워크
촬영·편집. 바이라인네트워크 영상팀 byline@byline.network
대본. <이종철 기자>jude@byline.network