음악 만드는 법: 악기(하드웨어)→소프트웨어→인공지능

인공지능 시대에는 하나의 악기가 무한한 소리를 낸다. 구글이 이 악기의 제작법을 모두 오픈 소스로 풀었다.

음악을 만드는 법은 소리를 만드는 것과, 이것을 기록으로 남기는 두 가지 방법론을 모두 포함한다.

악기의 경우 인류 역사상 가장 위대한 발명품, 기타와 피아노가 주로 작곡의 도구로 사용됐다. 그다음 세대는 컴퓨터였다. 컴퓨터는 악기 소리를 디지털화해 연주와 기록을 동시에 할 수 있는 도구다. 악보를 GUI화한 소프트웨어는 즉, 악기인 동시에 악보인 셈이다. 소리가 디지털화된 이후에는 시퀀서라고 부르는, 소리를 디지털화해주는 기기를 악기에 붙여쓰기도 했다. 시퀀서는 이름은 생소하지만 흔한 소프트웨어다. 맥북, 아이폰, 아이패드에서 무료로 설치할 수 있는 ‘개러지밴드(Garage Band)’가 시퀀서다. 별도의 케이블만 있으면 기타 소리를 쉽게 디지털화할 수 있다. 안드로이드에서는 ‘레코딩 스튜디오’ 등의 앱을 사용하면 된다.

이제 악기 연주도 다른 시기에 접어든다. 구글이 공개한 ‘Nsynth Super’에 의해서다. 엔신스는 구글이 인공지능으로 예술가들을 돕는 프로젝트 ‘마젠타(Magenta)’의 결과물이다. 외형은 디지털화한 컬러 팔레트 도구와, DJ들이 쓰는 터치패드를 합쳐놓은 것 같은 모습이다. 사용법도 컬러 팔레트처럼 색 중간 어딘가를 눌러가며 사용한다.

중간값이 거의 무한한 컬러 팔레트처럼, 이 인공지능 기기는 ‘소리의 중간값’을 찾는다. 즉, 미리 입력된 1천여 악기의 소리와, 30여만 가지 음을 기계 학습 후 수치화해서 갖고 있다가, 다양한 악기 소리의 중간값을 터치하는 순간, 수학적으로 복잡하게 연산된 결과물들을 소리로 내놓는 것이다. 즉, 이 소리는 현재 세상에 있는 악기들로 연주할 수 없는 소리이며, 디지털화한 악기 소리의 단순 변조로도 만들 수 없는 것들이다.

마젠타 프로젝트팀은 블로그에서 하프와 글라리넷의 중간 정도 소리를 예로 들었다. 인공신경망을 활용하므로 두 악기의 중간값을 찾는 것은 어렵지 않다. 더 나아가, (소프트웨어와 하드웨어가 견딜 수 있을 만큼의) 무한한 수의 악기의 무한한 정도의 중간값을 만들어낼 수 있다. 즉, 인공지능으로 무한한 소리의 악기를 순식간에 만들어낼 수 있다는 것이다. 이 말은 곧 예술가에게도 무한한 가능성을 주는 것과 같다. 다만 정해진 것이 없다는 과정에서 오는 스트레스 역시 무한대로 늘어날 것이지만.

이 하드웨어와 소프트웨어는 기존의 디지털 이펙터와 마찬가지로 키보드, 리듬 박스, 컴퓨터와 함께 연결해 사용한다. 대신 음정과 박자를 모두 활용할 수 있는 기기이므로, 리듬 박스(드럼 박자를 찍는 기기)로도 음을, 키보드로도 박자를 입력할 수 있다. 물론 음과 박자를 모두 갖고 있는 소리겠지만.

이 제품을 예술가들이 갖고 있다면, 예술가들은 더 많은 신기한 소리를 만들어낼 것이고, 이는 머신러닝의 또 다른 데이터가 될 것이다. 해당 제품에 소리를 전송할 수 있는 코드가 있는지는 확인되지 않았으나 구글은 이 소리를 쉽게 수집할 수 있다. 유튜브를 갖고 있으니까.