ElevenLabs(AI 음성 합성 전문 기업)가 Music v2를 이번 주에 공개했다. 곡이 흐르는 도중에 장르를 갑자기 바꾸는 기능을 넣은 것이 핵심이다. 오페라로 시작했다가 갑자기 헤비메탈로 전환하는 식의 구성이 가능해지면서, AI 음악의 표현력이 한 단계 올라갔다.

지금까지의 AI 음악 생성은 보통 '슬픈 재즈풍의 곡을 만들어줘'라고 요청하면 곡 전체가 그 분위기로 채워지는 방식이었다. 중간에 분위기를 바꾸려면 곡을 여러 개 만들어 이어 붙이는 수고가 필요했다. 하지만 Music v2는 하나의 트랙 안에서 장르의 급격한 변화를 자연스럽게 처리한다.

이런 변화는 음악을 만드는 방식 자체를 바꾼다. 단순히 결과물을 '추출'하는 것이 아니라, 특정 구간의 성격을 바꾸거나 보컬의 톤을 조절하는 '편집'의 영역으로 들어섰기 때문이다. 특히 가사와 보컬, 편곡의 정교함이 높아지면서 실제 상업 음반에 가까운 완성도를 낼 수 있게 됐다.

오페라에서 헤비메탈까지, Music v2의 정밀 제어 기능

AI 음악 생성기는 보통 프롬프트를 넣고 결과가 나오길 기다리는 복권 같은 방식이었다. ElevenLabs(일레븐랩스, AI 음성 합성 기업)가 내놓은 Music v2는 이 과정을 작곡가의 지휘봉처럼 세밀하게 바꿨다. 곡이 흐르는 중간에 갑자기 분위기를 꺾어 오페라에서 헤비메탈로 장르를 전환하는 일이 가능하다. 빠르게 쏟아내는 랩에서도 가사의 맥락이나 발음이 뭉개지지 않고 일관성을 유지한다. AI가 곡 전체의 시간축을 인식하고 특정 시점에서 스타일 파라미터를 급격하게 변경해도 소리가 튀지 않게 연결하는 제어력을 갖췄기 때문이다.

음악 외적인 소리를 섞는 기능도 들어갔다. 노래 중간에 박수 소리나 문 닫는 소리 같은 효과음을 자연스럽게 끼워 넣을 수 있다. 특히 특정 구간만 골라 다시 만드는 기능이 핵심이다. 곡 전체를 다시 생성할 필요 없이, 마음에 들지 않는 몇 초 정도의 구간만 선택해 프롬프트로 다시 명령하면 그 부분만 바뀐다. 마치 사진 보정 앱에서 특정 영역만 선택해 색상을 바꾸거나 개체를 지우는 인페인팅 작업과 비슷하다. 사용자는 전체 흐름을 깨지 않으면서 디테일한 수정만 반복해 곡의 완성도를 높인다.

곡을 만드는 순서 자체도 조립식으로 바뀌었다. 처음부터 끝까지 한 번에 뽑아내는 대신 인트로(도입부), 벌스(절), 코러스(후렴구) 같은 섹션을 각각 따로 생성한다. 이렇게 만든 조각들을 나중에 하나로 이어 붙여 하나의 완성된 곡을 설계한다. 작곡가가 악보의 마디를 하나씩 채워 넣으며 전체 구성을 짜는 방식과 같다. 각 섹션이 끝나는 지점의 파형과 다음 섹션이 시작되는 지점의 에너지를 맞추는 결합 방식이 지원되어, 조각난 음악들이 하나의 유기적인 흐름으로 연결된다.

다양한 언어의 가사를 처리하는 능력과 보컬의 질감, 악기 편곡의 조화가 이전 버전보다 매끄러워졌다. 가사와 멜로디가 따로 놀지 않고 보컬의 호흡이나 감정선이 음악적 문맥에 맞게 배치된다. 이는 AI가 텍스트 가사와 오디오 신호 사이의 상관관계를 더 정밀하게 학습해, 언어적 특성과 음악적 문법을 동시에 계산해 결과물을 내놓기 때문이다. 사용자는 이제 운에 맡기는 생성이 아니라 의도한 설계대로 음악을 구현하는 정밀 제어권을 갖게 됐다.

저작권 분쟁 피한 라이선스 데이터와 Google과의 경쟁

작곡가 한 명이 며칠 밤을 새워 만들던 곡의 구성을 이제는 몇 번의 클릭으로 바꾼다. 일레븐랩스는 첫 음악 모델을 내놓은 지 약 10개월 만에 Music v2를 공개하며 제품 업데이트 주기를 앞당겼다. 현재 시장은 구글, 스태빌리티 AI(Stability AI, 이미지 생성 AI 기업), 수노(Suno, 음악 생성 AI 서비스) 같은 거대 기업과 스타트업들이 전문가 수준의 음악 생성 모델을 두고 치열하게 경쟁하는 형국이다. 구글은 개발자 컨퍼런스에서 플로우 뮤직(Flow Music)이라는 도구를 통해 기존 곡을 다른 스타일로 바꾸는 커버 곡 생성 기능을 선보였다. 여기에 곡의 특정 섹션을 세밀하게 편집하거나 음악에 맞는 뮤직비디오를 자동으로 만드는 기능까지 더했다. 단순한 소리 생성을 넘어 영상과 편집이라는 제작 공정 전체를 하나로 묶어 전문 도구 시장을 선점하려는 전략이다.

기업 마케팅 담당자는 AI가 만든 음악을 광고 영상에 썼다가 갑자기 저작권 소송 통지서를 받을까 봐 망설인다. 실제로 수노나 유디오(Udio, 음악 생성 AI 서비스) 같은 선두 주자들은 무단으로 데이터를 학습했다는 이유로 음악 레이블들과 거액의 법정 다툼을 벌이고 있다. 일레븐랩스는 이 지점에서 정당한 대가를 지불하고 확보한 라이선스 데이터(저작권 사용 허락을 받은 데이터)를 학습의 핵심으로 삼았다. 인터넷에 떠도는 데이터를 무작정 긁어모으는 대신, 권리 관계가 깨끗한 데이터를 사용해 법적 리스크를 원천적으로 차단했다. 덕분에 사용자는 생성한 결과물을 상업적인 용도로 자유롭게 사용할 수 있는 권한을 부여받는다. 음악 레이블과 미리 계약을 맺어 안전장치를 마련한 것은 기술적 완성도보다 더 강력한 비즈니스 경쟁력이 된다.

브랜딩 팀은 이제 일레븐크리에이티브(ElevenCreative, 마케팅 및 브랜딩 전용 도구)에 접속해 브랜드 정체성에 맞는 배경음악을 즉석에서 생성한다. 일반 창작자들은 새롭게 문을 연 일레븐뮤직(ElevenMusic) 플랫폼에서 AI 기반의 곡을 만들고 다듬는 작업을 수행한다. 여기에 더해 조만간 일레븐API(ElevenAPI, 다른 소프트웨어에 기능을 연결하는 인터페이스)가 출시될 예정이다. 이는 사용자가 일레븐랩스 웹사이트에 매번 접속할 필요 없이, 자신들이 평소 쓰는 영상 편집 프로그램이나 기업 내부 앱 안에서 바로 음악 생성 기능을 호출해 쓰는 구조다. 개별 서비스를 제공하는 단계를 넘어 다른 기업의 제품 속에 엔진처럼 녹아드는 인프라가 되겠다는 계산이다.

잔잔한 피아노 선율로 시작한 곡이 어느덧 강렬한 일렉트로닉 비트로 자연스럽게 전환된다. 뮤직 v2는 곡의 스타일을 고정하지 않고 실시간으로 분위기를 바꾸는 유연함을 구현했다. 이제 AI는 단순히 음악을 만들어내는 도구를 넘어, 곡의 흐름을 정교하게 설계하는 디렉터의 역할을 수행한다. 음악 장르라는 틀은 더 이상 고정된 경계가 아니라 창작자의 의도에 따라 언제든 변하는 선택지가 된다.