Postingan ini belum diterjemahkan ke Bahasa Indonesia. Menampilkan teks asli.
주말에 정리하려고 했는데, 이게 너무 뛰어나서 또 하나 만들다보니 시간이 훅 갔네요.
대충 어떤 모델인지는 요즘은 AI한테 살짝만 물어봐도 나오니 전체적인 소개는 내려두고 가장 좋아하는 기능 2가지만 이야기 해보겠습니다.
https://github.com/multimodal-art-projection/YuE
(일단 주소드리고)
1번은 커버스튜디오 기능입니다.
이미 제작된 곡을 주면 알아서 채보를 하고 이 악보를 가지고 리메이크가 가능하게 해줍니다.
-시대유감 음원을 주고 채보를 한 다음에 원본 가사를 주고 음악 스타일에 hiphop, rap, 220bpm 만 주었습니다.
채보를 할 때 보컬라인도 위치를 따줘서 대충 운율이 맞으면 그 자리에 들어가는거 같습니다.
이게 개인적으로 너무 좋은게 주말에 만들었던 마법소녀(..) 영상의 배경음을 만들 때, 이미 시간과 구분이 나눠진 프롬프트를 이해하고 있는 AI에게 작곡을 시켜서 해당 부분에 맞게끔 음악을 만들어 줍니다. 실제 작곡을 의뢰하듯이 말이죠. 완결된 일관성의 한곡 뿐만이 아니라 특정 부분에 필요한 부분을 따로 작곡해서 하나의 곡으로 만들어 주는거죠. 56초 부분에 이상한 효과음(..)은 미니맥스가 아니라 Yue 모델이 곡사이에 넣어둔 겁니다. 그 부분에 어떠한 내용이 나온다는걸 알고 있기 때문입니다. 마치 뮤지컬 작곡같은 느낌이죠.
2번은 역시나 생성 기능입니다.
여러 로컬 생성기가 있지만 이 생성기에 가장 큰 장점은 abc 작곡노트를 쓸 수 있습니다. 채보를 할 때도 역시나 악보를 생성하는데, AI에게 악보를 만들어 달라고 한다음, 여기서 장르별로 리믹스가 가능합니다. 여기서 가장 제가 생각하는 최고의 장점이 나오는데, 기존의 생성물은 AI에게 5분짜리를 만들어달라고 해도 "이젠 된거 같은데" 싶으면 지가 알아서 길이를 끊어 버립니다.
이건 영상 배경음을 만들려고 할 때 최악이되죠. 근데 이 모델은 bpm을 사용해서 영상길이에 맞는 음악을 한번에 만들어 줍니다. 예를 들면 몇 박자의 곡에 몇 마디가 있으면 노래 길이가 딱 맞으니 악보를 생성해와서 넣기만 하면 되는거죠. 게다가 리믹스도 가능하니 더 빠르게 혹은 분위기도 다르게, 마음껏 조정이 가능합니다.
그리고 조금만 만져주면 5090 기준으로 15분도 가능하다고 합니다.(아직 안해봤지만 기능 리미트 해제만 열어놨습니다)
그래서 이것저것 만지면서 직접 쓸 앱을 만들고 있습니다. 제 개인의 편의성과 목적성이 들어가다 보니 범용성이 있을진 모르겠지만, 여튼 좀 쓸만 해지고 공개 가능하다면 공개해 보겠습니다. 깃에 다른 분들의 이런 어플화들도 많으니 확인해보셔도 되고요.
이런 어플 없어도 https://github.com/multimodal-art-projection/YuE 주소 AI에게 주시고 해줘! 하면 로컬에 설치되는거 아시리라...
덧. 찾아보시면 양자화 버전도 제공해서 저사양에서도 만들어집니다.
