도서정보로 쇼츠, 릴스, 유튜브 영상을 생성하는 AI 영상 편집기
간단히 LLM으로 도서 정보를 가져와서 쇼츠, 릴스, 유튜브 영상을 생성하는 도서 스튜디오를 만들고 있습니다. 카드뉴스로 만들어서 영상을 생성하는 방식인데 특징은 책을 3D로 돌려서 영상 재료가 없어도 일단 만들 수 있다는 장점이 있습니다.?
그리고 A라는 사람이 만든 모션디자인 템플릿을 B라는 사람도 사용할 수 있게 구성해놨습니다. 일단 동일한 스타일이 생성되기 때문에 시간절약을 할 수 있고 LLM은 Gemma4 E4B를 사용하고 있습니다. 다른 API를 사용하면 훨씬 훌륭한 결과가 나오지만 컴퓨터 켜놨을 때 llm gateway를 만들어서 3대의 컴퓨터중 놀고있는 것을 활용합니다.
이 프로젝트는 웹사이트에서 자동으로 생성된 영상을 전문 편집프로그램 Aftereffect, Premiere · FCP7 XML, After Effects · JSX, 책 3D · OBJ + MTL, CapCut에 직접 설치
모션디자인 템플릿을 저장해서 재사용할 수도 있고 다른 사람에게 판매할 수 있습니다.(말이 그렇다는 것이지 결제를 하는 수단도 없습니다.)
CapCut · draft ZIP (수동) 으로 프로젝트를 저장 전문 프로그램에서 편집할 수 있습니다. 음성합성도 supertonic 3가 내장되어 있고 docker에서 동작합니다. 그동안 별도의 프로그램으로 설치형 맥, 윈도우용으로 만들었는데 그냥 온라인 상에서 다듬어 보기로 했습니다.
하단 링크에서 테스트 해보실 수 있습니다. 불러오기를 누르면 제가 만든 샘플들이 있습니다. 도서 불러오기로 만들어보실 수 있습니다. (LLM은 상태가 좋을 때 잘 나오고 상태가 안좋은 qwen 2.5 가 걸릴 수도 있습니다.)
출판사 이벤트용으로 만든 것이라 아직 완성도가 떨어집니다. AI는 그냥 로컬에서 뭔가 하는건 그냥 취미 정도가 아닐까 요즘 생각중입니다.
json, yaml 을 만들어서 클로드코워크에 canva로 전환하라고 했더니 한참 동안 뭔가를 하더니 엉망을 만들어 내는거 보고 그냥 시간내서 canva 에 직접 넣는 방법을 해결해보려고 합니다.
제가 만든 가짜 3D 때문에 생긴 문제일 수도 있겠지만 ^^
