노래에 맞춰 입을 움직이는 립싱크 쇼츠는 어떻게 만드나요? 노래만 넣으면 한 번에 만들어지나요?
본인이 한 번 세팅은 해야 될 것 같아요. 1~5를 한 번 세팅해 놓으면 다음부터는 링크 하나 넣고 바로 나올 것 같아요. 기술적으로 가능한 것만 말씀드릴게요(저도 일부만 해봐서 확실X).
1. 원곡에서 보컬만 분리해요(demucs 등 오픈소스 툴). 2. suno 같은 음악 AI로 장르를 바꿔 만들어요. 3. 이때 커스텀 보이스 설정도 되니까 캐릭터를 잡을 수도 있을 듯? 4. 인물을 이미지로 생성해요. 5. 동영상 생성으로 넘어가요. 6. 처음부터 확대컷(바스트샷)이랑 풀샷 두 개를 생성하면 편집으로 왔다 갔다도 할 수 있겠네요.
5번 동영상 생성은 방법이 두 가지예요. 쉬운 방법: 시댄스 2.5에 음악, 이미지 다 때려넣고 "해줘" 하기 어려운데 정확한 방법: 생성은 위처럼 하고, 클링 립싱크 기능으로 재생성 때리기. 립싱크 기능을 쓰면 입 주변 부분만 다시 생성, 편집해 줍니다.
시댄스 2.5 쉬운 방법이 이해가 안 가요.
힉스필드 같은 데 들어가서 영상 생성으로 가서, 이미지 넣고 음성 넣고 프롬프트 넣어주고 생성 때리면 나와요.
힉스필드에 가입해야 하나요?
네. 영상 생성은 클로드, 지피티 이런 걸로 안 돼서 힉스필드, 또는 영상 생성 AI(클링, 그록 이매진, 구글 플로우, 시댄스)를 지원해주는 곳으로 가야 해요.
힉스필드랑 비슷한 걸 하시는 분들도 있어서 sume(sume.com)도 가능하긴 한데, 솔직히 생성형 쪽은 비용 대비 리턴이 너무 빡센 것 같아요.

하나만 테스트해서 프롬프트를 공유해 주실 수 있나요?
시작 프레임 한 장, 음악, 프롬프트를 같이 넣었어요. 프롬프트는 이렇습니다.
She stands still at center stage and sings the reference audio song into the [pink handheld microphone], lip movements matching the sung syllables, calm emotional ballad expression, only small natural breathing and head movement. Use the reference audio as the soundtrack. The camera is mounted on a tripod and does not move at all: no pan, no tilt, no zoom, no dolly, no orbit. The framing stays exactly the same as the start image for the whole 15 seconds. The LED screen with red maple leaves and the stage lights stay as in the start image.

가사 없이 아무 노래나 넣으신 건가요?
아이유님 커버곡을 크롭해서 넣었고, 음악 생성은 따로 안 했어요. 오히려 제가 수노 쓰면 망할까 봐서요. 당연하게도 저작권이 있으니 이렇게 만든 영상을 공개하거나 하면 안 됩니다.