AI한테 프리미어를 통째로 맡겨봤습니다 — MCP를 버리고 CLI로 간 이유

영상 편집을 AI한테 통째로 맡길 수 있을까?

이 생각 하나로 시작했습니다. 6월 초였어요. 매주 영상을 만드는데, 컷 편집에서 제일 지겨운 게 무음 잘라내고 러프컷 까는 일이거든요. 말과 말 사이 빈 구간 찾아서 자르고, 잘못 말한 부분 들어내고. 이걸 매번 손으로 합니다. Claude Code한테 프리미어 프로를 직접 만지게 하면, 제가 타임라인 한 번 안 열고도 이게 끝나지 않을까. 그게 궁금했어요.

처음엔 진짜 됐어요. Claude를 MCP로 프리미어에 연결했습니다. 구조는 이랬어요. Claude가 MCP 서버한테 명령을 보내면, 그게 웹소켓을 타고 프리미어 안에 깔린 플러그인으로 들어가서 실제 편집이 일어나는 식이죠. 무음 잘라내기, 러프컷 빌드, 자막 넣기 같은 도구를 59개나 등록했어요. 그때 진짜 신났어요. 와 이게 되네 싶어서. 프리미어의 진짜 업그레이드 버전 같았거든요. 어도비가 이걸 따라잡을 수 있나, 그런 생각까지 했습니다.

MCP 시절 Bridge 패널. 처음엔 이게 잘 붙었어요.

근데 뭔가 이상했습니다

조금 쓰다 보니 이상한 게 보였어요. 무음을 잘라준다는데 빈 구간이 그대로 남아 있는 겁니다. 제 눈에는 갭이 겁나 많이 보여요. 숨소리도 많고, 등고선처럼 생긴 숨소리까지 그득한데, AI는 태연하게 “갭 없습니다” 합니다. 오디오 파형이 화면에 다 보이는데 그걸 안 보는 건가 싶었어요. 파형을 읽고 자르는 게 아니라 자기 나름의 기준으로만 판단하니까 제가 보는 거랑 계속 어긋났습니다.

삭제 도구가 아예 없는 것도 화가 났어요. 뭘 넣을 줄만 알지 지울 줄을 몰라요. 오디오 트랙 믹서도 그렇습니다. 저는 매번 똑같이 세 개를 세팅하고 편집을 시작하는데, 그 반복을 자동으로 못 해줬어요. 매번 손으로 다시. 자막은 더 황당했습니다. SRT 파일을 임포트하면 프로젝트 안에 들어가긴 해요. 근데 정작 타임라인 트랙에는 안 올라갑니다. 자막이 화면에 안 붙는 거예요. 넣었다는데 없어요.

하나씩 떼어 놓고 보면 다 사소합니다. 근데 이게 쌓이니까 결국 일이 안 됐어요. AI한테 맡겨서 편하려고 한 건데, 맡길 때마다 제가 뒤를 봐줘야 했으니까요.

그날 밤, MCP가 무너졌습니다

6월 12일이었어요. 작정하고 측정을 해보기로 한 날이었습니다. 2시간 13분짜리 원본, 10.6GB. 이걸 풀로 컷 편집하면서 MCP 방식이 실제로 얼마나 걸리고 몇 번 막히는지 기록하려고 했어요.

그날 밤 MCP가 제대로 무너졌습니다. 문제는 구조에 있었어요. 서버가 포트 하나를 붙잡는 방식인데, 세션이 죽어도 서버가 같이 안 죽고 좀비로 남습니다. 그날 따라 Claude 두 개랑 Codex 하나가 각자 서버를 띄웠어요. 서버가 세 개나 동시에 뜬 거죠. 근데 포트엔 하나만 붙을 수 있으니, 나머지 둘은 떠 있어도 아무것도 못 하는 좀비였습니다.

밤새 재연결만 다섯 번 했어요. 한 번은 환경변수가 빠져서 미디어를 못 불러오고, 고쳐도 서버를 다시 띄워야 하고. 또 한 번은 옛날 서버가 안 죽고 고아로 남아서 포트랑 프리미어 연결을 계속 붙잡고 있고. 죽은 서버를 손으로 찾아 죽이고, 다시 연결하고, 또 끊기고. 새 서버는 멀쩡한데 Claude가 도구를 못 보는 일도 있었어요. 원인도 모르겠고 복구도 안 됐습니다.

자정 다 돼서는 그냥 짜증이 확 났어요. MCP 거치지 말고 어떻게든 해보라고 던져놓고, 저는 포기하고 자러 갔습니다.

자는 사이에 갈아엎어졌습니다

밤 11시 59분. 제가 자는 사이에 MCP를 버리고 CLI 데몬이 그 자리에서 만들어졌어요. 무겁게 붙어 있던 MCP 통신 방식을 빼고, 대신 가벼운 제어 채널을 하나 열어서 명령을 주고받는 구조로 바꾼 겁니다.

그랬더니 한 방에 됐습니다. 10.6GB짜리 원본을 불러오고, 448개 클립으로 러프컷을 짜고, 결과를 검증하고, 프로젝트를 저장하는 것까지. 전부 명령 한 줄씩으로 끝났어요. 사람 손이 한 번도 안 탔습니다. 바로 몇 시간 전 MCP에서는 똑같은 흐름을 가다가 세 번이나 막혔던 건데 말이죠. 와 드디어 된다. 그걸 봤을 때 진짜 환호했어요.

CLI 데몬(7300)에 붙은 ppro가 타임라인을 클립으로 채우는 실제 화면. 좌상단에 Premiere Pro Agent 패널이 떠 있어요.

그때 마음을 정했습니다. CLI로 간다. 사실 MCP는 어도비가 비슷한 걸 공식으로 이미 내놨어요. 근데 써보니까 없는 것만 못했거든요. 차라리 명령줄 도구로 가는 게 훨씬 나았습니다. 결국 CLI가 다음 단계라고 봤어요. 이걸 바탕으로 나중에 웹앱까지 갈 수도 있겠다 싶었고요.

숫자가 증명했어요

측정 방법. 2026년 6월 12~13일, 2시간 13분짜리 실제 영상 한 편(10.6GB)으로 측정했어요. 같은 원본을 MCP 방식과 CLI 방식으로 각각 한 번씩 컷 편집하고, 사람이 몇 번 끼어들었는지와 걸린 시간을 기록했습니다. 아래 숫자는 전부 그 기록에서 나온 거예요.

느낌만으로 정한 건 아닙니다. 같은 영상으로 MCP 방식(전)과 CLI 방식(후)을 나란히 측정했어요.

	MCP (전)	CLI (후)
사람 개입	5회 + 세션 교체 1회	1회 (이후 0회)
검수 재작업	2라운드	0회
빌드 방식	API 루프 (런타임 6회 사망)	XML 직접 주입, 12.4초

MCP 방식은 사람이 다섯 번 끼어들었고, 결과가 마음에 안 들어서 두 번을 다시 깎았어요. 처음 버전은 448클립에 54.8분이었는데 갭이 너무 많았습니다. 다시 깎아서 776클립 50.9분, 그래도 같은 공백이 남아서 또 깎고. 최종이 1,072클립 48.0분이었어요. 내부 무음이 11.7%에서 7.2%로, 결국 0.26%까지 내려갔습니다. 같은 걸 세 번 깎은 거예요.

CLI 방식은 한 번에 끝났습니다. 전 측정에서 확정한 레시피를 그대로 한 번 돌렸을 뿐이에요. 정상 경로로 가면 한 편에 25분쯤 걸릴 걸로 봅니다. (솔직히 말하면 이 25분은 다음 편 기준 예상치고, 전 측정의 “약 2시간”에는 그날 밤 MCP가 무너진 사고 시간이 섞여 있어요. 그래서 둘을 1대 1로 비교하면 안 됩니다.)

빌드 방식 자체도 세 번 진화했어요. 이게 제일 재밌는 부분입니다.

1세대는 클립을 하나씩 API로 집어넣는 방식이었어요. 근데 클립이 300개, 600개를 넘어가면 프리미어 런타임이 그냥 죽습니다. 크래시 리포트도 없이요. 여섯 번 죽었어요. 클립을 넣을 때마다 트랙 전체를 다시 훑으니까, 뒤로 갈수록 작업량이 기하급수로 늘어서 그런 거였습니다.

2세대는 편집 정보를 통째로 XML로 만들어서 한 번에 불러오는 방식이었어요. 속도 문제는 사라졌습니다. 근데 이번엔 트랙 믹서 설정이 날아갔어요. 제가 매번 세팅하던 그 세 개요.

3세대는 프리미어 프로젝트 파일 자체에 XML을 직접 써 넣는 방식이었어요. API를 한 번도 안 거치니까 런타임이 죽을 일이 없고, 믹서 설정도 그대로 살아 옵니다. 1,100개가 넘는 클립이 12.4초 만에 들어갔어요. 1세대로 5분 넘게 걸리고 여섯 번 죽던 게요.

참고로 CLI 결과물이 59.9분으로 MCP의 48.0분보다 길어요. 더 못 깎은 게 아니라 덜 잘못 깎은 겁니다. CLI 쪽에서는 전사가 헛것을 만들어내는 경우(환각)를 교차 검증해서 24건을 걸러냈고, 단어를 전수로 추적했어요. MCP 때는 그걸 모르고 실제로 말한 부분까지 잘라낸 적이 있었거든요.

기왕이면 오픈소스로 풀기로 했어요

원래는 제 작업만 편하자고 만든 거예요. 근데 풀어버리기로 했습니다.

이름부터 다 갈아엎었어요. 그전엔 ‘Kips’ 같은 내부 용어를 함수 이름에 썼는데, 그게 마음에 안 들었거든요. 저만 알아듣는 단어잖아요. 누가 와도 바로 알아들을 수 있게, 간단하고 그 일을 그대로 설명하는 단어로 바꿨어요. 함수 이름 하나만이 아니라 전부 다요. 한 번 정하면 나중에 바꾸기가 어려우니까, 이때 제대로 잡아야 했습니다.

설계 원칙도 하나 정했어요. API는 안 쓴다. 처음부터 API가 필요 없는 방향으로 갑니다. 외부 모델한테 돈 내고 물어보는 게 아니라, 에이전트가 쓸 도구상자를 만드는 데만 집중하기로 했어요. 판단은 에이전트가 하고, 실행은 도구가 한다. 이게 핵심이에요. 그래서 전사도 제 컴퓨터 안에서 돌아갑니다. 뭐 하나 밖으로 안 나가요.

그렇게 premiere-pro-agent, 줄여서 ppro가 나왔어요. MIT 라이선스로 npm에 올렸습니다. 그러다 중간에 깜짝 놀란 게, 공개용으로 만들던 걸 하마터면 제 개인 작업 폴더 안에서 배포할 뻔했어요. 개인용이랑 공개용은 확실히 갈라놔야 하는데 말이죠.

그리고 GitHub가 절 차단했어요

여기서 예상 못 한 일이 터졌습니다.

그날 깃헙에 들어갔다가 멈칫했어요. 제 레포 페이지가 404였거든요. 짧은 시간에 커밋하고, 푸시하고, npm publish까지 몰아서 했더니 그게 수상해 보였나 봐요. 경고 한마디 없이 계정이 막힌 겁니다. 처음엔 당황했고, 그다음엔 좀 어이가 없었어요. 어도비도 아니고 깃헙이 막을 줄은 진짜 몰랐거든요.

GitHub에 메일을 썼어요. 저는 개발자가 아니라 한국의 영상 편집자고, AI 코딩 도구가 시키는 대로 따라간 거라고. 악의도 없고 돈 벌려는 것도 아니라고. 내일 유튜브에 이 프로젝트를 소개하려고 했다고요. 답은 한 번 왔습니다. 근데 거기서 끝이에요. 이 글을 쓰는 지금도 계정은 안 풀렸어요. 벌써 이틀째입니다.

그래도 만들고 나서 알았는데, 생각보다 입문자분들이 많이 받더라고요. 반응이 꽤 왔어요. 프리미어를 잘 모르는 사람도 명령어 몇 개로 컷 편집을 끝낼 수 있다는 게 생각보다 크게 와닿았나 봐요. 계정은 아직 막혀 있지만, 이건 계속 갈 겁니다.