클로드 유튜브 영상 분석, 자막 MCP로 연결하는 법
클로드는 유튜브 영상을 직접 재생해 보지 못합니다. 2026년 7월 기준 Anthropic 공식 문서상 클로드 API는 동영상·유튜브 URL 입력을 지원하지 않습니다. 자막 MCP 서버로 연결하는 방법과 제미나이 경유 대안을 개발자 눈높이로 정리했습니다.
목차
클로드(앤트로픽이 만든 AI 어시스턴트)는 유튜브 링크를 붙여넣어도 영상을 직접 재생해 보지 못합니다. 2026년 7월 기준 Anthropic 공식 Vision 문서에 따르면 클로드 API가 이미지 입력으로 받는 형식은 PNG·JPEG·GIF·WebP뿐이고, 동영상 파일이나 유튜브 URL은 입력으로 지원하지 않습니다. 그래서 '클로드로 유튜브 영상 분석'은 영상의 자막을 텍스트로, 또는 화면을 캡처한 이미지로 바꿔 클로드에 넘기는 작업이 됩니다. 이 글은 개발자가 클로드 데스크톱과 클로드 코드에서 MCP로 자막을 연결하는 방법, 클로드가 영상 프레임까지 보게 하는 오픈소스 스킬 /watch, 그리고 유튜브 URL을 그대로 받는 제미나이(구글의 AI 모델)를 경유하는 대안을 다룹니다. 영상 편집 툴이나 채널 성과 마케팅 분석은 범위 밖입니다.
클로드는 유튜브 영상을 직접 볼 수 있나
직접은 못 봅니다. 대화창에 유튜브 링크를 그대로 붙이면 클로드는 영상을 볼 수 없다고 답하거나, 제목과 설명만 보고 내용을 지어내는 경우도 있습니다. Anthropic 공식 문서 기준 클로드의 멀티모달 입력은 정지 이미지까지이고, 초당 여러 장으로 흐르는 영상 프레임이나 오디오 트랙은 모델에 들어가지 않습니다.
따라서 영상을 먼저 클로드가 읽을 수 있는 형태로 바꿔야 합니다. 실무에서 쓰는 방법은 네 가지입니다.
- 자막을 텍스트로 뽑아 넘기기
- 영상을 내려받아 프레임 이미지와 음성 전사본으로 만들어 넘기기
- 그 내려받기·추출 과정을 자동화한 오픈소스 스킬 /watch 쓰기
- 유튜브 URL을 네이티브로 받는 제미나이를 경유하기
이 연결을 표준화한 통로가 MCP입니다. MCP(Model Context Protocol, 클로드 같은 AI를 외부 도구·데이터와 잇는 개방형 표준)는 앤트로픽이 공개했습니다. 자막 추출기를 MCP 서버로 등록해 두면 클로드가 대화 도중 그 도구를 직접 호출해 자막을 가져옵니다. 폴더 하나로 클로드에 스킬을 붙이는 방식과 목적은 같고, 붙는 대상이 실행 중인 외부 서버라는 점이 다릅니다.
네 가지 접근, 무엇이 다른가
네 방법은 클로드가 실제로 '보는' 정보가 다릅니다. 자막 MCP는 텍스트만, 내려받기 방식과 /watch 스킬은 화면 이미지와 음성까지, 제미나이 경유는 영상 자체를 봅니다. 대신 방식마다 준비물이 다릅니다.
| 방식 | 클로드가 보는 것 | 준비물 | 주요 한계 |
|---|---|---|---|
| 자막 MCP 서버 | 자막 텍스트 | MCP 서버 설정 | 자막 없으면 불가, 화면 정보 손실 |
| 내려받기+전사 | 프레임 이미지, 음성 전사본 | yt-dlp, Whisper | 설정과 처리 시간 부담 |
| /watch 스킬 | 자막 텍스트, 프레임 이미지, 전사본 | 스킬 설치(yt-dlp·ffmpeg 자동) | 전사 폴백 시 Whisper API 키 필요 |
| 제미나이 경유 | 제미나이의 영상 요약 | Gemini API 키 | 클로드가 직접 본 것이 아님 |
자막 MCP는 설정이 가장 가볍지만 자막이 없는 영상에는 쓸 수 없고, 화면에만 나오는 코드나 도표는 놓칩니다. 내려받기 방식은 yt-dlp(유튜브 영상을 내려받는 명령줄 도구)로 영상을 받고 Whisper(오픈AI가 공개한 음성 인식 모델) 같은 도구로 음성을 텍스트로 바꾼 뒤, 프레임 몇 장을 이미지로 함께 넘깁니다. 손은 많이 가지만 화면 시연까지 분석할 수 있습니다. 이 절차를 명령 하나로 묶어 자동화한 것이 뒤에서 다룰 /watch 스킬입니다. 제미나이 경유는 클로드가 아니라 제미나이가 본 결과를 받는다는 점을 잊지 말아야 합니다.
자막 MCP 서버를 클로드에 붙이기
가장 빠른 길은 자막 MCP 서버입니다. 클로드 데스크톱 기준 순서는 이렇습니다.
- npx(Node.js에 함께 설치되는 패키지 실행 도구)를 쓰기 위해 Node.js LTS(장기 지원) 버전을 설치합니다.
- 설정 파일을 엽니다. 클로드 데스크톱에서 Settings → Developer → Edit Config를 누르거나, macOS라면 ~/Library/Application Support/Claude/claude_desktop_config.json을 직접 엽니다.
- 아래 mcpServers 블록을 추가하고 저장합니다.
- 클로드 데스크톱을 완전히 종료했다 다시 켭니다. 설정은 시작할 때 한 번만 읽습니다.
- 대화창에 유튜브 URL을 붙이고 "이 영상 자막을 요약해줘"라고 요청합니다.
{
"mcpServers": {
"youtube-transcript": {
"command": "npx",
"args": ["-y", "@sinco-lab/mcp-youtube-transcript"]
}
}
}예시의 @sinco-lab/mcp-youtube-transcript는 커뮤니티가 npm에 공개한 자막 MCP 서버입니다. npx의 -y 옵션은 설치 확인 질문을 건너뛰고 패키지를 바로 받아 실행합니다. 다른 패키지를 쓰더라도 command와 args 구조는 같습니다. 자막이 여러 언어로 달린 영상이라면 한국어 자막을 지정해 뽑도록 요청하면 됩니다.
클로드가 영상을 직접 보게 하는 /watch 스킬
자막 MCP가 '읽기'라면, 오픈소스 스킬 claude-video의 /watch 명령은 클로드가 영상을 실제로 '보게' 만듭니다. claude-video 저장소(MIT 라이선스, 파이썬, 2026년 7월 기준 깃허브 별 약 9,000개)의 README에 따르면 동작 순서는 이렇습니다. 먼저 yt-dlp가 자막 유무를 확인해, 자막이 있는 영상은 다운로드 없이 타임스탬프 자막만 회수합니다(무료). 화면 정보가 필요할 때만 영상을 내려받아 ffmpeg가 장면이 바뀌는 지점 위주로 프레임을 추출하고(기본 512px JPEG), 자막이 없으면 Whisper로 음성을 전사합니다 — Groq의 whisper-large-v3를 우선 쓰고 OpenAI whisper-1이 대안이며, API 키가 필요한 것도 이 폴백뿐입니다. 클로드는 추출된 프레임을 이미지로 읽어 화면과 음성 양쪽에 근거해 답합니다.
프레임 수는 자동으로 관리됩니다. 같은 문서 기준 영상 길이에 따라 약 30~100장(30초 이하는 약 30장, 10분이 넘으면 100장 상한)을 뽑고, 비슷한 프레임은 기본으로 걸러냅니다. "2분 30초쯤"처럼 구간을 지정하면 --start/--end 옵션으로 그 구간만 최대 2fps로 촘촘히 봅니다. 이미지 토큰 비용이 프레임 수에 비례하기 때문입니다.
설치는 클로드 코드 기준 두 줄입니다.
/plugin marketplace add bradautomates/claude-video
/plugin install watch@claude-videoAgent Skills 표준을 따르는 스킬이라 npx skills add bradautomates/claude-video -g 한 줄로 Codex·Cursor·Copilot·Gemini CLI 같은 다른 호스트에도 설치됩니다. yt-dlp와 ffmpeg는 macOS라면 첫 실행 때 brew로 자동 설치됩니다. 화면 녹화한 버그 재현 영상을 주고 어느 프레임에서 무엇이 깨지는지 짚게 하거나, 긴 영상 요약, 특정 시점의 장면 질문 같은 용도에 씁니다.
제미나이는 왜 URL만 붙이면 되나
제미나이 API가 유튜브 URL을 입력 형식으로 직접 받기 때문입니다. 구글 Gemini API 문서에 따르면 요청에 file_data의 file_uri로 유튜브 주소를 넣으면 모델이 영상의 화면과 음성을 함께 처리합니다. 같은 문서 기준 이 유튜브 URL 기능은 프리뷰 단계이고 추가 비용 없이 제공되며, 무료 등급은 하루 8시간까지, 유료 등급은 영상 길이 제한이 없습니다. 토큰 소비는 기본 해상도에서 영상 1초당 약 300토큰, 저해상도에서 약 100토큰이고, 영상은 초당 한 프레임(1FPS)으로 처리됩니다. 컨텍스트 창이 100만 토큰인 모델은 기본 해상도로 약 1시간, 저해상도로 약 3시간 분량까지 한 번에 넣을 수 있다고 구글은 설명합니다.
클로드에서 '제미나이 경유' 방식이 나온 배경이 여기 있습니다. 유튜브 URL을 제미나이로 넘겨 요약을 받아 오는 MCP 서버를 클로드에 붙이면, 클로드는 그 요약을 자기 대화 흐름에서 이어받아 씁니다. 자막이 아예 없는 영상이나 화면 시연이 중요한 영상에서 이 방식이 유리합니다.
어떤 방법을 고를까
영상 종류로 나누면 선택이 단순해집니다. 강의·팟캐스트·발표처럼 말이 곧 내용인 영상은 자막 MCP만으로 충분합니다. 코드 편집기나 UI를 보여 주는 시연 영상은 화면 정보가 필요하니 /watch 스킬이나 내려받기 방식, 제미나이 경유가 맞습니다 — 손이 덜 가는 쪽은 /watch입니다. 자막이 없는 영상은 Whisper 전사나 제미나이 경유로 풉니다. 클로드 자체의 판단을 살리고 싶다면 자막·프레임·전사본을 클로드에 넣는 앞의 세 방식을, 영상 화면까지 통째로 맡기려면 제미나이 경유를 고르면 됩니다.