Tutorial Editing Video Otomatis dengan Claude Code, Python, dan Remotion

Mengedit Video dengan AI Tidak Harus Dimulai dari Nol

Bayangkan kamu memiliki puluhan rekaman video talking-head untuk konten edukasi. Setiap video perlu dipotong, diberi subtitle, ditambahkan animasi teks, disesuaikan warnanya, lalu diekspor ke format vertikal untuk TikTok, Reels, atau Shorts.

Jika semuanya dikerjakan secara manual, proses editing bisa memakan waktu cukup lama. Masalahnya bukan hanya jumlah video, tetapi juga konsistensi hasil. Ukuran subtitle, posisi teks, transisi, dan warna bisa berbeda setiap kali video diedit.

Salah satu pendekatan yang bisa dicoba adalah menggabungkan Claude Code, Python, dan Remotion menjadi satu workflow editing video otomatis.

Ketiganya memiliki peran yang berbeda:

• Claude Code membantu menulis, memahami, memperbaiki, dan menjalankan kode dalam proyek.

• Python menangani pemrosesan footage, analisis audio, transkripsi, segmentasi manusia, serta otomatisasi pipeline.

• Remotion mengatur komposisi visual, animasi, subtitle, dan rendering video menggunakan React.

Dengan pendekatan ini, kamu tidak perlu meminta AI membangun ulang seluruh proses editing setiap kali ingin membuat video baru. Kamu cukup menyiapkan footage, menentukan konfigurasi, dan menjalankan pipeline yang sudah dibuat.

Artikel ini akan membahas cara membangun workflow tersebut dari dasar.

1. Memahami cara kerja Claude Code, Python, dan Remotion

Sebelum menulis kode, penting untuk memahami pembagian tugasnya.

Claude Code: asisten pengembangan, bukan renderer video

Claude Code adalah coding agent yang dapat membaca struktur proyek, mengedit file, menjalankan perintah, dan membantu memperbaiki masalah kode. Dokumentasi resminya tersedia di Claude Code.

Dalam workflow ini, Claude Code dapat membantu kamu:

• Membangun pipeline Python.

• Membuat komponen animasi di Remotion.

• Menghubungkan hasil transkripsi dengan subtitle.

• Memperbaiki bug pada proses rendering.

• Mengembangkan template video yang dapat digunakan berulang kali.

Namun, Claude Code tidak otomatis menjadi aplikasi editing video yang stabil hanya karena kamu memberikan sebuah prompt. Untuk produksi berulang, prosesnya perlu diubah menjadi skrip, konfigurasi, dan perintah yang jelas.

Python: mengolah data dan footage

Python cocok digunakan untuk proses yang membutuhkan analisis atau pemrosesan media.

Contohnya:

• Membaca metadata video.

• Mengekstrak audio.

• Menghasilkan transkripsi.

• Mengidentifikasi waktu kemunculan kata.

• Menghapus latar belakang atau melakukan segmentasi manusia.

• Menyiapkan data subtitle dan timeline.

• Menjalankan proses secara otomatis.

Library yang digunakan bergantung pada kebutuhan. Misalnya, FFmpeg untuk pemrosesan media, Whisper atau implementasi transkripsi lain untuk speech-to-text, serta rembg untuk penghapusan latar belakang berbasis model.

Dokumentasi dan kebutuhan instalasi rembg dapat diperiksa di repositori resminya.

Remotion: membangun visual video

Remotion memungkinkan kamu membuat video menggunakan React. Komponen video dapat ditulis sebagai kode, menerima data sebagai properti, lalu dirender menjadi file video.

Contohnya, kamu bisa membuat komponen untuk:

• Subtitle dengan kata aktif yang diberi warna berbeda.

• Judul dan lower third.

• Animasi teks masuk dan keluar.

• Background, shape, dan elemen dekoratif.

• Layout video vertikal.

• Transisi dan komposisi visual lainnya.

Remotion juga menyediakan Player untuk menampilkan preview komposisi dalam aplikasi React. Lihat dokumentasi Remotion Player.

2. Memahami arsitektur hybrid

Pendekatan hybrid berarti Python dan Remotion tidak harus mengerjakan hal yang sama. Keduanya dihubungkan melalui data yang terstruktur.

Berikut gambaran workflow-nya.

Footage mentah
      |
      v
Python: ingest dan normalisasi
      |
      v
Python: transkripsi dan analisis
      |
      v
Data JSON: timeline, subtitle, dan aset
      |
      v
Remotion: komposisi dan animasi
      |
      v
Rendering video
      |
      v
FFmpeg: finalisasi jika diperlukan
      |
      v
Video MP4 + laporan QA

Claude Code membantu mengembangkan dan memelihara komponen-komponen tersebut.

Keuntungan pendekatan ini adalah setiap bagian memiliki tanggung jawab yang jelas. Ketika kamu hanya ingin mengubah warna subtitle, misalnya, kamu tidak perlu menjalankan ulang transkripsi selama data transkripsinya masih valid.

Perlu diperhatikan bahwa Remotion sendiri juga mampu menangani media dan audio. Pembagian tugas di atas adalah pilihan arsitektur, bukan batasan mutlak dari masing-masing teknologi.

3. Menyiapkan lingkungan pengembangan

Untuk mengikuti tutorial ini, siapkan:

• Node.js dan npm.

• Python dengan lingkungan virtual.

• Claude Code yang sudah terpasang dan terautentikasi.

• FFmpeg.

• Footage video pendek sebagai bahan pengujian.

Pastikan kamu menggunakan versi Node.js dan Python yang kompatibel dengan dependensi yang dipilih. Untuk kebutuhan segmentasi manusia, periksa pula apakah model yang digunakan mendukung CPU atau memerlukan konfigurasi GPU tertentu.

Membuat proyek Remotion

Jika belum memiliki proyek Remotion, mulai dari template resminya:

npx create-video@latest

Ikuti petunjuk yang muncul untuk memilih template dan menyiapkan dependensi. Perintah dapat berubah mengikuti versi paket, jadi rujuk dokumentasi instalasi Remotion.

Untuk proyek yang sudah memiliki pipeline Python, kamu tidak harus memindahkan semua kode ke proyek Remotion. Kamu bisa menempatkan renderer Remotion di direktori tersendiri dan menghubungkannya melalui file JSON.

Membuat lingkungan Python

Di direktori proyek Python, jalankan:

python -m venv .venv

Aktifkan lingkungan virtual sesuai sistem operasi.

Windows PowerShell:

.\.venv\Scripts\Activate.ps1

macOS atau Linux:

source .venv/bin/activate

Kemudian instal dependensi sesuai pipeline yang akan dibangun. Jangan memasang semua library sekaligus tanpa kebutuhan yang jelas. Mulailah dari komponen yang benar-benar digunakan.

4. Membuat struktur proyek yang mudah dipelihara

Salah satu kesalahan dalam mengembangkan workflow AI adalah menempatkan seluruh kode, aset, konfigurasi, dan hasil render di satu folder tanpa aturan.

Gunakan struktur yang memisahkan pemrosesan, rendering, dan data proyek.

video-system/
├── CLAUDE.md
├── pipeline/
│   ├── main.py
│   ├── transcribe.py
│   ├── segment.py
│   └── prepare_timeline.py
├── remotion-renderer/
│   ├── src/
│   │   ├── Root.tsx
│   │   └── VideoComposition.tsx
│   └── package.json
├── styles/
│   └── glass-tech.json
├── projects/
│   └── video-001/
│       ├── input/
│       ├── data/
│       └── output/
└── README.md

Struktur ini hanya contoh awal. Jika kamu sudah memiliki proyek berjalan, pertahankan struktur yang ada dan sesuaikan secara bertahap.

Fungsi setiap bagian:

• pipeline/: skrip Python untuk pemrosesan video dan persiapan data.

• remotion-renderer/: komponen visual dan konfigurasi rendering.

• styles/: konfigurasi tampilan yang dapat digunakan kembali.

• projects/: aset dan hasil untuk setiap pekerjaan.

• CLAUDE.md: petunjuk proyek yang dibaca Claude Code ketika memulai sesi.

Claude Code dapat menggunakan CLAUDE.md untuk memahami arsitektur, perintah yang tersedia, dan batasan perubahan. Pelajari cara mengaturnya melalui dokumentasi konteks Claude Code.

5. Membuat konfigurasi style video

Agar style tidak perlu ditulis ulang dalam setiap prompt, simpan parameter visual dalam file JSON.

Contoh styles/glass-tech.json:

{
  "style_id": "glass-tech",
  "canvas": {
    "width": 1080,
    "height": 1920,
    "fps": 30
  },
  "colors": {
    "background": "#101827",
    "text": "#FFFFFF",
    "accent": "#69D6FF"
  },
  "captions": {
    "fontSize": 58,
    "fontWeight": 700,
    "highlightActiveWord": true
  },
  "motion": {
    "entrance": "ease-out",
    "durationFrames": 18
  }
}

Nilai di atas hanyalah contoh desain, bukan standar universal. Sesuaikan ukuran font, warna, animasi, dan posisi dengan karakter konten serta hasil pengujian.

Keuntungan konfigurasi terpisah adalah kamu dapat memiliki beberapa style, misalnya:

• glass-tech: tampilan teknologi dengan aksen bercahaya.

• minimal-clean: tampilan bersih dengan sedikit dekorasi.

• bold-education: subtitle besar untuk konten edukasi.

• corporate: tampilan profesional untuk kebutuhan perusahaan.

Setiap style harus dipetakan ke komponen renderer yang benar-benar mengimplementasikan parameternya. Menambahkan nama style ke JSON saja tidak otomatis mengubah hasil video.

6. Mengolah footage menggunakan Python

Setelah struktur proyek siap, buat pipeline Python yang memproses footage dan menghasilkan data untuk Remotion.

Untuk tahap pertama, jangan langsung membuat sistem yang terlalu kompleks. Cukup mulai dari tiga proses.

A. Membaca metadata video

Kamu perlu mengetahui durasi, resolusi, frame rate, dan informasi audio sebelum melakukan pemrosesan.

FFprobe, yang didistribusikan bersama FFmpeg, dapat digunakan untuk membaca metadata media. Lihat dokumentasi FFmpeg.

Metadata ini membantu sistem menentukan cara memperlakukan footage dan mendeteksi input yang tidak sesuai.

B. Menghasilkan transkripsi

Gunakan model speech-to-text untuk mengubah audio menjadi teks beserta informasi waktu yang tersedia.

Untuk subtitle yang mengikuti ucapan secara presisi, data sebaiknya menyimpan waktu mulai dan berakhir setiap kata jika model atau proses alignment yang digunakan mendukungnya.

Contoh struktur hasil:

{
  "language": "id",
  "segments": [
    {
      "start": 0.42,
      "end": 1.15,
      "text": "Halo,"
    },
    {
      "start": 1.16,
      "end": 1.82,
      "text": "semuanya."
    }
  ]
}

Data di atas hanya ilustrasi. Hasil transkripsi nyata perlu diperiksa karena model bisa salah mengenali nama, istilah teknis, atau ucapan yang kurang jelas.

C. Menyiapkan segmentasi manusia

Jika style memerlukan efek subjek di depan background atau elemen grafis, pipeline bisa menggunakan model segmentasi manusia untuk menghasilkan mask.

Mask tersebut dapat digunakan untuk memisahkan subjek dari background atau membuat efek visual tertentu. Akan tetapi, kualitasnya perlu diperiksa terutama pada rambut, gerakan tangan, pencahayaan sulit, dan bagian tubuh yang saling menutupi.

Simpan hasil yang mahal untuk dihitung ulang jika memungkinkan. Jika hanya style atau warna yang berubah, sistem sebaiknya menggunakan kembali hasil transkripsi dan mask yang masih valid.

7. Mengirim data Python ke Remotion

Inilah inti integrasi hybrid.

Python tidak perlu mengirim seluruh hasil analisis melalui prompt Claude Code. Sebaliknya, Python menyiapkan file JSON yang bisa dibaca oleh komponen Remotion.

Contoh projects/video-001/data/timeline.json:

{
  "video": "input/footage.mp4",
  "style": "glass-tech",
  "captions": [
    {
      "start": 0.42,
      "end": 1.15,
      "text": "Halo,"
    },
    {
      "start": 1.16,
      "end": 1.82,
      "text": "semuanya."
    }
  ]
}

Untuk implementasi sebenarnya, pastikan path video, path style, serta format timestamp disepakati oleh kedua bagian sistem. File JSON dapat menyimpan path relatif terhadap direktori proyek atau menggunakan mekanisme resolusi path yang konsisten.

Remotion kemudian membaca data tersebut melalui props dan menggunakannya untuk menentukan apa yang ditampilkan pada setiap frame.

Contoh konsep komponen React:

import React from "react";
import {
  AbsoluteFill,
  useCurrentFrame,
  useVideoConfig,
} from "remotion";

type Caption = {
  start: number;
  end: number;
  text: string;
};

type VideoProps = {
  captions: Caption[];
};

export const VideoComposition: React.FC<VideoProps> = ({
  captions,
}) => {
  const frame = useCurrentFrame();
  const { fps } = useVideoConfig();
  const seconds = frame / fps;

  const activeCaption = captions.find(
    (caption) =>
      seconds >= caption.start &&
      seconds < caption.end
  );

  return (
    <AbsoluteFill
      style={{
        backgroundColor: "#101827",
        color: "white",
        justifyContent: "center",
        alignItems: "center",
        padding: 80,
      }}
    >
      <div
        style={{
          fontSize: 58,
          fontWeight: 700,
          textAlign: "center",
        }}
      >
        {activeCaption?.text ?? ""}
      </div>
    </AbsoluteFill>
  );
};

Komponen ini hanya demonstrasi logika subtitle. Ia belum memuat footage asli, belum menerapkan style JSON secara dinamis, dan belum mencakup animasi atau sinkronisasi audio. Untuk implementasi produksi, komposisi perlu ditambah dengan elemen video, resolusi yang sesuai, serta pemetaan data style.

Perhatikan juga bahwa Remotion bekerja berdasarkan frame. Karena itu, waktu dalam detik dikonversi ke frame melalui frame rate. Konsistensi konversi ini penting agar subtitle tidak terlambat atau muncul terlalu cepat.

8. Merender video menjadi MP4

Setelah komposisi siap, gunakan Remotion CLI untuk melakukan rendering.

Contoh umum:

npx remotion render

Jika proyek sudah memiliki composition ID dan entry point yang jelas, perintah rendering dapat ditentukan secara eksplisit, termasuk lokasi output dan props yang akan digunakan.

Contoh pola perintah:

npx remotion render \
  src/index.ts \
  Main \
  out/video-001.mp4 \
  --props=./projects/video-001/data/render-props.json

Contoh tersebut mengasumsikan entry point src/index.ts, composition ID Main, dan file props sudah tersedia dalam struktur proyek yang sesuai. Sesuaikan nama dan path dengan proyekmu. Pada Windows, menggunakan file JSON untuk props biasanya lebih aman daripada menyisipkan JSON langsung ke command line.

Contoh video yang dihasilkan dari editing claude:

Dokumentasi lengkap tersedia di Remotion: Render your video.

Jika audio asli, pemotongan, normalisasi, atau proses encoding tambahan dikelola oleh FFmpeg, jalankan tahap tersebut setelah rendering sesuai desain pipeline. Hindari mengonversi file berkali-kali tanpa alasan karena proses encoding berulang dapat menurunkan kualitas.

9. Menggunakan Claude Code untuk membangun workflow

Claude Code paling berguna ketika kamu memberinya konteks proyek, tujuan yang spesifik, serta batasan perubahan.

Jangan langsung meminta, “Buatkan AI video editor yang profesional.” Permintaan seperti itu terlalu luas dan bisa menghasilkan arsitektur yang berlebihan.

Mulailah dengan audit.

Prompt 1: Audit proyek

Bertindaklah sebagai senior Python video automation
engineer dan Remotion developer.

Audit proyek video-system yang sedang terbuka.

Tujuan:
1. Pahami struktur folder dan dependensi.
2. Identifikasi proses yang sudah berjalan.
3. Temukan bagian yang masih manual.
4. Periksa apakah pipeline dapat dijalankan tanpa
   intervensi interaktif dari Claude Code.
5. Identifikasi cara menghubungkan output Python
   dengan props Remotion.
6. Rekomendasikan perubahan minimal untuk membuat
   satu video dapat diproses secara end-to-end.

Batasan:
- Jangan mengubah file pada tahap audit.
- Jangan menulis ulang pipeline yang sudah bekerja.
- Jangan menambahkan dependensi tanpa alasan.
- Tandai asumsi dan masalah yang belum terverifikasi.

Berikan laporan berisi:
- Komponen yang sudah berfungsi.
- Komponen yang belum selesai.
- Risiko teknis.
- Rencana implementasi bertahap.
- Perintah untuk menguji setiap tahap.

Prompt 2: Integrasi Python dan Remotion

Setelah hasil audit dipahami, lanjutkan dengan tugas yang lebih spesifik.

Implementasikan integrasi antara pipeline Python
yang sudah ada dan renderer Remotion.

Target:
- Python menghasilkan file render-props.json.
- Remotion membaca props tersebut untuk menampilkan
  footage dan subtitle.
- Konfigurasi visual berasal dari file style JSON.
- Renderer menghasilkan satu file MP4.
- Tahapan dapat dijalankan melalui perintah yang jelas.

Ketentuan:
1. Pertahankan pipeline Python yang sudah bekerja.
2. Jangan mengulang transkripsi jika hasilnya masih valid.
3. Pisahkan data pekerjaan dari konfigurasi style.
4. Gunakan path relatif atau resolusi path yang konsisten.
5. Tambahkan validasi input dan pesan error yang jelas.
6. Uji menggunakan satu footage pendek.
7. Laporkan file yang berubah, perintah pengujian,
   hasil aktual, dan masalah yang masih tersisa.

Jangan menyatakan implementasi berhasil sebelum
perintah rendering benar-benar diuji.

Prompt 3: Membuat variasi style

Setelah satu style berhasil, kamu bisa meminta Claude Code mengembangkan variasi baru.

Tambahkan style video baru bernama minimal-clean.

Gunakan arsitektur renderer dan format konfigurasi
yang sudah ada.

Ubah hanya parameter visual dan komponen yang memang
diperlukan, seperti:
- Tipografi
- Warna
- Posisi subtitle
- Animasi masuk dan keluar
- Background dan elemen dekoratif

Jangan mengubah pipeline transkripsi atau segmentasi.

Pastikan style baru dapat diuji menggunakan footage
yang sama dengan style sebelumnya agar hasilnya
bisa dibandingkan secara adil.

Dengan pendekatan bertahap, Claude Code bekerja sebagai pengembang yang membantu memelihara sistem, bukan sebagai pengganti seluruh pipeline pada setiap video.

10. Membuat sistem lebih efisien dengan caching

Jika setiap perubahan kecil membuat seluruh proses dijalankan ulang, waktu produksi akan membengkak.

Solusinya adalah menyimpan hasil setiap tahap dan menggunakannya kembali jika input serta parameternya belum berubah.

Perubahan	Proses yang umumnya perlu diulang
Warna atau ukuran subtitle	Rendering visual
Posisi teks atau animasi	Rendering visual
Koreksi transkripsi	Timeline dan rendering
Footage baru	Analisis dan rendering yang relevan
Model segmentasi atau parameternya berubah	Segmentasi dan tahap lanjutan yang terdampak

Untuk caching yang lebih andal, jangan hanya mengandalkan nama file. Simpan fingerprint dari input, versi model, parameter pemrosesan, dan versi pipeline yang relevan.

Sistem juga perlu memvalidasi bahwa file hasil sebelumnya benar-benar tersedia dan sesuai sebelum menggunakannya kembali.

11. Menambahkan quality assurance otomatis

Video yang berhasil dirender belum tentu siap dipublikasikan.

Buat tahap QA yang memeriksa aspek teknis terlebih dahulu, kemudian lakukan review visual.

Pemeriksaan teknis yang bisa diotomatisasi:

• File MP4 dapat dibuka dan diputar.

• Resolusi dan frame rate sesuai profil.

• Durasi video masuk akal.

• Audio tersedia jika memang diwajibkan.

• Tidak ada frame hitam yang tidak diharapkan.

• Subtitle tidak keluar dari area aman.

• Output tidak kosong atau terpotong.

Pemeriksaan visual juga bisa diperluas untuk mendeteksi teks yang bertumpuk, kontras rendah, atau elemen yang keluar dari batas layar. Namun, pemeriksaan otomatis tidak selalu dapat menilai apakah sebuah transisi terasa natural atau apakah penekanan pesan sudah tepat.

Karena itu, workflow produksi yang baik memiliki dua lapisan:

1. Automated QA: memeriksa kesalahan teknis dan aturan yang terukur.

2. Human review: memeriksa kualitas visual, ketepatan pesan, sinkronisasi, dan kelayakan publikasi.

12. Kesalahan yang perlu dihindari

Menggunakan Claude Code untuk mengedit setiap video dari nol

Jika semua instruksi dan logika harus dibuat ulang untuk setiap footage, proses akan sulit diprediksi. Bangun pipeline yang dapat menerima input dan konfigurasi terstruktur.

Memindahkan semua pemrosesan ke Remotion

Remotion sangat berguna untuk komposisi dan animasi, tetapi bukan berarti seluruh analisis media harus dipindahkan ke React. Pertahankan Python untuk tugas yang sudah ditangani dengan baik oleh pipeline tersebut.

Membuat preview yang berbeda dari hasil final

Preview perlu menggunakan komponen, data, font, dan parameter visual yang sama dengan proses rendering. Jika preview hanya berupa gambar contoh, hasil final mungkin berbeda.

Mengabaikan keterbatasan hardware

Transkripsi, segmentasi, dan rendering dapat menggunakan sumber daya yang cukup besar. Uji dengan footage pendek sebelum memproses banyak video sekaligus.

Menganggap semua proses sudah otomatis

Sistem belum sepenuhnya otomatis jika masih membutuhkan koreksi path, perubahan kode manual, atau intervensi setiap kali terjadi error. Catat langkah manual yang tersisa dan hilangkan satu per satu.

13. Bisakah workflow ini dikembangkan menjadi aplikasi untuk tim?

Bisa. Setelah pipeline stabil, kamu dapat mengembangkan web app untuk memilih style, mengunggah footage, dan melihat status pekerjaan.

Arsitektur sederhananya:

Web app
  |
  v
Penyimpanan footage + konfigurasi pekerjaan
  |
  v
Worker yang menjalankan pipeline
  |
  v
Python preprocessing
  |
  v
Remotion rendering
  |
  v
QA dan penyimpanan hasil
  |
  v
Video final dapat ditinjau tim

Worker adalah proses pada komputer atau server yang menjalankan pekerjaan tersebut. Web app tidak harus melakukan rendering berat di server frontend. Ia dapat mengirimkan pekerjaan ke worker yang memiliki dependensi Python, Remotion, dan FFmpeg.

Pada tahap awal, worker dapat berjalan di komputer khusus yang terhubung ke penyimpanan bersama. Jika kebutuhan tim berkembang, sistem dapat ditingkatkan dengan antrean pekerjaan, autentikasi, retry, logging, dan worker berbasis cloud.

Dengan demikian, anggota tim tidak harus menjalankan Claude Code untuk setiap video. Mereka cukup menggunakan antarmuka aplikasi, sementara sistem menjalankan pipeline yang sudah distandardisasi.

Kesimpulan

Menggabungkan Claude Code, Python, dan Remotion merupakan salah satu cara membangun workflow editing video otomatis yang dapat dikembangkan secara bertahap.

Kuncinya bukan menggunakan sebanyak mungkin teknologi AI, melainkan membagi pekerjaan dengan jelas:

• Claude Code membantu membangun dan memelihara kode.

• Python mengolah footage dan menyiapkan data.

• Remotion menyusun komposisi visual serta merender video.

• FFmpeg membantu menangani kebutuhan pemrosesan media tambahan.

• QA memastikan hasil layak diperiksa sebelum dipublikasikan.

Mulailah dari satu footage pendek, satu style, dan satu output yang benar-benar berhasil. Setelah itu, tambahkan caching, variasi style, dan otomasi pekerjaan. Pendekatan ini lebih mudah diuji dan dipelihara daripada langsung membangun sistem video AI yang terlalu kompleks.

Referensi resmi:

• Claude Code Documentation

• Remotion Documentation

• Remotion Player

• FFmpeg Documentation

• rembg — GitHub