OpenAI Sora membuat klip video yang sangat realistis dari perintah teks, menampilkan kemajuan besar dalam teknologi AI. Kemampuan Sora untuk mensimulasikan fisika dalam video secara akurat adalah fitur yang menonjol, namun masih memiliki beberapa masalah dengan interaksi dan pembuatan objek. Ketersediaan Sora untuk publik masih belum pasti, karena saat ini sedang diuji keamanan dan kualitasnya sebelum tanggal rilis pasti ditetapkan. Kecepatan pengembangan AI sedang menuju titik di luar pemahaman manusia, dan sistem teks-ke-video Sora OpenAI hanyalah teknologi AI terbaru yang mengejutkan dunia dengan menyadari bahwa segala sesuatunya terjadi lebih cepat dari perkiraan siapa pun.
Apa itu OpenAI Sora?
Seperti alat AI generatif lainnya seperti DALL-E dan MidJourney, Sora mengambil perintah teks dari Anda dan mengubahnya menjadi media visual. Namun, tidak seperti generator gambar AI yang disebutkan di atas, Sora membuat klip video lengkap dengan gerakan, sudut kamera berbeda, arah, dan segala hal lain yang Anda harapkan dari video produksi tradisional.
Melihat contoh di situs web Sora, hasilnya sering kali tidak dapat dibedakan dari video asli yang diproduksi secara profesional. Semuanya, mulai dari rekaman drone kelas atas hingga produksi film bernilai jutaan dolar. Lengkap dengan aktor yang dihasilkan AI, efek khusus, karya.
Sora tentu saja bukan teknologi pertama yang melakukan hal ini. Hingga saat ini, pemimpin yang paling menonjol di bidang ini adalah RunwayML, yang menawarkan layanannya kepada publik dengan biaya tertentu. Namun, bahkan dalam kondisi terbaik sekalipun, video Runway lebih mirip dengan gambar diam MidJourney generasi awal. Tidak ada stabilitas pada gambar, fisika tidak masuk akal, dan saat saya menulis ini, durasi klip terpanjang adalah 16 detik.
Sebaliknya, output terbaik yang Sora tunjukkan sangat stabil, dengan fisika yang terlihat tepat (setidaknya bagi otak kita), dan klip bisa berdurasi hingga satu menit. Klipnya sama sekali tidak bersuara, tetapi sudah ada sistem AI lain yang dapat menghasilkan musik, efek suara, dan ucapan. Jadi saya yakin alat-alat itu dapat diintegrasikan ke dalam alur kerja Sora, atau paling buruk, pekerjaan sulih suara dan foley tradisional.
Tidak dapat dilebih-lebihkan betapa besarnya lompatan yang diwakili Sora dari rekaman video AI yang mengerikan hanya setahun sebelum demo Sora. Seperti AI Will Smith yang cukup mengganggu saat memakan spageti. Saya pikir ini adalah kejutan yang lebih besar bagi sistem dibandingkan ketika generator gambar AI berubah dari lelucon menjadi memberikan ketakutan eksistensial bagi seniman visual.
Sora kemungkinan akan berdampak pada seluruh industri video, mulai dari pembuat rekaman yang dilakukan oleh satu orang hingga ke tingkat proyek anggaran besar Disney dan Marvel. Tidak ada yang tidak tersentuh oleh hal ini. Saya rasa hal ini terutama benar karena Sora tidak harus membuat sesuatu secara utuh, namun dapat mengerjakan materi yang sudah ada, seperti menganimasikan gambar diam yang Anda berikan. Ini mungkin merupakan awal sebenarnya dari industri film sintetik.
Bagaimana Cara Kerja Sora?
Kita akan membahas sedikit tentang Sora sejauh yang kita bisa, tapi tidak mungkin untuk membahasnya secara detail. Pertama, karena OpenAI ironisnya tidak terbuka tentang cara kerja teknologinya. Itu semua adalah hak milik dan saus rahasia yang membedakan Sora dari pesaingnya tidak kita ketahui secara rinci. Kedua, saya bukan ilmuwan komputer, Anda mungkin bukan ilmuwan komputer, jadi kita hanya bisa memahami cara kerja teknologi ini secara umum.
Kabar baiknya adalah ada penjelasan Sora (berbayar) yang sangat bagus oleh Mike Young di Medium, berdasarkan laporan teknis dari OpenAI yang dia uraikan untuk kita pahami sebagai manusia biasa. Meskipun kedua dokumen tersebut layak dibaca, kami dapat mengekstrak fakta terpentingnya di sini.
Sora dibangun berdasarkan pembelajaran yang telah dipelajari perusahaan seperti OpenAI saat membuat teknologi seperti ChatGPT atau DALL-E. Sora berinovasi dalam cara melatihnya pada video sampel dengan memecah video tersebut menjadi “tambalan” yang analog dengan “token” yang digunakan oleh model pelatihan ChatGPT. Karena semua token ini berukuran sama, hal-hal seperti panjang klip, rasio aspek, dan ukuran resolusi tidak menjadi masalah bagi Sora.
Sora menggunakan pendekatan transformator luas yang sama yang mendukung GPT bersama dengan metode difusi yang digunakan generator gambar AI. Selama pelatihan, ia melihat token patch yang tersebar sebagian dan berisik dari sebuah video dan mencoba memprediksi seperti apa tampilan token yang bersih dan bebas noise. Dengan membandingkan hal tersebut dengan kebenaran dasar, model mempelajari “bahasa” video. Itulah sebabnya contoh dari situs Sora terlihat sangat otentik.
Terlepas dari kemampuannya yang luar biasa ini, Sora juga memiliki teks yang sangat detail yang disertakan untuk bingkai video yang dilatihnya, yang merupakan sebagian besar alasannya ia dapat memodifikasi video yang dihasilkannya berdasarkan perintah teks.
Kemampuan Sora untuk secara akurat mensimulasikan fisika dalam video tampaknya merupakan fitur yang muncul, yang dihasilkan hanya dari pelatihan jutaan video yang berisi gerakan berdasarkan fisika dunia nyata. Sora memiliki ketetapan objek yang sangat baik, bahkan ketika objek meninggalkan bingkai atau terhalang oleh sesuatu yang lain di dalam bingkai, objek tersebut tetap ada dan kembali tanpa gangguan.
Itulah konten tentang Apa Itu OpenAI Sora dan Akankah Ini Mengubah Video Selamanya?, semoga bermanfaat.