Penangkapan pose anjing pada video dan transfer rangka ke Blender melalui DeepLabCut dan OmniTrax
Jalankan evaluasi pose anjing berbasis jaringan saraf dan tumpangkan rangka pada video di Blender - dengan model siap pakai dari Model Zoo, tanpa animasi manual
- 1.Install DeepLabCut. Buka terminal dan jalankan pip install --pre 'deeplabcut[gui]'. Membutuhkan Python 3.10 atau lebih baru.
Untuk bekerja dengan GPU, pertama install PyTorch: pip install torch torchvision. Jika OmniTrax memerlukan model TensorFlow, install versi TF: pip install 'deeplabcut[gui,tf]'. Pengembang DeepLabCut berencana menghentikan mesin TensorFlow di versi 3.2.
DeepLabCut ↗ - 2.Buat proyek DeepLabCut untuk anjing Anda. Di konsol Python, jalankan kode dengan mengganti path Anda sendiri.
Setelah dijalankan, direktori proyek dengan config.yaml dan subfolder untuk video serta anotasi akan muncul di folder yang ditentukan.
DeepLabCut ↗Promptimport deeplabcut deeplabcut.create_new_project( 'DogPose', 'YourName', ['/full/path/to/dog_video.mp4'], working_directory='/full/path/to/working_dir', copy_videos=True, multianimal=False )Apa fungsi prompt iniKode ini membuat proyek DeepLabCut baru. Ganti DogPose dengan nama proyek, YourName - dengan nama Anda, path di dalam tanda kurung siku - dengan path lengkap ke video anjing, working_directory - dengan folder untuk menyimpan proyek. - 3.Jalankan GUI DeepLabCut dan muat model pra-latih dari Model Zoo. Di jendela awal, pilih 'Model Zoo', cari model untuk hewan berkaki empat (quadruped). Terapkan ke proyek - ini melewati anotasi manual dan pelatihan.
Jika tidak ada model pra-latih yang sesuai, Anda harus memberi anotasi 20 - 50 frame secara manual (Extract frames -> Label frames) dan melatih jaringan - ini akan memakan waktu beberapa jam di GPU.
DeepLabCut GUI ↗ - 4.Ekspor model untuk digunakan secara real-time. Di Python jalankan kode ekspor, dengan menentukan path ke config.yaml proyek Anda.
Model yang diekspor akan ditempatkan di subfolder proyek. Ingat path ke folder ini - akan diperlukan di OmniTrax. Model harus kompatibel dengan deeplabcut-live.
DeepLabCut ↗Promptimport deeplabcut cfg_path = '/full/path/to/your/project/config.yaml' deeplabcut.export_model(cfg_path, iteration=None, shuffle=1, trainingsetindex=0, snapshotindex=None)
Apa fungsi prompt iniKode ini mengekspor model DeepLabCut terlatih ke format untuk dijalankan melalui deeplabcut-live. Ganti cfg_path dengan path ke file config.yaml proyek Anda - ada di folder root proyek. - 5.Install add-on OmniTrax di Blender. Unduh OmniTrax dari GitHub, lalu di Blender: Edit -> Preferences -> Add-ons -> Install -> pilih file .zip -> aktifkan dengan centang.
Disarankan untuk tetap membuka jendela System Console (Window -> Toggle System Console) untuk melacak kemajuan inferensi.
OmniTrax ↗ - 6.Muat video anjing di Blender, buka panel OmniTrax -> Pose-Estimation (DLC). Di kolom 'DLC network path' masukkan path ke folder model yang diekspor. Untuk hewan tunggal, biarkan pengaturan default dan jalankan inferensi.
Titik pose dan rangka akan ditumpangkan pada video. Untuk mentransfer gerakan ke 3D-rig, gunakan Constraints di Blender Motion Tracking.
OmniTrax ↗
- gratisDeepLabCutPerangkat lunak open-source sepenuhnya gratis di bawah lisensi GNU LGPL v3.0, tanpa batasan penggunaan.
- gratisOmniTraxAdd-on gratis untuk Blender, kode sumber tersedia di GitHub.
- gratisBlenderProgram gratis dengan kode sumber terbuka, tanpa batasan.
Kenapa hari ini
Layanan AI berubah cepat - antarmuka dan batas gratis bisa berbeda dari yang dijelaskan.