التقاط وضعية الكلب على الفيديو ونقل الهيكل العظمي إلى Blender عبر DeepLabCut وOmniTrax
شغّل تقييم الوضعية بالشبكة العصبية للكلب وطبّق الهيكل العظمي على الفيديو في Blender - بنموذج جاهز من Model Zoo، دون أنميشن يدوي
- 1.ثبّت DeepLabCut. افتح الطرفية ونفّذ pip install --pre 'deeplabcut[gui]'. يتطلب Python 3.10 أو أحدث.
للعمل مع GPU ثبّت أولاً PyTorch: pip install torch torchvision. إذا تطلب OmniTrax نموذج TensorFlow، ثبّت نسخة TF: pip install 'deeplabcut[gui,tf]'. يخطط مطورو DeepLabCut للتخلي عن محرك TensorFlow في الإصدار 3.2.
DeepLabCut ↗ - 2.أنشئ مشروع DeepLabCut لكلبك. في وحدة Python نفّذ الكود مع استبدال المسارات بمساراتك.
بعد التنفيذ ستظهر في المجلد المحدد مجلد المشروع يحتوي على config.yaml ومجلدات فرعية للفيديو والوسم.
DeepLabCut ↗البرومبتimport deeplabcut deeplabcut.create_new_project( "DogPose", "YourName", ["/full/path/to/dog_video.mp4"], working_directory="/full/path/to/working_dir", copy_videos=True, multianimal=False )ماذا يفعل هذا البرومبتهذا الكود ينشئ مشروع DeepLabCut جديد. استبدل DogPose باسم المشروع، وYourName باسمك، والمسار بين الأقواس المربعة بالمسار الكامل لفيديو الكلب، وworking_directory بمجلد تخزين المشروع. - 3.شغّل واجهة DeepLabCut الرسومية وحمل نموذجاً مدرّباً مسبقاً من Model Zoo. في النافذة الافتتاحية اختر «Model Zoo»، وابحث عن نموذج للحيوانات ذات الأربع أرجل (quadruped). طبّقه على المشروع - هذا يتجاوز الوسم اليدوي والتدريب.
إذا لم يوجد نموذج مدرّب مسبقاً مناسباً، ستحتاج إلى وسم 20 - 50 إطاراً يدوياً (Extract frames ← Label frames) وتدريب الشبكة - سيستغرق هذا عدة ساعات على GPU.
DeepLabCut GUI ↗ - 4.صدّر النموذج للاستخدام في الوقت الفعلي. في Python نفّذ كود التصدير مع تحديد المسار إلى config.yaml لمشروعك.
سيُوضع النموذج المُصدَّر في مجلد فرعي للمشروع. تذكّر المسار إلى هذا المجلد - ستحتاجه في OmniTrax. يجب أن يكون النموذج متوافقاً مع deeplabcut-live.
DeepLabCut ↗البرومبتimport deeplabcut cfg_path = "/full/path/to/your/project/config.yaml" deeplabcut.export_model(cfg_path, iteration=None, shuffle=1, trainingsetindex=0, snapshotindex=None)
ماذا يفعل هذا البرومبتهذا الكود يصدّر نموذج DeepLabCut المدرَّب إلى صيغة للتشغيل عبر deeplabcut-live. استبدل cfg_path بالمسار إلى ملف config.yaml لمشروعك - وهو موجود في المجلد الجذري للمشروع. - 5.ثبّت إضافة OmniTrax في Blender. نزّل OmniTrax من GitHub، ثم في Blender: Edit ← Preferences ← Add-ons ← Install ← اختر ملف .zip ← فعّله بالعلامة.
يُنصح بإبقاء نافذة System Console مفتوحة (Window ← Toggle System Console) لمتابعة تقدّم الاستنتاج.
OmniTrax ↗ - 6.حمّل فيديو الكلب في Blender، وافتح لوحة OmniTrax ← Pose-Estimation (DLC). في حقل «DLC network path» حدد المسار إلى مجلد النموذج المُصدَّر. لحيوان واحد اترك الإعدادات الافتراضية وشغّل الاستنتاج.
ستُطبَّق نقاط الوضعية والهيكل العظمي على الفيديو. لنقل الحركة إلى رِب 3D استخدم Constraints في Blender Motion Tracking.
OmniTrax ↗
- مجاناDeepLabCutبرنامج مفتوح المصدر مجاني بالكامل تحت رخصة GNU LGPL v3.0، دون قيود على الاستخدام.
- مجاناOmniTraxإضافة مجانية لـ Blender، الكود المصدري متاح على GitHub.
- مجاناBlenderبرنامج مجاني مفتوح المصدر، دون قيود.
لماذا اليوم
خدمات الذكاء الاصطناعي تتغير بسرعة - قد تختلف الواجهات والحدود المجانية عما هو موصوف.