डॉग पोज़ को वीडियो में कैप्चर करना और DeepLabCut तथा OmniTrax के ज़रिए स्केलिटन को Blender में ट्रांसफर करना
DeepLabCut से कुत्ते की पोज़ एस्टिमेशन चलाएँ और Blender में वीडियो पर स्केलिटन ओवरले करें - Model Zoo की तैयार मॉडल से, बिना मैन्युअल एनिमेशन के।
- 1.DeepLabCut इंस्टॉल करें। टर्मिनल खोलें और pip install --pre "deeplabcut[gui]" चलाएँ। Python 3.10 या उससे ऊपर आवश्यक है।
GPU पर काम करने के लिए पहले PyTorch इंस्टॉल करें: pip install torch torchvision। यदि OmniTrax को TensorFlow-मॉडल चाहिए, तो TF वर्श़न इंस्टॉल करें: pip install "deeplabcut[gui,tf]"। DeepLabCut डेवलपर्स वर्श़न 3.2 में TensorFlow इंजन को हटाने की योजना बना रहे हैं।
DeepLabCut ↗ - 2.अपने कुत्ते के लिए DeepLabCut प्रोजेक्ट बनाएँ। Python कंसोल में कोड चलाएँ और पथ को अपने पथ से बदलें।
निष्पादित करने के बाद बताए गए फ़ोल्डर में प्रोजेक्ट का कैटलॉग config.yaml और वीडियो व अंकन के सबफ़ोल्डर के साथ दिखाई देगा।
DeepLabCut ↗प्रॉम्प्टimport deeplabcut deeplabcut.create_new_project( "DogPose", "YourName", ["/full/path/to/dog_video.mp4"], working_directory="/full/path/to/working_dir", copy_videos=True, multianimal=False )यह प्रॉम्प्ट क्या करता हैयह कोड एक नया DeepLabCut प्रोजेक्ट बनाता है। DogPose को प्रोजेक्ट के नाम से, YourName को अपने नाम से, वर्ग कोष्ठक में दिया गया पथ कुत्ते के वीडियो के पूर्ण पथ से, और working_directory को प्रोजेक्ट रखने वाले फ़ोल्डर से बदलें। - 3.DeepLabCut GUI चलाएँ और Model Zoo से प्रीट्रेंड मॉडल लोड करें। स्टार्ट विंडो में «Model Zoo» चुनें, चौपाय जानवरों (quadruped) के लिए मॉडल खोजें। इसे प्रोजेक्ट पर लागू करें - इससे मैन्युअल अंकन और प्रशिक्षण छूट जाता है।
यदि कोई उपयुक्त प्रीट्रेंड मॉडल नहीं है, तो मैन्युअल रूप से 20 - 50 फ़्रेम चिह्नित करें (Extract frames -> Label frames) और नेटवर्क को प्रशिक्षित करें - GPU पर यह कुछ घंटे लगेंगे।
DeepLabCut GUI ↗ - 4.रियल-टाइम उपयोग के लिए मॉडल एक्सपोर्ट करें। Python में एक्सपोर्ट कोड चलाएँ और अपने प्रोजेक्ट के config.yaml का पथ दें।
एक्सपोर्ट किया गया मॉडल प्रोजेक्ट के सबफ़ोल्डर में रखा जाएगा। इस फ़ोल्डर का पथ याद रखें - इसकी ज़रूरत OmniTrax में पड़ेगी। मॉडल deeplabcut-live के साथ संगत होना चाहिए।
DeepLabCut ↗प्रॉम्प्टimport deeplabcut cfg_path = "/full/path/to/your/project/config.yaml" deeplabcut.export_model(cfg_path, iteration=None, shuffle=1, trainingsetindex=0, snapshotindex=None)
यह प्रॉम्प्ट क्या करता हैयह कोड प्रशिक्षित DeepLabCut मॉडल को deeplabcut-live से चलाने योग्य फॉर्मैट में एक्सपोर्ट करता है। cfg_path को अपने प्रोजेक्ट की config.yaml फ़ाइल के पथ से बदलें - यह प्रोजेक्ट के रूट फ़ोल्डर में होती है। - 5.Blender में OmniTrax ऐड-ऑन इंस्टॉल करें। GitHub से OmniTrax डाउनलोड करें, फिर Blender में: Edit -> Preferences -> Add-ons -> Install -> .zip फ़ाइल चुनें -> चेकबॉक्स से सक्षम करें।
इंफ़रेंस प्रगति देखने के लिए System Console (Window -> Toggle System Console) विंडो खुला रखना अनुशंसित है।
OmniTrax ↗ - 6.Blender में कुत्ते का वीडियो लोड करें, OmniTrax पैनल -> Pose-Estimation (DLC) खोलें। «DLC network path» फ़ील्ड में एक्सपोर्ट किए गए मॉडल फ़ोल्डर का पथ दें। एकल जानवर के लिए डिफ़ॉल्ट सेटिंग रखें और इंफ़रेंस शुरू करें।
पोज़ पॉइंट और स्केलिटन वीडियो पर ओवरले होंगे। गति को 3D-रिग पर ट्रांसफर करने के लिए Blender Motion Tracking में Constraints का उपयोग करें।
OmniTrax ↗
- मुफ़्तDeepLabCutGNU LGPL v3.0 लाइसेंस के तहत पूरी तरह मुफ़्त ओपन-सोर्स सॉफ़्टवेयर, उपयोग पर कोई प्रतिबंध नहीं।
- मुफ़्तOmniTraxBlender के लिए मुफ़्त ऐड-ऑन, स्रोत कोड GitHub पर उपलब्ध।
- मुफ़्तBlenderओपन-सोर्स मुफ़्त सॉफ़्टवेयर, बिना किसी प्रतिबंध के।
आज ही क्यों
AI सेवाएँ तेज़ी से बदलती हैं - इंटरफ़ेस और मुफ़्त सीमाएँ बताए गए से अलग हो सकती हैं।