MiMo-V2.6-Flash

Xiaomi

MiMo-V2.6-Flash, Xiaomi द्वारा विकसित एक ओपन-सोर्स फाउंडेशन मॉडल है। यह 309B कुल पैरामीटर्स और प्रति टोकन 15B सक्रिय पैरामीटर्स के साथ Mixture-of-Experts आर्किटेक्चर पर आधारित है, और यह ... के लिए एक हाइब्रिड अटेंशन मैकेनिज्म का उपयोग करता है