MiMo-V2.6-Flash

Xiaomi

MiMo-V2.6-Flash হলো Xiaomi দ্বারা উন্নয়িত একটি ওপেন-সোর্স ফাউন্ডেশন মডেল। এটি 309B মোট প্যারামিটার এবং প্রতি টোকেনে 15B সক্রিয় প্যারামিটার সহ একটি Mixture-of-Experts আর্কিটেকচারের উপর ভিত্তি করে তৈরি, যা ...-এর জন্য একটি হাইব্রিড অ্যাটেনশন মেকানিজম ব্যবহার করে।