MiMo-V2.6-Flash

Xiaomi

MiMo-V2.6-Flash - это базовая модель с открытым исходным кодом, разработанная компанией Xiaomi. Она создана на базе архитектуры Mixture-of-Experts с 309 млрд общих параметров и 15 млрд, активируемых на каждый токен, и использует гибридный механизм внимания для...