ERNIE-Light-DT-1.0

Baidu

ERNIE-Light-DT-1.0 基于开源的 GLM 模型，并包含了 Baidu Search 的 Lightning 大模型的研究成果。它采用了 Baidu Sparse Attention (BSA)，这是一种由……开发的独特稀疏注意力机制。