Mistral AI 开源 Mistral 8x22B Moe 大模型

Mistral AI 公司刚刚再次用磁力链接开源了一款大模型 —— Mistral 8x22B，模型文件大小为 281.24 GB。

从模型的名字来看，Mistral 8x22B 是去年开源的「mixtral-8x7b」的超级大杯版本，参数规模增长三倍不止 —— 由 8 个 220 亿参数规模 (8×22B) 的专家网络组成。

目前 Mistral AI 已经开源的模型如下：

Mistral-Tiny：7B
Mistral-Small：8x7B
Mistral-Medium：8x22B

via 匿名

🗒 标签: #AI #Mistral
📢 频道: @GodlyNews1
🤖 投稿: @GodlyNewsBot