3月18日消息，马斯克旗下 xAI 宣布开源了语言模型 Grok-1，拥有3140亿参数，远超过 OpenAI 的 GPT 模型。Grok-1是由 xAI 于2023年10月使用自定义训练堆栈从头开始训练的混合专家（MOE）模型，该模型在开源时没有针对任何特定应用进行微调。
马斯克在推特上批评了 OpenAI，并表示 xAI 平台已经是迄今为止最透明和最求真的平台之一。他对 OpenAI 的“开放”部分提出了质疑，认为其偏离了初衷，成为了以利润为导向的实体。马斯克之前曾批评 OpenAI 是一个以营利为目标的公司，而不是最初设想的非营利性开源组织。
据悉，Grok-1的开源受到了积极的反响，上线 GitHub 后获得了大量星标。该模型包含8个处理层，每个数据单元(Token)由2位专家处理，共64个处理层。其中25%的参数能够针对特定的数据单元（Token）激活。最大序列长度为8192个数据单元，以处理更长的上下文信息。（江淼）
本文系网易科技报道，更多新闻资讯和深度解析，关注我们。
