小红书首次开源文本大模型

6月9日消息，小红书近日开源了首个大模型——dots.llm1。

dots.llm1是一个中等规模的Mixture of Experts（MoE）文本大模型，由小红书 hi lab（Humane Intelligence Lab，人文智能实验室）团队研发，总参数量 142B，激活参数 14B。

具体来说，在激活14B参数的情况下，dots.llm.inst模型在中英文通用场景、数学、代码、对齐任务上的表现亮眼，与 Qwen2.5-32B-Instruct、Qwen2.5-72B-Instruct相比具备较强的竞争力。同时与Qwen3-32B相比，在中英文、数学、对齐任务上表现接近。

图源：小红书

此外，dots.llm1最大特色是使用了11.2万亿token的非合成高质量训练数据，这在现阶段的开源大模型中非常罕见。

今年以来，小红书在AI、大模型方面的动作频频。年初，小红书内部大模型技术与应用产品团队升级为hi lab，并启动了“人文训练师”的招聘，邀请有深厚人文背景的研究者加入到对AI的训练中，将人类更全面的智慧和价值感注入AI，最终让AI成为人类有益的伙伴。

5月27日，小红书hi lab与复旦大学哲学学院共同成立“AI人文人才训练营”，展开AI后训练相关的人文课题共创，培养“AI+人文”复合型人才。大模型的训练通常分为预训练（pre-train）和后训练（post-train）两个阶段。人文训练就属于后训练的一部分，对AI在人性化表达、人类价值对齐等方面的表现起到关键作用。

图源：小红书