小红书首次开源文本大模型

田宁
2025-06-09 10:12

6月9日消息,小红书近日开源了首个大模型——dots.llm1。

dots.llm1是一个中等规模的Mixture of Experts(MoE)文本大模型,由小红书 hi lab(Humane Intelligence Lab,人文智能实验室)团队研发,总参数量 142B,激活参数 14B。

具体来说,在激活14B参数的情况下,dots.llm.inst模型在中英文通用场景、数学、代码、对齐任务上的表现亮眼,与 Qwen2.5-32B-Instruct、Qwen2.5-72B-Instruct相比具备较强的竞争力。同时与Qwen3-32B相比,在中英文、数学、对齐任务上表现接近。

watermark,image_d2F0ZXJtYXJrLnBuZz94LW9zcy1wcm9jZXNzPWltYWdlL3Jlc2l6ZSxQXzEy,g_south,t_55,x_1,y_20

图源:小红书

此外,dots.llm1最大特色是使用了11.2万亿token的非合成高质量训练数据,这在现阶段的开源大模型中非常罕见。

今年以来,小红书在AI、大模型方面的动作频频。年初,小红书内部大模型技术与应用产品团队升级为hi lab,并启动了“人文训练师”的招聘,邀请有深厚人文背景的研究者加入到对AI的训练中,将人类更全面的智慧和价值感注入AI,最终让AI成为人类有益的伙伴。

5月27日,小红书hi lab与复旦大学哲学学院共同成立“AI人文人才训练营”,展开AI后训练相关的人文课题共创,培养“AI+人文”复合型人才。大模型的训练通常分为预训练(pre-train)和后训练(post-train)两个阶段。人文训练就属于后训练的一部分,对AI在人性化表达、人类价值对齐等方面的表现起到关键作用。

watermark,image_d2F0ZXJtYXJrLnBuZz94LW9zcy1wcm9jZXNzPWltYWdlL3Jlc2l6ZSxQXzEy,g_south,t_55,x_1,y_20

图源:小红书

1、该内容为作者独立观点,不代表电商派观点或立场,文章为作者本人上传,版权归原作者所有,未经允许不得转载。
2、电商号平台仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。
3、如对本稿件有异议或投诉,请联系:info@dsb.cn
相关阅读
5月28日消息,与复旦宣布在AI人文训练方面达成合作。hi lab与复旦哲学学院共同成立“AI人文人才训练营”,展开AI后训练相关的人文课题共创,培养“AI+人文”复合型人才。据悉,hi lab 的全称是人文智能实验室 (Humane Intelligence Lab),为内部模型技术与应用产品团队,关注人文与人工智能的融合。
模型即将上线
创始人毛文超:“首先是一家科技公司”。
9月28日消息,技术副总裁王博近日在接受新浪科技《科创100人》采访时,透露了模型领域的最新进展。王博表示,的资讯问答类产品,目前正在灰度邀测,可以给出旅行攻略建议等偏生活类的百科帮助;另外,还做了群聊机器人,可以在群聊中活跃气氛,增加互动。据了解,从今年3月起筹备了独立的模型团队。除了成立模型团队以外,内部还有多个独立部门同时推进AIGC方向的落地探索。
5月6日消息,据36氪报道,从3月份起筹备了独立的模型团队,负责人为张德兵,薯名为“宇尘”核心员工来自广告业务的NLP技术团队。目前该部门在内部为保密状态,在员工系统里也被直接隐藏。除了成立模型团队以外,内部还有多个独立部门同时推进AIGC方向的落地探索。今年4月份,还上线了一款名为“Trik”的AI创作应用,主打AI绘画。
消息人士透露,由AI创新负责人张德兵牵头的模型团队,在部分内部产品灰度测试自研通用模型基座“地瓜”。
4月29日消息, 据36氪,多个独立信源透露,由AI创新负责人张德兵 牵头的模型团队,在部分内部产品灰度测试自研通用模型基座“地瓜”。AI产品的探索,则主要由产品和设计负责人邓超负责。截至发稿前,并未对上述信息做出回应。
从3月份起筹备了独立的模型团队,负责人为张德兵,薯名为“宇尘”,核心员工来自广告业务的NLP技术团队。
技术副总裁王博近日在接受新浪科技《科创100人》采访时,透露了模型领域的最新进展。
3月5日消息,旗下AI助手“点点”已接入深度搜索功能,用户点击对话框选择深度思考后即可开启。官方客服表示“深度思考”并非接入的DeepSeek,而是自己的模型