小红书首次开源文本大模型dots.llm1

互联网 0 10
互联网资讯
界面新闻 互联网资讯 发布于 昨天 20:15
本条新闻为单纯事实消息的时事新闻,转载自界面新闻,版权归源站所有,如有侵权,烦请联系我们

6月10日,据小红书技术团队消息,小红书hi lab(Humane Intelligence Lab,人文智能实验室)团队首次开源文本大模型 dots.llm1。据介绍,dots.llm1是一个大规模的Mixture of Experts(MoE)语言模型,在总共1420亿参数中激活140亿参数,dots.llm1在训练11.2T token高质量数据后,达到了可与Qwen2.5-72B相媲美的性能。

点赞 0 收藏(0)  分享
0个评论
  • 消灭零评论