小红书开源1420亿参数大模型，性能比肩阿里Qwen

6月9日，小红书宣布开源其首个自研大模型dots.llm1，包含1420亿参数的混合专家模型（MoE）和11.2万亿token的高质量训练数据。该模型在部分性能上与阿里Qwen 3模型相当，尤其在中文任务中表现出色，例如在CLUEWSC上取得92.6分，达到业界领先水平。小红书通过引入Interleaved 1F1B with AlltoAll overlap和Grouped GEMM优化，显著提升了计算效率。未来，小红书hi lab团队计划进一步优化模型架构，探索更稀疏的混合专家（MoE）层，并为社区贡献更多全模态大模型。