速度 2.6 倍提升，TencentOS 支持满血版 DeepSeek

TencentOS Server AI 全面支持满血版 DeepSeek R1，在双机 16 卡的硬件环境上，分别在短输入场景（如知识问答）以及长输入场景（如企业私有信息的检索增强生成）均获得超过 2.6 倍的推理性能提升！

本性能评估采用 2 台 8 卡服务器，显存总量共 1536GB，部署 TencentOS Server AI 版，2 台服务器采用 RDMA 高速网络互联，测试样本采用通用的数据集。分别测试输入 200tokens / 输出 500tokens 以及输入 6144tokens / 输出 1024tokens 下的吞吐能力，测试结果如下：

TencentOS Server AI 是腾讯云发布的一款针对 AI 场景的操作系统，提供了从基础架构到 AI 框架以及模型的全栈式 AI 环境，一方面简化部署，另一方面通过高性能的 AI 框架，实现大模型如 DeepSeek 推理效率成倍的增加。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。