Atlas 800I A2 推理服务器

性能简介：

一、产品概述

产品类型：AI 推理服务器 服务器形态：4U

CPU：4 * 鲲鹏 920 内存：32 个 DDR4 内存插槽，最高 3200 MT/s，单根内存条容量支持 16/32/64 GB

本地存储：8 * 2.5 SATA + 2 * 2.5 NVMe，或 4 * 2.5 SATA + 6 * 2.5 NVMe RAID 支持：RAID 0/1/10/5/50/6/60 内部网络：可选 NPU 全互联机型，整机互联带宽 392 GB/s 外部网络：8 * 200GE QSFP 接口直出，RoCE 协议 PCIe 接口：最多支持 3 个 PCIe 4.0 扩展插槽

电源：4 个热插拔 2.6kW 电源模块，支持 2+2 冗余 供电方式：200~240V AC 或 240V DC 散热方式：风冷 风扇：支持 8 个热拔插风扇模组，支持 N+1 冗余

工作环境温度：5℃～35℃（41℉～95℉） 结构尺寸：175mm（高）× 447mm（宽）× 790mm（深）

产品定位：采用 8 模组高效推理方式，提供强劲 AI 推理能力，在算力、内存带宽和互联能力方面具有优势，可广泛应用于生成式大模型推理，如智能客服、文案生成、知识沉淀等内容生成类场景，支持 NPU 互联，提升大模型推理效率。

二、软件特性

搭载昇腾 CANN 软件栈，配套 MindIE 大模型推理套件，支持 HCCL 集合通信库；支持单机 PD 分离部署，支持 TP/DP/EP 并行策略，支持大模型 KV Cache 加速、Continuous Batching、PagedAttention、FlashDecoding 等大模型推理加速技术；支持 GQA、MLA 等主流模型架构，支持 W8A8/W8A16/W4A16 量化；支持主流操作系统：EulerOS、openEuler、麒麟 V10、Ubuntu；支持 AscendCL 开发接口，ATC 模型转换工具，支持容器化部署；内置 iBMC 管理系统，支持服务器硬件监控、远程管理、固件升级、故障告警；支持主流 AI 框架 MindSpore、PyTorch（torch-npu）；支持 ascend-dmi 硬件信息查看与运维工具；支持 NPU 驱动、固件独立安装升级，支持离线推理引擎 NNRT、深度学习引擎 NNAE。

配套能力：支持大模型长序列推理，支持多模态模型推理，支持专家并行 MoE 模型部署，支持 OpenAI 兼容推理服务接口。

三、解决方案亮点

Atlas 800I A2 推理服务器解决方案亮点（取自华为官网页面原文，纯文本） 采用 8 模组高效推理架构，具备强劲 AI 推理算力、充足内存带宽与高速 NPU 互联能力；可选 NPU 全互联机型，整机 NPU 互联带宽 392GB/s，支持 8 卡 Fullmesh 互联，单双机灵活部署；适配生成式大模型推理场景，支持 NPU 互联，有效提升大模型推理效率；可应用于智能客服、文案生成、知识沉淀等内容生成场景，同时适配多模态生成业务；整机搭载昇腾 CANN 软件栈，配套 MindIE 大模型推理套件，软硬协同优化大模型推理性能；支持容器化部署，兼容主流操作系统与 AI 框架，提供 iBMC 硬件远程运维管理能力；硬件支持 2+2 冗余电源、N+1 冗余风扇，保障长时间稳定在线推理；具备高速 200GE 对外网络接口，满足大模型集群组网 RoCE 通信需求。

四、硬件规格