Atlas 800 推理服务器

性能简介：

一、产品概述

2U 机架式 AI 推理服务器，最大支持 8 块 Atlas 300I/V Pro 推理卡，面向中心侧 AI 推理场景。整机支持 1024 路 1080P 30FPS 高清视频实时分析；Atlas 300I/V Pro 单卡功耗 72W。

【核心硬件规格】

1. 产品形态：2U AI 服务器

2. CPU：鲲鹏 920 × 2 颗

3. 内存：32 个 DDR4 内存插槽，速率最高 3200 MT/s

4. AI 加速卡：最大支持 8 个 Atlas 300I/V Pro

5. AI 算力：最大 1120 TOPS（INT8）

6. 本地存储配置（多机箱可选）：

• 12 × 3.5 英寸 SAS/SATA

• 25 × 2.5 英寸 SAS/SATA

• 8 × 2.5 英寸 SAS/SATA + 12 × 2.5 英寸 NVMe

7. RAID：支持 RAID 0/1/10/5/50/6/60

8. PCIe 接口：最多 9 个 PCIe4.0 接口；1 个 RAID 扣卡专用槽位 + 8 个标准扩展槽位

9. 电源：2 个热插拔交流电源模块，可选 900W / 2000W，支持 1+1 冗余备份

10. 风扇：4 个热插拔风扇，N+1 冗余备份

11. 工作温度：5℃ ~ 40℃

12. 物理尺寸：447mm × 790mm × 86.1mm

【关键特性】

1. 超强算力：鲲鹏 920 双 CPU + 8 张推理卡，适配多类型 AI 推理业务，视频分析能力强。

2. 超高能效：鲲鹏多核低功耗架构，推理卡单卡仅 72W，推理场景能效比优异。

二、软件特性

【一、底层管理软件】

1. iBMC 服务器管理：板载 BMC 管理固件，支持远程开关机、硬件状态监控、风扇 / 电源健康检测、日志收集、BIOS/CPLD/NPU 固件远程升级、告警上报，实现服务器硬件远程运维管理。

2. NPU 驱动与固件（npu-driver /npu-firmware）：管理 Atlas 300I/V Pro 推理卡硬件资源，完成芯片初始化、功耗管理、设备资源分配，为上层 AI 软件提供硬件调用接口。

【二、昇腾 CANN 异构 AI 软件栈（核心 AI 软件）】

1. CANN 架构：对外提供 AscendCL 昇腾计算语言 API，实现设备管理、内存管理、模型加载执行、媒体编解码预处理、算子调用；区分开发套件 Toolkit、推理运行引擎 NNAE/NNRT。

2. 模型工具：

• ATC 模型转换工具：将 TensorFlow、PyTorch、MindSpore 模型转换为昇腾离线 om 模型；

• AOE 算子调优工具：自动进行算子性能调优。

3. 算子库：内置丰富标准 AI 算子；支持 Ascend C 自定义算子开发；可选 kernels 二进制算子包，加速动态 shape 网络推理。

4. 框架适配：支持 MindSpore、TensorFlow（TFPlugin 插件）、PyTorch（TorchNPU），支持在线推理与离线推理两种模式。

5. 容器支持：提供 Ascend-docker-runtime，支持 docker 容器化部署 AI 推理业务，可直接拉取 AscendHub 镜像运行推理服务。

【三、支持操作系统（鲲鹏 aarch64 架构）】 支持 CentOS 7.6、Ubuntu 18.04、Ubuntu 20.04、openEuler 22.03 LTS 等 ARM64 Linux 操作系统，仅支持 Linux 环境，不支持 Windows 系统。

【四、配套开发与运维工具】

1. MindStudio：本地 IDE 开发工具，支持模型调试、性能分析、算子开发、推理业务仿真调试。

2. Ascend-DMI：硬件诊断工具，查看 NPU 卡状态、算力、温度、功耗，故障定位。

3. MindX SDK：应用使能 SDK，封装视频解码、图像预处理、推理后处理接口，面向视频分析场景快速开发业务，适配整机 1024 路 1080P 视频分析能力。

【五、业务软件能力】

1. 视频处理：硬件加速 H.264/H.265 视频解码，适配多路高清视频流分析业务。

2. 多卡协同：支持整机最多 8 张 Atlas 300I/V Pro 推理卡资源调度，支持多卡分摊推理任务。

3. 运维能力：NPU 算力监控、温度功耗监控，支持故障告警，支持集群多服务器业务部署。

三、解决方案亮点

【一、底层管理软件】

1. iBMC 服务器管理：板载 BMC 管理固件，支持远程开关机、硬件状态监控、风扇 / 电源健康检测、日志收集、BIOS/CPLD/NPU 固件远程升级、告警上报，实现服务器硬件远程运维管理。

2. NPU 驱动与固件（npu-driver /npu-firmware）：管理 Atlas 300I/V Pro 推理卡硬件资源，完成芯片初始化、功耗管理、设备资源分配，为上层 AI 软件提供硬件调用接口。

【二、昇腾 CANN 异构 AI 软件栈（核心 AI 软件）】

1. CANN 架构：对外提供 AscendCL 昇腾计算语言 API，实现设备管理、内存管理、模型加载执行、媒体编解码预处理、算子调用；区分开发套件 Toolkit、推理运行引擎 NNAE/NNRT。

2. 模型工具：

• ATC 模型转换工具：将 TensorFlow、PyTorch、MindSpore 模型转换为昇腾离线 om 模型；

• AOE 算子调优工具：自动进行算子性能调优。

3. 算子库：内置丰富标准 AI 算子；支持 Ascend C 自定义算子开发；可选 kernels 二进制算子包，加速动态 shape 网络推理。

4. 框架适配：支持 MindSpore、TensorFlow（TFPlugin 插件）、PyTorch（TorchNPU），支持在线推理与离线推理两种模式。

5. 容器支持：提供 Ascend-docker-runtime，支持 docker 容器化部署 AI 推理业务，可直接拉取 AscendHub 镜像运行推理服务。

【三、支持操作系统（鲲鹏 aarch64 架构）】 支持 CentOS 7.6、Ubuntu 18.04、Ubuntu 20.04、openEuler 22.03 LTS 等 ARM64 Linux 操作系统，仅支持 Linux 环境，不支持 Windows 系统。

【四、配套开发与运维工具】

1. MindStudio：本地 IDE 开发工具，支持模型调试、性能分析、算子开发、推理业务仿真调试。

2. Ascend-DMI：硬件诊断工具，查看 NPU 卡状态、算力、温度、功耗，故障定位。

3. MindX SDK：应用使能 SDK，封装视频解码、图像预处理、推理后处理接口，面向视频分析场景快速开发业务，适配整机 1024 路 1080P 视频分析能力。

【五、业务软件能力】

1. 视频处理：硬件加速 H.264/H.265 视频解码，适配多路高清视频流分析业务。

2. 多卡协同：支持整机最多 8 张 Atlas 300I/V Pro 推理卡资源调度，支持多卡分摊推理任务。

3. 运维能力：NPU 算力监控、温度功耗监控，支持故障告警，支持集群多服务器业务部署。

四、硬件规格