博客

2025年2月2日，为响应AI推理和企业级AI应用私有部署场景（私有AI）的日益增长需求，ZStack宣布其AI基础设施平台ZStack AIOS全面支持私有部署DeepSeek V3/R1/Janus Pro三种模型。它能够适应来自Hygon、Ascend、NVIDIA、Intel等的多种CPU/GPU，帮助进一步实施企业级AI应用。
据报道，在DeepSeek于2024年12月推出并开源DeepSeek V3/R1/Janus Pro之后，AWS、Azure和华为云等全球公有云平台已相继宣布支持DeepSeek R1或R1/V3。作为支持DeepSeek的企业级私有AI基础设施平台，ZStack AIOS将充分利用开源模型和DeepSeek的成本效益高、性能优越的特点，进一步推进企业级AI的商业进程：
全面支持三种DeepSeek模型，满足多样化的企业AI需求
ZStack AIOS，AI基础设施平台，为模型开发和应用在模型层提供各种基本工具和组件，支持开源和专有AI模型的生命周期管理。ZStack AIOS最初支持DeepSeek V3/R1/Janus Pro。V3适用于一般的自然语言处理任务，R1专注于复杂的推理任务，Janus Pro在多模态理解和生成方面表现出色，满足企业不同的AI需求。
支持多种CPU/GPU，适应企业数据中心多样化的计算资源
ZStack AIOS在计算层提供计算、存储、网络、安全等基础设施资源和服务。它可以支持在Haiguang、Ascend、NVIDIA和Intel等多种CPU/GPU资源上私有部署DeepSeek，适应企业数据中心多样化的计算资源。
ZStack AIOS拥有智能异构调度引擎，自动匹配硬件特性。它支持CUDA、ROCm、CANN等架构，以及无GPU测试。DeepSeek-R1-7B轻量级模型在16核云主机上的CPU部署实现了9.26个token/s的可用性能。
为企业提供灵活性和定制化，构建下一代数字智能平台
ZStack AIOS可以根据企业需求在私有或混合云环境中部署DeepSeek模型，确保数据安全和隐私保护。它还提供裸机、虚拟机和容器计算资源的弹性扩展，支持与各种硬件和软件集成，使企业能够轻松将AI能力整合到现有系统中。这种灵活性和定制化满足了企业用户多样化的AI应用需求。
ZStack AIOS拥有资源优化技术，如多GPU并发推理以提高小内存GPU的可用性并减少空闲时间。GPU分区技术将单个GPU的计算能力和内存分割，提高大内存GPU的利用率。模型量化技术使平台能够量化模型，与DeepSeek的低成本和高性能特性相结合，显著提高AI效率。
AI基础设施平台是企业加速释放AI生产力的关键引擎平台，专注于企业级AI应用私有部署场景（私有AI）。它支持人工智能应用的开发、部署、运维和管理，提供一系列基础工具和软件平台，具有计算管理、模型管理和应用管理能力。根据CCID咨询，2025年是中国AI基础设施平台应用的开局之年。
AI推理计算需求的激增催生了企业级智能计算资源管理的新需求；AI应用正在加速渗透到企业级场景，模型工具链和运维管理组件有助于降低AI应用的门槛；数据隐私和安全推动了AI应用的私有部署，新一代企业数字化转型基础的AI基础设施平台呈现出快速发展的趋势。2025年1月，CCID咨询发布了《2025年中国AI基础设施平台市场发展研究报告》，预测AI基础设施平台将在2024年和2025年分别达到19.4亿元和36.1亿元，2025年同比增长超过86%。