7月26日，数澈软件Seal（以下简称“Seal”）宣布正式发布并开源最新产品 GPUStack，GPUStack 是一个用于运行 LLM（大型语言模型）的开源 GPU 集群管理器。

尽管如今大语言模型作为公共的云上服务已经被广泛推广并在公有云上变得更加易于使用，但对企业来说，部署托管自己私有的 LLM 供企业和组织在私有环境使用仍然非常复杂。

首先，企业需要安装和管理复杂的集群软件，如 Kubernetes，然后还需要研究清楚如何在上层安装和管理 AI 相关的工具栈。而目前流行的能在本地环境运行 LLM 的方法，如 LMStudio 和 LocalAI，却大都只支持在单台机器上运行，而没有提供多节点复杂集群环境的支持能力。

Seal 联合创始人及 CTO 梁胜博士介绍道，“GPUStack 支持基于任何品牌的异构 GPU 构建统一管理的算力集群，无论目标 GPU 运行在 Apple Mac、Windows PC 还是 Linux 服务器上， GPUStack 都能统一纳管并形成统一算力集群。GPUStack 管理员可以从诸如 Hugging Face 等流行的大语言模型仓库中轻松部署任意 LLM。进而，开发人员则可以像访问 OpenAI 或 Microsoft Azure 等供应商提供的公有 LLM 服务的 API 一样，非常简便地调用 OpenAI 兼容的 API 访问部署就绪的私有 LLM。”

帮助企业简单快速地开启 LLM 创新

当前，企业如果想要在 GPU 集群上托管大模型，必须要做大量的工作来集成复杂的技术栈。通过使用 GPUStack，企业不再需要担心如何管理 GPU 集群、推理引擎和推理加速、租户和配额管理、使用和计量、性能度量、统一认证授权和访问控制，以及仪表板。

如下图所示，GPUStack 是一个构建企业私有的大模型即服务（LLMaaS）的完整平台，拥有构建大模型即服务所需的各项功能。管理员可以将模型从 Hugging Face 等模型仓库部署到 GPUStack 中，然后开发人员可以连接到 GPUStack 提供的私有大模型 API，在他们的应用中集成和使用私有大模型服务。

“随着大语言模型能力的逐渐提高，企业和组织一方面对快速进入 AI 时代充满了信心并满怀期待，希望大语言模型能尽快为自己的企业和组织带来生产效能的提高，而另一方面，对于能否有效地把如火如荼的大语言模型技术进一步与实际业务进行有机结合，是否能因此产生相应的效益，企业及团队又同时充满了疑问。我们希望通过简单易用的 GPUStack 平台，部署和运行各种开源大语言模型，提供 OpenAI 兼容的 API 接口，使得开发人员简单方便地访问任何的 LLM。” Seal 联合创始人及 CEO 秦小康介绍道，“最重要的是，我们支持 Nvidia，Intel，AMD 及众多品牌的 GPU，在支持异构 GPU 集群的同时能为企业节省更多成本。帮助企业简单快速地开启 LLM 创新是 GPUStack 团队的初心和使命。”

整合GPU资源运行大模型

组建 GPU 集群整合资源

GPUStack 可以聚合集群内的所有 GPU 资源。它旨在支持所有的 GPU 厂商，包括英伟达，苹果，AMD，英特尔，高通，华为等。GPUStack 兼容运行 MacOS、Windows 和 Linux 操作系统的笔记本电脑、台式机、工作站和服务器。

模型部署和推理

GPUStack 为在不同 GPU 上部署不同大模型选择最佳的推理引擎，支持的首个推理引擎是 LLaMA.cpp，其他推理引擎（如vLLM）的支持也在路线图中。

在资源充足的情况下，GPUStack 默认将模型全部卸载到 GPU，以实现最佳性能的推理加速。如果 GPU 资源相对不足，GPUStack 会同时使用 GPU 和 CPU 进行混合推理，以最大限度地利用资源。而在没有 GPU 资源的场景下，GPUStack 也支持纯 CPU 推理。这样的设计使GPUStack 能够更广泛地适配各种边缘或资源有限的环境。

快速与现有应用集成

GPUStack 提供了与 OpenAI 兼容的 API，并提供了大模型试验场。开发人员可以调试大模型并将其快速集成到自己的应用中。此外，开发人员还可以通过观测指标来了解应用对各种大模型的使用情况。这也有助于管理员有效地管理 GPU 资源利用。

GPU 和 LLM 的观测指标

GPUStack 提供全面的性能、利用率和状态监控指标。对于 GPU，管理员可以使用 GPUStack 实时监控资源利用率和系统状态。对于 LLM，相关指标则可以帮助开发人员评估模型的性能并优化应用。

认证和访问控制

GPUStack 为企业提供身份验证和RBAC（Role-based Access Control）功能。这保证了只有授权的管理员可以部署和管理大模型，只有授权的开发人员可以使用大模型，应用也可以通过统一的 API 认证授权访问各种大模型。

加入社区，参与开源共创

GPUStack 项目正在快速迭代，计划引入对多模态模型的支持，更多的 GPU 厂商支持，以及更多的推理引擎支持。我们十分欢迎您一起参与开源项目的贡献，也欢迎在我们的 GitHub 仓库gpustack/gpustack上点亮 Star 关注我们的最新动态。