搜索
红帽公司宣布推出红帽AI推理服务器
1 周前
红帽公司近日推出了红帽AI推理服务器（Red Hat AI Inference Server），旨在推动生成式AI在混合云中的普及。这款企业级推理服务器基于强大的vLLM社区项目，并集成了Neural Magic技术，从而提高了速度、加速器效率和成本效益。红帽AI推理服务器的推出，有助于实现红帽的愿景，即在任意云环境中的任意AI加速器上运行任意生成式AI模型。这一新产品标志着红帽在AI领域迈出了重要一步。
