搜索
BentoML发布llm-optimizer开源框架
2025-09-16
BentoML发布开源框架llm-optimizer，该框架旨在简化自托管大型语言模型的基准测试与性能调优过程。它解决了LLM部署中的一大挑战：在不依赖手动试错的前提下，为延迟、吞吐量和成本找到最优配置。llm-optimizer提供了一种结构化方法来探索LLM性能，通过系统基准测试和自动搜索，避免了重复的猜测工作。
