llm-d 1.0 发布，推进大模型分布式推理生产部署

llm-d 1.0 增加多租户服务质量和不停机运维能力，重点改善大规模模型推理中的响应、吞吐与资源效率。

IBM 于10月20日介绍开源项目 llm-d 1.0。该版本面向大语言模型的分布式推理，整合经过生产验证的核心组件，帮助企业在多云和不同加速器环境中运行模型服务。

新能力包括多租户流量公平控制、路由高可用与滚动更新，以及面向多轮代理会话的上下文复用。项目试图减少重复计算，让对延迟敏感的交互和突发代理工作负载共享计算资源。