Fast LLM Serving with vLLM and PagedAttention

LLMs 有望彻底改变我们在各行各业中使用 AI 的方式。然而，实际应用这些模型具有挑战性，即使在昂贵的硬件上也可能非常缓慢。为了解决这个问题，我们正在开发一个开源库 vLLM，用于快速 LLM 推理和服务。vLLM 利用我们新的注意力算法 PagedAttention，有效地管理注意力键值。装备了 PagedAttention 的 vLLM 实现了比 HuggingFace Transformers 高达 24 倍的吞吐量，而无需任何模型架构的改变。vLLM 由加州大学伯克利分校开发，并在过去三个月中部署于 Chatbot Arena 和 Vicuna Demo。在本次演讲中，我们将深入讨论 vLLM 的动机、特性和实现，并介绍我们的未来计划。