没有伞的孩子必须努力奔跑！—小林

需要在启动时增加gpu_memory_utilization参数，或者max_model_len参数，具体数字根据实际情况调整，比如根据上面的提示修改gpu_memory_utilization=0.8或max_model_len=20480。手动下载模型(不建议比较复杂)则需要去modelscope中下载并存放到/root/.cache/modelscope目录下，如/root/.cache/modelscope/hub/Qwen/Qwen3-0___6B/允许容器访问所有可用的 GPU 资源。

如何将Ollama安装到指定目录（非models路径）_ollama指定安装目录-CSDN博客Ollama 路径修改_ollama修改模型路径-CSDN博客Ollama安装 指定路径_ollama安装到指定路径-CSDN博客

Spring Boot 与 Milvus 的基本集成。：实际生产环境需要创建索引（如IVF_FLAT）：建议使用连接池管理客户端连接。性能优化（批量操作、异步处理）：建议添加全局异常处理。集合管理（创建/删除）REST API 接口。

Milvus是一款向量数据库，主要用于在大模型领域做向量查询的相关操作。milvus在之前的版本中其实是存在一些弊端的，尤其是在一些类似于mysql的查询方面，有一些缺点，这里简单唠叨几句。首先milvus不支持多个向量字段，其次milvus的模糊匹配只支持前缀匹配，再次milvus不支持排序。不过这些功能在最新版的milvus中都已经解决了。但是我还没来得及体验最新的版本，所以不知道支持情况如何。

Java（8 或更高版本）