- 博客(6)
- 收藏
- 关注
RSS订阅原创 使用SGLang多机多卡部署满血版Deepseek -R1
SGLang 是一个专为大型语言模型（LLM）和视觉语言模型（VLM）设计的高性能服务框架，旨在提升模型交互的速度与可控性。它融合了高效的后端执行引擎与灵活的前端编程接口，助力构建更强大、智能的 AI 应用。其主要特点包括：RadixAttention 前缀缓存：加速长文本处理零开销 CPU 调度器 & 连续批处理：最大化硬件利用率分页注意力 & 推测解码：提升响应速度支持张量并行、分块预填充：高效处理大模型推理多种量化方式支持（FP8、INT4、AWQ、GPTQ）：压缩模型体积、提升推理效率多 LoRA
2025-04-17 14:31:45
304
原创 Vllm部署deepseek 单机多卡部署
调用curl http://127.0.0.1:8000/v1/completions -H "Content-Type: application/json" -d '{ "model": "自己下载模型位置", "prompt": "你好", "max_tokens": 1000, "temperature": 0 }'用anaconda conda环境部署 前提是装好anaconda（在Linux系统中）并且下载模型到自己的指定位置。创建一个conda环境 与系统环境隔离 避免驱动什么的冲突。
2025-03-26 09:30:54
512
原创 JAVA中的四种引用类型（大白话版本）
当一个对象被强引用变量引用时，它处于可达状态，它是不可能被垃圾回收机制回收的，即 使该对象以后永远都不会被用到JVM也不会回收。但是，如果院子里堆满了东西，空间不够了（系统内存不足），松紧带就会松开，气球就会被风吹走（对象被回收）。弱引用需要用WeakReference类来实现，它比软引用的生存期更短，对于只有弱引用的对象 来说，只要垃圾回收机制一运行，不管JVM的内存空间是否足够，总会回收该对象占用的内存。所以，弱引用就像这根细线，它绑着的对象非常容易被清理掉，只要垃圾回收机制一运行，对象就会被回收。
2025-02-06 16:01:53
573
原创 MySQL一些知识
相对其他数据库而言，MySQL的锁机制比较简单，其最显著的特点是不同的存储引擎支持不同的锁机制。例如：MyISAM和MEMORY存储引擎采用的是表级锁（table-levellocking）；InnoDB存储引擎既支持行级锁（row-levellocking），也支持表级锁，但默认情况下是采用行级锁。谈谈MySQL的行锁，表锁以及悲观锁乐观锁行锁：访问数据库的时候锁定整行数据会防止并发错误的。但是开销大，加锁慢，锁定的粒度小，发生锁冲突的概率低,并发度高。
2025-01-20 16:06:57
405
原创 Java种零碎的知识点
Autowirde @Qualifier 一起使用@Scope 作用范围注解 默认是单例的 @CompoentScan @Import@Configuration 一些AOP的注解。
2025-01-15 13:53:33
301
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人