wireshark抓包查看langchain的ChatOpenAI接口发送和接收的数据

最新推荐文章于 2025-04-11 11:23:30 发布

ybdesire

最新推荐文章于 2025-04-11 11:23:30 发布

阅读量603

点赞数 3

CC 4.0 BY-SA版权

分类专栏：大语言模型网络安全抓包文章标签： wireshark langchain 测试工具

本文链接：https://blog.csdn.net/ybdesire/article/details/142954912

1. 引入

当我们用vllm部署一个大模型，就可以调用langchain的ChatOpenAI()接口来访问大模型（具体过程参考[1]），这也是langchain的Agent的基础接口使用方式。

那么问题来了，这个接口是使用哪种方式与大模型进行通信的呢？

2. 抓包过程

我们可以通过抓包这个过程来看一看：

首先，启动wireshark
运行如下python代码，与大模型进行通信

from langchain_openai import ChatOpenAI
from langchain.schema import HumanMessage

llm = ChatOpenAI(
    streaming=True,
    verbose=True,
    openai_api_key="none",
    openai_api_base='http://10.11.12.13:4000', 
    model_name="aaa-gpt" 
)
output = llm([HumanMessage(content="你好")])
print(