使用bert提取中文句子向量遇到的问题

_lilian_

于 2021-09-05 20:56:46 发布

阅读量485

点赞数

CC 4.0 BY-SA版权

文章标签： bert 自然语言处理 tensorflow

本文链接：https://blog.csdn.net/qq_44099163/article/details/120120898

本文档详细介绍了如何在TensorFlow 1.10.0以上但不超过2.0版本的环境中，安装并启动BERT服务。首先，确保安装了正确的TensorFlow版本，然后通过pip安装BERT服务端和客户端。接着，在指定模型目录下启动服务端。如果遇到'bert-serving-start'未找到的问题，尝试在相应路径下直接运行命令或使用python3前缀。最后，使用Python客户端获取BERT向量并验证服务正常运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

version

必须使用tensorflow1.10.0以上的版本，并且不能使用tensorflow2.0以上的版本
查看方式:
在这里插入图片描述

model

下载中文预训练模型：
bert 中文数据集

install

pip install bert-serving-server 服务端
pip install bert-serving-client 客户端

start

开启服务端

bert-serving-start -pooling_strategy NONE -model_dir D:\A_code\publish（模型地址）

获取向量：

from bert_serving.client import BertClient
bc = BertClient()
doc_vecs = bc.encode(['中文'])
print(doc_vecs)
print(doc_vecs.shape)

Nonetype is not iteralble

检查tensorflow版本

bert-serving-start: command not found

cd /home/user/.local/bin
ls -l

在这里插入图片描述

在当前目录下运行

bert-serving-start -pooling_strategy NONE -model_dir D:\A_code\publish（模型地址）

或者

python3 bert-serving-start -pooling_strategy NONE -model_dir D:\A_code\publish（模型地址）