Transformers 框架 Pipeline 任务详解（三）：词元分类（token-classification）和命名实体识别

最新推荐文章于 2025-01-23 17:22:33 发布
最新推荐文章于 2025-01-23 17:22:33 发布
阅读量1.2k 收藏 23
点赞数 8
CC 4.0 BY-SA版权
分类专栏： AI 文章标签： AI transformers Pipeline 词元分类 人工智能
转载请注明原文链接：https://ntopic.cn
本文链接：https://blog.csdn.net/obullxl/article/details/144434889

微信公众号：老牛同学

公众号标题：Transformers 框架 Pipeline 任务详解（三）：词元分类（token-classification）和命名实体识别

公众号链接：https://mp.weixin.qq.com/s/r2uFCwPZaMeDL_eiQsEmIQ

在自然语言处理（NLP）领域，Token-Classification（词元分类）任务是一项关键的技术，这项技术广泛应用于命名实体识别（NER）、分词、词性标注等场景。借助Transformers框架的Pipeline API，我们可以轻松地使用预训练模型执行词元分类，而无需深入了解底层复杂的模型结构和算法。本文将详细介绍Transformers框架中token-classification任务的各个方面，包括任务简介、应用场景、任务配置、实战案例以及Web UI界面。

Hugging Face任务介绍

1. 任务简介

词元分类是指根据给定的文本内容，为文本中的每一个词元分配一个类别标签的过程。词元分类的核心思想是通过机器学习模型从大量标注好的文本数据中学习特征，并根据这些特征对新的文本中的每个词元进行分类。具体步骤如下：

  1. 数据准备：收集并标注大量的文本数据，每个词元都对应一个类别标签。
  2. 特征提取：将文本转换为模型可以理解的数值表示，通常是通过分词、向量化等方式。
  3. 模型训练：使用标注好的数据训练一个分类模型，模型会学习如何根据输入的文本特征预测正确的类别。
  4. 模型推理：对于新的未见过的文本，模型会根据学到的特征为每个词元进行分类预测。

根据Hugging Face官网的数据，当前已有超过20,531个词元分类模型供选择，涵盖了多种语言和应用场景：

Hugging Face模型列表

2. 应用场景

词元分类技术广泛应用于各个领域，以下是几个典型的应用场景：

  • 命名实体识别（NER）：NER可以帮助企业或研究机构自动识别文本中的重要信息，如人物、地点、组织等。这在新闻报道、法律文件分析、情报收集等领域尤为有用。
  • 分词：分词是中文和其他一些非空格分隔的语言的基本预处理步骤。准确的分词对于后续的NLP任务至关重要。
  • 词性标注：词性标注有助于理解句子的结构和含义，可应用于机器翻译、问答系统、文本摘要等多个方面。
  • 情感分析：虽然情感分析通常被视为文本分类任务，但在某些情况下，了解哪些具体的词语表达了情感也是非常重要的，这时词元级别的分类就显得尤为重要了。
  • 医疗记录解析：在医疗领域，词元分类可以用于解析病历，帮助医生快速定位关键信息，比如症状、疾病名称、药物名称等。

3. 任务配置

在 Transformers 框架中，ner和token-classification都是词元分类任务的不同名称。尽管两者在 Pipeline 配置中有别名关系，但在实际使用时没有区别，框架最终统一使用token-classification作为任务名称。

我们可以在 Transformers 框架的源代码中看到以下配置（源代码文件：./transformers/pipelines/__init__.py）：

TASK_ALIASES = {
   
    # 其他省略......

    "ner": "token-classification",

    # 其他省略......
}

SUPPORTED_TASKS = {
   
    # 其他省略......

    "token-classification": {
   
        "impl": TokenClassificationPipeline,
        "tf": (TFAutoModelForTokenClassification,) if is_tf_available() else (),
        "pt": (AutoModelForTokenClassification,) if is_torch_available() else (
最低0.47元/天 解锁文章
Bert基础(十六)--Bert实战：中文文本分类任务-- transformers库实现
Andy_shenzl的博客
04-19 3111
Hugging Face 的 Transformers 库是一个开源库，它提供了大量预训练的模型，用于自然语言处理（NLP）任务，如文本分类、命名实体识别、机器翻译、问答系统等。这个库的特点是易于使用，支持多种模型架构，包括但不限于 BERT、GPT、RoBERTa、XLNet 等，并且可以轻松地在不同的任务上微调这些模型。以下是使用 Hugging Face Transformers 库进行情感分类的基本步骤：fill:#333;color:#333;color:#333;fill:none;
自然语言处理之语法解析：BERT：命名实体识别与BERT
zhubeibei168的博客
10-24 797
BERT模型通过其双向的Transformer Encoder架构和创新的预训练任务，能够学习到高质量的文本表示，从而在各种自然语言处理任务中表现出色。预训练阶段的学习使得BERT能够理解词汇在上下文中的含义，而微调阶段则允许模型针对特定任务进行优化，如命名实体识别、情感分析等。通过上述代码示例，我们可以看到如何利用BERT进行命名实体识别，这为自然语言处理的研究和应用提供了强大的工具。
HuggingfaceNLP笔记7.1Token classification
HITzwx的博客
05-06 1043
由于我们处理的是序列标注问题，我们将使用类。在定义这个模型时，主要要记住的是传递有关我们有多少标签的信息。最简单的方法是通过num_labels参数传递，但如果想要像本节开头所示的那样，有一个漂亮的推理小部件，最好设置正确的标签对应关系。它们应该通过两个字典设置，id2label和label2id现在，我们可以将它们传递给就像我们在第3章中定义时一样，创建模型时会发出警告，说明有些权重未使用（来自预训练头的权重），有些权重被随机初始化（来自新的序列标注头的权重），并且建议对模型进行训练。9。
基于Python的自然语言处理系列（42）：Token Classification（标注分类）
不想宅的冷同学
10-24 925
在本篇文章中，我们介绍了如何使用 BERT 模型进行 Token Classification（标注分类）任务。我们从数据的加载与预处理开始，详细讲解了如何处理预分词数据，并将标签与模型的输入 tokens 对齐。接着，我们通过 BERT 模型进行微调，使用DataLoader来构建训练与验证数据集，最终完成了模型的训练与评估。在最后，我们展示了如何通过 Hugging Face 的pipeline进行命名实体识别的推理。
用huggingface.transformers.AutoModelForTokenClassification实现命名实体识别任务
诸神缄默不语的博客
04-14 2752
用huggingface.transformers.AutoModelForTokenClassification实现命名实体识别任务
【最新试验】使用BertForTokenClassification做命名实体识别序列标注pytorch版
weixin_39673686的博客
09-16 1万+
阅读这篇文章你需要知道什么是bert？ bert几乎时最新最强的预训练模型之一。使用方法很简单，只需要一块gpu，大概8g显存，再取github上找到pytorch transformer这个repo，最后运行里面的run glue.py恭喜你！成功打开新世界大门 但是，如何用bert做ner呢？我们现在的run glue只能解决句子分类，而ner相当于词级分类，所以只能自己想怎么搭建模...
PyTorch学习笔记（七）------------------ Vision Transformer
m0_60964321的博客
06-20 812
目录一、Patch and Linear map二、Adding classification token三、Positional encoding四、LN， MSA and Residual Connection五、LN、MLP and Residual Connection六、Classification MLP前言：vision transformer（vit）自Dosovitskiy等人介绍以来，一直在计算机视觉领域占主导地位，在分类中的大多数情况超过了传统的卷积神经网络（cnn）Transfo
自然语言处理 - Transformer 到 BERT
weixin_41332009的博客
03-07 718
先修知识： self-attention 到 Transformer:https://blog.csdn.net/weixin_41332009/article/details/114441708 1. BERT简介 Bidirection： BERT的整个模型结构是双向的。 Encoder： 是一种编码器，BERT只是用到了Transformer的Encoder部分。 Representation： 做词的表征。 Transformer： Transformer是BERT的核心内部元素。 BERT的基本思
Bert 模型学习
热门推荐
IT__learning的博客
10-15 2万+
一、Bert 模型 BERT 模型的全称是 BidirectionalEncoder Representations from Transformer，基于 Transformer 的双向编码器表示，是一个预训练的语言表征模型，它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的 masked language model（MLM），以致能生成深度的双向语言表征。BERT 模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的 Repres
基于BertForTokenClassification算法的长文本实体识别
09-21
Bert 模型采取了两个预训练任务：Masked Language Model和Next Sentence Prediction，而这两个任务都是基于BertPreTrainedModel抽象基类。 2.1 BertPreTrainedModel 所有Bert-based的模型，包括预训练模型和下游任务模型都是基于BertPreTrainedModel类，用于初始化权重参数和加载预训练描述。同时也继承了PreTrainedModel的变量和方法。
Pytorch: 命名实体识别: BertForTokenClassification/pytorch-crf
Wangpeiyi9979的博客
04-27 1万+
文章目录基本介绍BertForTokenClassficationpytorch-crf实验项目参考 基本介绍 命名实体识别：命名实体识别任务是NLP中的一个基础任务。主要是从一句话中识别出命名实体。比如 姚明在NBA打球 从这句话中应该可以识别出姚明(人), NBA(组织)这样两个实体。 常见的方法是对字或者词打上标签。B-type, I-type, O， 其中B-type表示组成改类型...
知识图谱：【知识图谱问答KBQA（七）】——P-tuning V2训练代码核心网络层解析
u013010473的博客
02-21 1380
在P-Tuning V2代码中，包括四类NLP任务： token_classification:对应序列标注任务 sequence_classification:对应文本分类任务 question_answering:对应问答任务 multiple_choice:对应阅读理解任务 class TaskType(Enum): TOKEN_CLASSIFICATION = 1, SEQUENCE_CLASSIFICATION = 2, QUESTION_ANSWERING = 3,
TransFormers教程（二、模型加载与测试）
最新发布
m0_53873351的博客
01-23 935
在TransFormers官方文档中，提供了使用pipeline的方法来下载和加载模型。在命令窗中执行下面的Python代码来完成。但是该方法在国内不适用，因为网站我们无法直连，导致程序会显示多次连接后连接失败，所以需要自行在模型网站中下载模型进行使用。。因为官方示例所提供的模型为：sentiment-analysis，所以我们就在该网站中的左上角搜索框中输入“sentiment-analysis”，在弹出的列表中选择第一个模型。
transformers DataCollatorForTokenClassification类
weixin_49346755的博客
07-11 1307
在进行NER（实体命名识别）任务时使用的数据收集器，该数据收集器不仅会动态的处理输入的数据，而且会处理数据的标签。参数tokenizer表示用于编码数据的分词器。参数padding表示填充方式，可以为布尔类型、字符串类型或者一个PaddingStrategy对象。当值为布尔类型时，True表示填充至最大序列长度，False表示不填充。当为字符串类型时，"longest"表示填充值最大序列长度，"max_length"表示填充值参数max_length设置的长度，"do_not_pad"表示不填充。参数max
Huggingface-transformers项目源码剖析及Bert命名实体识别实战
weixin_36949593的博客
06-03 1万+
文章目录一、Huggingface-transformers介绍二、文件组成三、config四、Tokenizer五、基本模型BertModel六、序列标注任务实战（命名实体识别）1.加载各类包（略）2.载入训练参数3.模型初始化4.BertForTokenClassification5.处理数据6.开始训练1）将训练、验证、测试数据集传入DataLoader2）设置优化函数3） 设置fp16精度、多gpu并行、分布式训练4）是否冻结训练参数5)学习率退火6）训练参数可视化7）轮次训练迭代7.测试评估和预测
【译】BERT Fine-Tuning 指南（with PyTorch）
weixin_43650429的博客
05-25 3779
By Chris McCormick and Nick Ryan 原文链接：http://tinyurl.com/y74pvgyc 介绍 历史 2018 年是 NLP 突破的一年，迁移学习、特别是 Allen AI 的 ELMO，OpenAI 的 Open-GPT，以及 Google 的 BERT，这些模型让研究者们刷新了多项任务的基线（benchmark），并提供了容易被微调预训练模型（只需很少的数据量和计算量），使用它们，可产出当今最高水平的结果。但是，对于刚接触 NLP 甚至很多有经验的开发者来..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值