通过代码彻底搞懂 Ragas 的 Context Precision 是什么

已于 2024-12-30 11:03:51 修改
阅读量1.5k 收藏 14
点赞数 25
CC 4.0 BY-SA版权
分类专栏： LINUX 文章标签： Ragas Context Precision 人工智能 python
于 2024-12-30 11:03:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/engchina/article/details/144818806

通过代码彻底搞懂 Ragas 的 Context Precision 是什么

在信息检索和机器学习中，评估检索结果的质量非常重要。

Context Precision 是一个用于衡量"检索上下文"中相关文本块比例的指标。它的计算方法是对上下文中每个文本块的精度@k值取平均。精度@k是指在排名k位置的相关文本块数量与该位置文本块总数的比值。

代码示例

From: ragas/src/ragas/metrics/_context_precision.py

import numpy as np
import typing as t

def _calculate_average_precision(self, verdict_list: t.List[int]) -> float:
    score = np.nan

    denominator = sum(verdict_list
最低0.47元/天 解锁文章

200万优质内容无限畅学
父文档检索器引和RAG的context precision性能指标
Criss@陈磊
06-03 186
但是由于父文档检索器的特殊性，父文档检索器通过检索小片段（child chunks）来确保嵌入的精确性（因为小片段的嵌入更能反映具体含义），然后返回对应的父文档以提供更广泛的上下文。上下文精度会通过加权机制惩罚这些情况。它的特别之处在于，它会先把文档分成小块（子片段），然后找到最相关的小块，再返回这些小块所属的完整大文档（父文档）。在使用父文档检索器时候，在查看context precision时会出现结果很低的情况，这并不能说是父文档检索器的性能不好，这其实是父文档检索器这个技术的本质导致的。
【读代码】深入解析Ragas：RAG应用效果评估最好的工具
kakaZhui的博客
06-21 236
Ragas是由Exploding Gradients团队开发的专业LLM应用评估框架，通过自动化测试和量化指标帮助开发者构建可靠的AI系统。# 典型架构模块 ├── metrics # 50+评估指标实现 ├── testset # 测试集生成系统 ├── embeddings # 多模态嵌入支持 ├── integrations # 主流框架集成 ├── optimizers # 遗传算法优化器 └── experimental # 前沿功能实验区。
RAG评价框架RAGAs指标解释
qq_41913559的博客
10-18 2445
值范围在 0 到 1 之间，其中分数越高表示精度越高。它是根据ground truth和检索到的Context计算出来的，取值范围在 0 到 1 之间，值越高表示性能越好。**来计算，范围为（0~1），得分越高越说明生成的答案与真实的答案更接近，也就意味着准确性越高。)是否相关，然后计算指标，如果大模型判断相关，并且该上下文的排名靠前，那么分数较高。如果列表为[1,1,0,0]那么最终的分数就是1，)一直，如果大模型判断一致就返回1，不一致返回0。这段代码会给1在列表前面的情况高的分数。
RAGAS
emphmeral的博客
01-12 968
（对生成的答案有害性和正确性进行评估）其目的是根据预定义的方面（例如和）评估提交。此外，用户可以灵活地定义自己的方面，以便根据自己的具体标准评估提交内容。方面批评的输出是二进制的，指示提交是否与定义的方面一致。该评估是使用“答案”作为输入来执行的。LLM 评估员内部的批评根据所提供的方面评估提交的内容。Ragas Critiques 提供了一系列预定义的方面，例如正确性、有害性等（请参阅以获取完整列表）。如果您愿意，您还可以创建自定义方面来根据您的独特要求评估提交内容。strictness。
ragas precision计算的坑
Seek42的专栏
05-20 287
在使用ragas框架进行RAG评测时，发现ContextPrecision的计算结果与预期不符。原计算方式通过大模型判断参考答案与检索内容的相关性，并计算平均精度。然而，该方法在处理不相关材料时，会忽略末尾的负样本，导致精度计算不准确。针对这一问题，提出了修正后的计算方法，确保所有样本（包括负样本）都被考虑在内，从而更准确地反映检索结果的精度。这一修正对于检索结果较少的情况尤为重要，避免了因忽略负样本而导致的精度偏差。
RAG:系统评估，以RAGAS为例
qq_43814415的博客
08-15 2296
面试的时候经常会问到，模型和系统是怎么评估的，尤其是RAG，这么多组件，还有端到端，每部分有哪些指标评估，怎么实现的。今天整理下目前最通用的是RAGAS框架，已经在langchain集成了。在看它之前，首先要了解整个业界是怎么做的。
【AI大模型应用开发】【RAG评估】1. 通俗易懂：深度理解RAGAS评估方法的原理与应用
同学小张的博客
02-25 5618
本文我们针对RAGAS评估方法进行详细介绍。我们将深入其原理，理解其评估指标背后是怎么实现的。都是我根据自己的理解用大白话解释，保证大家能看懂。
Ragas评测框架如何衡量检索增强生成系统RAG的性能
qingkahui24689的博客
11-11 1575
Ragas是一个评估检索增强生成（RAG）系统的性能的框架。它提供了一种结构化的方法，可以通过一套适用于无需大量标注数据的管道中的生成器和检索器组件。Ragas提供了几种衡量指标，可用于评估您的RAG系统各方面的表现：检索器相关：提供和，用于衡量检索系统性能。上下文精度context_precision 用于衡量检索到的上下文与问题相关程度。上下文召回衡量检索器检索所有必要信息以回答问题的能力。生成器相关:提供衡量幻觉的和衡量答案与问题相关程度的。
高级RAG(四)：RAGAs评估
热门推荐
weixin_42608414的博客
01-03 2万+
RAGAs (Retrieval-AugmentedGenerationAssessment) 它是一个框架(github官方文档question：用户输入的问题。answer：从 RAG 系统生成的答案(由LLM给出)。contexts：根据用户的问题从外部知识源检索的上下文即与问题相关的文档。： 人类提供的基于问题的真实(正确)答案。这是唯一的需要人类提供的信息。
LLM的测试框架Ragas中Nvidia指标详解（可运行代码+Ollama支持）
最新发布
Criss@陈磊
07-18 53
这个指标通过两个相互独立的“LLM-as-a-judge”的提示词完成评价，每个“LLM-as-a-judge”的提示词给出一个（0，1，2）一个数的评分结果。Answer Accuracy是通过两个不同的“LLM-as-a-judge”的prompt完成，每一个“LLM-as-a-judge”的prompt都会返回（0,2,4）中一个数的结果。Faithfulness: 该指标衡量的是回复与检索到的上下文在事实方面的一致性，确保回复中的每项主张都有所提供信息的支持。如2.2.3.1中代码中的例子。
《Advanced RAG》-03-使用 RAGAs + LlamaIndex 进行 RAG 评估
静愚AGI
08-04 1252
文章首先介绍了 RAG 评估的三个主要部分：输入查询、检索上下文和 LLM 生成的响应。 提到了 RAGAs 提出的 RAG 评估指标，包括 Faithfulness、Answer Relevance 和 Context Relevance，以及 RAGAs 网站提供的两个额外指标：Context Precision 和 Context Recall。详细解释了每个指标的计算方法，并提供了一些示例。 最后，它介绍了使用 RAGAs 和 LlamaIndex 进行 RAG 评估的主要过程。
AI大模型探索之路-应用篇11：AI大模型应用智能评估（Ragas）
寻道AI，探索AI无限可能！
04-13 4696
随着人工智能技术的飞速发展，AI大模型（LLM）已经成为了推动技术创新和应用的关键因素。这些大模型在语言理解、图像识别、自然语言生成等领域展现出了惊人的能力。然而，随着模型规模的增大，它们对计算资源的消耗、环境适应性、模型稳定性、安全性和可解释性等方面也提出了新的挑战。因此，对AI大模型进行智能评估变得至关重要，以确保它们在实际应用中的稳定性、可靠性和有效性。本文将详细介绍Ragas框架，一个专为AI大模型设计的智能评估工具。
Py之Ragas：Ragas(一款用于评估检索增强生成RAG流程的评估框架)的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-16 4704
​ Py之Ragas：Ragas(一款用于评估检索增强生成RAG流程的评估框架)的简介、安装、使用方法之详细攻略 目录 Ragas的简介 Ragas的安装 Ragas的使用方法 Ragas的简介 2023年5月15日，Ragas正式发布，这是一款用于评估检索增强生成（RAG）流程的评估框架。专门的解决方案，用于评估、监控和改进生产中的LLM和RAG应用的性能，包括用于生产质量监控的自定义模型。与创始人交谈 Ragas是一个框架，帮助您评估检索增强生成（RAG）流程。RAG表示一类LLM应用
RAG 修炼手册｜如何评估 RAG 应用？
ZILLIZ
04-23 1615
在设计这些 prompt 时，有时还要考虑 LLM 的一些偏见，比如 LLM 常见的位置偏见：当 prompt 比较长时，LLM 容易注意到 prompt 里前面的一些内容，而忽略一些中间位置的内容。因此内部的一些关键组件就可以决定这个 RAG 应用表现的好坏。当以黑盒方式来评估 RAG 应用时，我们看不到 RAG 应用的内部，只能从输入给 RAG 应用的信息和它返回的信息来评估 RAG 的效果。但对于一些比较简单的 query 测试，比如标准答案只有一些简单的短语的，也可以使用一些经典的指标。
以度量为驱动的代理开发RAGAS：提升RAG性能的关键
chinaai777的博客
08-26 837
今天我们要讨论的是以度量为驱动的代理开发，特别是如何通过度量来评估代理在检索信息和生成答案方面的表现。这个度量驱动的方法的核心理念是，通过在我们的pipline中添加评估，我们可以更快速地迭代代理和检索生成（RAG）性能。这正是我们将在这里重点讨论的内容：如何通过Langchain将RAG应用于对话代理。
OpenAI 宣布将让人们无需注册账户即可免费使用 ChatGPT
程序员鑫港的博客
05-27 1237
自 2022 年底首次向公众推出以来，OpenAI 一直要求想要访问该聊天机器人的用户注册 OpenAI 账户。今天，该公司透露将向所有人免费开放 ChatGPT，无需创建账户。OpenAI表示，它将"逐步"推出这一新的访问权限，因此，根据您居住的地方，您可能仍需要先注册一个账户，然后才能向所有人提供这一改进。在开放之后，ChatGPT 打开就能用，看起来终于初步具备了「AI 搜索引擎」的样子。
Ragas
AI工程化、开源分享、文档翻译、代码笔记
04-28 2190
一、关于 Ragas 二、安装🛡️ 三、快速使用 🔥 Open Analytics 🔍 四、References 五、生成综合测试集 文档 数据生成 六、使用您的测试集进行评估 数据 Metrics 指标 评估 七、监控生产中的 RAG 需要监控的方面
Rag评估框架Ragas
酌沧
06-30 476
代码地址: https://github.com/rexrex9/basic_neural_networks_pytorch/tree/main/chapter_llm/rag。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值