LLM评测框架Ragas:SQL指标（解决了Ollama推理框架不支持的问题）

质问

已于 2025-07-22 17:50:44 修改

阅读量55

点赞数

CC 4.0 BY-SA版权

分类专栏： AI系统的测试入门与实践-《大模型测试技术与实践》续写文章标签：测试人工智能 llm sql 评估

于 2025-07-22 15:49:43 首次发布

本文链接：https://blog.csdn.net/crisschan/article/details/149538721

AI系统的测试入门与实践-《大模型测试技术与实践》续写专栏收录该内容

92 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

SQL类的度量指标是指运行SQL后的结果和预期之间的一个度量值。

datacompy score

datacompy score 使用DataCompy（一个比较pandas的数据格式的python类，所以需要按照datacompy：pip install datacompy），默认是按照rows比较，也可以设置按照columns比较，这个事通过mode参数配置。默认的采用f1也可以通过metric配置recall。

from ragas.dataset_schema import SingleTurnSample
from ragas.metrics import DataCompyScore

import asyncio
async def main():
# from ragas.dataset_schema import SingleTurnSample

    data1 = """acct_id,dollar_amt,name,float_fld,date_fld
    10000001234,123.45,George Maharis,14530.1555,2017-01-01
    10000001235,0.45,Michael Bluth,1,2017-01-01
    10000001236,1345,George Bluth,,2017-01-01
    10000001237,123456,Bob Loblaw,345.12,2017-01-01
    10000001238,1.05,Lucille Bluth,,2017-01-01
    10000001238,1.05,Loose Seal B