NuPlan QA-Eval数据集下载
时间: 2025-07-22 14:08:58 浏览: 2
### NuPlan QA-Eval 数据集的下载与使用
NuPlan QA-Eval 数据集是一个专门用于自动驾驶领域问答任务的评估数据集,主要用于测试模型在复杂驾驶场景下的理解和推理能力。该数据集通常包含基于真实驾驶场景的问题、上下文信息以及对应的答案,适用于评估自然语言处理模型在自动驾驶相关任务中的表现。
在下载和使用 NuPlan QA-Eval 数据集时,可以通过指定其本地路径或通过支持的平台进行自动下载。例如,在使用 `EvalScope` 框架进行模型评估时,可以通过配置 `dataset_args` 来指定数据集的本地路径或子集名称。以下是一个示例配置,展示了如何在 `EvalScope` 中加载 NuPlan QA-Eval 数据集:
```python
from evalscope import TaskConfig, run_task
task_cfg = TaskConfig(
api_url="http://192.168.124.126:1025/v1/chat/completions",
eval_type="service",
datasets=[
'nuplan_qa_eval', # 假设 NuPlan QA-Eval 数据集标识符为 'nuplan_qa_eval'
],
dataset_args={
'nuplan_qa_eval': {
"local_path": "./local_data", # 自定义数据集路径
"subset_list": ["nuplan_test"], # 指定子集
'filters': {'remove_until': '</think>'} # 过滤特定内容
}
},
eval_batch_size=128,
generation_config={
'max_tokens': 30000,
'temperature': 0.6,
'top_p': 0.95,
'top_k': 20,
'n': 1,
},
timeout=60000,
stream=True,
limit=10, # 仅测试 10 条数据
)
run_task(task_cfg=task_cfg)
```
如果数据集支持自动下载,通常会在指定路径下自动存储。例如,在 Windows 系统中,数据集可能会被下载到如下路径:
```
C:\Users\28406\.cache\modelscope\hub\datasets\modelscope\EvalScope-Qwen3-Test
```
此路径为 `EvalScope` 框架在 Windows 环境下默认的缓存目录,适用于支持自动下载的数据集[^1]。
###
阅读全文
相关推荐

















