Benchmark Extractor

extract structured benchmark information from academic papers when the input includes multiple pdfs, abstracts, or links and the user needs chinese notes or table-ready fields for tasks, datasets, metrics, baselines, sota claims, code release, or evaluation settings.

chtc66 aedab77 4 files · 4.0 KB Updated

File contents

Benchmark Extractor

用这个 skill 从论文中抽取 benchmark、dataset、metric、baseline、SOTA 等结构化信息,方便后续整理成表格、CSV 或 JSON。

工作流

  1. 先按论文逐篇抽取稳定字段。
  2. 参考 references/extraction_schema.md 统一字段名和缺失值写法。
  3. 参考 references/comparison_table_template.md 输出中文说明版或结构化表格版。

输入处理规则

  • 接收多篇 PDF、多篇摘要或一组论文链接。
  • 如果不同论文信息完整度不一致,仍按统一 schema 填写。
  • 未明确写出的字段统一写为 未知,不要臆造。

输出模式

  • 中文说明版:适合先看整体 benchmark 版图。
  • 结构化表格版:适合后续导出 CSV、JSON 或继续人工补全。
  • 如果用户没有指定,默认同时给出简短说明和结构化表格。

输出规则

  • 字段尽量包括:
    • 论文标题
    • 任务
    • 数据集
    • 指标
    • baseline
    • 是否报告 SOTA
    • 是否开源代码
    • 是否开源数据
    • 评测设置说明
    • 备注
  • 对“是否报告 SOTA”这类字段,如果论文只是声称优于 baseline,但未明确写“state of the art”,优先写“未明确”。

证据与表述约束

  • 不要根据常识自动补数据集、指标或开源状态。
  • 如果只有摘要,明确说明当前抽取只是初步结果。
  • 如果字段存在歧义,在备注里写出歧义来源。

何时读引用文件

  • 始终读取 references/extraction_schema.md
  • 在组织表格输出时读取 references/comparison_table_template.md

chtc66/academic-skills/tree/main/benchmark-extractor commit aedab7718d

Frequently asked questions

npx skillmds@latest add chtc66/benchmark-extractor