探索 DS4SD/docling：构建结构化文档的语言智能应用

在当今文档智能（Document Intelligence）蓬勃发展的背景下，如何从非结构化或半结构化文档中高效提取有用信息成为了众多研究与工业界关注的焦点。本文将深入介绍由 IBM Research 团队主导开发的开源项目 —— DS4SD/docling，这是一个专为科学文档构建语言与结构表示的工具库，旨在促进结构化语义文档建模、信息提取与问答任务的研究与实现。

一、项目简介：什么是 Docling？

docling 是 IBM Research 在其 “Data Science for Scientific Documents (DS4SD)” 项目中的关键组件。该库旨在支持对科学文档中复杂结构（如标题、段落、表格、图示等）与语言信息的统一建模。其目标是将自然语言处理（NLP）与结构感知（Structure-aware）的方法融合起来，提供一个处理结构化语言文档的端到端解决方案。

简言之，docling 是一个用于**构建文档语言图（Document Language Graph）**的 Python 工具包，支持构建用于问答、摘要、检索、信息抽取等任务的结构化输入表示。

二、核心功能

Docling 的设计非常模块化，核心组件包括以下几个方面：

1. Document Representation（文档表示）

Docling 将文档建模为一个有向图（networkx 实现），节点是文档中的“单元”（段落、句子、标题、图表等），边则反映它们的结构关系（例如“is next”, “is parent of”等）。这种建模方式可用于：

• 支持文档结构理解（document structure understanding）
• 构建结构感知的问答系统
• 实现跨段落、跨结构的语义检索

2. 节点类型与语言单元建模

Docling 支持以下基本节点类型：

• TitleNode：标题
• ParagraphNode：段落
• TableNode：表格
• FigureNode：图示
• SectionNode：章节

每个节点不仅包含原始文本，还可以携带 NLP 标注信息（如句法树、实体识别、依存关系等）。

3. 图构建与可视化

from docling.graph import DocGraphBuilder

builder = DocGraphBuilder()
doc_graph = builder.from_json(json_doc)

docling 支持从 JSON、XML、PDF 抽取的结构化内容构建文档图，并可通过 networkx 或 pyvis 进行可视化，帮助用户理解结构。

4. 与 HuggingFace Transformers 集成

Docling 支持将文档图中的节点输入到 BERT、Longformer 等语言模型中进行进一步语义建模：

from docling.encoding import encode_node
inputs = encode_node(node, tokenizer, model_type="bert")

这种结构感知的语义建模可以极大提升下游任务的性能。

5. 支持结构感知问答（Structure-aware QA）

你可以通过给定一个问题，利用文档图中结构线索（如表格内容、图标题、上下文段落）推理答案。

三、典型使用场景

✅ 科学问答系统（Scientific QA）

Docling 可用于构建论文问答系统，例如你可以基于论文结构回答“本文的主要贡献是什么？”、“图3展示了什么内容？”等问题。

✅ 表格/图示理解与摘要

支持提取表格区域、图示的文字信息及关联段落，有助于自动生成图表摘要或图文对齐任务。

✅ 多模态信息抽取

结合 PDF 图像/布局信息，可用于学术文献中的“图-表-段落”三模态联合分析。

✅ 学术搜索与结构化检索

可在结构化图上进行节点索引与跳跃式搜索，实现更强的语义与结构组合检索能力。

四、快速上手

1. 安装依赖

git clone https://github.com/DS4SD/docling.git
cd docling
pip install -e .

建议使用 Python 3.8+，并配置 Jupyter Notebook 或 VSCode Notebook 支持图结构可视化。

2. 示例代码：构建一个文档图并查询节点

from docling.graph import DocGraphBuilder

# 假设你有一个带结构的 JSON 文档
with open("example_paper.json") as f:
    json_doc = json.load(f)

builder = DocGraphBuilder()
doc_graph = builder.from_json(json_doc)

# 查看段落节点
for node in doc_graph.nodes(data=True):
    if node[1]['type'] == "paragraph":
        print(node)

五、优势与设计哲学

Docling 的底层实现也很简洁，适合用于学术研究扩展，或集成到工业级文档处理系统中。

六、项目现状与发展方向

截至 2024 年底，docling 仍处于活跃维护中，社区贡献者多数来自 IBM 研究院与学术界。当前 roadmap 包括：

• 支持 PDF-to-Graph 自动管线集成
• 增强节点嵌入的多模态建模能力
• 与 HuggingFace 数据集整合更多训练样例
• 支持图神经网络（GNN）在文档图上的任务建模

💡 示例一：从 JSON 构建文档图

from docling.graph import DocGraphBuilder
import json

# 加载结构化 JSON 文档（通常来自 PDF-to-JSON 工具或 DocLayNet 格式）
with open("example_doc.json") as f:
    json_doc = json.load(f)

# 构建文档图
builder = DocGraphBuilder()
doc_graph = builder.from_json(json_doc)

print("图中节点数量：", doc_graph.number_of_nodes())
print("图中边数量：", doc_graph.number_of_edges())

🔍 示例二：遍历段落和标题节点内容

for node_id, node_data in doc_graph.nodes(data=True):
    if node_data["type"] in ["title", "paragraph"]:
        print(f"[{node_data['type'].upper()}] - {node_data.get('text', '')[:100]}...")

🧠 示例三：对节点进行 BERT 编码（结构感知输入）

from transformers import AutoTokenizer
from docling.encoding import encode_node

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

# 获取某个节点（例如某段正文）
paragraph_node = next(n for n, d in doc_graph.nodes(data=True) if d["type"] == "paragraph")

# 编码该节点文本
inputs = encode_node(doc_graph.nodes[paragraph_node], tokenizer, model_type="bert")

# 打印输入张量（可送入模型）
print(inputs["input_ids"].shape)
print(tokenizer.decode(inputs["input_ids"][0]))

🔗 示例四：查询某个段落的前后关系（图结构遍历）

import networkx as nx

# 获取一个段落节点
para_node = next(n for n, d in doc_graph.nodes(data=True) if d["type"] == "paragraph")

# 获取下一个段落（结构边：is_next）
for succ in doc_graph.successors(para_node):
    if doc_graph.edges[para_node, succ]["label"] == "is_next":
        print("下一段内容：", doc_graph.nodes[succ]["text"])

🖼️ 示例五：可视化文档图结构（使用 networkx + matplotlib）

import matplotlib.pyplot as plt
import networkx as nx

plt.figure(figsize=(12, 8))

# 使用 spring layout 可视化图结构
pos = nx.spring_layout(doc_graph, k=0.5)
nx.draw(doc_graph, pos, with_labels=True, node_size=1000, node_color='skyblue', font_size=8)

# 在节点上标注类型
node_labels = {n: d["type"] for n, d in doc_graph.nodes(data=True)}
nx.draw_networkx_labels(doc_graph, pos, labels=node_labels)

plt.title("Docling 文档结构图可视化")
plt.show()

🎯 示例六：构建用于问答任务的候选节点筛选

# 目标问题：关于“方法”部分的内容
question_keywords = ["method", "approach", "proposed", "technique"]

# 找出所有包含关键词的段落节点
candidates = []
for n, d in doc_graph.nodes(data=True):
    if d["type"] == "paragraph":
        text = d.get("text", "").lower()
        if any(kw in text for kw in question_keywords):
            candidates.append((n, text[:80]))

print("候选段落节点：")
for n, preview in candidates:
    print(f"Node {n} -> {preview}...")

📚 示例七：结合 HuggingFace 模型进行段落分类（如贡献识别）

from transformers import AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained("allenai/scibert_scivocab_uncased", num_labels=2)
tokenizer = AutoTokenizer.from_pretrained("allenai/scibert_scivocab_uncased")

# 示例段落节点
node_id = next(n for n, d in doc_graph.nodes(data=True) if d["type"] == "paragraph")
text = doc_graph.nodes[node_id]["text"]

inputs = tokenizer(text, return_tensors="pt", truncation=True)
with torch.no_grad():
    logits = model(**inputs).logits
    predicted_class = torch.argmax(logits, dim=1).item()

print(f"预测类别: {predicted_class}")

✨ Bonus：将整个文档导出为结构化 Markdown

md_output = ""

for node_id, node_data in doc_graph.nodes(data=True):
    if node_data["type"] == "title":
        md_output += f"## {node_data.get('text', '')}\n\n"
    elif node_data["type"] == "paragraph":
        md_output += f"{node_data.get('text', '')}\n\n"

with open("output.md", "w", encoding="utf-8") as f:
    f.write(md_output)

print("已导出为 Markdown 格式！")

七、总结

DS4SD/docling 是一个面向结构化文档语言理解的强大工具库。它将 NLP 与图结构建模相结合，提供了构建语义文档图的能力，为众多科学文档相关任务（QA、摘要、图文分析等）提供了统一表示方式和强大的处理能力。

如果你正从事与文档智能、科学文献处理、信息抽取相关的研究或应用开发，那么 docling 是一个值得深入探索的利器。

参考链接

• 📘 GitHub 项目地址: https://github.com/DS4SD/docling
• 📖 IBM DS4SD 项目主页: https://ds4sd.github.io
• 🧪 示例论文: “Structure-aware Scientific Document Question Answering with DocLING”（EMNLP 2023）