学术新闻

学术新闻

当前位置: 首页> 新闻中心> 学术新闻> 正文

陶冶教授团队论文被KDD2027录用

发布日期:2026-11-16

近日,信息科学技术学院刘骋羽同学、陶冶教授等撰写的论文“From Vision to Logic: A Unified Diagram to Knowledge Graph Framework for Multimodal Structural Reasoning”被ACM KDD 2027 Research Track(主赛道)录用。该论文围绕结构化图示文档的模式解析与多模态信息提取展开研究,提出了新的多模态知识提取与融合框架。论文第一作者为信息学院2024级硕士研究生刘骋羽,通讯作者为陶冶教授。

KDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining)由美国计算机学会(ACM)旗下的SIGKDD专业委员会主办,是数据挖掘与数据科学领域的顶级国际学术会议,自创办以来,已成为数据科学、机器学习和人工智能领域的重要交流平台。在中国计算机学会(CCF)推荐目录中,KDD被列为A类国际学术会议,KDD 2027为第33届会议,在第一周期投稿中,整体录用率约为17.8%。

论文题目:From Vision to Logic: A Unified Diagram to Knowledge Graph Framework for Multimodal Structural Reasoning

论文作者:刘骋羽、陶冶*、李辉、于旭

论文简介:

通用多模态大模型仍无法完全解析结构化图示中复杂的结构语义,且现有结构化图示理解模型往往仅通过微调或特定方式增强了对单一图像类型的理解,无法扩展至其他结构化图示,同时忽略了图像与其题注及上下文间存在的强语义关联。为了解决上述问题,论文提出了一种统一的多模态知识提取与融合框架,将多类型图像解析、题注语义构建和上下文信息提取深度融合,实现了从多模态文档到统一知识图谱的高效转换。

在方法上,论文提出了Img2KG、Cap2KG和Text2KG三个信息提取模块,其中Img2KG通过拓扑、嵌套和色彩三个维度的建模,有效实现了流程图、组织图和架构图语义信息的提取;Cap2KG通过将题注中高重要度的实体和关系建模为锚点子图,显著提升了多模态信息提取及对齐的效果;Text2KG通过图像引导的动态文本分块方法及语义提取策略,实现了对上下文语义的高效、低噪提取。随后,三部分提取的信息被融合成统一的知识图谱,并通过知识图谱检索增强生成技术增强了多模态问答效果。

在公开数据集及自建数据集上的广泛实验表明,该框架具有显著优势,其在多项信息提取与多模态问答中均取得了最优表现,且具有良好的鲁棒性、可解释性和幻觉抑制能力。