基于图结构信息增强的多模态大模型场景图推理方法

本论文关联数据产生于场景图生成（Scene Graph Generation, SGG）领域的基础研究与应用实验，用于支撑所提出的 GAM-SGR 框架在开源与闭源多模态大模型上的性能验证。全部数据涵盖三个维度：（1）实验所依赖的公开基准数据集及其划分方式；（2）模型训练过程中的超参数配置与训练环境信息；（3）在多个评估协议、多个骨干模型下取得的全部实验结果数据，包括对比实验、消融实验、鲁棒性测试、幻觉率评估以及推理效率分析。三个广泛使用的场景图生成基准数据集：（1）Visual Genome（VG）：** 该数据集包含 108,077 张图像，标注了细粒度的实体及关系信息，涵盖 150 个实体类别和 50 个谓词类别。按照本领域通用划分方式，训练集为 62,342 张图像，验证集为 13,359 张图像，测试集为 13,360 张图像。在此数据集上采用三种标准评估协议：谓词分类（PredCLS）、场景图分类（SGCLS）和场景图检测（SGDET），使用 Recall@k（R@k）和平均 Recall@k（mR@k）作为性能评估指标。（2）Open Images V6（OIV6）：** 该数据集提供 126,368 张训练图像和 3,018 张验证图像，标注了 288 个实体类别和 30 个谓词类别。遵循 Open Images Challenge 的标准评估协议，采用 Recall@50、关系级加权平均精度（wmAP\_rel）和短语级加权平均精度（wmAP\_phr）作为评估指标。（3）Panoptic Scene Graph（PSG）：** 该数据集基于 COCO 全景分割标注扩展而来，包含约 49,000 张图像，覆盖 130 个实体类别和 50 种关系类型，同时提供像素级分割掩码和关系三元组标注。本研究在该数据集的开放词汇（Novel）设定下进行实验，以评估模型在开放类别空间下的泛化能力。实验结果数据：论文包含 9 张数据表格和多组关键实验数据，具体如下：（1）对比实验（表 1–表 3）：在 Visual Genome、Open Images V6 和 PSG 三个数据集上，将 GAM-SGR 与 20 余种现有方法进行了全面对比。GAM-SGR 分别搭载 GPT-4o（闭源）、LLaVA（开源）和 Qwen2-VL（开源）三种骨干多模态大模型进行测试，结果数据涵盖 AP₅₀、R@20、R@50、mR@20、mR@50 等多项指标。（2）闭源模型泛化性实验（表 4）：将 GAM-SGR 迁移至 GPT-4V、Claude-3-Opus 和 GPT-4o 三种闭源模型上，在 Visual Genome 测试集的 SGDET 设定下记录了 R@50、mR@50 和关系幻觉率（RHR）三项指标的基线值与增强后的值。（3）消融实验（表 5）：系统验证了图神经网络交叉验证模块（G-Token）、空间位置编码（PosEnc）、参数高效微调（PEFT）和双向交互层（Bi-Dir）四个核心组件各自的贡献，记录了移除各组件后在 SGDET 设定下的性能变化数据。（4）交互层选择消融实验（表 6）：比较了不同 Transformer 层级注入方案（浅层、深层、全层及等间隔方案）对模型性能和推理时延的影响数据。（5）GNN 预测噪声鲁棒性测试（表 7）：在测试阶段向 GNN 的预测概率分布中人为注入 10%、20%、30% 比例的高斯噪声，记录了关系预测准确率和最终场景图生成 mR@50 指标的变化数据，用于验证框架对外部模型预测不确定性的容忍能力。（6）关系幻觉率评估（表 8）：展示了 LLaVA、Qwen2-VL 和 GPT-4o 三种骨干模型在应用 GAM-SGR 前后的关系幻觉率（RHR）对比数据。其中 RHR 为本文提出的专用评价指标，定义为模型预测的关系三元组中完全错误的三元组占比。（7）推理效率与成本分析（表 9）：以每 100 张图像为单位，记录了 GAM-SGR 在 GPT-4o 骨干下的冲突对过滤比例、平均推理耗时、Token 消耗量、成本增幅和 RHR 等运行效率数据。模型训练配置数据论文完整记录了开源模型和闭源模型两条技术路线的全部训练配置：开源模型路线基于 LLaVA-1.5-7B，采用 2 层 GAT（隐藏层维度 256）、4 头注意力机制，使用 LoRA 参数高效微调策略，在 RTX 4090 GPU 上以 bfloat16 精度训练 20 个 epoch；闭源模型路线使用 4 层 GNN（隐藏层维度 512），以 BERT 进行文本嵌入与语义相似度计算，训练 100 个 epoch。此外还记录了三个数据集上自适应阈值校准的动态校准值（VG: τ=0.62, OIV6: τ=0.54, PSG: τ=0.59）以及全局边界因子 γ=0.5 的敏感性分析数据。数据的可重复性说明所有实验基于上述三个公开数据集进行，数据集均可通过其原始来源获取。论文详尽记录了数据划分方式、评估协议、训练超参数与硬件环境，以确保实验结果的可重复性。论文中的全部数值结果直接来源于模型在对应测试集上的评估输出，未经选择性报告。