← 全部笔记

组会论文分享

Causal-CoG：用于多模态推理的因果上下文生成

Causal-CoG 论文分享摘要、方法图与相关工作。

原始笔记 2024-12-16 修订于

文章目录

原分享人：Wang Jingxin（王京新）。原记录时间：2024-12-16。2026-10-22 整理并入个人主页。内容保留原记录的研究背景与判断；文献覆盖以原记录时期为准。

Causal-CoG: A Causal-Effect Look at Context Generation for Boosting Multi-modal Language Models

收获总结

  1. 这篇论文的核心就是：n个上下文生成->计算JSD->因果过滤->保留有因果关系的上下文->top-k聚合->Weighted Majority Vote（加权多数投票）->对答案影响最大的上下文被挑选出来；

  2. 把筛选上下文的思路引入到自动驾驶中，来衡量上下文对结果的影响；【想做进一步的改进，衡量完了之后如何把候选上下文中正确的属性汇总成一个新的上下文信息？】

分享摘要

paper GitHub

论文图示

分享摘要：

本篇论文针对多模态大模型的幻觉以及训练成本问题；提出了Causal-CoG，因果上下文生成。上下文生成：即通过简单提示得到多个上下文，然后根据生成的上下文描述提示模型回答问题；Causal：从多个生成的候选者中选择最有帮助的上下文，考虑多个上下文对答案的影响，为不同上下文赋予不同的权重【先过滤，再聚合】；在10个多模态基准数据集上验证，均取得了改进。

论文通过提出Causal Context Generation（Causal-CoG）来解决多模态语言模型（MLMs）在视觉问题回答（VQA）任务中提供事实性和精确性回答的挑战。Causal-CoG包含以下几个关键步骤：

1、上下文生成（Context Generation）：\
           通过简单的提示（例如“describe this image”）引导MLM生成关于图像的文本描述，即上下文（Context）。

           通过多次提示运行，可以生成不同的上下文描述，为回答问题提供丰富的信息。

2、因果关系过滤（Causality Filter）：

           利用因果推断来评估生成的上下文对给定样本的帮助程度。

           通过比较总效应（TE）、自然直接效应（NDE）和总间接效应（TIE）来决定是否应用上下文信息。

           如果TIE大于NDE，则认为间接效应（通过上下文）在回答问题中起更关键作用，选择这样的样本应用CoG技术。

3、候选聚合（Candidate Aggregation）：

          对于应用CoG的样本，提出了一种聚合方法来得出最终答案，考虑每个候选答案的TIEc值（即上下文对答案的影响）。

          选择TIEc值最高的k个候选答案，并基于这些候选答案进行加权多数投票，得出最终答案。

通过这种方法，Causal-CoG旨在增强MLMs在VQA任务中的性能，使其能够提供更准确和基于事实的回答。论文通过在10个多模态基准测试上的广泛实验来证明Causal-CoG的有效性，并显示了与直接解码相比的一致改进。

问答简记

问： 生成的结构化文本是否因不同的数据集而不同？

答： 是的，根据不同的数据集可能会对一些属性进行修改，但是像类别，与自车位置，距离等空间信息这样的属性是通用的。

问： 上下文和因果之间有什么关系？

答： 论文从因果关系的角度探讨了上下文信息的优势，引入了因果效应的概念来衡量上下文对答案的影响。具体来说，论文中定义了总效应（TE）、自然直接效应（NDE）和总间接效应（TIE）来分析图像（I）对答案（Y）的影响，其中TIE表示通过生成的上下文（C）间接影响答案的程度；上下文信息不仅被用来增强VQA任务的精确性，而且通过引入因果效应的分析，论文进一步探讨了上下文信息对答案的影响程度，并据此选择样本和优化模型性能。

问： TIE值越大，模型输出的结果就一定越好么？

答： 论文中提到，对于给定的样本，如果NDE（Natural Direct Effect）小于TIE，这意味着间接效应在回答问题时扮演了更重要的角色，表明上下文在有效回答问题中可以发挥重要作用。因此，选择这样的样本应用CoG；相反，对于NDE大于TIE的样本，选择直接由MLM生成的答案作为最终答案。TIEc值量化了间接效应的程度，并帮助评估候选答案在利用上下文回答问题时的有效性。论文中的实验结果表明，使用TIEc作为权重聚合候选答案的效果优于使用其他聚合策略，如答案的可能性或图像与生成上下文之间的相似度作为权重。因此，TIE值越大，意味着上下文对答案的影响越大，这通常意味着在聚合过程中，具有较高TIE值的候选答案应该被赋予更大的权重，从而可能提高模型输出结果的质量。

问： 自动驾驶中具备因果关系么？

答： 感知得到的信息对于预测和规划阶段至关重要，可以把感知当成因，预测和规划当成果。

相关论文

  1. 因果贝叶斯优化（Causal Bayesian Optimisation, CaBO）\
  2. 上下文贝叶斯优化（Contextual Bayesian Optimisation, CoBO）\
  3. BLIP2 利用Q-Former对齐视觉和语言模态\
  4. CAD [30] 关注于强制模型在回答问题时关注上下文。

原始记录

来源：OpenVisualLab 原始笔记。原仓库、版本差异及未完成的记录保留在本地历史档案。

返回组会分享索引