2025年5月22日下午14:00，统计与数据科学学院第七十一期本科生论坛在范孙楼122如期举行。南开大学统计与数据科学学院22级本科生马东升为大家带来了以“检索增强推理建模（RARE）”为主题的讲座。
马东升首先介绍了LLMs（大型语言模型）的基本概念，包括机器学习、深度学习、生成式AI以及Transformer架构和注意力机制。LLMs通常依赖于自回归生成技术，而推理能力是当前LLMs研究的重点。现有的LLMs在处理特定领域问题时面临两大挑战：一是领域知识的长尾效应和幻觉问题，二是需要在有限的参数预算下有效整合领域知识和推理能力。
紧接着，马东升为大家介绍了RARE框架，其核心思想是将知识检索（Knowledge Retrieval）与推理建模（Reasoning Modeling）解耦，从而优先发展推理能力。该框架通过以下三个步骤实现：
知识检索：给定输入问题x，从外部知识库中检索相关文档R(x)。
知识整合：利用LLMs的参数化知识和检索到的知识，合成领域知识k。
上下文化推理：基于x、R(x)和k生成推理步骤r。
RARE框架的损失函数由知识整合损失和推理损失组成。强调知识整合和推理能力，而非单纯的知识记忆。它通过将知识储存在外部库中，推理时动态检索所需知识，相较于依赖于模型内部的参数来存储和记忆知识的Vanilla模型来说，RARE框架得到推理能力得到了加强。
随后，马东升展示了RARE在多个基准测试的优异性能，尤其是在知识和推理密集型任务上。例如，在MedQA数据集上，RARE达到了82.10%的准确率，超过了其他所有基线方法。此外，RARE在多模态基准测试中也表现出色。利用LoRA进行参数高效微调后实验表明，即使RARE在有限的可学习参数下，准确性仍然高于全参数下的RAG范式。
接着，马东升通过一个医学案例详细分析了RARE方法的推理过程。该案例涉及一位57岁男性患者，表现为血糖控制不佳。RARE通过逐步推理，最终得出了正确的答案，而其他方法（如RAG、SFT+RAG）因推理错误选择了错误的答案。RARE通过综合评估患者的临床指标和既往治疗效果，提供了个体化的治疗方案，最终得出了正确答案。
最后，马东升总结到，RARE是一个具有范式转变意义的框架，它的成功凸显了重新思考记忆与推理之间平衡的重要性。
在热烈的掌声中，第71期本科生论坛圆满结束。
（编辑 林智琪）