SciRerankBench：面向科学检索增强生成大语言模型的重排序器基准

面向科学领域重排序 RAG 的评测基准 SciRerankBench（Scientific Rerank-oriented RAG Benchmark），用于评估 RAG-LLM 系统中的重排序器，覆盖 5 个科学学科领域。该基准构建于超过 2.5 亿篇学术文献以及 1 亿余名作者的数据之上。为了从噪声鲁棒性、相关性辨析能力和事实一致性三个方面严格评估重排序器的性能，我们构建了三类“问题–上下文–答案”（Question-Context-Answer，Q-C-A）样本，即噪声上下文（Noisy Contexts，NC）、语义相似但逻辑无关上下文（Semantically Similar but Logically Irrelevant Contexts，SSLI）以及反事实上下文（Counterfactual Contexts，CC）。