SRE-Bench：面向 AI 代理的无污染逆向工程基准

当天发生了什么

2026-08-11 22:14（UTC），arXiv 收到论文《The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark》的 v1，主分类 cs.CR；论文于 2026-10-01 更新为 v2，以下数字取自核对时页面上的摘要。作者认为，可靠的逆向基准必须不在训练数据中，并体现真实程序的规模和反分析保护。SRE-Bench 由逆向专家用 5,000 多小时从零构建，包含 19 个私有的真实规模程序，平均 16.9K 行代码；作者自研了 44 种反分析机制，得到 262 个二进制实例和 1,572 个可确定性评分的任务，并评估了 11 个模型的 13 种代理设置。摘要称，两个前沿代理分别只完整解决 31.5% 和 26.9% 的实例；在不设预算、关闭安全防护的内部设置下，有模型的 pass@4 接近满分，但可靠地选出正确答案仍然困难。

对保护应用逻辑的人意味着什么

这篇论文对防守方最有用的一句话是：代理在很大程度上对编译器优化和静态链接不敏感。换句话说，开高优化级别或静态链接，不应被当作抵御 AI 辅助分析的手段。第二个信号来自两组结果的对比：两个前沿代理完整解决的实例不到三分之一；而在不设预算上限的设置下，多次尝试几乎都能解出。这说明保护效果更适合用「让对方付出多少时间和成本」来描述，而不是「能否被破解」。摘要还指出，污染控制和真实规模对评估结论至关重要，这也提醒我们：在公开样例或小程序上测出的「AI 读不懂」，不能直接外推到自己的产品。

可以落地的检查

第一，从保护清单中删除「高优化级别」「静态链接」这类不应被算作保护的条目，或明确标注它们不是安全措施。第二，为每项需要保护的资产写下目标：希望对方至少付出多少时间或成本，并据此决定哪些逻辑必须放到服务端。第三，评估自家构建时使用真实规模的发布版本，而不是演示程序，并记录所用工具和模型版本。第四，随着模型更新定期复测，因为同一份构建在不同时间点面对的分析能力并不相同。

行动清单

• 不把高优化级别或静态链接计为保护措施
• 为每项资产设定期望的分析成本目标
• 用真实规模的发布版评估并记录工具与模型版本
• 模型更新后定期复测同一构建