HackerSignal:745 万条黑客讨论与 34 万个 CVE 对上号,附数据集下载

导语:HackerSignal 进了 NeurIPS 2026 数据集赛道:745 万条去重文档、64 个来源、34 万个 NVD CVE,专治“这段 PoC 说的是哪个漏洞”。数据集和代码都能下载。

一张“黑话对照表”

(图源:KitPloit 官方卡片)

HackerSignal 由 BenAmpel 维护,代码 MIT 协议、数据 CC BY 4.0,论文挂在 arXiv(编号 2605.03158),已入选 NeurIPS 2026 Evaluations & Datasets Track。名字直白:它要解决的是安全圈的老问题——一段漏洞利用代码、一则安全公告,到底说的是哪个 CVE?

规模摆出来就挺唬人:7,447,646 条精确去重文档,来自 64 个公开论坛与来源标识,分 8 个来源层。其中黑客社区层最大,6,966,014 帖,来源包括 Gayanku、Antichat、Evolution、AntiOnline、HackForums;漏洞侧是 340,536 条 NVD CVE 描述,另有利用归档、利用问答、安全公告、漏洞赏金披露、修复提交和 CISA KEV 目录。

语言分布比想象中更有意思:除英文外,俄语占 182 万帖(主要来自 antichat),波斯语 28 万帖(persiantools),30.2% 与 CVE 关联的论坛帖以西里尔字母为主。时间跨度从 1988 年跨到 2026 年,元数据用 Croissant JSON-LD 描述,还配了数据集说明书和来源发布清单。

三个任务才是重点

(图源:HackerSignal 论文)

任务一是给一段利用、公告、修复提交或赏金披露文本,从 34 万条 NVD 描述里把对应的 CVE 捞出来,答案来自来源元数据。任务二把利用文本分成注入、XSS、内存破坏、拒绝服务、文件包含、认证与访问控制、远程代码执行、信息泄露八类,训练集早于 2020 年、验证集 2020 至 2022、测试集 2023 年以后。

任务三最狠:训练用 2022 年前发布的 CVE、验证用 2022 至 2023 年、测试用 2024 年及以后,和训练集完全不相交。换句话说,它专门考你的模型在“训练之后才冒出来的新漏洞”上还灵不灵。

(图源:HackerSignal 论文)

基线成绩:比想象中难

(图源:HackerSignal 论文)

检索任务上,BM25 的 R@1 是 0.595,all-MiniLM-L6-v2 提到 0.655,BGE-base-en-v1.5 拿到最佳 MRR 0.714,BM25 与 mpnet 的混合模型 R@1 最高 0.679、任务三 MRR 0.730,前两名统计上打平。分类任务上,安全领域预训练模型确实占优:CySecBERT 的 Macro-F1 为 0.898,SecureBERT 紧随其后 0.892,GRU 0.858,BiLSTM 0.856,RNN 则是 0.436 的垫底成绩。

但整个数据集里最有意思的数字,藏在论文的论坛帖试点里:把 1,964 条与 CVE 关联的论坛帖里的 CVE 字符串全部遮住,再让模型去检索——MRR 只有 0.064 到 0.078。也就是说,规规矩矩的 exploit/advisory 文本模型能对付,真正的论坛黑话、错别字、缩写和隐语,直接把性能打回地板。这条数据比任何跑分都诚实:真实攻击者的表达,远没有公告写得工整。

下载地址

数据集主页(Hugging Face):https://huggingface.co/datasets/BenAmpel/HackerSignal 代码仓库(GitHub,MIT):https://github.com/BenAmpel/hackersignal 论文:https://arxiv.org/abs/2605.03158

常用文件直链都在 resolve/main/ 下面:

12.6 GB 的全量 JSONL 建议别急着下,先拿 1 万条样本或者三个任务的测试集试手;仓库里的 data/benchmark_v2/ 已经带了测试切分,克隆代码就能跑。加载方式作者也给了现成的:

from datasets import load_dataset

base = "hf://datasets/BenAmpel/HackerSignal/benchmark_v2"
task1 = load_dataset("json", data_files={
    "train": f"{base}/task1_cve_linkage/train.jsonl",
    "validation": f"{base}/task1_cve_linkage/val.jsonl",
    "test": f"{base}/task1_cve_linkage/test.jsonl",
})
corpus = load_dataset("json", data_files=f"{base}/task1_cve_linkage/corpus.jsonl", split="train")

要复现论文里的基线,一条命令的事:

git clone https://github.com/BenAmpel/hackersignal.git
cd hackersignal && pip install -e ".[sentence-transformers]"
PYTHONPATH=src python3 -m etg.benchmark.run_baselines_v2 
    --data-dir data/benchmark_v2 --output data/benchmark_v2/results.json

紫队怎么看

从红队视角,这份语料其实是一张“攻击者知识地图”:哪些漏洞类型在什么时间段被集中讨论、在哪个语言圈子里流通,都能从时间分布和来源构成里读出来。叠上 CISA KEV 层和修复提交层,还能去算一个安全团队真正想要的指标——从论坛出现热议,到漏洞进入 KEV 名单,中间有多少天的提前量。

从蓝队视角,CVE-R 检索可以当 triage 助手:手里有一段可疑的利用样本或来路不明的公告,丢进去反查它指向哪个 CVE,比人工翻 NVD 快一个量级。任务三更像一场期末考,提醒我们模型上线后真正要面对的是训练之后才出现的新漏洞,而不是 benchmark 上那点漂亮数字。

风险和合规也得提醒一句:数据集里是未经清洗的黑客论坛原文,可能夹带冒犯性内容、泄露的凭据和恶意链接,喂给大模型之前务必自己加过滤层;授权上数据是 CC BY 4.0,但每个来源另有各自条款,商用和再分发前得逐源核对发布治理文档,别把“CC BY 4.0”当成一纸通行证。

版权声明:本文由华盟网原创发布,保留所有权利。文中配图来自 HackerSignal 项目仓库、论文与官方卡片,按其 MIT/CC BY 4.0 协议引用。