NullPrime基准发布：测试AI能否识别无法判断的问题

Brian Miedlar 发布 NullPrime 数据集与 LLM 测试协议，用剔除小素数整除信号的素数判定题作为负对照，检验模型能否在无法判断时弃答。该协议已于 2026-10-17 在 OSF 预注册，注册后的每项改动都记录在案。 数据集生成方式为运行 python make_numbers.py 50 15，生成 50 个新的 15 位数（一半为素数，且不含 10,000 以下的因子），答案写入 answers.csv。用户也可在自有模型上运行该测试，需使用 Inspect、工具条件所需的 Docker，并在 .env 中配置 API 密钥。结果文件 results/responses.jsonl.gz 收录了八个模型共 18,642 条回答。代码采用 MIT 许可，数据采用 CC-BY-4.0 许可。

AI 根据报道生成 · 22 小时前更新