用 XGBoost 筛延寿化合物：准确率 80.36% 好看，但 AUPRC 只有 0.52

一句话结论：同一份 STITCH 化合物-蛋白互作数据，换成三种表示方式（连续互作概率 / 固定阈值二元 / 交叉验证内优化阈值二元），模型的预测性能与「怎么解释模型」会同时改变——XGBoost 最高准确率 80.36%、AUROC 0.7605，而 AUPRC 只有 0.52–0.53。

⚠️ 本文为预印本，未经同行评审；本次仅依据官方摘要撰写，全文未获取（bioRxiv 源站对本环境返回 HTTP 403），摘要未给出之处标「待补全文」。

这项研究想回答什么

延寿化合物的实验筛选成本极高（寿命实验动辄数月），因此「用计算模型先排序、再上湿实验」是长期存在的思路。但这类任务有一个结构性问题：化合物-蛋白互作数据本身是稀疏且不确定的——STITCH 给出的是「互作概率」这种预测值。

于是问题被拆成两层：把互作概率当连续值用、还是卡阈值变成二元？以及——这个选择会不会连带影响「模型认为哪些蛋白重要」？后者才是真正有用的部分，因为很多人拿这类模型来反向提名机制靶点。

他们怎么做的

• 特征来源：STITCH 数据库的化合物-蛋白互作。
• 标签：*C. elegans* 中的延寿化合物分类；标签来源库与纳入标准摘要未说明 → 待补全文。
• 三种特征表示：① 连续互作概率；② 固定阈值 0.5 的二元特征；③ 在交叉验证内部选出的优化阈值二元特征。
• 模型：Random Forest 与 XGBoost，分层 10 折交叉验证。
• 可解释性：MDI、SHAP、TreeSHAP、LIME 四种方法，用 Jaccard 相似度比较 Top 特征排序。

核心发现

模型 / 表示	准确率	AUROC	AUPRC
Random Forest · 固定阈值二元	78.84%	0.7391	0.5202
XGBoost · 优化阈值二元	80.36%	—	—
XGBoost · 连续特征	—	0.7605	0.5332

• 解释的一致性：SHAP 与 TreeSHAP 一致性最强，在三种 XGBoost 表示下给出完全相同的前 10 蛋白特征集；MDI 与 LIME 则未必如此。
• 作者的落点：应当把分类指标与可解释性放在一起评估，而不是只看准确率。

证据边界与必须保留的怀疑

1. AUPRC 0.52–0.53 才是本报告最关键的数字。准确率 80% 好看，但正负样本若不平衡，准确率会被多数类撑起来；AUPRC 接近随机线的水平说明「Top-N 候选里真阳性的比例有限」。摘要未给正负样本数量与比例 → 待补全文。
2. 只在 *C. elegans* 上训练与验证，无酵母 / 果蝇 / 小鼠的独立外推测试 → 迁移到哺乳动物延寿筛选的能力未知。
3. STITCH 偏向被研究充分的化合物，对全新骨架泛化能力存疑；且互作概率本身是预测值而非实测，误差会传导进模型。
4. 无湿实验验证：摘要未报告任何新预测的化合物被实验证实延长寿命。

为什么值得关注

这篇的定位是「方法与基线的校准器」，不是「新靶点发现者」。三点价值：

1. 给出了可对照的基线数字（RF 78.84% / AUROC 0.7391；XGBoost 80.36% / AUROC 0.7605 / AUPRC 0.5332）。自建模型时可以直接比照这道线，判断特征工程是不是真有增益。
2. 「特征表示改变解释」这个发现比性能数字更有用。SHAP/TreeSHAP 在三种表示下给出相同的 Top-10，而 MDI/LIME 未必——提示在延寿化合物这类小样本任务里，解释方法本身的稳定性需要单独验证，否则「模型挑出的候选蛋白」可能只是表示方式的产物。
3. 可接手的改进方向：把「化合物-蛋白互作」特征换成「化合物-衰老通路」特征，性能上限会不会更高？这是一个能直接上手的对照实验。