Notes · 2026.01.31

MCC 不是准确率

检测指标。

1 min · paper · textguard

论文用 MCC Decay 和 MRS 衡量鲁棒。准确率在类别不平衡时很好看,检测任务里不够。同分布准确率难以反映真实风险。要在迁移和改写条件下检验。指标换了,结论跟着换。不要用旧指标的句子套新表。我写过用准确率想出来的句子,表换成 MCC Decay 和 MRS 之后,句子还留着。留下去读者只记住准确。记住准确,就会用作业集的标准想象日子。日子在迁移和改写。那里语言必须换。

好看的准确率从哪来

正负样本差很多时,全猜多数类,准确率已经不差。检测里「像人写的」和「像机器写的」一旦不平衡,准确率会安慰人。安慰人的数适合放进不想被追问的 PPT。不适合放进要讲风险的稿子。

我参与 TextGuard 相关评测整理。对外只写参与。同分布那张表我看过很好看的版本。好看的版本如果单独出门,读者会以为检测已成。已成这种词,站点上没有。真实风险在生成器换了、领域换了、人类化改写之后。那些条件下,准确率还可能维持一个不至于难看的数,MCC Decay 和 MRS 会把掉下去的那截标出来。

Decay 这个词本身就说明:我们在看它怎么坏,不是只看它怎么好。坏的位置要能讲。讲不出来,指标只是新缩写。

MCC Decay 和 MRS 是口径

口径写在稿子和协议里。站点上的笔记只引用名字,不编新公式,不给未跑的数。名字出现是因为简历里有。简历没有的指标,这里不发明。

MRS 衡量的是改写等条件下还剩多少可用。具体定义以论文为准。我这边能写的是使用纪律:同一张表不要混用准确率的形容词。形容词如「仍然准确」「基本可用」,都是准确率语言。换了 MCC Decay,语言也要换到衰减、还在不在、在哪散。

指标换了,结论跟着换。这句话是限制我自己。我写过用准确率想出来的句子,后来表换成鲁棒指标,句子还在。还在的句子会和表打架。打架时读者信句子。句子更满。所以旧句子要删,不能留着当引言。

同分布是作业

作业要交。交完在正文里降级。降级的意思是:它证明实现没写崩,不证明方法在日子里能用。日子是 OOD,是改写。MGAB、TextGuard-Bench 是为日子准备的。准备过程中如果仍把准确率当主句,准备会走偏。走偏的表现是:大家努力把同分布再提高一点。再提高一点很有事做。事做完,风险还在原处。

阈值按准确率调,再在 MCC 上报告,是另一种套。阈值属于设置,设置要跟报告的指标一致。不一致就要写清楚:阈值按什么选,报告按什么算。写清楚很难看。难看比藏起来好。

不要用旧指标的句子套新表

检查很简单。表头是 MCC Decay 或 MRS,正文里若还有「准确率达到」,就改正文。达到这种词也尽量少。数字指回 run:脚本、split、seed、checkpoint、日志目录。指不回,表自己也不该出门。

NeurIPS 2026 那篇还是 Under Review。站点不摘未公开到可指回程度的分数。名字可以出现。分数不行。分数一摘,读者会当成最终成绩。最终成绩在审稿结束之前不存在。

限制

这篇不教 MCC 的公式推导。公式在教材和稿子里。我只记下检测任务里准确率为什么不够,以及我写对外句子时要换语言。语言没换,等于指标没换。指标没换,鲁棒只是标题。

写站点时我也会手滑,把「仍然准确」留在 MCC 那一段下面。留下去,读者只记住准确。记住准确,就会用作业集的标准来想象日子。日子是 OOD 和改写。那两处语言必须是衰减、散了、还在不在。三个词不好看。不好看才和表一致。一致比好读优先。好读的错句,会把 Under Review 的稿子在读者脑子里提前写成已过关。过关不由我宣布。

换指标不要套旧句子

用了 MCC Decay 和 MRS,结论就不能再抄准确率那一套「整体表现良好」。指标换了,能说的话变少,这是正常的。变少的部分写进 limitation。同分布准确率仍可跑,用来确认实现没写崩,不拿去当主句。主句要经得住换生成器和改写。 类别不平衡时准确率会抬人。检测任务里抬完的人,一换生成器就掉。掉了才是要写的话。没掉的同分布表留在日志里即可。