运行可比性核对

把两次实验的种子、划分、批量与损失配置放在一起核对,先确认它们能不能直接比较。

同一套指标放在一起看之前,先要确认这两次运行是不是同一种实验。数据划分变了、损失权重调过、有效批次不同,指标数字就没法直接放在一行里。

数据划分除了比例,更可靠的是填上划分标识(split hash 或版本号):比例相同并不证明用的是同一份划分。

这个工具只核对记录本身是否可比。它不判断方法优劣,也不判断结果是否达标。字段填得一致也不等于评测协议相同,指标定义、评测脚本和数据预处理还需要另外确认。

运行记录

A 运行 A

B 运行 B

核对结果

填写两侧的运行记录后,这里会列出可以直接比较、以及需要注意的地方。

只核对记录是否可比,不判断方法优劣、创新性或指标是否达标。全部计算在浏览器本地完成,输入内容不会离开这台设备。