网站导航

误差、偏差与公平回测

全文共 3739 字,阅读约需 8 分钟

误差、偏差与公平回测:评估区间是第8至14天;每次预测步长都是1天。这不是站在第7天一次预测整整一周。两种任务能使用的信息不同,不能把成绩混为一谈。

← 学习路线
课程目录与学习记录 0 / 109

学习进度仅存于本机浏览器。原教程站的记录不会跨域自动迁移;可先在原站导出留存,新站按实际完成情况重新勾选。

入门数据与作业包

禾味数据为 2 店 × 8 SKU × 180 天,共 2,880 行,是可见教学数据,不是封存盲测集。起步包是模拟夹具,不表示已完成六行业预测实验。资源中心另有四专项工程、模型实验和计划实验,使用前请阅读各自能力边界。

本阶段可直接下载:P01/P03输入、生成器、操作说明与参考答案。先做题再看answers目录。

第4章 回测让你知道方法究竟有没有用

4.1 回测就是回到过去作出当时能够作出的预测

对14天样本,我们先做逐日滚动的次日预测:

  • 在第7天结束时,只看第1至7天,预测第8天。
  • 第8天实际值到达后,在第8天结束时预测第9天。
  • 一直重复到第14天。

评估区间是第8至14天;每次预测步长都是1天。这不是站在第7天一次预测整整一周。两种任务能使用的信息不同,不能把成绩混为一谈。

4.2 用同一张评分表比较

目标日实际kg昨日法kg上周同日法kg7日移动平均kg
822282025.43
924222225.71
1023242126.00
1125232326.29
1232253026.57
1336323426.86
1430362827.14

表中预测显示两位小数,评分使用未四舍五入的数值。不要把展示精度当作模型精度。

昨日法的误差依次是−6、2、−1、2、7、4、−6kg。绝对误差合计28kg,实际总量为192kg。

上周同日法每天的误差都是2kg。绝对误差合计14kg,但这14kg全部来自低估,不存在高估与低估抵消。

4.3 四个先学会就够用的指标

MAE 平均绝对误差。 计算每次偏差的绝对值,再取平均:

MAE=Σ|实际−预测|÷预测次数。

昨日法MAE=28÷7=4kg。可以读成:“在这7次次日预测里,每次平均偏差4kg。”它与目标单位一致,容易和业务讨论。

RMSE 均方根误差。 先平方,求平均,最后开平方:

RMSE=√[Σ(实际−预测)²÷预测次数]。

昨日法平方误差合计146,因此RMSE=√(146÷7)≈4.57kg。它对少数大偏差更加敏感。如果一次严重短缺比多次小偏差更难接受,可以把它作为补充,但最终仍应检查真实成本。

WAPE 加权绝对百分比误差。 本文在实际值非负的口径下采用:

WAPE=Σ|实际−预测|÷Σ实际。

昨日法WAPE=28÷192≈14.58%。上周同日法WAPE=14÷192≈7.29%。它不是“每次误差百分比的简单平均”,也不是“预测正确的概率”。不建议把1−WAPE直接包装成普遍意义的“预测准确率”。

如果一个评估分组的实际总量是0,WAPE未定义,不能随意报成0%。应单独报告绝对误差与零需求样本情况。若目标允许负值,例如净退货量,要重新约定分母和评价方式,不能机械沿用这一定义。

Bias 平均有符号误差。 本文定义为:

Bias=Σ(实际−预测)÷预测次数。

大于0表示平均低估,小于0表示平均高估。不同系统可能用相反方向,所以报表必须写清定义。平均低估可能增加缺货风险,但是否真的缺货还取决于库存与补货策略。

为避免与后续专项的百分比偏差混淆,这里的量也称ME(mean error,平均误差),单位kg,方向为实际减预测。另一个常用量“相对预测偏差率”定义为Σ(预测−实际)/Σ实际,单位为百分比,正值表示高估。两者名称、方向和单位都应同时标出,不能在同一图里只写Bias。

方法MAE kgRMSE kgWAPEBias kg
昨日法4.004.5714.58%0.29
7日移动平均3.844.5813.99%1.14
上周同日法2.002.007.29%2.00

这个结果支持的结论是:“在这个刻意带有周周期的7次教学回测中,同周法的绝对误差更低,但持续低估。”它不支持“同周法适用于所有餐饮企业”,也不支持“预计真实业务能降低一半损耗”。

4.4 为什么不优先用MAPE

MAPE先计算每一行|实际−预测|÷实际,再平均。实际为0时无法直接计算,实际接近0时比值会非常大。例如实际1件、预测3件,误差为200%;实际100件、预测102件,误差为2%,虽然两次都偏了2件。

服装尺码SKU或低频食材经常存在0销量日,MAPE会让评价失真或无法计算。WAPE缓解了单行0值问题,但它更受大销量对象影响,不能代表每个SKU都表现不错。MAE、RMSE与百分比误差的基本定义和零值限制见Forecasting Principles and Practice 第5章的评估部分。

同时预测多店多SKU时,至少报告三层结果:全体汇总指标、门店或商品分组指标、低量与高量对象分组指标。不同食材都以kg计量,也不意味着它们每kg短缺或报损的经济成本相同。

4.5 未来7天一次预测与每天更新要分开

假设站在第7天要一次生成第8至14天的预测:

  • 昨日法可以把28kg延续到7天。
  • 同周法可以直接重复第1至7天的星期模式。
  • 移动平均若做递推,就必须把先前预测值放入后面的窗口,而不能偷用尚未发生的实际值。

如果站在第7天,却给第9天的预测用了第8天真实耗用,那就是用更容易的“每天更新”任务伪装成“提前一周预测”。应在每条结果里保存origin_date、target_date、horizon和model_version。

4.6 统一180天切分并识别已经暴露的测试区间

180天实验统一采用112天训练、28天验证、40天历史测试的边界:

  • 第1至112天:初始训练区间。
  • 第113至140天:验证区间,用于比较特征、窗口和模型设置。
  • 第141至180天:历史已暴露测试区间,用于复现、复核和诊断既有结果,不能再称为未见过的独立最终测试。

“已经暴露”是指开发者已经看过这段数据或成绩,并可能据此形成模型、特征或参数选择。即使文件仍叫test,或者把预测重新跑一遍,它也不会自动恢复独立性。本文14天手算样本与这份180天实验仍是两个不同数据集,不能拼接或互称截取。

若任务是每周生成未来7天预测,验证起点可用第112、119、126、133天,正好覆盖第113至140天。历史复核区间可用第140、147、154、161、168天作为起点,覆盖第141至175天的5个完整7天批次;剩余第176至180天只能作为从第175天起点出发的1至5步部分结果,单独标明步长与样本数,不能伪装成完整第6周的7步成绩。若任务是每天更新次日预测,则可在第140至179天逐日起算,评价第141至180天的全部40次预测。两种任务分别报分,不混算。

每个历史起点只能使用当时已知的数据。是否允许每周重新训练,也要提前写定。如果生产方案确实每周更新训练数据,评价时可以按固定规则纳入已经发生、已经到达的历史记录。但看过成绩后又更换特征或调整超参数,再在同一时间段报告结果,只能称为进一步的开发或历史复核。

需要评价新的独立泛化效果时,应另生成并保护一份尚未查看的模拟测试序列,或收集后续新时间段数据。先锁定数据生成或采集规则、模型选择与评价协议,再揭开测试;不能反复选择随机种子直到得到好成绩。新的模拟测试也只能检验指定生成机制下的表现,不能替代真实业务验证。

所有门店与SKU应按共同的时间边界切分。不要把整个长表随机抽80%训练、20%测试,否则同一天其他门店、未来星期或同一对象未来记录可能进入训练。另有“新店泛化”目标时,还需要专门保留未见过门店进行检验,这与普通时间外推是不同实验。

时间滚动验证只允许历史预测未来。工具使用时还要注意采样间隔与测试持续时间的一致性,见scikit-learn TimeSeriesSplit文档。对多门店长表,通常应按唯一日期构造切分,再映射回记录,而不是直接按任意行顺序切。

4.7 五种常见的数据穿越

  1. 用未来实际天气代替当时可见的天气预报。
  2. 预测明天时,把明天总订单数作为输入。
  3. 先用全部数据计算均值、补缺或标准化,再切训练测试。
  4. 计算过去7天平均时,窗口包含了待预测当天的目标。
  5. 用后续盘点、促销修订或商品最终生命周期标签回填过去的特征。

正确顺序是先切分,再在训练区间学习处理规则,最后将同一规则应用于后续区间。每轮滚动实验都应重新遵守这条顺序。官方防泄漏说明见scikit-learn Common pitfalls。

4.8 电子表格评分做法

假设A2:A8是真实值,B2:B8是某模型预测值:

  • C2写=A2-B2,向下填充,得到有符号误差。
  • D2写=ABS(C2),向下填充,得到绝对误差。
  • E2写=C2^2,向下填充,得到平方误差。
  • MAE:=AVERAGE(D2:D8)
  • RMSE:=SQRT(AVERAGE(E2:E8))
  • WAPE:=SUM(D2:D8)/SUM(A2:A8),将单元格设置为百分比。
  • Bias:=AVERAGE(C2:C8)

本章练习。 模型A的MAE是2kg、Bias是2kg;模型B的MAE是2kg、Bias是0kg。是否可以说两者同样好?

参考答案。 只能说平均绝对偏差相同。A持续偏低,B可能高低抵消。两者对库存的影响可能不同,还应看误差分布、发生在哪些SKU以及采购策略。Bias为0也不代表每次都准确。

本阶段项目与验收

阶段3:先证明没有偷看答案(3课)

课程:①MAE/RMSE/WAPE/Bias;②时间切分与滚动原点;③未来特征、快照与泄漏测试。

项目P03“给好得离谱的模型找作弊点”:读取project-fixtures/P03/input的2,880条数据与故障特征/切分文件,已实际设置centered滚动、target未来销量、全数据归一化、随机切分4类缺陷,逐一修复;并制作单步与固定5步两种预测账本。

交付:evaluation_protocol.md、forecast_ledger.csv、leakage_tests.py、误差分布图。

验收:所有feature.available_at≤origin;训练最大目标日期≤原点可观察时点;验证单步28目标、5步24窗口;4类已注入泄漏均检出;全零实际值时WAPE显示“未定义”而非0或无限大。

仅保存在本机当前浏览器,无账号云同步;清除浏览器数据会丢失。不自动认定你通过测试。建议先保留输出文件和计算过程。

所有数据、系数与业务场景均为教学模拟。预测不等于采购或排产指令。来源与修订说明。