网站导航

毕业项目与上线边界

全文共 5166 字,阅读约需 11 分钟

毕业项目与上线边界:这里尤其需要注意:主案例的既有测试汇总已经公开,不能再把 D141 至 D180 称作从未触碰的盲测。如果后续看到这些结果又修改模型、特征或规则,这一段已经参与了开发判断。它仍可用于教学复盘,却不能充当新方案无偏评估的独立证据。

← 学习路线
课程目录与学习记录 0 / 109

学习进度仅存于本机浏览器。原教程站的记录不会跨域自动迁移;可先在原站导出留存,新站按实际完成情况重新勾选。

入门数据与作业包

禾味数据为 2 店 × 8 SKU × 180 天,共 2,880 行,是可见教学数据,不是封存盲测集。起步包是模拟夹具,不表示已完成六行业预测实验。资源中心另有四专项工程、模型实验和计划实验,使用前请阅读各自能力边界。

8 回测 把每一次预测当成真实业务的一次演练

8.1 统一一套 180 天教学协议

统一沿用主案例的数据边界,不另换一套更好看的切分:

  • 可用模拟历史为 D1 至 D180,基础粒度是对象 × 日。
  • D1 至 D112 为训练区间,用于拟合模型及训练期内的数据处理。
  • D113 至 D140 为验证区间,用于选择特征、模型和参数。
  • D141 至 D180 为既定测试区间,用于记录该阶段方案的比较结果。
  • 每个预测起点均设在该日收盘、数据已按约定完成入库之后。示范在 D112 收盘预测 D113 至 D126,说明一次未来 14 天的任务。

这里尤其需要注意:主案例的既有测试汇总已经公开,不能再把 D141 至 D180 称作从未触碰的盲测。如果后续看到这些结果又修改模型、特征或规则,这一段已经参与了开发判断。它仍可用于教学复盘,却不能充当新方案无偏评估的独立证据。

若需要比较修改后方案的泛化表现,应先冻结方案与评价规则,再另外生成独立模拟测试期,或等待未来尚未观察的真实数据;不能看完新测试结果又选模型,再把它称为独立测试。模拟测试的结论也只适用于所设数据生成机制,不等于真实经营收益。

评估必须继续遵守同一训练、验证、测试分区。若采用滚动预测,哪些历史观测允许进入下一次预测、是否更新状态、是否重新拟合参数,都应提前统一并记录,不能因模型不同偷偷更换规则。只有预测起点之后、真实值已经发生且入库的信息,才可进入后续起点的输入。参数重新拟合与只更新输入不是同一件事。

每次训练只能使用当时已经可获得的数据、标签和计划版本。历史需求修订也需考虑,不能默认今天看到的数据库就等于当时的数据库。若采用每日起点,重叠的未来窗口会让评估误差相关,不能把每个重叠预测当成完全独立样本来夸大统计显著性。

TimeSeriesSplit 等工具能帮助维持时间顺序,但它不知道业务的标签延迟、事件更新和 SKU 分组。多步标签跨界时,需要按标签终点剔除尚未成熟的训练样本;gap 应依据具体信息时点和标签跨度确定,并非任何项目都机械设置成固定天数。时间顺序交叉验证工具说明

8.2 禾味从业务到模型的演练

定义目标。 优先预测顾客菜品需求,再按净料配方推导食材净需求,净需求除以有效出成率得到毛需求。例如每份需净料 0.15 公斤,100 份的净需求为 15 公斤;若有效出成率为 75%,对应毛需求为 15÷0.75=20 公斤。若配方已经给出每份毛料定额,不应再重复计算出成损耗。其他报废或保管损耗也应按明确口径另行处理,避免重复计入。若只具备实际用量数据,则明确目标是观测用量。把缺货日、菜单停售和闭店日标记出来,不能对受限销售假装有完整需求真值。

定义候选。 相同星期的朴素预测;简单指数平滑或季节模型;带日历与促销的回归;全局树模型。并非每个 SKU 都需要同一种模型。

定义输入。 只使用起点前的需求摘要、已知的目标日日历、截至起点已批准的活动和团餐订单。天气仅使用当时可获得的预报版本;没有存档就暂不作为正式可上线结果。

定义决策。 14 天预测供计划人员查看,短提前期累计分布用于实际采购。二者共享信息,但验收指标不必相同。

定义比较。 用同一批起点、同一数据清洗规则、同一目标和同一单位,比较误差、偏差及区间覆盖;再以相同库存政策做离线模拟。不能让新模型拿更干净的真值、旧模型拿脏数据。

定义边界。 16 条序列、180 天数据适合教学和流程验证。年季节性、大型节庆和极端天气缺乏足够重复观察,必须单独标注风险,不能把一次活动表现外推成稳定规律。

8.3 服装企业从订单到产能的演练

定义对象。 先区分终端销售、客户新订单、未交订单和实际交付。若任务是未来新订单量,已存在的未交订单应进入已承诺工作量,不要作为尚未发生订单重复预测。

定义生命周期。 常销成熟款、季节款、新品和退出款分开评估。这里的类别来自预测时点可获得的业务状态,而不是看完整销量曲线后事后分类。

定义候选。 成熟连续需求保留季节基线、回归和全局树;低频补单比较零预测、历史平均率、Croston、SBA、TSB 或两阶段模型;新品采用类比、属性模型和上线后更新。

定义聚合。 日预测可能服务接单预警,周预测可能服务产能安排。面料、品类、客户等分组用于相加一致和风险查看,但应避免重复汇总交叉维度。

定义计划衔接。 先预测需求,再结合确认订单、标准工时、设备能力、换线时间、物料和交期求排产计划。不能把产能上限直接截到预测需求上,然后宣称需求更平滑、更准。

定义验收。 同时看款色码、款式和品类层;同时看新订单误差与预计工时误差。不同工艺每件耗时不同,总件数预测变准不一定减少产线拥堵。

8.4 结果表必须能回答为什么

一张合格结果表至少包含:评估对象和范围、预测起点、步长、目标口径、数据版本、基线、候选模型、点预测指标、偏差、概率指标及样本量。

对于总量比率指标,须写清是“全部对象汇总后计算”还是“先逐 SKU 计算再平均”。前者容易被大 SKU 主导;后者可能让很小的 SKU 拥有同样权重。可以同时展示业务加权总览与分组结果,但不要混用分母。

对缺货日没有潜在需求真值的情况,应分别报告可验证的观测销售指标和带假设的需求校正或库存模拟。模拟能帮助比较方案,但不能凭空消除真值不可观测的问题。

9 生产落地 从模型文件到可追溯的业务能力

9.1 先做离线可重复,再做上线

生产化的第一份交付不应只有模型文件,而应是一套可重跑的预测任务说明:数据快照、变量定义、训练截止、模型版本、预测输出、评估方法和回退策略。课堂模拟与生产上线分开,本教程不执行部署。

建议输出至少保留:

  • 对象 ID、单位与粒度。
  • 预测发起时间和目标日期。
  • 点预测的含义,例如均值还是中位数。
  • 各分位数及对应概率水平。
  • 数据、配方、计划、模型和层级版本。
  • 条件情景,例如“按已批准促销计划”。
  • 基础预测、协调后预测、人工调整后预测,分别存列或存版本。
  • 异常、缺失、回退和有效期标记。

这样业务才能分清“需求发生变化”“计划发生变化”“模型换版”和“有人手工改了数”。

9.2 数据检查和回退必须先于复杂模型

可以把检查分成三层。

第一层检查可计算性:时间是否断档、单位是否混乱、ID 是否重复、未来计划是否覆盖整个预测窗。

第二层检查业务合理性:关闭门店是否仍预测需求、停售 SKU 是否仍按常销处理、预测是否超出历史和业务允许的合理范围、分位数是否交叉、层级是否相加一致。

第三层检查运行可靠性:训练是否完成、推理耗时是否超预算、输出是否按时到达采购和计划系统。

若天气接口失败,可以按预先验证的无天气模型回退;若某 SKU 数据不足,可以回退到品类或类比预测。不要临时用未来实际值填补缺失特征。所有回退应在输出中可见,且经过相同任务的回测。

9.3 影子运行和小范围试点

先在影子模式下产生预测,不改变真实采购或排产,检查数据更新、任务截止、反馈延迟和异常处理。随后在经过授权和风险控制的小范围里试点,设置库存、采购额或人工审核等边界。

禾味可按门店或食材组观察,但只有两家门店时,简单“一个店旧方案、一个店新方案”很容易受门店差异干扰。应谨慎设计交叉时段、匹配或其他适合业务的评估方式,考虑促销、天气和缺货反馈。

服装协同企业需要考虑共享产能造成的相互影响。一个品类改了计划,可能挤占另一个品类的产线,因此不能把所有组都当成互不干扰的独立实验。

离线预测更准和实际库存收益之间还有库存政策、执行质量和供应约束。最终验收不应只看模型误差。

9.4 上线监控看四种变化

数据变化。 新 SKU、缺失率上升、单位或配方变化、订单状态定义改变。

输入分布变化。 促销力度、客群、渠道或价格范围变了,即模型开始遇到没学过的场景。

误差变化。 在真实标签成熟后,按步长、门店、品类和活动类型看误差、偏差、覆盖率,而不是只有一条总体准确率。

业务结果变化。 缺货、报废、库存、加急采购、加班和延期。指标变化要结合执行和供应事件解释,不能全部归因给模型。

重训可以按固定周期进行,也可以由明确事件触发,但触发后仍需验证。不能把“每天自动重训”误当作持续变好的证据。

9.5 人工调整要证明自己有价值

规划人员往往知道模型未收到的团餐、临时活动或客户意向。系统可以支持调整,但应保留原值、调整值、理由、人员、时间与适用窗口。

事后比较模型原始预测与人工调整后的结果,称为预测价值增益分析。比较必须对准调整当时可获得的信息,并按理由、对象和步长分组。若某类调整长期只增加偏差,就应该修改流程;若某类新信息持续有效,应考虑将它正式接入模型。

系统不要让手工改动覆盖原始预测,也不要把已经发生的订单补录伪装为之前预测准确。

10 进阶综合练习与参考答案

练习一 抓出六个上线风险

团队给出方案:用禾味 14 天数据训练一个深度模型;随机抽取 20% 行做测试;加入目标日实际气温和当日最终库存;把 16 条序列的 P90 直接相加供采购;用“P90=90% 满足率”向业务解释;上线后人工可覆盖预测且不留原值。

参考答案:

  1. 14 天数据不足以支持复杂模型可靠比较和较长季节识别,应扩充合法历史并保留强基线。
  2. 随机按行切分破坏未来预测任务,应按起点与标签时间回测。
  3. 未来真实天气及最终库存并非起点可用信息,存在泄漏;库存还可能受需求和策略共同影响。
  4. 不同单位或不同食材不能无定义地求和;即使单位和范围一致,也不能直接相加分位数当作总量分位数。
  5. 分位数覆盖、周期服务水平与单位满足率不是同一概念。
  6. 人工覆盖不留版本,使误差归因、回滚和价值评估失去依据。

练习二 为服装新品设计一个合法回测

任务:在新品上线前预测其前四周订单,只有款式属性、渠道计划和历史老款资料。

参考答案:按历史上市批次选测试新品;每批只用其上市前已存在的资料训练;冻结相似款选择和属性处理;不提供该新品上市后的真实销量;评估四周各周及四周累计误差、分位数质量和对面料或产能的影响。随后另设“已获得第一周数据”的更新任务,不能把两个任务混为一谈。

练习三 处理已确认订单和需求预测

服装企业目前有未来四周已确认订单 500 件,模型预测未来四周总需求 800 件。计划员直接合计为 1,300 件,是否合理?

参考答案:取决于模型目标。若 800 已包括确认订单对应的总需求,直接相加会重复计算。若模型明确预测尚未确认的新增订单,才可在一致窗口和取消规则下与 500 合并。首先修订字段定义和界面标签,而不是争论采用哪个模型。

练习四 校准与成本选择

禾味两种方案:甲的名义 80% 区间覆盖率 79%、平均宽度 12 公斤;乙覆盖率 58%、平均宽度 5 公斤。能否说乙更精确?若少备与多备成本之比为 4:1,简化单周期模型应该关注哪个分位数?

参考答案:不能仅凭更窄说乙更好,它明显欠覆盖。还需比较分位数损失和业务成本。4:1 对应目标分位数 4/(4+1)=0.8,即 P80,但仅在该单周期成本模型的假设适用时成立。

练习五 选择一个最小可行模型组合

禾味拥有 180 天、2 店、8 食材的教学数据,服装企业同时有成熟款、低频补单和新品。要求先做离线验证,不部署。

参考答案:禾味先跑按星期的朴素基线、简单季节模型和一个带合法日历与促销输入的共享树模型。服装成熟款保留季节基线与全局模型,低频补单比较历史平均率及 Croston 家族,新品采用结构化类比或属性模型。使用统一滚动回测和新品分组回测,分别输出适用范围、误差、偏差、概率质量和业务模拟。没有证据证明收益前,不增加更复杂架构。

本部分完成后的能力检查

如果能够清楚回答以下问题,就已具备与算法、数据和业务团队共同评审进阶预测方案的基础:

  • 这一列在预测起点已经知道,还是事后才知道?
  • 模型输出的是需求、销售、用量、订单还是交付?
  • 共享训练、跨变量依赖、分层一致和多步输出分别如何实现?
  • 该 SKU 的零值是真实零需求、受限销售还是缺失?
  • 新品回测是否真正模拟了新品上线时的信息条件?
  • 我们需要的是日需求分位数,还是采购保护期的累计需求分布?
  • 精度改善是否出现在真实要做决策的对象和窗口?
  • 如果特征缺失、计划变化或模型失败,系统如何回退并留痕?

先进的预测系统不以模型名字判断成熟度。它应能清楚说明预测条件,可靠复现当时可获得的信息,量化不确定性,并在采购与计划流程中接受真实结果检验。

本阶段项目与验收

阶段16:组合成一套可复现的计划原型(3课)

课程:①输入输出契约与失败回退;②干净环境复现和回归;③教程证据到文章,不夸收益。

项目P16“预测到人工审核建议”:选匿名服装预售→净留存→交期→材料建议,以及禾味杯量→BOM→保质期→箱规订货两条链;附六行业映射和六专项测试结果。库存只读模拟,建议单需人工批准,不能变成真实采购/排产/短信/改价。

交付:可运行入口、锁定依赖、全部数据manifest、测试报告、模型卡、决策卡、教程站案例页、博客文章素材包。

核心验收:在本机运行已提供两个标准库生成器,并逐项核对手算包和P01/P03,关键数值容差≤1e−6;将规则计算接成两条模拟链。扩展验收:干净环境按README复现全部已实施模型数字;至少24条回归测试(每专项至少3条,额外基础6条);独立挑战集只评价一次、记录冻结时间;六行业约束检查齐全;没有真实品牌/真实个人数据/未核实收益。模型性能未提高不是不合格,泄漏、状态不守恒、未经支持的因果宣称才是不合格。

仅保存在本机当前浏览器,无账号云同步;清除浏览器数据会丢失。不自动认定你通过测试。建议先保留输出文件和计算过程。

所有数据、系数与业务场景均为教学模拟。预测不等于采购或排产指令。来源与修订说明。