从订单展开为年龄 hazard 的实际拟合
全文共 4013 字,阅读约需 9 分钟
从订单展开为年龄 hazard 的实际拟合:这组补课回答五个具体问题:未发货订单今天还会取消多少;等满24小时以后该裁多少;退货预测为什么不能直接拿去向客户承诺;COD高风险单如何进入有限人审;有部分到货的PO还要等多久。读者只需会比例、乘方、平方根、坐标图和简单方程。先用小数手算,
课程目录与学习记录 0 / 109
学习进度仅存于本机浏览器。原教程站的记录不会跨域自动迁移;可先在原站导出留存,新站按实际完成情况重新勾选。
入门数据与作业包
禾味数据为 2 店 × 8 SKU × 180 天,共 2,880 行,是可见教学数据,不是封存盲测集。起步包是模拟夹具,不表示已完成六行业预测实验。资源中心另有四专项工程、模型实验和计划实验,使用前请阅读各自能力边界。
R3离线模拟专项补课。下载五模块专项实验包。PO测试P50校准警戒未通过;最终分位仅21/131张有支持,下一批7日99/131张有支持,其余留空。此处真实拟合仅限模拟数据,不是生产认证或实时业务服务。
共同运行方法与时间规则
八项专项缺口的分阶段教程与模拟项目
这组补课回答五个具体问题:未发货订单今天还会取消多少;等满24小时以后该裁多少;退货预测为什么不能直接拿去向客户承诺;COD高风险单如何进入有限人审;有部分到货的PO还要等多久。读者只需会比例、乘方、平方根、坐标图和简单方程。先用小数手算,再看模型,再运行项目。每处“最优”都只针对写出的玩具成本、容量和概率假设。
所有商品、订单、顾客、供应商、仓库和事件均为虚构模拟。项目不连生产系统,不给真实订单挂起,不联系客户,不下采购单或裁剪工单。模拟数据上的拟合、流程通过和业务效果是三种不同证据,不能混称“上线验证”。本补课对应P14、P15、R01、R04、D01、D02、L02、L03;不改写其他白皮书条目的覆盖结论。
开始之前 运行顺序与共同时间规则
项目目录是 forecast-specialty-gap-labs。需要Python、numpy、pandas、scipy和scikit-learn;确切实跑版本在包内requirements.txt。这里确实训练了scikit-learn逻辑回归与GBDT,没有安装或运行LightGBM、lifelines、AFT、深度网络或实时服务。缺依赖时程序会报缺少哪个包,不能把“给了源码”说成“在你的电脑上跑过”。无需联网取数据。
运行顺序:
python run_all.py
python -m unittest discover -s tests -v第一条生成原始CSV,再从这些CSV读取数据、建标签、训练和写结果;会覆盖包内同名数据和结果。第二条测试时间边界、计数守恒和流程。修改原始输入后运行以下命令才会保留修改:
python run_all.py --reuse-inputs六个受保护的原始输入为hazard_orders.csv、hazard_events.csv、return_order_cohorts.csv、cod_orders.csv、po_release_features.csv、po_receipt_events.csv。其余person-day、快照和输出是重建结果,手改会被覆盖。--reuse-inputs不是生产数据适配器:它仍要求本项目字段、事件类型、数值范围和完整模拟历史。空类别、单一标签、全无成熟样本等会失败,应报告不足并停止,不可补造标签。对真实未完成PO,不能强行提供未来完成事件满足模拟输入契约。
所有day都是各项目自己的整数日历。day=10表示项目起点后第10天,不是统一业务日期。as-of表示“站在那个时刻,仅允许看到当时已经发生或已公布的东西”。训练、选参数、最终评估用不同时间块;验证集只选参数,测试集不负责选参数。同一订单的多行必须留在同一块。行数多不等于独立订单多。
学习可分三遍:第一遍完成每章手算;第二遍运行并核对CSV;第三遍做改参数/破坏边界练习。模型表现不好也是结果,不能为了通过验收更换测试集。
模块 SG01 从订单展开为年龄hazard的实际拟合
对应P14。目标是得到“这张订单已经等到第a天且尚未取消、尚未发货时,接下来这一天取消的概率”。不是“下单以来总取消概率”,更不是“所有年龄订单一起算一个比例”。
第一步 一单多行与风险集
person-day直译为“一个人一天”,这里是一张订单一个等待日。订单A在第3天取消,应写三行:(A,1,0)、(A,2,0)、(A,3,1)。最后一个数字y取0表示当天未取消,取1表示当天取消。第4天不能再写A。订单B在第2天结束时发货,写(B,1,0)、(B,2,0),之后停止。订单C观察只到第2天,也写两行0,但原因是观察截止,不是已经永不取消。
本项目约定:每天先观察取消,日末发货;同一天两种潜在事件时取消优先。风险集包括该天开始时仍等待的订单。现实事件若只有日粒度且先后不清,必须先制定并做敏感性分析,不能悄悄套本规则。
小例子:某日开始有10张未发货未取消订单,当日取消2张,则当天经验hazard=2÷10=0.2。第二日只有8张还在等,若又取消1张,当天hazard=1÷8=0.125。它不是1÷10。到第二日末仍等待的比例=(1−0.2)×(1−0.125)=0.7,累计取消比例=1−0.7=0.3。
“发货停止继续观察”叫删失。它与取消不是同一个标签。只有当发货选择与潜在取消在已知条件下足够独立,才可把拟合的等待hazard用于假设继续等待的情景。本模拟刻意让发货时机在给定仓库后独立于潜在取消。现实中高价值顾客优先发货,可能还存在未记录的VIP信息;加入价格和仓库不能证明这种偏差已经消失。
第二步 逐个拆开年龄哑变量与logit
模型写成:
z = b₀ + b₂I(a=2) + b₃I(a=3) + … + b₁₂I(a=12) + β₁x₁ + β₂x₂ + β₃x₃
h = 1 ÷ (1 + exp(−z))
- a是等待年龄,单位“天”;本项目只训练第1至12天。
- I(a=2)是开关:a等于2就取1,否则取0。其余年龄开关相同。
- 第1天没有自己的开关,全部年龄开关为0时,b₀就是第1天的基础分数。少放一个开关是为了避免“截距加所有开关”重复表达同一个量。
- x₁=price÷100,例如120元写成1.2,不是120;β₁是每100元价格对应的分数变化。
- x₂是虚构仓库0/1,x₃是是否促销0/1。0和1在本模拟确实是二分类,不可把仓库编号8误当成仓库编号1的八倍。
- b和β是训练找出的数,不是人为写好的概率。z可以正也可以负。
- exp(u)表示自然常数e约2.718的u次方。exp(0)=1,所以z=0时h=1÷2=0.5;z越大,h越大,且始终在0到1之间。
logit(h)=ln[h÷(1−h)]是上式的反变换。ln是以e为底的对数。h=0.25时,h÷(1−h)=1÷3,ln(1÷3)≈−1.0986。把z=−1.0986放回第二式,得到h≈0.25。本模型叫离散时间logistic hazard;虽然有年龄基础项和订单特征,仍不能因此叫Cox模型。
手算练习用一组自设系数,不是本次训练成绩:b₀=−2,某一天龄开关项=0.3,β₁=0.2且x₁=1.2,β₂=0.4且仓库=1,促销项=0。先算z=−2+0.3+0.2×1.2+0.4=−1.06;再算h=1÷(1+exp(1.06))≈0.2573。不能把四项概率直接相加。
第三步 拟合到底在做什么
每行真实答案y只有0或1,模型给h。若实际取消y=1,给它0.8比给0.1更合理;若未取消y=0,给0.1比给0.8更合理。对数损失逐行写为:
loss = −[y×ln(h) + (1−y)×ln(1−h)]。
y=1、h=0.8时,loss=−ln(0.8)≈0.2231;y=1、h=0.1时,loss≈2.3026。小才好。程序反复调整系数,让训练行平均损失加系数惩罚更小。C越小表示惩罚越强,不表示概率越小。验证集在C=0.1、1、10中选一个,测试集只打一次分。
程序先标准化数值再训练:标准分=(原数−训练均值)÷训练标准差。只能用训练均值和标准差,不能先用全数据计算。outputs/hazard_coefficients.csv已把系数还原到原始特征单位,读者可以直接按“价格÷100、仓库0/1、促销0/1、年龄开关”复算,不必再重复标准化。
Brier分数是平均(h−y)²。一个取消样本的h=0.8,误差平方=(0.8−1)²=0.04;一个未取消样本的h=0.8,误差平方=0.64。所有行平均越小越好。这里它评估的是“被观察到的风险日”,不是证明未发货反事实曲线正确。
第四步 真实项目输入与验收
输入hazard_orders.csv有id、day、price、warehouse、promo;hazard_events.csv有订单id、事件日和cancel/ship。程序只从订单特征和已发生事件构造person-day,不从潜在真值建特征。
训练订单日0至99,观察到112;验证订单日120至159,观察到172;测试订单日180至219,观察到232。中间留间隔,保证12天标签已经走完。训练、验证、测试分别是2000、800、800张订单;person-day数分别为11777、4702、4852。原始表另有未用于这三个块的订单,不可把4800都称训练样本。
检查四件事:每单最多一行y=1;取消后没有行;各块id不交叉;known_at不晚于当天开始。默认结果选择C=1,测试Brier约0.07366;只用年龄的基线约0.07439,改善很小,不能用“显著领先”描述。hazard_age_calibration.csv把年龄逐行的平均预测与实际取消比例并列。
第五步 条件留存与边界练习
设S(a)是在约定继续等待且不发货、相应删失条件成立的情景中,到第a天仍未取消的留存概率。它不是现实中同时受到发货退出影响的“还在等待订单占原始订单的比例”。已知订单已经活到a天,再等L天的留存概率是S(a+L)÷S(a),也等于从第a+1到a+L天的(1−hazard)相乘。历史已经取消的订单不能再扣第二遍。
例如前面第一天留存0.8,后两天hazard为0.1、0.25,则S(3)=0.8×0.9×0.75=0.54。对当前已经过第一天的80单,用0.54÷0.8=0.675,预计剩54单。错用80×0.54只得到43.2,是重复扣了第一天的取消。
练习:把某个事件改到订单创建前,再运行--reuse-inputs,应明确失败;把价格提高100元,复算z变化是否恰为β₁。第13天及以后没有支持,函数拒绝超范围,不能把第12天hazard无限外推。本补课不推断消费者因果耐心,不证明删失独立,不把同一订单的多行当独立样本计算显著性。
仅保存在本机当前浏览器,无账号云同步;清除浏览器数据会丢失。不自动认定你通过测试。建议先保留输出文件和计算过程。
所有数据、系数与业务场景均为教学模拟。预测不等于采购或排产指令。来源与修订说明。