网站导航

阶段9|从数量预测到概率预测

全文共 2301 字,阅读约需 5 分钟

阶段9|从数量预测到概率预测:销量预测回答“明天可能需要多少件”;拒收预测回答“这个包裹是否会被拒收”。后者的实际答案只有0或1,但预测不必只有0或1。预测0.8的意思不是“这个包裹已经拒收了80%”,而是:如果有很多条件相似、都被预测0.8的包裹,长期应有大约80%出

← 学习路线
课程目录与学习记录 0 / 109

学习进度仅存于本机浏览器。原教程站的记录不会跨域自动迁移;可先在原站导出留存,新站按实际完成情况重新勾选。

入门数据与作业包

禾味数据为 2 店 × 8 SKU × 180 天,共 2,880 行,是可见教学数据,不是封存盲测集。起步包是模拟夹具,不表示已完成六行业预测实验。资源中心另有四专项工程、模型实验和计划实验,使用前请阅读各自能力边界。

先用小表理解,再做已提供的完整工程:进入本专项实际项目、输出与模型能力说明。已实现模型以新工程模型卡为准,不把下述早期项目中的进阶模型要求视作已经实现。手算输入。

阶段9|从数量预测到概率预测

第25课:会不会与发生多少是两种问题

销量预测回答“明天可能需要多少件”;拒收预测回答“这个包裹是否会被拒收”。后者的实际答案只有0或1,但预测不必只有0或1。预测0.8的意思不是“这个包裹已经拒收了80%”,而是:如果有很多条件相似、都被预测0.8的包裹,长期应有大约80%出现拒收。单个包裹只有一次结果,概率好坏需要看一组样本。

先复制这组模拟数据:包裹A,预测0.8,结果1;B,预测0.2,结果0;C,预测0.6,结果0;D,预测0.4,结果1。1表示拒收,0表示已确认正常签收。尚在路上的包裹不能先标0,因为它还没给出答案。

只算“猜对几个”会丢掉概率信息。如果把0.6和0.99都当拒收,它们分类相同,但判断信心差很多。Brier评分先用预测概率减实际结果,再平方,最后平均。四包裹的平方误差分别为0.04、0.04、0.36、0.36,平均为0.2。平方使正负误差不能抵消,并让很自信却错了的预测受更大惩罚。Brier越小越好,但必须与同一批样本上的简单基线比较。例如始终预测0.5时,每条平方误差0.25,四条平均0.25;本例模型为0.2,样本内比此基线小0.05,不代表未来必然好。

符号式为Brier=(1/n)Σ_i(p_i−y_i)²。i是包裹编号,n是已知结局的包裹数,p_i是0至1的预测拒收概率,y_i是0或1结果;全部无单位,n必须大于0。上例完整展开为[(.8−1)²+(.2−0)²+(.6−0)²+(.4−1)²]/4=(.04+.04+.36+.36)/4=.2。这里使用二分类的平均平方定义,不与多分类的不同归一化约定混算。评分定义见scikit-learn官方指标说明。

第26课:为什么用逻辑回归

线性打分z=a+b₁x₁+b₂x₂可以为负数或超过1,不能直接当概率。逻辑函数p=1/(1+e^(−z))把它压进0与1之间。这里e≈2.718,是固定数学常数;先理解查表即可:z=−2对应p约0.119,z=0对应0.5,z=2对应约0.881。不需要先学微积分才能使用此函数。

每个符号都先落到单位:x₁是包裹件数(件),x₂是计划配送距离(千米);a是无单位截距,b₁单位是1/件,b₂单位是1/千米,所以a、b₁x₁、b₂x₂均无单位,才能相加为无单位分数z。下标1、2只是特征编号。独立教学设定a=−2、b₁=.5/件、b₂=.1/千米,某包裹x₁=2件、x₂=10千米,则z=−2+.5×2+.1×10=0;p=1/(1+e^0)=1/(1+1)=.5。此例演示计算,不表示现实件数或距离具有这些风险效果。

这条变换是模型链接函数的选择,不是拒收概率的物理定律。有限z对应严格介于0和1之间的概率;反向logit(p)=ln[p/(1−p)]仅在0<p<1有有限值。参数需由训练数据估计,分类概率仍要另做校准。statsmodels官方GLM链接说明

z的每个输入必须是评分那一刻已经知道的,例如订单件数、计划配送距离。实际拒收原因、真实最终送达时间都是答案发生以后才知道,放进去就是泄漏。城市可以是类别,但不能因为编号9大于编号2就解释为更远。类别编码沿用前面课程的0/1方法。

第27课:校准和决策分开看

模型给出概率,人决定如何使用。把预测0.7—0.9的包裹放一组,数出样本量和真实拒收比例;如果100件中实际只拒收40件,模型明显过度自信。4个包裹太少,只能理解算法,不能验证校准。正式作业生成10,000个模拟包裹,按创建日期划训练、验证、测试,先检验结果是否成熟,再画分组校准图。

不要直接规定“概率高于0.6就自动取消”。阈值取决于误判成本:额外人工核实要花多少钱,漏掉一个拒收又损失多少。先在验证集比较几个阈值的成本,冻结后才看测试集。输出只是一份人工复核建议,不操作真实订单。

校准是检查“一组预测概率和实际频率是否相称”,不是要求每个包裹的0.8变成结果0.8。分组必须显示样本数及平均预测概率,避免仅凭4个样本下结论。校准/阈值选择使用与训练分开的、时间合法的验证数据,最终测试不再用来调参。方法与边界见scikit-learn概率校准和决策阈值说明。

项目步骤:①复制四行数据手算Brier;②生成或读取大样本并写出结果成熟条件;③训练平均概率基线与简单分类器;④在验证集分组画校准图和阈值成本曲线;⑤冻结模型并报告后期测试。交付probability_ledger.csv、校准图和阈值说明。验收四行Brier=0.2,两行A/B子集=0.04;p必须在[0,1];没有未完结样本强记0;所有特征时间早于评分时间。

本阶段项目与验收

阶段9:概率训练与校准(3课与工程项目)

完整项目入口:四专项实验室,下载forecast-specialty-projects.zip,先读README/模型卡,再运行python run_all.py。此命令覆盖包内data/outputs同名生成文件,不改外部文件;修改数据前先保留副本。

步骤:4行Brier手算,再运行10,000包裹逻辑回归、截距校准与阈值选择。

交付:手算复核、运行命令和种子、模型选择与测试结果、一项未来信息检查、一项守恒检查、未实现范围。参考输出已提供,学习者仍需自行完成解释与图表分析。

验收:未完结不记0;阈值只在验证后半段选择;报告校准变差及全部复核,不把假想成本差称模型增量价值。

仅保存在本机当前浏览器,无账号云同步;清除浏览器数据会丢失。不自动认定你通过测试。建议先保留输出文件和计算过程。

所有数据、系数与业务场景均为教学模拟。预测不等于采购或排产指令。来源与修订说明。