网站导航

聚合复购窗口与先行指标滚动回归

全文共 6603 字,阅读约需 14 分钟

聚合复购窗口与先行指标滚动回归:这里补齐生鲜基地到门店、鞋服地域颜色尺码、延迟制造、促销透支、活动类比、制造备件及医药聚合预测之间原来未展开的步骤。所有企业、商品、事件、数据、时间和参数均为明确构造的模拟。没有真实业务数据,没有连接采购、生产、财务、配送或医疗系统。本课中

← 学习路线
课程目录与学习记录 0 / 109

学习进度仅存于本机浏览器。原教程站的记录不会跨域自动迁移;可先在原站导出留存,新站按实际完成情况重新勾选。

入门数据与作业包

禾味数据为 2 店 × 8 SKU × 180 天,共 2,880 行,是可见教学数据,不是封存盲测集。起步包是模拟夹具,不表示已完成六行业预测实验。资源中心另有四专项工程、模型实验和计划实验,使用前请阅读各自能力边界。

R2独立验收的行业教学扩展。下载行业9课实验包。所有数据均模拟;匿名模拟聚合购买事件,无患者/处方/治疗判断,固定滞后不证明因果。

共同阅读约定

行业多层级预测与决策补课

这里补齐生鲜基地到门店、鞋服地域颜色尺码、延迟制造、促销透支、活动类比、制造备件及医药聚合预测之间原来未展开的步骤。所有企业、商品、事件、数据、时间和参数均为明确构造的模拟。没有真实业务数据,没有连接采购、生产、财务、配送或医疗系统。本课中的“订单”“分录”“锁产”均为离线建议或教学账,不代表已经执行。

R2补强了输入校验:重复主键、矛盾的组级份额、超出固定需求模板会报错;时间序列按时间键计算,不依赖CSV行顺序。默认手算答案不变。

先完成百分比、加权平均、库存收支和训练集/验证集的基础课,再按本课顺序学习。每课建议60到90分钟:读业务问题、逐项手算、跑代码、修改一个输入、写边界。数学只用高一可读的代数与概率;需要最小二乘时会解释其含义,代码负责重复算术,不把“调用了一个函数”当作理解。

项目包 forecast-industry-gap-labs.zip 只需 Python 3.10 或更新版本的标准库。解压并进入目录后执行:

python run_all.py
python -m unittest -v test_industry
python manufacture_pharma.py self-test

首次解压已含模拟CSV。run_all.py仅重算,不覆盖输入。要另建一份原始输入,运行 python generate_all.py --data fresh_data,随后用 python run_all.py --data fresh_data --out fresh_outputs 重算。生成器拒绝覆盖非空目录;先复制目录再改参。生成数据与运行模型是两步,脚本输出由CSV计算,不从教材答案回填。统一参考结果在 outputs/,子项目结果在 outputs/manufacture_pharma/。仅运行上面第一条不等于跑过测试。

行业补课九 从聚合间隔生成复购窗口并拟合先行回归

稳定 slug:industry-aggregate-repurchase-leading-ols。来源:C19,第二部分 L69。建议时间:两个 45 分钟单元,作业 30 分钟。

1 本课只研究匿名聚合的流通量

本课演示两个独立的需求准备问题:依据购买间隔的汇总分布估计下一段时间的复购次数;依据模拟外部指数预测每周聚合销量。两部分不把同一批需求重复相加,也不自动合成一个总预测。

所有队列、流感代理指数和气象代理指数都是人为构造。没有患者姓名、健康状况、处方、用药方案、个体购买记录或真实疾病监测数据;不据此调整个人用药、诊断、治疗或发送患者提醒。即使真实汇总数据也可能有小单元格和再识别风险,上线前仍需专门的数据治理。本项目没有做实际数据的匿名化认证。

2 从间隔直方图生成窗口

“直方图”在这里就是“每种间隔出现多少次”的汇总。不是预先把人硬塞到购买窗口里。

两次购买间隔 d汇总次数 n_d概率 p_d
14 天100.10
21 天200.20
28 天400.40
35 天200.20
42 天100.10
合计1001.00

d 是天数,n_d 是间隔为 d 天的汇总次数;总数 N=100,概率 p_d=n_d/N。比如 p_28=40/100=0.4,表示模型给“间隔 28 天”的概率为 40%。这些概率由表计算,不是对单个购买者的确定承诺。

本课假设每个队列成员最终会有一次下一次购买,间隔服从这张完整分布。这是简化条件。实际数据若只收集已经复购的人,会漏掉尚未观察到复购或从此不复购的人,产生完成间隔选择偏差;应考虑删失、流失与竞争事件,不能直接照搬这张表。

2.1 最短 80% 窗口怎样计算

目标是找一个连续的天数区间,使其中概率之和至少达到 80%,且区间宽度最小;宽度相同时选起点更早的区间。起点与终点都包含在区间内。

  • 21 至 28 天:20%+40%=60%,不够。
  • 28 至 35 天:40%+20%=60%,也不够。
  • 21 至 35 天:20%+40%+20%=80%,宽度 14 天。
  • 14 至 28 天:10%+20%+40%=70%,不够。

所以生成的最短窗口为购买后第 21 至 35 天,概率质量 80%。它不是对每个人都适用的“医嘱周期”。离散分布下最短窗口的实际概率可能超过目标,例如条件分布中的 88.89%,程序会报告实际质量,不硬写成 80%。

代码 shortest_window 枚举所有起点、累加各个终点,第一次达到目标后记录候选,再按“宽度、起点、终点”排序选最小。这里仅五个不同天数,直接枚举容易理解且足够快。

3 已经等了一段时间的人要用条件概率

现在到第 20 天,计划接下来七天,即第 21 至 27 天的聚合复购。

队列上次购买日最初人数截止日已复购人数还未复购人数当前已等待
A0100109020 天
B78008013 天
C14600606 天

这些仅为模拟聚合人数,表中没有任何个人标识。已复购人数是截止日已知的队列观测,不能用未来结果回填。

符号说明:

  • T:从上次到下一次购买的间隔天数。
  • a:到今天已经等过的天数。
  • H:预测往后多少天,本例 7。
  • S(a)=P(T>a):模型中截至等待 a 天还未复购的比例。
  • N_remaining:实际仍未复购的队列人数,等于最初人数减截止日已复购人数。

下一段时间的条件概率为:

p_next = P(a<T≤a+H) / P(T>a)

预计复购次数 = N_remaining × p_next

分母的作用是把已经发生的早期购买排除,只在“截至今天仍未复购”的人群内重新归一化。

3.1 手算三个队列

A:a=20。模型中尚未复购概率=0.2+0.4+0.2+0.1=0.9。未来七天对应间隔 21 至 27,只有 21 天这一格,概率 0.2。条件概率=0.2/0.9=2/9;预计=90×2/9=20 次。

B:a=13。未来七天对应间隔 14 至 20,只有 14 天,概率 0.1;之前没有更早间隔,分母为 1。预计=80×0.1=8 次。

C:a=6。未来七天对应间隔 7 至 13,分布没有这个范围,预计=0。

合计=20+8+0=28 次。若错把 A 的 90 直接乘以无条件 20%,只得到 18 次,少算了条件分母。

日历窗口由上次购买日加间隔生成:A 为第 21 至 35 天,B 为第 28 至 42 天,C 为第 35 至 49 天。程序还会从剩余条件分布重新找最短窗口。A 的条件窗口仍为 21 至 35,但质量=0.8/0.9=88.8889%。

如果等待天数已超过分布最大值 42 天,仍有人未复购,则模型支持范围与队列现实冲突。程序报错提醒检查流失或间隔尾部,不能把分母 0 改成 1,也不能对剩余人群默默预测零需求。

4 最小二乘回归必须从训练数据求系数

第二部分是每周聚合销量。不能先编出系数,再称它是训练结果。

设 t 为要预测的周;在 t−1 周末生成预测。预先约定使用:

  • x_1,t:t−2 周的模拟流感代理指数。
  • x_2,t:t−3 周的模拟气象代理指数。
  • y_t:第 t 周的聚合实际销量,单位件。
  • b_0:截距,即指数都为 0 时直线模型的基准项,本例不把这种外推解释成实际销量。
  • b_1、b_2:斜率,表示其他输入相同时,某指数增加 1 个指数点,对预测值的模型变化。
  • ŷ_t:模型预测值。

模型为:

ŷ_t = b_0 + b_1×x_1,t + b_2×x_2,t

“lag 2”表示用两周前的事件期,“lag 3”表示三周前;它不意味着数据已经发布。还必须检查 known_at。

4.1 用最简单的数字理解拟合

先看只有一个 x 的例子:x 为 1、2、3,y 为 3、5、7。x 的平均为 2,y 的平均为 5。直线斜率可按:

b_1 = Σ[(x−平均x)×(y−平均y)] / Σ[(x−平均x)²]

Σ 是求和符号,意思是把每一行结果相加。分子=(-1)×(-2)+0×0+1×2=4,分母=1+0+1=2,所以 b_1=2。截距 b_0=平均y−b_1×平均x=5−2×2=1。预测式为 1+2x。

两特征手算用四行:

x_1x_2y
005
107
018
1110

第一行给 b_0=5;第二行减第一行给 b_1=2;第三行减第一行给 b_2=3;第四行核对 5+2+3=10。程序 fit_ols 会从这四行计算出 [5,2,3],不是把答案预写进去。

实际数据通常没有这样完美的直线。残差 e_i=y_i−ŷ_i,平方 e_i² 可以防止正负抵消。最小二乘就是选 b_0、b_1、b_2,使所有训练行的残差平方和 Σe_i² 最小。

对于两特征,代码形成三个联立方程:

n×b_0 + (Σx_1)×b_1 + (Σx_2)×b_2 = Σy

(Σx_1)×b_0 + (Σx_1²)×b_1 + (Σx_1x_2)×b_2 = Σ(x_1y)

(Σx_2)×b_0 + (Σx_1x_2)×b_1 + (Σx_2²)×b_2 = Σ(x_2y)

n 为训练行数。求和中的 i 为行号,在式子中省略。代码用带选主元的高斯消元解方程。你不必先掌握矩阵,只要知道它确实把每行训练值累加进方程,再求未知系数。若输入特征完全重合、无法区分斜率,方程可能无唯一解,程序不伪造系数,转入明确基线回退。大型或病态矩阵更适合 QR/SVD,这个小程序不声称具有生产级数值稳定性。

5 known_at 让预测只能看见当时的信息

leading_indicator_vintages.csv 包含:

  • series:flu_proxy 或 weather_proxy,只是模拟指数名。
  • event_week:指数描述的是哪周。
  • known_at_week:该版本哪周可获得。
  • version:第一发布版或后续修订版。
  • value:指数值,单位是指数点,不是病例人数或摄氏度。

通常首发比事件期晚一周;flu 每逢事件周是 11 的倍数,再晚一周;weather 每逢事件周是 13 的倍数,再晚两周。修订版在事件周后五周发布,并人为把指数加 2,用来测试误用最终版本的问题。

销量标签也延迟一周发布:pharma_weekly_demand.csv 的第 t 周销量在 t+1 周才知道。预测第 t 周时,截止 t−1,因此通常最多知道第 t−2 周销量。不能把 y_(t−1) 当作必然已知。

5.1 第 41 周的完整时间线

预测时间为第 40 周:

  1. 流感代理取事件周 39,首发 known_at=40,可用。
  2. 气象代理取事件周 38,首发 known_at=39,可用。
  3. 39 周销量 known_at=40,可用于训练;40 周销量 known_at=41,不可用。
  4. 每条历史训练行也还原该行自己的预测时点。例如预测历史第 j 周的特征只允许 known_at≤j−1。后来修订的数据不能回填旧快照。
  5. 删除历史上当时缺少任一特征的训练行,得到 32 条合法训练行,实际拟合系数约为 39.629099、1.194958、−0.760770。
  6. 输入指数约为 24.85 和 15.161342,预测=39.629099+1.194958×24.85−0.760770×15.161342≈57.789510 件。该周后来公布实际为 59。

这些系数由真实运行计算得到。模拟销量的生成式包含一个人为的先行关系,用于让学习者看见拟合过程,但程序没有把生成式的系数直接拿来预测。

5.2 第 42 周遇到迟报怎么办

预测时点为第 41 周。weather 需要事件周 39;39 是 13 的倍数,首发已知时间为 39+3=42,截止第 41 周还没有。程序明确输出 FALLBACK_LAST_AVAILABLE,使用当时最后已发布销量,即第 40 周的 47 件。它不填入未来指数,不删掉这个难预测的测试周。

一条外部指数“描述过去”并不等于“当时已知”。known_at 过滤必须在拿数时发生,不能只在图表上写一句“没有数据泄漏”。

6 逐周滚动验证和同目标基线

默认评价第 41 至 80 周,共 40 个目标周。每一周重复:

  1. 把预测截止设为目标前一周。
  2. 只用截止前已经公布的历史销量。
  3. 从固定历史快照取得合法特征。
  4. 用到目前为止的全部合法训练行重新拟合 OLS,称为扩展窗口。
  5. 当前特征缺失或训练不足/奇异时使用明确回退。
  6. 在后来实际发布后评价该目标周。

lag 2 与 lag 3 是实验开始前声明的,不在 40 周测试结果中挑选。若以后尝试多个 lag,应再划分更早的验证期选参,保留新的最终测试期,不能挑完最好的 lag 后仍称同一时期“从未见过”。这里的滚动验证是逐时点回放评估,不是随机切分。

比较三种方法,三者都评价相同 40 周:

  • OLS 加明确回退,包含 34 次 OLS 预测、6 次迟报回退。
  • Last_available_label:最后已发布的一周实际销量。
  • Last_four_available_mean:最后四个已发布周销量的平均数。

评价符号:F_t 为预测、A_t 为实际、n 为评价周数;MAE=Σ|F_t−A_t|/n,单位件;RMSE=√[Σ(F_t−A_t)²/n],对大误差惩罚更强;WAPE=Σ|F_t−A_t|/ΣA_t;Bias=Σ(F_t−A_t)/ΣA_t,正数为总体高估。| | 表示绝对值,√表示平方根。实际总量为零时 WAPE 和 Bias 留空,不能除以零。

默认数据实跑:

方法周数MAE 件RMSE 件WAPE
OLS 加回退401.9345832.9813363.197657%
最后已发布销量404.8500005.9287448.016529%
最后四周已发布均值406.7437507.90302611.146694%

这是为教学而生成了相关关系后的模拟结果,只说明实现能使用这种关系。不能据此宣称真实医药业务改善 多少%、公共卫生指数有因果作用、或回归永远优于简单基线。模型只输出离线预测,没有改变下单或治疗。

7 输入输出与代码阅读顺序

复购部分:

  1. repurchase_histogram.csv:间隔天数与汇总频数。
  2. repurchase_parameters.csv:截止日 20、向后 7 天、窗口概率目标 0.8;histogram_known_at_day=0,须不晚于截止日。
  3. repurchase_cohorts.csv:最后购买日、初始人数、截止已复购人数与已知日。
  4. repurchase_windows.csv:年龄、剩余人数、无条件窗口、条件窗口、真实覆盖概率、条件分母、未来七天概率及预计复购。

回归部分:

  1. ols_parameters.csv:评价周 41 至 80、两个 lag、最少训练行 12。
  2. leading_indicator_vintages.csv:83 个事件周,每周两个指数、每指数两个版本,共 332 行。
  3. pharma_weekly_demand.csv:80 周聚合销量与发布时间。
  4. ols_historical_asof_features.csv:80 条历史目标快照,保留每个特征的来源周、发布时间、版本与可用性。
  5. ols_rolling_predictions.csv:40 次预测的截止周、训练行数、最后训练标签期、标签可得时点、系数、预测、基线、实际与回退模式。
  6. ols_rolling_metrics.csv:三方法在同一 40 周的指标。

建议代码顺序:先读 distribution 与 shortest_window,再读 repurchase;先读 asof_indicator 和 feature_row,再读 fit_ols,最后读 rolling_ols。generate_inputs 只负责构造例题,run 才是读取已有 CSV 的计算入口,两者不可混用。

8 本课作业与精确验收

  1. 从原始频数生成。 无条件最短窗口应为 21 至 35 天,质量 0.8;三个队列未来七天预计为 20、8、0,合计 28;A 的条件概率应为 2/9。允许绝对误差 0.000001。
  2. 改变期限。 只把 forecast_days 从 7 改为 14,重新运行。A 未来间隔 21 和 28,预计 60;B 为 14 和 21,预计 24;C 为 14,预计 6,合计 90 次。修改后的输入必须保留,不被 run 改回 7。
  3. 检查拟合而不是硬编码。 向 fit_ols 输入四行特征 [0,0]、[1,0]、[0,1]、[1,1],目标 [5,7,8,10],返回系数应为 [5,2,3]。把所有目标加 4 后截距应为 9,两条斜率不变。
  4. 检查时间边界。 40 行预测中,每个非空特征的 known_at 都不晚于 origin;每次训练使用的最大标签 known_at 也不晚于 origin;最后训练标签周不晚于目标周减 2。第 42 周必须回退,不能偷用第 42 周才发布的气象指数。
  5. 检查评价公平性。 三模型评价行数都为 40,OLS 路线中 34 次回归、6 次回退。不得只在 34 个成功预测周上报结果,却和基线的 40 周指标比较。
  6. 检查未来不影响过去。 固定第 41 周预测,把所有 known_at>40 的指数值和销量标签各加 10000,再算该周预测。预测值应不变;评价所用未来实际可以变化,因此不要要求误差也不变。内置测试执行此反例。
  7. 检查版本。 默认两个 lag 都只可能在预测时看到首发版,非空的 flu_version 应全为 1。把修订最终值不分时间地连接回历史属于信息泄漏。
  8. 检查失效边界。 把一个仍有剩余人数的队列上次购买日改成 −30,截止日 20 意味着已等 50 天,超过分布最大 42 天,应报错。解释需要补充流失或尾部模型,不能从本例推断这些人不再需要任何商品。

制造医药子项目验收与边界

默认项目有 17 张输入 CSV、10 张结果 CSV 和一个结果 JSON。运行 self-test 应返回 passed: true,默认代码含 48 项实质检查。整合时可增加检查,不应删除冻结、守恒、时间边界、输入保留和未来扰动检查。

默认数值比较采用绝对误差 0.000001;产权数量、冻结数量、行数、输入不覆写应精确一致。重复 run 在相同运行环境中生成的结果字节应一致。跨平台最后几位浮点数可能略有差别,应使用数值容差比较而非把最后一位当业务差异。

三课共同的合格标准是:能指出输入在哪里,能解释每个主要符号与单位,能用纸笔复算关键数值,能改输入得到正确变化,能让违反假设的输入失败,能清楚说出模型没有证明什么。代码运行成功只是其中一项。

仅保存在本机当前浏览器,无账号云同步;清除浏览器数据会丢失。不自动认定你通过测试。建议先保留输出文件和计算过程。

所有数据、系数与业务场景均为教学模拟。预测不等于采购或排产指令。来源与修订说明。