定义问题与数据地基
全文共 3783 字,阅读约需 8 分钟
定义问题与数据地基:“我要预测销量”还不能直接成为一个模型需求。至少要补齐以下内容:
课程目录与学习记录 0 / 109
学习进度仅存于本机浏览器。原教程站的记录不会跨域自动迁移;可先在原站导出留存,新站按实际完成情况重新勾选。
入门数据与作业包
禾味数据为 2 店 × 8 SKU × 180 天,共 2,880 行,是可见教学数据,不是封存盲测集。起步包是模拟夹具,不表示已完成六行业预测实验。资源中心另有四专项工程、模型实验和计划实验,使用前请阅读各自能力边界。
本阶段可直接下载:P01/P03输入、生成器、操作说明与参考答案。先做题再看answers目录。
第1章 先弄清楚你说的预测是什么
1.1 把预测写成一句可以执行的话
“我要预测销量”还不能直接成为一个模型需求。至少要补齐以下内容:
- 对象:哪个门店、哪个商品、哪个渠道?
- 目标:订单量、支付销量、净销量、食材净耗用量,还是未受缺货限制的需求量?
- 粒度:每小时、每天、每周,还是每月?
- 预测范围:明天一天,未来7天每天,还是未来7天合计?
- 发出时间:今天什么时候生成结果?
- 可用信息:在那个时间点,哪些数据已经到达?
- 后续动作:谁使用结果,决定采购、调拨、排班还是生产?
禾味的入门任务可以写成:
“每天完成营业结算后,在次日采购截单前,使用截至当时已到达的数据,预测每家门店、每个食材SKU次日净耗用量,单位kg,先为采购人员提供参考,不直接自动下单。”
这里的“已到达”很重要。某条记录的业务日期是今天,并不意味着模型运行时就能看见它。如果盘点两天后才补录,历史回测也要尊重这个延迟。
如果实际采购必须在当日18点截止,而全天净耗用量到23点才确定,就不能把“当天完整耗用量”作为18点的输入。此时应使用截至18点的数据、前一完整营业日数据,或先预测当天剩余耗用。
1.2 五个容易混用的数字
需求量是顾客在给定价格、服务等条件下想买的数量。销量是实际成交的数量。耗用量是生产或服务过程中实际使用的物料数量。采购量是结合库存、到货、包装和约束后下单的数量。
销售额则是用金额计量的成交结果,不能和“销量多少件”混用。若只有一种商品、统一成交价且暂不考虑退货,销售额=成交单价×销量。例如10件衣服每件100元,销售额为100×10=1000元;次日每件80元、卖12件,销售额为80×12=960元。销量增加2件,销售额反而减少40元,因此销额下降不等于需求下降。多种商品要逐项计算“成交单价×成交数量”再相加;有优惠、退款或税费时,还要先写清是否扣券、是否扣退货、是否含税、币种以及按支付日还是确认收入日统计。
若任务是采购补货,通常先关心某个SKU多少件、食材多少kg;若任务是收入计划,可以直接预测已明确定义的金额。两者也能联合建模,但不能把“销售额÷吊牌价”自动当作真实需求,因为成交折扣、商品组合和缺货都可能变化。
例如,明天预计售出100份鸡腿饭,每份标准净用鸡腿肉0.18kg,那么按配方计算的理论净需求是18kg。若需要从毛料换算到净料,且出成率为90%,相应毛料需求为18÷0.9=20kg。这里必须先确认0.18kg是净料还是毛料,不能再重复计算损耗。
采购量还要扣除可用库存、考虑已下单未到货、保质期、最小起订量和交期。即使预测需求为20kg,也不等于一定要采购20kg。本文前半部先把需求或耗用预测学清楚,补货计算另行处理。
服装企业也一样:顾客想买10件M码,门店只剩4件,最终卖出4件。把4件当作完整需求,会让模型认为这款商品不畅销。日销量至少应与可售库存、断码和营业状态一起看。
1.3 线性回归与时间序列不是互斥选项
“线性回归”主要描述模型怎样建立输入和输出的关系;“时间序列”主要描述数据有时间顺序,以及过去与未来怎样关联。
如果用“过去7天销量、星期、已排定促销”预测明天销量,你可以使用线性回归,也可以使用树模型。它们都在解决时间序列预测问题。如果一条回归只研究不同门店某月的营业面积和销量关系,它可能是横截面分析,未必是在预测未来。
因此学习路径不必是“学完回归就告别回归、进入时间序列”。更实用的路径是:
- 从不需要训练的简单规则开始。
- 学会用一个输入解释一个目标。
- 加入多个输入、类别信息和交互作用。
- 加入历史滞后、趋势与季节性。
- 再比较更复杂的非线性模型与概率模型。
1.4 特征 参数 目标 序列分别是什么
以“预测耗用量=截距+系数×预订份数”为例:
| 名词 | 对应内容 | 应该怎样理解 |
|---|---|---|
| 目标 y | 次日鸡腿肉净耗用量 | 你要预测的结果 |
| 特征 x | 截单时已确认的次日预订份数 | 预测时送进模型的信息 |
| 参数 | 截距和系数 | 模型从训练数据学出的数字 |
| 超参数 | 例如移动平均取3天还是7天 | 在训练过程外选择或通过验证集选择的设置 |
| 一条序列 | S01门店、K01食材按日排列的耗用量 | 同一对象随时间变化的数据 |
| 多条序列 | 2家门店×8个SKU的16条序列 | 不等于有16个目标特征,也不等于有16个模型 |
“单一参数到多参数”在日常交流中常常实际指“一个特征到多个特征”。单特征线性回归通常已经有截距、斜率两个参数。把这两个概念分开,后续读模型文档会轻松很多。
还要分清三个方向:
- 多特征:用价格、促销、星期等共同预测一个销量。
- 多目标:同一个模型同时输出销量与退货量,或多个未来时点的预测。
- 多序列:同时处理多个门店、商品或尺码的历史记录。
对服装来说,“多类别”也有两层意思:把颜色、品类、渠道当作输入类别,或者同时预测多个品类。前者是特征编码问题,后者是多序列、分组或层级预测问题。
本章练习。 把你熟悉的一个预测需求改写成一段业务合同。要求写清目标、单位、粒度、预测范围、发出时间和使用人。暂时不写算法名称。
验收标准。 另一个人读完后,能够准确知道应该查哪张事实表,哪一列是目标,以及生成结果时能看见哪些数据。
第2章 先把数据整理成一条可信的时间线
2.1 一行到底代表什么
禾味的长表约定为“一天×一家门店×一个食材SKU”一行。若2家门店、8个SKU都连续经营14天,应有2×8×14=224行。未来扩展到180天,完整日期骨架为2×8×180=2880行。这个行数只是结构检查,不代表样本之间互相独立,也不保证数据量足够训练复杂模型。
建议保留以下字段:
| 字段 | 含义 | 核查要点 |
|---|---|---|
| business_date | 业务日期 | 按门店营业日定义,说明时区和跨午夜规则 |
| store_id | 门店标识 | 稳定且唯一,不把店名更名当作新门店 |
| sku_id | 食材SKU标识 | 规格变化和新旧SKU映射有版本 |
| used_kg | 已确认净耗用量 | 目标列,口径与盘点调整分开 |
| is_open | 是否营业 | 闭店与无需求区分 |
| stockout_flag | 是否发生缺货 | 不把受限观测直接当作完整需求 |
| promo_plan | 预测时已知促销计划 | 保存当时版本,不用事后修订覆盖历史 |
| reservations | 截止时已确认预订 | 保存截止时间与取消规则 |
| known_at | 数据可被模型读取的时间 | 防止延迟补录造成穿越 |
实际系统可以拆表存储,但实验数据集必须保留这些信息之间的关系。SKU字段只标识对象,不会自动告诉模型鸡腿肉和米饭谁更相似。
2.2 零 缺失 缺货是三种情况
假设某天used_kg这一格没有数值,不能马上填0:
- 门店正常营业,系统记录完整,确实没有耗用:可能是真实0。
- 门店闭店:可以记录实际耗用为0,但要保留闭店标记。预测未来闭店日可由业务规则处理。
- 接口掉数或盘点未完成:这是缺失,不等于0。
- 食材断供或菜品停售:实际耗用被供应限制,不等于潜在需求为0。
若目标是“在实际供给约束下会卖多少”,库存约束本身就是预测条件;若目标是“货源充足时顾客会买多少”,就涉及被截断需求的估计。这是两个任务,不应只改一个字段名就混用。
补值也会影响评价。用估计值修补了目标以后,不能把它称为已观测的真实需求。应保留原始列、修补列、修补原因,并分别报告可直接评价的样本与受限样本。
2.3 一份可以手算的14天切片
以下是S01门店、K01鸡腿肉的独立模拟日净耗用量,单位kg。第1天假定为星期一;这只是教学日序号,不对应真实日历。
| 教学日 | 星期 | 净耗用量kg |
|---|---|---|
| 1 | 一 | 20 |
| 2 | 二 | 22 |
| 3 | 三 | 21 |
| 4 | 四 | 23 |
| 5 | 五 | 30 |
| 6 | 六 | 34 |
| 7 | 日 | 28 |
| 8 | 一 | 22 |
| 9 | 二 | 24 |
| 10 | 三 | 23 |
| 11 | 四 | 25 |
| 12 | 五 | 32 |
| 13 | 六 | 36 |
| 14 | 日 | 30 |
把它画成折线图,你会看到周五、周六较高,周一回落;第二周同日比第一周多2kg。这种规则是为了便于手算而刻意设置的,真实数据通常还会受到天气、促销、缺货和随机波动影响。
只有两周数据时,可以演示一周周期的含义,但不足以证明这个周期长期稳定,更不能验证年季节性或春节效应。180天也未覆盖完整年度,不能据此可靠学习年度重复模式。
2.4 先画四张图 再谈选模型
- 按日折线图:看趋势、断点、异常高峰和漏数。
- 按星期分组的分布图:看同一星期是否有规律,也看组内波动。
- 目标与候选特征的散点图:例如预订份数与耗用量。
- 缺失、缺货、促销标记叠加图:判断异常是数据问题还是业务事件。
图形只能提供线索。某一天销量高且打折,不能仅凭这一点认定打折造成增长。也不能因为某列与目标的简单相关系数很小,就断定它在多特征模型中完全没用。
本章练习。 找出一条“日期没有缺口但数据仍不能直接训练”的例子。
参考答案。 所有日期都有数值,但缺货日销量被当作完整需求;或者促销字段被事后修改,回测拿到了预测时不知道的促销结果。
本阶段项目与验收
阶段1:从业务问题到可以计算的数据(3课)
课程:①预测、计划、执行四层区别;②比例、平均、绝对值、单位换算;③数据粒度、事件顺序与数据质量。
项目P01“禾味数据体检”:读取project-fixtures/P01/input,原始224条日记录追加重复后共227条输入,另24条服装订单事件,已实际注入3重复键、2未知SKU、2单位错写、1条发货后又计发货前取消。按主键检查、隔离错误、修复有依据项,写状态机。
交付:clean_demand.csv、quality_report.csv、状态流转图、字段字典。
验收:识别全部8处已注入问题;清洗后(date,store,sku)唯一;缺失不静默填0;数量守恒测试通过。此处是合成数据测试,不宣称实际账实相符98%。
手算:3箱×12瓶/箱=36瓶;15kg净料÷75%出品率=20kg毛料。解释为什么除以0.75,不是乘0.75。
仅保存在本机当前浏览器,无账号云同步;清除浏览器数据会丢失。不自动认定你通过测试。建议先保留输出文件和计算过程。
所有数据、系数与业务场景均为教学模拟。预测不等于采购或排产指令。来源与修订说明。