网站导航

定义问题与数据地基

全文共 3783 字,阅读约需 8 分钟

定义问题与数据地基:“我要预测销量”还不能直接成为一个模型需求。至少要补齐以下内容:

← 学习路线
课程目录与学习记录 0 / 109

学习进度仅存于本机浏览器。原教程站的记录不会跨域自动迁移;可先在原站导出留存,新站按实际完成情况重新勾选。

入门数据与作业包

禾味数据为 2 店 × 8 SKU × 180 天,共 2,880 行,是可见教学数据,不是封存盲测集。起步包是模拟夹具,不表示已完成六行业预测实验。资源中心另有四专项工程、模型实验和计划实验,使用前请阅读各自能力边界。

本阶段可直接下载:P01/P03输入、生成器、操作说明与参考答案。先做题再看answers目录。

第1章 先弄清楚你说的预测是什么

1.1 把预测写成一句可以执行的话

“我要预测销量”还不能直接成为一个模型需求。至少要补齐以下内容:

  • 对象:哪个门店、哪个商品、哪个渠道?
  • 目标:订单量、支付销量、净销量、食材净耗用量,还是未受缺货限制的需求量?
  • 粒度:每小时、每天、每周,还是每月?
  • 预测范围:明天一天,未来7天每天,还是未来7天合计?
  • 发出时间:今天什么时候生成结果?
  • 可用信息:在那个时间点,哪些数据已经到达?
  • 后续动作:谁使用结果,决定采购、调拨、排班还是生产?

禾味的入门任务可以写成:

“每天完成营业结算后,在次日采购截单前,使用截至当时已到达的数据,预测每家门店、每个食材SKU次日净耗用量,单位kg,先为采购人员提供参考,不直接自动下单。”

这里的“已到达”很重要。某条记录的业务日期是今天,并不意味着模型运行时就能看见它。如果盘点两天后才补录,历史回测也要尊重这个延迟。

如果实际采购必须在当日18点截止,而全天净耗用量到23点才确定,就不能把“当天完整耗用量”作为18点的输入。此时应使用截至18点的数据、前一完整营业日数据,或先预测当天剩余耗用。

1.2 五个容易混用的数字

需求量是顾客在给定价格、服务等条件下想买的数量。销量是实际成交的数量。耗用量是生产或服务过程中实际使用的物料数量。采购量是结合库存、到货、包装和约束后下单的数量。

销售额则是用金额计量的成交结果,不能和“销量多少件”混用。若只有一种商品、统一成交价且暂不考虑退货,销售额=成交单价×销量。例如10件衣服每件100元,销售额为100×10=1000元;次日每件80元、卖12件,销售额为80×12=960元。销量增加2件,销售额反而减少40元,因此销额下降不等于需求下降。多种商品要逐项计算“成交单价×成交数量”再相加;有优惠、退款或税费时,还要先写清是否扣券、是否扣退货、是否含税、币种以及按支付日还是确认收入日统计。

若任务是采购补货,通常先关心某个SKU多少件、食材多少kg;若任务是收入计划,可以直接预测已明确定义的金额。两者也能联合建模,但不能把“销售额÷吊牌价”自动当作真实需求,因为成交折扣、商品组合和缺货都可能变化。

例如,明天预计售出100份鸡腿饭,每份标准净用鸡腿肉0.18kg,那么按配方计算的理论净需求是18kg。若需要从毛料换算到净料,且出成率为90%,相应毛料需求为18÷0.9=20kg。这里必须先确认0.18kg是净料还是毛料,不能再重复计算损耗。

采购量还要扣除可用库存、考虑已下单未到货、保质期、最小起订量和交期。即使预测需求为20kg,也不等于一定要采购20kg。本文前半部先把需求或耗用预测学清楚,补货计算另行处理。

服装企业也一样:顾客想买10件M码,门店只剩4件,最终卖出4件。把4件当作完整需求,会让模型认为这款商品不畅销。日销量至少应与可售库存、断码和营业状态一起看。

1.3 线性回归与时间序列不是互斥选项

“线性回归”主要描述模型怎样建立输入和输出的关系;“时间序列”主要描述数据有时间顺序,以及过去与未来怎样关联。

如果用“过去7天销量、星期、已排定促销”预测明天销量,你可以使用线性回归,也可以使用树模型。它们都在解决时间序列预测问题。如果一条回归只研究不同门店某月的营业面积和销量关系,它可能是横截面分析,未必是在预测未来。

因此学习路径不必是“学完回归就告别回归、进入时间序列”。更实用的路径是:

  1. 从不需要训练的简单规则开始。
  2. 学会用一个输入解释一个目标。
  3. 加入多个输入、类别信息和交互作用。
  4. 加入历史滞后、趋势与季节性。
  5. 再比较更复杂的非线性模型与概率模型。

1.4 特征 参数 目标 序列分别是什么

以“预测耗用量=截距+系数×预订份数”为例:

名词对应内容应该怎样理解
目标 y次日鸡腿肉净耗用量你要预测的结果
特征 x截单时已确认的次日预订份数预测时送进模型的信息
参数截距和系数模型从训练数据学出的数字
超参数例如移动平均取3天还是7天在训练过程外选择或通过验证集选择的设置
一条序列S01门店、K01食材按日排列的耗用量同一对象随时间变化的数据
多条序列2家门店×8个SKU的16条序列不等于有16个目标特征,也不等于有16个模型

“单一参数到多参数”在日常交流中常常实际指“一个特征到多个特征”。单特征线性回归通常已经有截距、斜率两个参数。把这两个概念分开,后续读模型文档会轻松很多。

还要分清三个方向:

  • 多特征:用价格、促销、星期等共同预测一个销量。
  • 多目标:同一个模型同时输出销量与退货量,或多个未来时点的预测。
  • 多序列:同时处理多个门店、商品或尺码的历史记录。

对服装来说,“多类别”也有两层意思:把颜色、品类、渠道当作输入类别,或者同时预测多个品类。前者是特征编码问题,后者是多序列、分组或层级预测问题。

本章练习。 把你熟悉的一个预测需求改写成一段业务合同。要求写清目标、单位、粒度、预测范围、发出时间和使用人。暂时不写算法名称。

验收标准。 另一个人读完后,能够准确知道应该查哪张事实表,哪一列是目标,以及生成结果时能看见哪些数据。

第2章 先把数据整理成一条可信的时间线

2.1 一行到底代表什么

禾味的长表约定为“一天×一家门店×一个食材SKU”一行。若2家门店、8个SKU都连续经营14天,应有2×8×14=224行。未来扩展到180天,完整日期骨架为2×8×180=2880行。这个行数只是结构检查,不代表样本之间互相独立,也不保证数据量足够训练复杂模型。

建议保留以下字段:

字段含义核查要点
business_date业务日期按门店营业日定义,说明时区和跨午夜规则
store_id门店标识稳定且唯一,不把店名更名当作新门店
sku_id食材SKU标识规格变化和新旧SKU映射有版本
used_kg已确认净耗用量目标列,口径与盘点调整分开
is_open是否营业闭店与无需求区分
stockout_flag是否发生缺货不把受限观测直接当作完整需求
promo_plan预测时已知促销计划保存当时版本,不用事后修订覆盖历史
reservations截止时已确认预订保存截止时间与取消规则
known_at数据可被模型读取的时间防止延迟补录造成穿越

实际系统可以拆表存储,但实验数据集必须保留这些信息之间的关系。SKU字段只标识对象,不会自动告诉模型鸡腿肉和米饭谁更相似。

2.2 零 缺失 缺货是三种情况

假设某天used_kg这一格没有数值,不能马上填0:

  1. 门店正常营业,系统记录完整,确实没有耗用:可能是真实0。
  2. 门店闭店:可以记录实际耗用为0,但要保留闭店标记。预测未来闭店日可由业务规则处理。
  3. 接口掉数或盘点未完成:这是缺失,不等于0。
  4. 食材断供或菜品停售:实际耗用被供应限制,不等于潜在需求为0。

若目标是“在实际供给约束下会卖多少”,库存约束本身就是预测条件;若目标是“货源充足时顾客会买多少”,就涉及被截断需求的估计。这是两个任务,不应只改一个字段名就混用。

补值也会影响评价。用估计值修补了目标以后,不能把它称为已观测的真实需求。应保留原始列、修补列、修补原因,并分别报告可直接评价的样本与受限样本。

2.3 一份可以手算的14天切片

以下是S01门店、K01鸡腿肉的独立模拟日净耗用量,单位kg。第1天假定为星期一;这只是教学日序号,不对应真实日历。

教学日星期净耗用量kg
1一20
2二22
3三21
4四23
5五30
6六34
7日28
8一22
9二24
10三23
11四25
12五32
13六36
14日30

把它画成折线图,你会看到周五、周六较高,周一回落;第二周同日比第一周多2kg。这种规则是为了便于手算而刻意设置的,真实数据通常还会受到天气、促销、缺货和随机波动影响。

只有两周数据时,可以演示一周周期的含义,但不足以证明这个周期长期稳定,更不能验证年季节性或春节效应。180天也未覆盖完整年度,不能据此可靠学习年度重复模式。

2.4 先画四张图 再谈选模型

  • 按日折线图:看趋势、断点、异常高峰和漏数。
  • 按星期分组的分布图:看同一星期是否有规律,也看组内波动。
  • 目标与候选特征的散点图:例如预订份数与耗用量。
  • 缺失、缺货、促销标记叠加图:判断异常是数据问题还是业务事件。

图形只能提供线索。某一天销量高且打折,不能仅凭这一点认定打折造成增长。也不能因为某列与目标的简单相关系数很小,就断定它在多特征模型中完全没用。

本章练习。 找出一条“日期没有缺口但数据仍不能直接训练”的例子。

参考答案。 所有日期都有数值,但缺货日销量被当作完整需求;或者促销字段被事后修改,回测拿到了预测时不知道的促销结果。

本阶段项目与验收

阶段1:从业务问题到可以计算的数据(3课)

课程:①预测、计划、执行四层区别;②比例、平均、绝对值、单位换算;③数据粒度、事件顺序与数据质量。

项目P01“禾味数据体检”:读取project-fixtures/P01/input,原始224条日记录追加重复后共227条输入,另24条服装订单事件,已实际注入3重复键、2未知SKU、2单位错写、1条发货后又计发货前取消。按主键检查、隔离错误、修复有依据项,写状态机。

交付:clean_demand.csv、quality_report.csv、状态流转图、字段字典。

验收:识别全部8处已注入问题;清洗后(date,store,sku)唯一;缺失不静默填0;数量守恒测试通过。此处是合成数据测试,不宣称实际账实相符98%。

手算:3箱×12瓶/箱=36瓶;15kg净料÷75%出品率=20kg毛料。解释为什么除以0.75,不是乘0.75。

仅保存在本机当前浏览器,无账号云同步;清除浏览器数据会丢失。不自动认定你通过测试。建议先保留输出文件和计算过程。

所有数据、系数与业务场景均为教学模拟。预测不等于采购或排产指令。来源与修订说明。