平滑、趋势与ARIMA
全文共 6381 字,阅读约需 13 分钟
平滑、趋势与ARIMA:这是一种观察框架,不意味着现实一定能被完美分成四个独立部分。春节与开学季等事件可能会移动;促销、缺货和菜单调整也未必是随机噪声。
课程目录与学习记录 0 / 109
学习进度仅存于本机浏览器。原教程站的记录不会跨域自动迁移;可先在原站导出留存,新站按实际完成情况重新勾选。
入门数据与作业包
禾味数据为 2 店 × 8 SKU × 180 天,共 2,880 行,是可见教学数据,不是封存盲测集。起步包是模拟夹具,不表示已完成六行业预测实验。资源中心另有四专项工程、模型实验和计划实验,使用前请阅读各自能力边界。
第7章 时间序列先从水平 趋势和季节性开始
7.1 拆开观察一条曲线
一条日耗用曲线可以先从四个角度观察:
- 水平:最近一般在什么量级,比如每天约25kg。
- 趋势:这个量级是否缓慢上升或下降。
- 季节性:是否按已知周期重复,比如每周五、六较高。
- 剩余波动:前面几部分没有解释的变化。
这是一种观察框架,不意味着现实一定能被完美分成四个独立部分。春节与开学季等事件可能会移动;促销、缺货和菜单调整也未必是随机噪声。
匿名服装企业可以同时存在周末效应、年度气候季节性和一款商品的上市生命周期。生命周期是随着上市后时间推进而变化,不一定会对同一SKU逐年重复,不能把二者混为“季节性”。
7.2 简单指数平滑 每次只更新一个水平
移动平均在窗口外突然丢掉旧数据。简单指数平滑则逐步降低旧观测的影响。设当前水平为l:
l_t=α×y_t+(1−α)×l_(t−1)。
次日预测为ŷ_(t+1|t)=l_t。
α取0到1之间。α越大,越重视最新实际值;越小,越平滑。为了演示,令α=0.3,初始水平l_1=y_1=20kg:
这里t是日序号,y_t是当日实际kg,l_t是看过第t天数据后的平滑水平kg,l_(t−1)是前一天水平kg;α是无单位权重。公式可改写为l_t=l_(t−1)+α(y_t−l_(t−1)):旧水平只向新观测移动α份距离。它假定仅跟踪局部水平,不能自行表达提前已知的促销或星期结构。
- 第2天更新:l_2=0.3×22+0.7×20=20.6。
- 第3天更新:l_3=0.3×21+0.7×20.6=20.72。
- 第4天更新:l_4=0.3×23+0.7×20.72=21.404。
- 因此在第4天结束时,对第5天预测21.404kg。
第5天实际是30kg,说明只追踪水平并不能提前识别本教学样本的周五高峰。继续按同一规则计算,第14天更新后的水平约29.73kg,作为第15天预测。它有平滑作用,但不会凭空学会周一回落。
只使用简单指数平滑时,从同一起点向未来多步预测通常都是当前水平。适用范围和指数平滑的组件形式见Forecasting Principles and Practice 第8章。α=0.3只是教学设定,实战应在训练与验证中估计或选择。
7.3 Holt方法 再跟踪一个趋势
如果水平持续增长,可以同时更新水平l和每期趋势b:
l_t=αy_t+(1−α)(l_(t−1)+b_(t−1))。
b_t=β(l_t−l_(t−1))+(1−β)b_(t−1)。
h步预测为ŷ_(t+h|t)=l_t+h×b_t。
新增符号b_t是每一个日步的增长量,通常口头称kg/天;α与β是无单位平滑权重,均在0到1之间,β调节趋势更新速度;h是未来日步数。日步长固定为1天,l_(t−1)+b_(t−1)实际表示“水平+趋势×1天”,因此单位一致。若换成周数据,b与h也必须改为周步,不能把日趋势直接乘周数。
读公式时先看意思:新的水平结合“本期实际”和“上期水平按趋势往前走一步”;新的趋势结合“刚刚观察到的水平变化”和“旧趋势”。
用一个独立状态演示:上期水平24kg,上期趋势0.5kg/天,本期实际26kg,α=0.3,β=0.2。
- 先更新水平:l=0.3×26+0.7×(24+0.5)=24.95kg。
- 再更新趋势:b=0.2×(24.95−24)+0.8×0.5=0.59kg/天。
- 预测下一天:24.95+0.59=25.54kg。
- 预测第3天:24.95+3×0.59=26.72kg。
这只是计算演示,不是前面14天样本的拟合结果。若长时间外推固定增长,可能越来越不合理。阻尼趋势让增长影响逐步减弱,用来表达“短期继续增长,但不永远按同样速度增长”的假设。
7.4 Holt Winters 加入重复的周期
如果还有一周规律,可以为周期中的位置维护季节分量。
加法季节性的直觉是“周五大约多5kg”。例如预测时点的下一期水平加趋势为25.3kg,周五季节分量为+5kg,则预测30.3kg。
乘法季节性的直觉是“周五大约比普通水平高20%”。若对应因子为1.2,则预测25.3×1.2=30.36kg。
当业务规模翻倍后,星期波动更接近固定加几kg,还是整体同比例放大,能帮助选择候选形式。但最终仍要回测。乘法模型还要求相应建模数据满足正值等条件,零值较多时不能直接照搬。
两周教学样本只能演示一周周期,不适合承担稳定估计复杂趋势和季节参数的任务。实际训练应覆盖多个相关周期,并检查经营制度是否改变。statsmodels ExponentialSmoothing文档明确区分趋势、阻尼和加法或乘法季节组件。
ETS常用于表示以误差、趋势、季节性组件组织的一类状态空间模型。不要把所有指数平滑都简单理解成“给最近几天乘几个权重”,也不必在第一轮实验里穷举所有组件组合。
7.5 选模型时先看它能够表达什么
| 观察到的主要结构 | 候选起点 | 还需要比较的基线 |
|---|---|---|
| 水平较稳定,无明显周期 | 简单指数平滑 | 均值、昨日法 |
| 水平缓慢变化 | Holt或阻尼趋势 | 移动平均、昨日法 |
| 稳定的一周周期 | 季节性指数平滑 | 上周同日法 |
| 促销和节假日影响很强 | 含外部特征的模型 | 同周法加明确业务规则 |
| 大量0,偶尔出现需求 | 先作为间歇需求专门处理 | 不直接套用普通平滑结论 |
这张表是候选筛选规则,不是性能保证。某个模型能够表达季节性,不代表它在短样本或制度变化时一定胜过简单同周法。
本章练习。 如果α=1,简单指数平滑退化成什么方法?如果α接近0,又有什么表现?
参考答案。 α=1时水平等于最新实际值,次日预测就是昨日法。α接近0时新数据的影响很小,预测变化很慢;这不是自动更稳健,只是更不敏感。
第8章 看懂ARIMA以及回归与时间序列怎样结合
8.1 自回归 用自己的过去预测自己
普通回归可以使用预订份数,自回归把自己的历史值当作输入。例如:
y_t=c+φ×y_(t−1)+ε_t。
c是常数,φ是上期值的系数,ε是当前还无法解释的随机扰动。用一个独立教学模型:y_t=10+0.6y_(t−1)+ε_t。
本节y、c、ε单位都是kg,φ无单位,t是日序号;点预测时把未来扰动的条件均值设为0,而不是断言未来没有波动。简单AR(1)在|φ|<1、扰动符合相应条件时有稳定均值,若φ接近或超过1则不能沿用下文长期回落的解释。
如果最近实际是30kg,则下一天的点预测为10+0.6×30=28kg。再向前一天时,尚未得到第一天实际值,所以用预测值递推:10+0.6×28=26.8kg。
你已经看见自回归与多步预测的联系。不能第二步偷偷换用尚未发生的实际值。这个模型在相应稳定条件下围绕25kg的长期均值波动,因为25=10+0.6×25。
8.2 差分 先预测变化再加回去
原序列是20、22、21、23时,相邻差分是2、−1、2。
一阶差分Δy_t=y_t−y_(t−1),把“今天是多少”改成“今天比昨天多多少”。如果最近值23kg,模型预测下一次变化为1.5kg,那么下一期水平预测就是24.5kg。
季节差分则比较相隔一个周期的值。例如一周周期为7,季节差分为y_t−y_(t−7)。教学样本第8至14天的季节差分都等于2kg。
差分是帮助处理某些非稳定变化的一种办法,不是所有序列必须进行的固定步骤。过度差分也可能放大噪声、引入不必要的结构。不能因为已经学了差分,就对所有数据差两次。
8.3 ARIMA里的MA不是滑动平均预测
前面“过去7天移动平均”是直接对历史观测取平均。ARIMA中的MA部分使用过去的随机扰动项来描述当前变化,它与移动平均基线不是同一个概念。
可以先把它理解为:模型考虑“上一次出现了怎样的意外偏差”,并估计这种意外是否还会延续影响。但严格说,模型中的扰动并非直接观测值,需要在拟合过程中估计,不能把任意一组业务报表误差直接塞进去。
8.4 三个数字怎样读
ARIMA(p,d,q)中:
- p:自回归部分使用的阶数。
- d:非季节差分次数。
- q:移动平均误差部分的阶数。
比如ARIMA(1,1,1),可以先理解为“先做一次差分,再用一个滞后变化和一个滞后扰动描述差分后的序列”。概念公式可以写成:
Δy_t=c+φΔy_(t−1)+ε_t+θε_(t−1)。
Δ表示“相邻两期相减”,Δy与c、ε单位同为kg,φ、θ为无单位系数;θ乘的是上一期模型扰动,不是上一期销量。完整手算一个教学状态:最近变化Δy_(t−1)=2kg,估计上一期扰动ε_(t−1)=−1kg,设c=0.5kg、φ=0.4、θ=0.2,则下一次变化的点预测=0.5+0.4×2+0.2×(−1)=1.1kg(未来ε_t的条件均值为0)。若最近水平23kg,则还原的水平预测=23+1.1=24.1kg。这里仅演示已给参数怎样计算,不是完成了ARIMA拟合,也不代表该参数设定适合任何数据。
实际软件对常数、漂移和趋势的参数化方式可能不同,不能看到一个c就直接套用同样的业务解释。季节ARIMA还会增加季节阶数和周期m;日数据的一周周期常设m=7,月数据的一年周期常设m=12,但应由数据频率与业务周期决定。
ARIMA、季节组件与外生变量的接口定义可查statsmodels ARIMA文档。第一轮实验不需要手推极大似然估计,但必须知道模型使用哪些信息、输出怎样生成、回测有无穿越。
8.5 ARIMAX或动态回归 把两条学习线接起来
回归可以解释促销、预订和星期。若回归后的残差仍明显连续几天偏高,说明剩余误差还有时间结构。动态回归可以用外部特征解释一部分,再用ARIMA结构描述剩余变化。
一种概念表达是:
耗用量=促销与预订等特征的回归部分+具有时间相关性的误差部分。
这种组合不会解除输入可得性的要求。如果模型需要未来7天促销、天气或价格,就必须在预测起点准备相应计划、预报或情景。拿真实未来天气做出的结果,可以用于“如果天气已知”的条件分析,却不能冒充当时可实现的业务预测。
8.6 对ARIMA做四项检查
- 拟合过程是否收敛,有没有错误或警告?
- 预测有没有不合理的负值或远距离爆炸?
- 残差是否仍有明显的星期或连续偏差结构?
- 在同样起点、步长、数据口径下,是否超过了同周法等基线?
销量或耗用出现负预测时,不能悄悄把它截断为0后继续沿用原成绩。若决定采用非负截断,它就是预测流程的一部分,回测也要采用同样规则;同时还应检查分布假设、变换和模型选择是否适合该目标。
AIC、BIC等模型选择指标可以帮助在特定统计假设下比较候选,但不能替代面向实际预测任务的时间回测。一次拟合不报错,也不等于模型适合生产。
本章练习。 “SARIMA用了季节性,所以一定比上周同日法准确”,这句话有什么问题?
参考答案。 两者都能利用周期信息,但复杂模型需要估计更多结构。样本短、周期不稳定或设定错误时,它可能更差。必须在相同可用信息和时间协议下比较,不按模型名字排序。
第9章 完成一次你能够解释的基础实验
9.1 先限定实验边界
第一轮可以只选一个门店、一个食材SKU,预测次日耗用。目标是证明整条流程正确,不是证明这个SKU的最优算法能代表全部业务。
按以下顺序进行:
- 写出第1章的预测业务合同。
- 整理日期骨架,检查缺失、闭店、缺货和单位。
- 画出历史图,提出少量可检验的候选规律。
- 先写固定的时间切分、更新频率和指标。
- 建立昨日法、同周法、移动平均三种基线。
- 加入一个低特征数回归与一种合适的平滑模型。
- 只在验证区间选方法,记录失败与警告。
- 锁定流程后,在另行保护的未暴露测试数据上评价,输出逐条预测和分组结果。若复用第141至180天,只报告历史复核,不称为新的独立最终测试。
如果没有足够历史,不需要勉强把所有模型都跑一遍。14天适合练算术和数据流,180天可支持更完整的短期实验,但仍不足以证明年度规律与极端大促泛化能力。
9.2 实验记录必须能还原
至少保存以下内容:
- 目标列、单位、门店与SKU范围。
- 数据版本、提取时间、缺失和缺货处理方式。
- 每次预测的发出时间、目标日期和步长。
- 训练、验证、测试边界,重训规则和特征可得性。
- 模型设置、失败样本及失败后的回退规则。
- 逐条实际值与预测值,而不只是一个最终分数。
- 与基线比较的绝对改善量和相对改善比例。
例如基线MAE为4kg、候选为3kg,绝对改善为1kg,相对降低(4−3)÷4=25%。这不等于损耗减少25%,也不等于服务水平提高25%。从预测指标到业务收益还需要后续决策评估。
9.3 写出一段不夸大的实验结论
可参考以下格式,把括号内容替换成真实结果:
“本实验预测[门店与SKU范围]的[目标与单位],在[发出时间]生成未来[步长]预测。使用[时间区间]进行验证,锁定方案后在[测试区间]评价。相较[基线],候选方法的[指标]从[数值]变为[数值]。改善主要发生在[分组],但[其他分组或场景]仍有不足。结果仅支持当前样本与协议下的结论,下一步需要验证[具体未覆盖条件]。”
这个模板中的“测试区间”必须注明是否事先未暴露。如果使用已看过的第141至180天,应改写为“在历史已暴露区间复核”,并说明哪些模型选择发生在查看结果之后。不能仅凭使用了“测试”一词,就把开发过程中的比较包装成独立证据。
如果结果没有超过基线,也是一份合格结论。它帮助你排除无效复杂度,或者发现缺失的业务信息。不能为了“模型升级”的叙事而只挑选表现好的SKU发表。
9.4 禾味与服装案例怎样迁移
禾味的关键限制包括生鲜保质期、短采购周期、菜品与食材BOM、净耗用与损耗口径。匿名服装企业更可能面对款色码稀疏、断码、新品无历史、长交期和生命周期。学习过的回测原则仍然适用,但目标粒度、预测范围和可用基线会改变。
例如服装采购提前8周,不应只展示次日预测很准;款色码每天大部分为0,也不应只用全公司WAPE掩盖小SKU表现。可以先在款式或品类层级学习较稳定的规律,再研究怎样分配到颜色与尺码,但不能假定各层预测自然相加一致。
下一阶段再进入全局模型、树模型、间歇需求、层级协调、新品预测和概率预测。判断是否需要升级的依据,应是现有方法遇到的具体问题,而不是算法名称看起来更先进。
基础部分自测清单
完成这部分后,应能在不查公式的情况下回答:
- 我到底预测销量、潜在需求、净耗用还是采购量?
- 一个特征与一个参数有什么区别?
- 为什么回归也可以做时间序列预测?
- 今天预测未来7天,与每天更新次日预测有什么不同?
- 为什么缺失和缺货不能直接填0?
- 同周法的MAE更小但Bias更大,意味着什么?
- 为什么4个点上回归拟合很好,不能承诺上线效果?
- 门店编号为什么不应随意当作等距数值?
- 促销与门店的交互项在表达什么?
- ARIMA中的MA与7日移动平均有什么区别?
- 未来天气、价格和促销计划在预测时从哪里来?
- 如果复杂模型没有胜过基线,我会保留怎样的结论?
如果其中某一项还答不清,就回到相应小样本算一次。比起记住更多算法名称,能够解释数据、信息边界和误差,才是独立开展预测项目的第一步。
本阶段项目与验收
阶段5:时间序列的水平、趋势与季节(3课)
必修/扩展边界:必修只使用完整序列[10,13,15]手算差分[3,2];给定未来差分2,从15还原17。另用P03的180天数据画星期季节曲线并复核季节朴素即可通过。三年周数据、ETS/ARIMA拟合与阶数选择为待自建数据的选修,不要求读者下载不存在文件。
课程:①趋势/星期季节与残差;②Holt/ETS与ARIMA差分直觉;③动态回归、Prophet和模型适用边界。
选修扩展项目P05“同样叫季节,证据够不够”:在180天数据比较周季节基线、Holt/ETS、一个限制阶数的ARIMA;另给3年周数据讲年季节。一次只换一个结构,写明初值与模型配置。
扩展交付:model_spec.yaml、分解图、validation_comparison.csv、适用条件卡。
扩展验收(完成必修不要求实现此部分):差分手算[10,13,15]→[3,2],从最后值15与未来差分2还原17;180天样本不得声称验证年季节;5步预测不输入未知未来销量;记录拟合失败和退化方案。
仅保存在本机当前浏览器,无账号云同步;清除浏览器数据会丢失。不自动认定你通过测试。建议先保留输出文件和计算过程。
所有数据、系数与业务场景均为教学模拟。预测不等于采购或排产指令。来源与修订说明。