网站导航

平滑、趋势与ARIMA

全文共 6381 字,阅读约需 13 分钟

平滑、趋势与ARIMA:这是一种观察框架,不意味着现实一定能被完美分成四个独立部分。春节与开学季等事件可能会移动;促销、缺货和菜单调整也未必是随机噪声。

← 学习路线
课程目录与学习记录 0 / 109

学习进度仅存于本机浏览器。原教程站的记录不会跨域自动迁移;可先在原站导出留存,新站按实际完成情况重新勾选。

入门数据与作业包

禾味数据为 2 店 × 8 SKU × 180 天,共 2,880 行,是可见教学数据,不是封存盲测集。起步包是模拟夹具,不表示已完成六行业预测实验。资源中心另有四专项工程、模型实验和计划实验,使用前请阅读各自能力边界。

第7章 时间序列先从水平 趋势和季节性开始

7.1 拆开观察一条曲线

一条日耗用曲线可以先从四个角度观察:

  • 水平:最近一般在什么量级,比如每天约25kg。
  • 趋势:这个量级是否缓慢上升或下降。
  • 季节性:是否按已知周期重复,比如每周五、六较高。
  • 剩余波动:前面几部分没有解释的变化。

这是一种观察框架,不意味着现实一定能被完美分成四个独立部分。春节与开学季等事件可能会移动;促销、缺货和菜单调整也未必是随机噪声。

匿名服装企业可以同时存在周末效应、年度气候季节性和一款商品的上市生命周期。生命周期是随着上市后时间推进而变化,不一定会对同一SKU逐年重复,不能把二者混为“季节性”。

7.2 简单指数平滑 每次只更新一个水平

移动平均在窗口外突然丢掉旧数据。简单指数平滑则逐步降低旧观测的影响。设当前水平为l:

l_t=α×y_t+(1−α)×l_(t−1)。

次日预测为ŷ_(t+1|t)=l_t。

α取0到1之间。α越大,越重视最新实际值;越小,越平滑。为了演示,令α=0.3,初始水平l_1=y_1=20kg:

这里t是日序号,y_t是当日实际kg,l_t是看过第t天数据后的平滑水平kg,l_(t−1)是前一天水平kg;α是无单位权重。公式可改写为l_t=l_(t−1)+α(y_t−l_(t−1)):旧水平只向新观测移动α份距离。它假定仅跟踪局部水平,不能自行表达提前已知的促销或星期结构。

  • 第2天更新:l_2=0.3×22+0.7×20=20.6。
  • 第3天更新:l_3=0.3×21+0.7×20.6=20.72。
  • 第4天更新:l_4=0.3×23+0.7×20.72=21.404。
  • 因此在第4天结束时,对第5天预测21.404kg。

第5天实际是30kg,说明只追踪水平并不能提前识别本教学样本的周五高峰。继续按同一规则计算,第14天更新后的水平约29.73kg,作为第15天预测。它有平滑作用,但不会凭空学会周一回落。

只使用简单指数平滑时,从同一起点向未来多步预测通常都是当前水平。适用范围和指数平滑的组件形式见Forecasting Principles and Practice 第8章。α=0.3只是教学设定,实战应在训练与验证中估计或选择。

7.3 Holt方法 再跟踪一个趋势

如果水平持续增长,可以同时更新水平l和每期趋势b:

l_t=αy_t+(1−α)(l_(t−1)+b_(t−1))。

b_t=β(l_t−l_(t−1))+(1−β)b_(t−1)。

h步预测为ŷ_(t+h|t)=l_t+h×b_t。

新增符号b_t是每一个日步的增长量,通常口头称kg/天;α与β是无单位平滑权重,均在0到1之间,β调节趋势更新速度;h是未来日步数。日步长固定为1天,l_(t−1)+b_(t−1)实际表示“水平+趋势×1天”,因此单位一致。若换成周数据,b与h也必须改为周步,不能把日趋势直接乘周数。

读公式时先看意思:新的水平结合“本期实际”和“上期水平按趋势往前走一步”;新的趋势结合“刚刚观察到的水平变化”和“旧趋势”。

用一个独立状态演示:上期水平24kg,上期趋势0.5kg/天,本期实际26kg,α=0.3,β=0.2。

  1. 先更新水平:l=0.3×26+0.7×(24+0.5)=24.95kg。
  2. 再更新趋势:b=0.2×(24.95−24)+0.8×0.5=0.59kg/天。
  3. 预测下一天:24.95+0.59=25.54kg。
  4. 预测第3天:24.95+3×0.59=26.72kg。

这只是计算演示,不是前面14天样本的拟合结果。若长时间外推固定增长,可能越来越不合理。阻尼趋势让增长影响逐步减弱,用来表达“短期继续增长,但不永远按同样速度增长”的假设。

7.4 Holt Winters 加入重复的周期

如果还有一周规律,可以为周期中的位置维护季节分量。

加法季节性的直觉是“周五大约多5kg”。例如预测时点的下一期水平加趋势为25.3kg,周五季节分量为+5kg,则预测30.3kg。

乘法季节性的直觉是“周五大约比普通水平高20%”。若对应因子为1.2,则预测25.3×1.2=30.36kg。

当业务规模翻倍后,星期波动更接近固定加几kg,还是整体同比例放大,能帮助选择候选形式。但最终仍要回测。乘法模型还要求相应建模数据满足正值等条件,零值较多时不能直接照搬。

两周教学样本只能演示一周周期,不适合承担稳定估计复杂趋势和季节参数的任务。实际训练应覆盖多个相关周期,并检查经营制度是否改变。statsmodels ExponentialSmoothing文档明确区分趋势、阻尼和加法或乘法季节组件。

ETS常用于表示以误差、趋势、季节性组件组织的一类状态空间模型。不要把所有指数平滑都简单理解成“给最近几天乘几个权重”,也不必在第一轮实验里穷举所有组件组合。

7.5 选模型时先看它能够表达什么

观察到的主要结构候选起点还需要比较的基线
水平较稳定,无明显周期简单指数平滑均值、昨日法
水平缓慢变化Holt或阻尼趋势移动平均、昨日法
稳定的一周周期季节性指数平滑上周同日法
促销和节假日影响很强含外部特征的模型同周法加明确业务规则
大量0,偶尔出现需求先作为间歇需求专门处理不直接套用普通平滑结论

这张表是候选筛选规则,不是性能保证。某个模型能够表达季节性,不代表它在短样本或制度变化时一定胜过简单同周法。

本章练习。 如果α=1,简单指数平滑退化成什么方法?如果α接近0,又有什么表现?

参考答案。 α=1时水平等于最新实际值,次日预测就是昨日法。α接近0时新数据的影响很小,预测变化很慢;这不是自动更稳健,只是更不敏感。

第8章 看懂ARIMA以及回归与时间序列怎样结合

8.1 自回归 用自己的过去预测自己

普通回归可以使用预订份数,自回归把自己的历史值当作输入。例如:

y_t=c+φ×y_(t−1)+ε_t。

c是常数,φ是上期值的系数,ε是当前还无法解释的随机扰动。用一个独立教学模型:y_t=10+0.6y_(t−1)+ε_t。

本节y、c、ε单位都是kg,φ无单位,t是日序号;点预测时把未来扰动的条件均值设为0,而不是断言未来没有波动。简单AR(1)在|φ|<1、扰动符合相应条件时有稳定均值,若φ接近或超过1则不能沿用下文长期回落的解释。

如果最近实际是30kg,则下一天的点预测为10+0.6×30=28kg。再向前一天时,尚未得到第一天实际值,所以用预测值递推:10+0.6×28=26.8kg。

你已经看见自回归与多步预测的联系。不能第二步偷偷换用尚未发生的实际值。这个模型在相应稳定条件下围绕25kg的长期均值波动,因为25=10+0.6×25。

8.2 差分 先预测变化再加回去

原序列是20、22、21、23时,相邻差分是2、−1、2。

一阶差分Δy_t=y_t−y_(t−1),把“今天是多少”改成“今天比昨天多多少”。如果最近值23kg,模型预测下一次变化为1.5kg,那么下一期水平预测就是24.5kg。

季节差分则比较相隔一个周期的值。例如一周周期为7,季节差分为y_t−y_(t−7)。教学样本第8至14天的季节差分都等于2kg。

差分是帮助处理某些非稳定变化的一种办法,不是所有序列必须进行的固定步骤。过度差分也可能放大噪声、引入不必要的结构。不能因为已经学了差分,就对所有数据差两次。

8.3 ARIMA里的MA不是滑动平均预测

前面“过去7天移动平均”是直接对历史观测取平均。ARIMA中的MA部分使用过去的随机扰动项来描述当前变化,它与移动平均基线不是同一个概念。

可以先把它理解为:模型考虑“上一次出现了怎样的意外偏差”,并估计这种意外是否还会延续影响。但严格说,模型中的扰动并非直接观测值,需要在拟合过程中估计,不能把任意一组业务报表误差直接塞进去。

8.4 三个数字怎样读

ARIMA(p,d,q)中:

  • p:自回归部分使用的阶数。
  • d:非季节差分次数。
  • q:移动平均误差部分的阶数。

比如ARIMA(1,1,1),可以先理解为“先做一次差分,再用一个滞后变化和一个滞后扰动描述差分后的序列”。概念公式可以写成:

Δy_t=c+φΔy_(t−1)+ε_t+θε_(t−1)。

Δ表示“相邻两期相减”,Δy与c、ε单位同为kg,φ、θ为无单位系数;θ乘的是上一期模型扰动,不是上一期销量。完整手算一个教学状态:最近变化Δy_(t−1)=2kg,估计上一期扰动ε_(t−1)=−1kg,设c=0.5kg、φ=0.4、θ=0.2,则下一次变化的点预测=0.5+0.4×2+0.2×(−1)=1.1kg(未来ε_t的条件均值为0)。若最近水平23kg,则还原的水平预测=23+1.1=24.1kg。这里仅演示已给参数怎样计算,不是完成了ARIMA拟合,也不代表该参数设定适合任何数据。

实际软件对常数、漂移和趋势的参数化方式可能不同,不能看到一个c就直接套用同样的业务解释。季节ARIMA还会增加季节阶数和周期m;日数据的一周周期常设m=7,月数据的一年周期常设m=12,但应由数据频率与业务周期决定。

ARIMA、季节组件与外生变量的接口定义可查statsmodels ARIMA文档。第一轮实验不需要手推极大似然估计,但必须知道模型使用哪些信息、输出怎样生成、回测有无穿越。

8.5 ARIMAX或动态回归 把两条学习线接起来

回归可以解释促销、预订和星期。若回归后的残差仍明显连续几天偏高,说明剩余误差还有时间结构。动态回归可以用外部特征解释一部分,再用ARIMA结构描述剩余变化。

一种概念表达是:

耗用量=促销与预订等特征的回归部分+具有时间相关性的误差部分。

这种组合不会解除输入可得性的要求。如果模型需要未来7天促销、天气或价格,就必须在预测起点准备相应计划、预报或情景。拿真实未来天气做出的结果,可以用于“如果天气已知”的条件分析,却不能冒充当时可实现的业务预测。

8.6 对ARIMA做四项检查

  1. 拟合过程是否收敛,有没有错误或警告?
  2. 预测有没有不合理的负值或远距离爆炸?
  3. 残差是否仍有明显的星期或连续偏差结构?
  4. 在同样起点、步长、数据口径下,是否超过了同周法等基线?

销量或耗用出现负预测时,不能悄悄把它截断为0后继续沿用原成绩。若决定采用非负截断,它就是预测流程的一部分,回测也要采用同样规则;同时还应检查分布假设、变换和模型选择是否适合该目标。

AIC、BIC等模型选择指标可以帮助在特定统计假设下比较候选,但不能替代面向实际预测任务的时间回测。一次拟合不报错,也不等于模型适合生产。

本章练习。 “SARIMA用了季节性,所以一定比上周同日法准确”,这句话有什么问题?

参考答案。 两者都能利用周期信息,但复杂模型需要估计更多结构。样本短、周期不稳定或设定错误时,它可能更差。必须在相同可用信息和时间协议下比较,不按模型名字排序。

第9章 完成一次你能够解释的基础实验

9.1 先限定实验边界

第一轮可以只选一个门店、一个食材SKU,预测次日耗用。目标是证明整条流程正确,不是证明这个SKU的最优算法能代表全部业务。

按以下顺序进行:

  1. 写出第1章的预测业务合同。
  2. 整理日期骨架,检查缺失、闭店、缺货和单位。
  3. 画出历史图,提出少量可检验的候选规律。
  4. 先写固定的时间切分、更新频率和指标。
  5. 建立昨日法、同周法、移动平均三种基线。
  6. 加入一个低特征数回归与一种合适的平滑模型。
  7. 只在验证区间选方法,记录失败与警告。
  8. 锁定流程后,在另行保护的未暴露测试数据上评价,输出逐条预测和分组结果。若复用第141至180天,只报告历史复核,不称为新的独立最终测试。

如果没有足够历史,不需要勉强把所有模型都跑一遍。14天适合练算术和数据流,180天可支持更完整的短期实验,但仍不足以证明年度规律与极端大促泛化能力。

9.2 实验记录必须能还原

至少保存以下内容:

  • 目标列、单位、门店与SKU范围。
  • 数据版本、提取时间、缺失和缺货处理方式。
  • 每次预测的发出时间、目标日期和步长。
  • 训练、验证、测试边界,重训规则和特征可得性。
  • 模型设置、失败样本及失败后的回退规则。
  • 逐条实际值与预测值,而不只是一个最终分数。
  • 与基线比较的绝对改善量和相对改善比例。

例如基线MAE为4kg、候选为3kg,绝对改善为1kg,相对降低(4−3)÷4=25%。这不等于损耗减少25%,也不等于服务水平提高25%。从预测指标到业务收益还需要后续决策评估。

9.3 写出一段不夸大的实验结论

可参考以下格式,把括号内容替换成真实结果:

“本实验预测[门店与SKU范围]的[目标与单位],在[发出时间]生成未来[步长]预测。使用[时间区间]进行验证,锁定方案后在[测试区间]评价。相较[基线],候选方法的[指标]从[数值]变为[数值]。改善主要发生在[分组],但[其他分组或场景]仍有不足。结果仅支持当前样本与协议下的结论,下一步需要验证[具体未覆盖条件]。”

这个模板中的“测试区间”必须注明是否事先未暴露。如果使用已看过的第141至180天,应改写为“在历史已暴露区间复核”,并说明哪些模型选择发生在查看结果之后。不能仅凭使用了“测试”一词,就把开发过程中的比较包装成独立证据。

如果结果没有超过基线,也是一份合格结论。它帮助你排除无效复杂度,或者发现缺失的业务信息。不能为了“模型升级”的叙事而只挑选表现好的SKU发表。

9.4 禾味与服装案例怎样迁移

禾味的关键限制包括生鲜保质期、短采购周期、菜品与食材BOM、净耗用与损耗口径。匿名服装企业更可能面对款色码稀疏、断码、新品无历史、长交期和生命周期。学习过的回测原则仍然适用,但目标粒度、预测范围和可用基线会改变。

例如服装采购提前8周,不应只展示次日预测很准;款色码每天大部分为0,也不应只用全公司WAPE掩盖小SKU表现。可以先在款式或品类层级学习较稳定的规律,再研究怎样分配到颜色与尺码,但不能假定各层预测自然相加一致。

下一阶段再进入全局模型、树模型、间歇需求、层级协调、新品预测和概率预测。判断是否需要升级的依据,应是现有方法遇到的具体问题,而不是算法名称看起来更先进。

基础部分自测清单

完成这部分后,应能在不查公式的情况下回答:

  1. 我到底预测销量、潜在需求、净耗用还是采购量?
  2. 一个特征与一个参数有什么区别?
  3. 为什么回归也可以做时间序列预测?
  4. 今天预测未来7天,与每天更新次日预测有什么不同?
  5. 为什么缺失和缺货不能直接填0?
  6. 同周法的MAE更小但Bias更大,意味着什么?
  7. 为什么4个点上回归拟合很好,不能承诺上线效果?
  8. 门店编号为什么不应随意当作等距数值?
  9. 促销与门店的交互项在表达什么?
  10. ARIMA中的MA与7日移动平均有什么区别?
  11. 未来天气、价格和促销计划在预测时从哪里来?
  12. 如果复杂模型没有胜过基线,我会保留怎样的结论?

如果其中某一项还答不清,就回到相应小样本算一次。比起记住更多算法名称,能够解释数据、信息边界和误差,才是独立开展预测项目的第一步。

本阶段项目与验收

阶段5:时间序列的水平、趋势与季节(3课)

必修/扩展边界:必修只使用完整序列[10,13,15]手算差分[3,2];给定未来差分2,从15还原17。另用P03的180天数据画星期季节曲线并复核季节朴素即可通过。三年周数据、ETS/ARIMA拟合与阶数选择为待自建数据的选修,不要求读者下载不存在文件。

课程:①趋势/星期季节与残差;②Holt/ETS与ARIMA差分直觉;③动态回归、Prophet和模型适用边界。

选修扩展项目P05“同样叫季节,证据够不够”:在180天数据比较周季节基线、Holt/ETS、一个限制阶数的ARIMA;另给3年周数据讲年季节。一次只换一个结构,写明初值与模型配置。

扩展交付:model_spec.yaml、分解图、validation_comparison.csv、适用条件卡。

扩展验收(完成必修不要求实现此部分):差分手算[10,13,15]→[3,2],从最后值15与未来差分2还原17;180天样本不得声称验证年季节;5步预测不输入未知未来销量;记录拟合失败和退化方案。

仅保存在本机当前浏览器,无账号云同步;清除浏览器数据会丢失。不自动认定你通过测试。建议先保留输出文件和计算过程。

所有数据、系数与业务场景均为教学模拟。预测不等于采购或排产指令。来源与修订说明。