趋势预测：
对于预测问题，回归中最简单的线性回归，是以线性的方法拟合出数据的趋势。但是对于有周期性，波动性的数据，并不能简单以线性的方式拟合，否则模型会偏差较大，而局部加权回归（lowess）能较好的处理这种问题。可以拟合出一条符合整体趋势的线，进而做预测。
平滑问题：
局部加权回归（lowess）也能较好的解决平滑问题。在做数据平滑的时候，会有遇到有趋势或者季节性的数据，对于这样的数据，我们不能使用简单的均值正负3倍标准差以外做异常值剔除，需要考虑到趋势性等条件。使用局部加权回归，可以拟合一条趋势线，将该线作为基线，偏离基线距离较远的则是真正的异常值点。
实际上，局部加权回归（Lowess）主要还是处理平滑问题的多，因为预测问题，可以有更多模型做的更精确。但就平滑来说，Lowess很直观而且很有说服力。

算法讲解

2.1 算法思想

局部加权回归（Lowess）的大致思路是：以一个点 x 为中心，向前后截取一段长度（步长）为 frac 的数据，对于该段数据用权值函数 w 做一个加权的线性回归，记 ( x , y^{^} ) 为该回归线的中心值，其中 y^ 为拟合后曲线对应值。对于所有的 n 个数据点则可以做出 n 条加权回归线，每条回归线的中心值的连线则为这段数据的Lowess曲线。

2.2 参数讲解

在这个思路中，能提取出的可调参数则是：

长度 frac ，应该截取多长的作为局部处理，frac 为原数据量的比例；
权值函数 w ，使用什么样的权值函数 w 合适；
迭代次数 it ，在进行一次局部回归后，是否需要迭代，再次做回归；
delta回归间隔，是否真的每个点都需要算一次加权回归，能否隔 delta 距离算一次，中间没算的用插值替换即可。

在了解了算法算法的大致思想和可调参数以后，你可以马上上手使用statsmodels.api.nonparametric.lowess了。使用方法如下：

1
2
3

import statsmodels.api as sm
lowess = sm.nonparametric.lowess
result = lowess(y, x, frac=0.2, it=3, delta=0.0)

但是，在statsmodels中，你会发现：1、权值 w 函数你是不可调的；2、在用了 delta 之后，插值函数你是不可调的。
总之就是，黑盒子，很多你都不可调的。而且它还有一个非常严重的问题，具体可看本文3.3效果对比。
接下来就是看相关文档，了解思路，之后，你可以自己写一个lowess，而且速度不会慢。

相关文档，statsmodels就给出了比较权威的参考：《Cleveland, W.S. (1979) “Robust Locally Weighted Regression and Smoothing Scatterplots”. Journal of the American Statistical Association 74 (368): 829-836.》。
文章是《鲁棒性的加权回归》，即原始加权基础上迭代，增加鲁棒性。网上还有一些其他的lowess讲解，我看了，和这个不太一样，可以选择性阅读。

2.3 权值函数

理解了lowess之后，可以明白，其实权值函数并不是固定的，只要满足一定的规则条件即可（当然并也非强制），条件如下：

W(x) > 0 for ∣x∣<1 ;
W(−x)=W(x);
W(x) is a nonincreasing function for x ⩾ 0 ;
W(x) = 0 for ∣x∣⩾1

选择该类函数大致思路是：希望 W(x) 大于0，且作用域为[-1,1]，且为对称函数，该函数对于中间(0处)的值较大，两边(-1\1)处值较小。
选择思路是，中间的权值较高，对于加权回归的影响较大；[-1,1]的原因是，对于任意不规则的数据段，可以压缩映射到[-1,1]，方便处理。

权值函数如，B函数（二次函数）：
B(x) = ${ (1− x^2)^2 , for ∣x∣ < 1 \choose 0 , for ∣x∣⩾ 1}$

W函数（三次函数）：
W(x) = ${ (1−|x∣^3 )^3, for ∣x∣<1 \choose 0 , for ∣x∣⩾ 1}$

二次与三次函数的区别在于，三次函数对于周围权值降速更快，在平滑最初时候效果好，且适用于大多数分布，但增加了残差的方差。
对于权值函数选取，第一次迭代适用W函数（三次函数），之后迭代使用B函数（二次函数）。权值函数的使用：

使用权值函数 W(x)；
数据段 [d1,d2]，映射成 [−1,1] 对应的坐标；
带入函数 W(x)，计算出每个点对应的 $w_i$；
使用加权回归得出模型：$ \hat{Y}=X(X^{T}w X)^{-1}X^{T}wY$

2.4 回归迭代

上面讲了权值函数的选取和使用，提到了迭代，这里讲解怎么迭代。
首先，原值为 y，预测值为 $\hat{y} $，残差为$ e=y-\hat{y} $，记 s 为 $|e_{i}|$的中位数。鲁棒性的权值调整附加值 $ \delta_{k}=W(\frac{e_{k}}{6s})$ ，修正后的权值为 $ \delta_{k}w_{k} $。
迭代过程为：
1.使用W函数（三次函数）作为权值函数，求出 $w_{i} $。
2.将 $ w_{i} $带入加权回归计算出 $ \hat{y}$
3.求出$ e=y-\hat{y}$和 $ s$
4.以B函数作为修正权值函数，求出$ \delta_{k}=B(\frac{e_{k}}{6s})$，计算出$ \delta_{k}w_{k} $
5.将 $\delta_{k}w_{k} $作为修正权值，重复2、3、4步骤

该迭代没有明确的终止条件，据大量实验得知，原文中提到是2次迭代就基本收敛了，我做实验的时候，3次左右基本收敛，根文中描述差不多。

2.5 间隔回归，中间插值

在使用局部加权回归的时候，如果每个点都使用一次加权回归，则会比较耗时，所以有了，对于部分点使用加权回归，而未使用加权回归的点采用插值法处理，速度会增快很多，同时不会影响太大效果。
可以每间隔$ delta $个点使用一次加权回归，中间点采用：线性插值、二次插值、三次插值等方法。
statsmodels推荐当数据点$ N > 5000 $的时候，选择 $ delta = 0.01 * N $
而我一般是设置 $ delta=4 $，同时，我的插值函数是线性插值，因为我不希望插值出负数，大家可以根据自己需求选择。

2.6 其他参数

长度 $ frac $比例，文章给出的适用比例是：0.49，statsmodels默认的是：0.666。
同时，文章中还有一个参数是，使用的是多项式加权回归进行拟合，最高次是 $ d $，而进行讨论给出的结论是 $ d=1 $
时候，即为线性回归，适合基本大多数场景。所以本博客一开始就使用线性加权回归介绍，感兴趣的可以去看看原文。

三、实验效果

3.1 效果

上面讲了整个思路，和详细的参数意义等，看了之后写出代码应该不难。这里作个伪代码总结：

data_x # x轴数据
data_y # y轴数据
map(x in data_x):               # 对每个x
    x_list = getRange(x, data_x, frac)  # 以x为中心，按照frac的比例截取数据
    w = calFuncW(x_list)                # 以w函数计算权值函数
    y_hat = weightRegression(x_list, data_y[x_list], w)         # 计算y_hat
    for it in iters:                    # 迭代iters次
        err, s, new_w = calNewWeight(y_hat, data_y[x_list], B)  # 使用B函数计算,迭代的new_w
        y_hat = weightRegression(x_list, data_y[x_list], new_w) # 使用new_w计算y_hat
    result = y_hat[x]                   # 取结果中心点