污水处理过程出水水质稀疏鲁棒建模

随着工业化的发展和生态污染的加剧, 我国水资源短缺问题日益严重, 已经成为制约经济社会发展的瓶颈问题. 污水处理可有效缓解水资源匮乏问题并且减少环境污染[1-2]. 活性污泥法是目前最为常用的污水处理方法[3], 其利用微生物菌群的生物特性, 通过硝化、反硝化等生物化学反应, 对污水中的可溶性有机物进行分解和氧化, 从而使得污水得到净化, 达到排放标准. 活性污泥法污水处理过程工艺示意图如图1所示, 污水首先经过格栅间去除较大体积的固体污染物, 然后通过进水泵的作用进入初沉池, 去除大部分固体悬浮物. 经过初沉池的出水进入生化反应池, 生化反应池是活性污泥法的核心环节, 分为厌氧区和好氧区两个部分. 在厌氧区, 利用厌氧菌的无氧呼吸完成反硝化反应, 可以将污水中的硝态氮还原成氮气释放出来; 在好氧区, 通过硝化反应将氨氮转化成硝酸盐, 回流到厌氧区进行反硝化反应使有机物被降解. 最后, 经过生化池处理的出水流入二沉池进行固液分离, 上层清水从出水口排出进行消毒处理, 以使水质达到排放标准. 而下层沉淀后的污泥一部分继续回流到生化池中, 另一部分污泥与初沉池的污泥混合经过浓缩、消化、脱水等处理后回收利用.

图 1  污水处理过程工艺流程图

Fig. 1  Wastewater treatment process flow diagram

污水处理是一个具有复杂生化反应的非线性、大滞后、强耦合典型流程工业系统, 包含诸多重要的生产数据, 现场操作人员会利用工业数据对某些特别关注的关键指标进行监测, 从而调控整个生产过程, 最终实现稳定生产的目标[4-6]. 目前, 在污水处理过程中被广泛关注的指标为出水的水质指标, 主要包括生化需氧量(Biochemical oxygen demand, BOD)、化学需氧量(Chemistry oxygen demand, COD)和总悬浮物(Total suspended solid, TSS). 污水水质指标不仅是用来衡量污水处理过程正常与否的重要标志, 还可以反映过程内部的具体状态变化. 因此, 对水质指标进行实时准确地测量可以为污水处理厂的工作人员提供操作参考. 然而, 污水处理过程受进水流量、微生物种群、溶解氧浓度、PH值等的影响, 使得整体过程反应机理极其复杂, 内部环境恶劣, 难以进行水质指标的实时在线直接检测, 通常需要进行离线检验. 然而离线检验的时滞会严重影响污水处理操作的实效, 并且容易造成二次污染[6]. 所以建立准确的水质指标估计模型来反映当前水质情况和预期的水质指标变化, 进而为污水处理过程的操作与优化提供重要指导.

目前常见的水质指标建模方法包括机理建模和数据驱动建模两种. 机理建模需要对整体工艺机理有着深入了解, 并在满足一定假设条件的基础上, 依据大量的专家知识才能够建立. 正是因为这些假设条件和人为经验的限制, 使得机理模型的实际应用精度极低, 实用性差. 与机理建模方法不同, 数据驱动建模不需要先验知识和各种假设条件, 只需借助于机器学习、统计学习等智能算法主动学习输入输出样本数据之间的映射关系, 就能够获得比较好的建模精度. 随着工业过程各种数据可用性的提高以及数据处理能力的增强, 数据驱动水质指标智能建模方法越来越受到研究者的重视, 相关文献先后提出了偏最小二乘(Partial least squares, PLS)建模方法[7-8]、支持向量机回归(Support vector regression, SVR)建模方法[9-10]和人工神经网络(Artificial neural networks, ANNs)等水质指标建模方法[2, 6, 11-12]. 尤其以ANNs为代表的数据驱动建模技术已经成为了水质建模的主要方法. 文献[2]使用前馈神经网络建立出水氨氮和总氮浓度的预测模型, 实验表明该方法具有较好的模型精度. 文献[6]提出了一种基于类脑模块化神经网络的关键出水参数软测量方法, 通过模拟大脑皮层模块化分区结构, 构建软测量子模型对各水质指标进行同步测量. 虽然利用ANNs建立水质指标模型取得了很大的进展, 但是常规ANNs建模算法普遍存在过拟合、易陷入局部极小的问题, 并且基于批学习的网络权值和偏差迭代算法容易造成模型训练时间长、收敛速度慢的系列问题[13].

近十年来, 随机权神经网络[14] (Random vector functional-link networks, RVFLNs)利用简单易实现的网络结构, 改善了现有ANNs建模普遍存在的收敛速度慢、泛化能力不强、实用性差的问题, 大大提高了模型的计算精度和计算效率. RVFLNs的建模原理是在给定训练范围内随机选取输入权值和隐含层偏置, 通过最小二乘(Least squares, LS)估计求得隐含层和输出层之间的权值. 与传统ANNs相比, RVFLNs可以获得更快的训练速度和可接受的精度. 此外, RVFLNs的万能逼近能力在理论上也得到了证明[15-18]. 因此, 基于RVFLNs的数据驱动质量建模已经被广泛应用到污水处理过程中. 文献[19]采用基于智能算法优化网络参数的RVFLNs实现了BOD的在线软测量. 文献[20]提出了一种选择性集成RVFLNs水质指标建模方法, 并应用到某工业污水处理厂的水质测量, 有效解决了传统ANNs水质模型测量精度低、性能不稳定的问题. 但是, 实际污水处理过程中, 受检测仪表等装置的故障等不可避免的影响, 测量数据中经常存在各种各样的离群点, 即由于人为或设备故障而产生的远离其他大部分样本的极大值或极小值[13, 21]. 同时, RVFLNs在实际应用中, 隐含层矩阵会因为隐含层参数的选取不当造成多重共线性问题, 即隐含层矩阵的列向量之间存在相关关系, 使得LS估计失效[22]. 为此, 有学者提出用PLS代替LS估计求解输出权值, 并将这种网络结构称为偏最小二乘随机权神经网络(PLS-RVFLNs)[22]. 虽然PLS-RVFLNs可以不受多重共线性的影响, 但是PLS在计算时用到了隐含层矩阵的所有列, 并且没有考虑离群点的影响, 导致利用PLS-RVFLNs进行建模的水质模型精度不高且计算效率较低. 综上, 由于实际污水处理过程的复杂动态特性和RVFLNs的结构特点, 多重共线性和离群点问题必然存在, 基本的RVFLNs和PLS-RVFLNs模型不能为现场操作人员提供准确可靠的指导.

针对上述问题, 本文提出一种基于稀疏偏最小二乘(Sparse partial least squares, SPLS)和Schweppe型广义M估计(Generalized M-estimation, GM-estimation)的RVFLNs稀疏鲁棒建模方法(GM-SPLS-RVFLNs), 并用于污水处理过程的出水水质指标的在线鲁棒估计. 与现有鲁棒估计方法相比, 本文方法具有良好的稀疏性, 可以自主地选择与输出变量相关的隐含层变量, 有效地提高模型的计算效率. 同时, 所提模型不仅考虑输入输出样本均含有离群点的情况, 而且还考虑了输入输出样本离群点之间的相互影响, 可以增强模型在遇到离群数据时的泛化能力. 最后, 进行建模仿真实验, 并和其他几种建模算法进行对比. 结果表明, 当输入输出数据均含有离群点时, 本文方法不仅具有更高的模型精度, 而且可以解决常规RVFLNs水质指标模型存在的多重共线性问题.

1.   稀疏鲁棒建模策略

为保证污水处理厂持续、稳定、高效运行, 对污水处理的出水水质指标进行实时检测及评估至关重要[6]. 常用的水质指标有化学性指标BOD、COD和物理性指标TSS等. BOD是指水中能够分解的有机物完全氧化分解所需要的溶解氧量. COD是指在一定的条件下, 水中的有机物在强氧化剂的作用下发生氧化还原所需要的氧气量. BOD和COD这两个水质指标都需要进行水质化验才可以获取, 通常化验的过程会花费较长的时间, 导致后续操作得不到保障. 物理性指标TSS是指水中不可过滤的悬浮物, 是用来检验在污水处理过程中过滤效果好坏的指标, 由于污水处理过程的环境特性, TSS的含量不易直接测量[23].

为了实现对关键水质指标BOD、COD和TSS进行在线估计或预测, 基于随机权神经网络(RVFLNs)的智能建模与稳健估计等技术, 建立多元水质指标非线性自回归(Nonlinear autoregressive exogenous, NARX)模型. 基本RVFLNs建模时, 输入层通过激活函数的作用映射到隐含层特征空间, 而其训练过程可以看成隐含层与输出层之间的线性回归问题, 回归系数就是输出权值. 基本RVFLNs在求解输出权值时, 采用的是最小二乘(LS)估计. 众所周知, 当数据满足高斯−马尔柯夫定理的假设条件时, LS估计是最佳的线性无偏估计. 然而, 污水处理等众多实际工业过程的运行数据往往不满足高斯−马尔科夫定理的基本假设, 使得LS估计出现多重共线性和鲁棒性差的问题. 为此, 本文提出一种稀疏鲁棒建模方法, 建模思路及要点如下:

1)多重共线性的存在经常会导致利用LS估计求解的回归系数产生病态解, 致使模型的输出权值不稳定, 不利于水质指标模型的建立. 为了解决多重共线性的影响, 本文提出采用稀疏偏最小二乘(SPLS)求解模型的输出权值. SPLS是偏最小二乘(PLS)的稀疏版本, 继承了PLS可以解决多重共线性问题和可以实现高维数据降维的优点, 同时在求解过程中可以进行变量选择与约简, 直接将影响较小的变量所对应的回归系数压缩为0, 进而增强了模型的可解释性和计算精度.

2)为了提高模型在遇到同时含输入输出离群点数据时的泛化能力, 本文进一步采用Schweppe型广义M估计对模型的鲁棒性能进行改进. Schweppe型广义M估计是稳健估计理论中较为常用的统计方法, 这种方法不仅考虑离群点与大多数样本点之间的关系, 而且还充分考虑模型输入输出样本离群点之间的关系, 可以对离群点进行合理处理, 降低离群点在建模过程的建模权重, 有效减小离群点对建模过程的干扰, 进而提高水质指标模型的泛化能力.

2.   稀疏鲁棒建模算法

2.1   基本RVFLNs

Pao和Takefuji于1992年首次提出随机权神经网络(RVFLNs)[14-18], 其最大特点是输入层权值和隐含层偏置在特定范围内随机选取, 输出权值由Moore-Penrose广义逆矩阵和最小二乘(LS)估计计算得出. 因此, RVFLNs与基于梯度的学习算法不同, 不需要事先设定过多参数, 也不需要花费大量的时间才能使算法收敛. RVFLNs凭借训练速度快、泛化能力强、较少的人为干预、便于实现在线学习的优点使其在实际系统回归、分类等建模问题中得到广泛应用[13, 19-22].

给定N$N$组任意不同观测样本训练数据集Z={(xi,yi)|xi∈Rn,yi∈Rm,i=1,2,⋯,N}$\mathit{Z}=\{({\mathit{x}}_i,{\mathit{y}}_i)|{\mathit{x}}_i\in {\mathbf{R}}^n,{\mathit{y}}_i\in {\mathbf{R}}^m,i=1,2,\cdots ,N\}$, 其中xi,yi${\mathit{x}}_i,{\mathit{y}}_i$分别为n$n$维输入向量和m$m$维输出向量, 则具有L$L$个隐含层节点, 且激活函数为g(x)$g(x)$的RVFLNs可以表示为:

式中, fL,i(xi)$f_{L,i}({\mathit{x}}_i)$是第i$i$个样本的模型输出值, βj=[βj1,βj2,⋯,βjm]T${\mathit{\beta }}_j=[{\beta }_{j1},{\beta }_{j2},\cdots ,{\beta }_{jm}{]}^{\mathrm{T}}$是第j$j$个隐含层节点与输出层之间的输出权值向量, wj,bj${\mathit{w}}_j,b_j$分别是第j$j$个隐含层节点在给定范围内随机生成的输入权值向量和隐含层偏置向量的第j个元素, wj⋅xi${\mathit{w}}_j\cdot {\mathit{x}}_i$表示wj${\mathit{w}}_j$与xi${\mathit{x}}_i$的内积.

RVFLNs学习目标是使模型输出fL,i(xi)$f_{L,i}({\mathit{x}}_i)$和实际样本输出yi${\mathit{y}}_i$之间的误差最小, 即∑Ni=0∥∥fL,i(xi)−yi∥∥=0${\sum }_{i=0}^N\Vert f_{L,i}({\mathit{x}}_i)-{\mathit{y}}_i\Vert =0$. 该问题等价于存在βj,wj${\mathit{\beta }}_j,{\mathit{w}}_j$和bj$b_j$, 满足以下条件:

用矩阵表示为:

式中, H$H$为隐含层输出矩阵, β$\beta$为输出权值矩阵, Y$Y$为观测样本的真实输出矩阵, 分别表示如下:

一般来说, 训练集的样本数会远大于隐含层节点数, 此时H$H$不是方阵, 那么输出权值β$\beta$就需要使用LS估计对输出权值矩阵进行求解:

式中, H†$H^{†}$为隐含层输出矩阵H$H$的摩尔−彭若斯广义逆矩阵, 此时β^$\hat{\beta }$唯一且其范数最小.

2.2   稳健估计

实际工业数据中会包含大量的离群点, 这些离群点既包含输入样本的离群点, 又包含输出样本的离群点, 直接导致水质指标估计模型的失效. 当样本数据含有离群点时, 可通过选择合适的稳健估计方法来避免离群点的影响, 得出正常数据情况下的最佳估计值. 因此, 借助稳健估计方法来提高模型的鲁棒性, 最常用稳健估计方法为M估计[24]. 对于给定数据集{xi,yi}Ni=1${\left\{{\mathit{x}}_i,y_i\right\}}_{i=1}^N$, 则线性回归方程表示如下:

式中, β$\mathit{\beta }$为回归系数向量, r$\mathit{r}$为残差向量.

利用LS估计求解回归系数β$\mathit{\beta }$的优化目标函数为:

若r$\mathit{r}$符合高斯分布, 则LS估计的回归系数βLS${\mathit{\beta }}_{LS}$为最优估计量. 然而, 实际残差向量r$\mathit{r}$会受离群点的干扰而非高斯. 在这样的情况下, LS估计就会失去最优性. M估计对LS估计的目标函数进行了改进, 使其更适合数据中包含离群点的情况, 改进之后的优化目标函数定义如下:

式中, ρ$\rho$是M估计的影响函数, 而且通常有界非递减.

令

此时式(7)变为:

式中, wi$w_i$可以看成是残差项ri$r_i$的建模权重. 如果ri$r_i$过大, 说明其所对应的样本点yi$y_i$是离群点, 相应地建模权重wi$w_i$可以比较小, 进而减小该离群点对建模过程的影响. 通过推导, 不难看出M估计仅仅对输出样本的离群点进行了权值处理, 但没有考虑输入样本含有离群点的情况. 因此, 为了改善M估计对输入样本的异常数据相对敏感的问题, 广义M估计算法相应而出[24]. 广义M估计考虑了输入输出样本都存在离群点的情况, 通过减小输入输出样本中的异常点在建模时的权重, 降低离群点对建模过程的不良影响.

为了能够计算输入样本的建模权重, 需要将M估计方程(9)改写成如下形式:

式中, vi$v_i$为输入样本点xi${\mathit{x}}_i$的建模权重. 若xi${\mathit{x}}_i$偏离大部分数据, 则vi$v_i$较小, 这样就达到了减小输入样本离群点建模权重的目的.

2.3   GM-SPLS-RVFLNs稀疏鲁棒建模算法

2.3.1   SPLS-RVFLNs

RVFLNs的输入权值和隐含层偏置在一定范围内任意选取之后, 其训练过程就可以转化为隐含层矩阵H$H$与输出样本矩阵Y$Y$之间的线性回归模型. 然而, 隐含层矩阵H$H$会存在多重共线性, 使得LS估计求解的输出权值不稳定. 为了解决多重共线性问题, 文献[25]在偏最小二乘(PLS)的基础上, 提出了一种稀疏偏最小二乘回归(SPLS)的计算方法, 通过对标准化的输入输出数据进行潜变量的提取, 利用提取的潜变量进行回归求解. SPLS在PLS的求解过程中加入Lasso罚约束进行变量选择, 使得模型的回归系数具有稀疏性, 只保留对输出变量有主要影响变量的回归系数, 能够提高模型的预测精度. 本文利用SPLS代替LS估计求解, 得到稀疏偏最小二乘随机权神经网络(SPLS-RVFLNs). SPLS-RVFLNs不仅可以解决隐含层矩阵H$H$的多重共线性问题, 还可以增强模型的可解释性和计算精度.

对于N$N$个样本数据集Z={(xi,yi)∣∣xi∈Rn,yi∈Rm,i=1,2,⋯,N}$\mathit{Z}=\{({\mathit{x}}_i,{\mathit{y}}_i)|{\mathit{x}}_i\in {\mathbf{R}}^n,{\mathit{y}}_i\in {\mathbf{R}}^m,i=1,2,\cdots ,N\}$, 具有L$L$个隐含层节点, 激活函数为g(x)$g(x)$的RVFLNs隐含层矩阵H∈RN×L$H\in {\mathbf{R}}^{N\times L}$和输出矩阵Y∈RN×m$Y\in {\mathbf{R}}^{N\times m}$分解如下:

式中, T=[t1,t2,⋯,tA]∈RN×A,$T=[{\mathit{t}}_1,{\mathit{t}}_2,\cdots ,{\mathit{t}}_A]\in {\mathbf{R}}^{N\times A},$U=[u1,u2,⋯,$U=[{\mathit{u}}_1,{\mathit{u}}_2,\cdots ,$uA]∈RN×A${\mathit{u}}_A]\in {\mathbf{R}}^{N\times A}$分别是隐含层矩阵和输出矩阵的全部潜变量矩阵, A$A$是潜变量个数; P=[p1,p2,⋯,pA]∈RL×A,Q=[q1,q2,⋯,qA]∈$P=[{\mathit{p}}_1,{\mathit{p}}_2,\cdots ,{\mathit{p}}_A]\in {\mathbf{R}}^{L\times A},Q=[{\mathit{q}}_1,{\mathit{q}}_2,\cdots ,{\mathit{q}}_A]\in$Rm×A${\mathbf{R}}^{m\times A}$分别是隐含层矩阵和输出矩阵的负载矩阵; E∈RN×L,F∈RN×m$E\in {\mathbf{R}}^{N\times L},F\in {\mathbf{R}}^{N\times m}$分别是隐含层矩阵和输出矩阵的残差矩阵. 隐含层矩阵和输出矩阵的潜变量ti${\mathit{t}}_i$和ui${\mathit{u}}_i$的提取原则是在满足单位正交约束和Lasso罚约束条件下, 按照ti${\mathit{t}}_i$和ui${\mathit{u}}_i$的相关性最大的原则依次提取, 即:

式中, λ1,λ2${\lambda }_1,{\lambda }_2$分别是隐含层矩阵和输出矩阵权重向量wi${\mathit{w}}_i$和ci${\mathit{c}}_i$的Lasso罚参数, 决定了wi${\mathit{w}}_i$和ci${\mathit{c}}_i$的稀疏程度. λ1,λ2${\lambda }_1,{\lambda }_2$的选取与权重向量的具体数值有关, 在确定某个数值之后, 可以使得权重向量中小于这一数值的分量为0. 因此, 为了使得权重向量wi${\mathit{w}}_i$和ci${\mathit{c}}_i$的稀疏性达到最大, 可以使λ1,λ2${\lambda }_1,{\lambda }_2$分别为权重向量wi${\mathit{w}}_i$和ci${\mathit{c}}_i$每个分量的最大值. 此外, 权重向量wi${\mathit{w}}_i$和ci${\mathit{c}}_i$ 的计算公式分别为ci=gλ1(hTi−1yi−1wi−1),wi=gλ2(yTi−1hi−1ci−1)${\mathit{c}}_i=g_{\lambda 1}({\mathit{h}}_{i-1}^{\mathrm{T}}{\mathit{y}}_{i-1}{\mathit{w}}_{i-1}),{\mathit{w}}_i=g_{\lambda 2}({\mathit{y}}_{i-1}^{\mathrm{T}}{\mathit{h}}_{i-1}{\mathit{c}}_{i-1})$, 式中gλ1(x)=sign(x)(|x|−λ1)$g_{\lambda 1}(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(x)(\left|x\right|-{\lambda }_1)$和gλ2(x)=sign(x)(|x|−$g_{\lambda 2}(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(x)(\left|x\right|-$λ2)${\lambda }_2)$是软阈值函数.

最后, 推出最终隐含层矩阵和输出矩阵之间的SPLS回归模型如下:

式中, βSPLS${\beta }_{SPLS}$为SPLS-RVFLNs的输出权值, F$F$为残差, W=[w1,w2,⋯,wA]∈RL×A$W=\left[{\mathit{w}}_1,{\mathit{w}}_2,\cdots ,{\mathit{w}}_A\right]\in {\mathbf{R}}^{L\times A}$是隐含层矩阵的权重矩阵, B=[b1,b2,⋯,bA]∈RA×A$B=[{\mathit{b}}_1,{\mathit{b}}_2,\cdots ,{\mathit{b}}_A]\in {\mathbf{R}}^{A\times A}$是隐含层矩阵潜变量和输出矩阵潜变量之间的回归系数矩阵, 其中bi=(tTiti)−1tTiui,i=1,⋯,A${\mathit{b}}_i=({\mathit{t}}_i^{\mathrm{T}}{\mathit{t}}_i{)}^{-1}{\mathit{t}}_i^{\mathrm{T}}{\mathit{u}}_i,i=1,\cdots ,A$.

注 1. SPLS能够从输入变量集与输出变量集中分别提取出方差变化最大的潜变量, 同时在满足一定正交性和归一化约束的条件下保证输入输出变量集潜变量之间协方差最大, 之后利用提取出来的潜变量进行回归求解, 具体的SPLS求解公式如式(12)所示. 由于提取的潜变量不存在多重共线性问题, 并可最大程度地保留原输入输出数据所蕴含的信息, 因此可以有效解决多重共线性问题对数据建模的不利影响.

2.3.2   GM-SPLS-RVFLNs

SPLS-RVFLNs的输出权值由SPLS进行求解, 当输入输出数据中存在离群点时, SPLS的计算效果会受到影响, 使SPLS-RVFLNs模型的建模精度变差. 作为稳健估计技术的一种, 广义M估计可以有效提高模型的建模精度, 其通过对输入输出数据包含的离群点进行降权处理, 使模型的估计值接近正常模式下的最佳估计值. 但是, 如果不考虑与输入样本异常值相应的输出样本对大部分数据的拟合情况, 任何对输入样本数据的降权处理都不会有效[26]. 为此, Schweppe型广义M估计考虑了输入输出样本异常值与大部分数据之间的拟合关系, 只有当残差较大并且输入样本是离群点的时候, 才会进行降权处理, 因此可更准确地识别并处理离群点. 综上, 为了减小离群点对SPLS-RVFLNs模型造成的不良影响, 利用Schweppe型广义M估计(GM-estimation)对SPLS-RVFLNs进行鲁棒性改进, 提出一种新型的RVFLNs稀疏鲁棒建模算法(GM-SPLS-RVFLNs).

首先, 利用SPLS对SPLS-RVFLNs的输出权值βSPLS${\beta }_{SPLS}$进行求解, 如下所示:

式中, r为残差.

其次, 为了能够降低离群点对SPLS-RVFLNs的影响, 利用下式计算输入样本的建模权重:

式中, f$f$为稳健估计的权函数, ∥⋅∥$\Vert \cdot \Vert$是欧几里德范数, c$c$为调谐参数, medL1(T)$me{d}_{L1}(T)$是利用隐含层矩阵的潜变量{t1,⋯,tn}$\{{\mathit{t}}_1,\cdots ,{\mathit{t}}_n\}$计算的L1$L_1$中值. L1$L_1$中值是一种具有良好统计特性的多元位置稳健估计量, 它的基本原理是对于数据集X={x1,⋯,xn},xi∈Rp$\mathit{X}=\{{\mathit{x}}_1,\cdots ,{\mathit{x}}_n\},{\mathit{x}}_i\in {\mathbf{R}}^p$, 寻找满足以下条件的μ$\mathit{\mu }$, 即:

简单来讲, L1$L_1$中值是此点到n$n$个给定样本点欧氏距离之和最小的点. L1$L_1$中值最大可以容忍50%样本数量的离群点, 并且满足尺度同变性和位置不变性[27].

为了同时考虑每个样本点在输入输出方向都异常的情况, 采用Schweppe型广义M估计, 其输出样本建模权重不仅用到了残差, 还用到了输入样本的建模权重, 计算公式如下:

式中, ri(β)/σ^$r_i(\mathit{\beta })/\hat{\sigma }$为标准化残差, σ^$\hat{\sigma }$为稳健尺度估计, vi$v_i$为隐含层矩阵建模权重. σ^$\hat{\sigma }$可以使得稳健估计满足尺度同变性, 其计算公式为绝对离差中位数(Median absolute deviation, MAD)[28]除以数值0.6745, 即: