1 模糊神经网络与问题描述

Mamdani模糊神经网络是常用的模糊神经网络模型之一,其模糊规则表达式为

IF x₁ is $\begin{array}{c}{A_1}^j\end{array}$ , …, x_n is $\begin{array}{c}{A}_n^j\end{array}$ , THEN y_j=w_j (1)

式中:j=1,2,…,m,m为规则数;x_i(i=1,2,…,n)表示第i个输入变量,n为输入变量个数; $\begin{array}{c}{A}_i^j\end{array}$ 表示变量x_i的第j个模糊子集;y_j为第j条规则的输出;w_j为第j条规则结论部分参数.

不失一般性,对多输入单输出Mamdani模糊神经网络进行讨论,模型输出可表示为

y(x)= $\begin{array}{c}\stackrel{m}{\sum _{j=1}}\end{array}\begin{array}{c}{\overline{u}}_j\end{array}$ (x)w_j (2)

式中:y为模型输出;x=[x₁,x₂,…,x_n]为输入向量; $\begin{array}{c}{\overline{u}}_j\end{array}$ 为第j条规则的前提部分输出,其计算式为

$\begin{array}{c}{\overline{u}}_j\end{array}$ (x)= $\begin{array}{c}\frac{u_j\left(x\right)}{\stackrel{m}{\sum _{i=1}}{u}_i\left(x\right)}\end{array}$ (3)

u_j(x)= $\begin{array}{c}\stackrel{n}{\prod _{i=1}}\end{array}$ μ_ij(x_i)= $\begin{array}{c}\stackrel{n}{\prod _{i=1}}\end{array}$ exp (- $\begin{array}{c}(x_i-c_{\mathit{ij}}{)}^2\end{array}$ / $\begin{array}{c}{\sigma }_{\mathit{ij}}^2\end{array}$ ) (4)

式中:μ_ij为第j条规则关于变量x_i的高斯隶属函数;c_ij与σ_ij分别为高斯函数的中心与宽度.

一般而言,模糊神经网络辨识问题可描述如下:对于一个未知的映射函数f: y=f(x),由已知的输入输出数据(x(t), y(t))(t=1,2,…,T)中学习出一个能够最精确表示未知函数f的模糊神经网络模型.

2 模糊神经网络结构设计

2.1 基于递归聚类的网络结构设计

模糊神经网络辨识本质上是有监督学习问题,因此系统辨识的聚类方法应充分利用导师(输出)信号以满足系统辨识的特殊要求,即:当系统处于近似平滑区域时,粗糙聚类足以满足精度要求,以避免出现过拟合现象;当系统处于高度非线性区域时,需要较精细的类对该区域进行描述.

基于系统辨识的特殊聚类要求,提出递归聚类的Mamdani模糊神经网络结构设计方法. 该递归聚类方法的基本思想是以输出变化强度为导向、以结构细分为手段的递归迭代过程.

首先,采用k-均值方法^[10]将输入数据x(t)=[x₁(t), x₂(t), …, x_n(t)]划分为K个类,其中

K= $\begin{array}{c}{\left[\frac{M-m}{\epsilon }\right]}_{+}\end{array}$ (5)

式中:[*]₊表示大于*的最小整数函数;ε表示聚类精度,该值可根据实际应用中模型精度要求来确定,如可将其设置为输出信号均值的10%;m和M分别为样本集合中输出数据y(t)的最小值和最大值.

$\begin{array}{c}\left\{\begin{array}{c}m=\underset{t=\mathrm{1,2},\dots ,T}{\mathit{min}}\left\{y\right(t\left)\right\}\\ M=\underset{t=\mathrm{1,2},\dots ,T}{\mathit{max}}\left\{y\right(t\left)\right\}\end{array}\right.\end{array}$ (6)

式(5)表明,将输出最大值与最小值之间的误差划分为K个类,使得每一类的输出变化强度均小于聚类精度,由此可以采用一条规则对该类进行描述.

其次,根据每一类输出变化强度,判断该类是否需要进一步划分. 对于所获得的第i个类I_i (i=1, 2, …, K),计算其输出数据信息集合

O_i={y(t)|x(t)∈I_i} (7)

计算O_i中输出信号的变化强度

Δ_i= $\begin{array}{c}\sqrt[]{\frac{1}{n_i}\sum _{x\left(t\right)\in I_i}\left[y\right(t)-{\overline{y}}_i{]}^2}\end{array}$ (8)

式中:n_i为O_i中输出信号的个数; $\begin{array}{c}{\overline{y}}_i\end{array}$ 为O_i中输出信号的平均值,即

$\begin{array}{c}{\overline{y}}_i\end{array}$ = $\begin{array}{c}\frac{1}{n_i}\end{array}\begin{array}{c}\sum _{x\left(t\right)\in I_i}\end{array}$ y(t) (9)

比较输出变化强度Δ_i和精度阈值的大小. 如果Δ_i≤ε,则表明第i个类的输出相对平滑,满足精度要求,不需要进一步划分;如果Δ_i>ε,则表明第i个类的输出非平滑或高度非线性,不满足精度要求,需要进一步划分.

假设第i类I_i不满足精度要求,需要进行子聚类,详细过程同上,其中最小值和最大值m_i和M_i为

$\begin{array}{c}\left\{\begin{array}{c}{m}_i=\underset{y\left(t\right)\in O_i}{\mathit{min}}\left\{y\right(t\left)\right\}\\ M_i=\underset{y\left(t\right)\in O_i}{\mathit{max}}\left\{y\right(t\left)\right\}\end{array}\right.\end{array}$ (10)

子聚类个数为

K_si= $\begin{array}{c}{\left[\frac{M_i-m_i}{\epsilon }\right]}_{+}\end{array}$ (11)

根据上述方法判断K_si个类的输出强度是否满足精度要求,进而确定该类是否需要进一步划分. 重复上述过程,经过有限次迭代后,自动获得合适的聚类,并且所有类的输出变化强度均满足精度要求,形成递归聚类方法.

递归聚类方法具有以下优点: 1) 利用输出信息指导聚类过程,属于有监督学习方法,使聚类更准确; 2) 满足系统辨识的特殊聚类要求,即在系统处于平滑区域时进行粗糙聚类,在高度非线性区域时进行精细聚类; 3) 能够自动确定合适的聚类个数,避免通过试错法获得,降低了算法的复杂度.

假设利用递归聚类算法得到H个类,每个类作为模糊神经网络的一条模糊规则,聚类中心作为隶属函数的中心,聚类标准差作为隶属函数的宽度,从而获得网络的隶属函数. 高斯函数中心与宽度为

c_k,i= $\begin{array}{c}\frac{1}{n_k}\end{array}\begin{array}{c}\stackrel{n_k}{\sum _{j=1}}\end{array}$ x_i(k_j)c_k=(c_k,1,…,c_k,n)i=1,2,…,n; k=1,2,…,H (12)

σ_k,i= $\begin{array}{c}\frac{1}{\sqrt[]{2}}\end{array}\begin{array}{c}\sqrt[]{\frac{1}{n_k}\stackrel{n_k}{\sum _{j=1}}\left[x_i\right(k_j)-c_{k,i}{]}^2}\end{array}$ σ_l=(σ_l,1,…,σ_l,n)i=1,2,…,n; k=1,2,…,H (13)

式中:n_k为第k类训练样本的个数;k_j为第k类第j个样本;高斯隶属函数中心与宽度分别为c=[c₁, c₂, …, c_H],σ=[σ₁, σ₂, …, σ_H]. 模糊规则结论部分参数计算为

w_k= $\begin{array}{c}\frac{1}{n_k}\end{array}\begin{array}{c}\stackrel{n_k}{\sum _{j=1}}\end{array}$ y(k_j) k=1,2,…,H (14)

基于高斯函数的中心、宽度和规则结论部分参数,根据式(2)~(4)即可建立Mamdani模糊神经网络的初始结构模型.

利用递归聚类算法获得Mamdani模糊神经网络结构后,需要对神经网络的参数进行辨识. 文中采用梯度下降法^[11]学习参数.

首先,定义目标函数

E= $\begin{array}{c}\frac{1}{2}\end{array}\begin{array}{c}(y_d{-y)}^2\end{array}$ (15)

式中:y_d为系统实际输出;y为Mamdani模糊神经网络输出.

参数学习的目的是使得期望目标函数E最小. 根据附加动量项的梯度下降法学习连接权值w_j,则w_j更新为

w_j(t+1)=w_j(t)-η $\begin{array}{c}\frac{\partial E}{\partial w_j}\end{array}$ +ζ(w_j(t)-w_j(t-1))=w_j(t)+η(y_d-y) $\begin{array}{c}{\overline{u}}_j\end{array}$ +ζ(w_j(t)-w_j(t-1)) (16)

式中:η为学习率;ζ为动量项系数.

高斯函数中心与宽度更新公式分别为

c_ij(t+1)=c_ij(t)-η $\begin{array}{c}\frac{\partial E}{\partial c_{\mathit{ij}}}\end{array}$ +ζ(c_ij(t)-c_ij(t-1)) (17)

$\begin{array}{c}\frac{\partial E}{\partial c_{\mathit{ij}}}\end{array}$ =2w_j(y-y_d)· $\begin{array}{c}\frac{\left(\stackrel{r}{\sum _{i\ne j}}{\alpha }_i\right)\left(\prod _{k\ne i}{\mu }_{\mathit{kj}}\right)(x_i-c_{\mathit{ij}})\mathit{exp}(-(x_i-c_{\mathit{ij}}{)}^2/{\sigma }_{\mathit{ij}}^2)}{(\stackrel{r}{\sum _{i=1}}{\alpha }_i{)}^2{\sigma }_{\mathit{ij}}^2}\end{array}$ (18)

σ_ij(t+1)=σ_ij(t)-η $\begin{array}{c}\frac{\partial E}{\partial {\sigma }_{\mathit{ij}}}\end{array}$ +ζ(σ_ij(t)-σ_ij(t-1)) (19)

$\begin{array}{c}\frac{\partial E}{\partial {\sigma }_{\mathit{ij}}}\end{array}$ =2w_j(y-y_d)· $\begin{array}{c}\frac{\left(\stackrel{r}{\sum _{i\ne j}}{\alpha }_i\right)\left(\prod _{k\ne i}{\mu }_{\mathit{kj}}\right)(x_i-c_{\mathit{ij}}{)}^2\mathit{exp}(-(x_i-c_{\mathit{ij}}{)}^2/{\sigma }_{\mathit{ij}}^2)}{(\stackrel{r}{\sum _{i=1}}{\alpha }_i{)}^2{\sigma }_{\mathit{ij}}^3}\end{array}$ (20)

根据学习高斯隶属函数的中心、宽度以及规则结论部分连接权值,从而得到Mamdani模糊神经网络初始模型.

基于上述介绍,递归聚类Mamdani模糊神经网络结构设计算法归纳如下:

步骤1 利用k均值聚类将输入样本划分为K类如式(5).

步骤2 根据每一类输出变化强度和聚类精度阈值的关系,判断该类是否需要进一步划分. 对于不满足精度要求的类进一步划分为K_si个类如式(11). 当所有类的输出变化强度都满足精度要求时,停止聚类.

步骤3 利用聚类结果获得Mamdani模糊神经网络的结构和初始参数.

步骤4 采用梯度下降法对网络参数进行学习,获得Mamdani模糊神经网络初始模型.

2.2 基于相似性的网络结构简化

经过递归聚类与梯度法获得的Mamdani模糊神经网络可能存在相似的模糊规则,导致规则冗余. 因此,需要对相似规则进行合并. 与文献[12]类似,文中只考虑规则前提部分的相似性.

假设模糊神经网络的一对规则表述为

IF x is A,THEN y is w_A (21)

IF x is B, THEN y is w_B (22)

式中:A和B为输入空间U上2个多变量模糊集;U= $\begin{array}{c}\stackrel{n}{\prod _{i=1}}\end{array}$ U_i= $\begin{array}{c}\stackrel{n}{\prod _{i=1}}\end{array}$ [a_i,b_i]⊂Rⁿ,a_i和b_i分别为输入变量x_i的下限和上限;A=A₁×A₂×…×A_n;B=B₁×B₂×…×B_n. A和B的隶属函数分别为

u_A(x)= $\begin{array}{c}\stackrel{n}{\prod _{i=1}}\end{array}\begin{array}{c}{\mu }_{A_i}\end{array}$ (x_i),u_B(x)= $\begin{array}{c}\stackrel{n}{\prod _{i=1}}\end{array}\begin{array}{c}{\mu }_{B_i}\end{array}$ (x_i) (23)

根据相似性定义^[13],模糊规则相似性的另一种计算方法为输入变量相应模糊集对的交集面积和与并集面积和的比值. 因此,提出交并集面积和的模糊规则相似性方法,其计算式为

S(A,B)= $\begin{array}{c}\frac{\stackrel{n}{\sum _{i=1}}M(A_i\bigcap B_i)}{\stackrel{n}{\sum _{i=1}}M(A_i\bigcup B_i)}\end{array}$ (24)

其中

M(A_i∩B_i)= $\begin{array}{c}{\int }_{a_i}^{b_i}\end{array}\begin{array}{c}{u}_{A_i\bigcap B_i}\end{array}$ (x_i)dx_i= $\begin{array}{c}{\int }_{a_i}^{b_i}\end{array}$ min { $\begin{array}{c}{u}_{A_i}\end{array}$ (x_i), $\begin{array}{c}{u}_{B_i}\end{array}$ (x_i)}dx_i (25)

M(A_i∪B_i)= $\begin{array}{c}{\int }_{a_i}^{b_i}\end{array}\begin{array}{c}{u}_{A_i\bigcup B_i}\end{array}$ (x_i)dx_i= $\begin{array}{c}{\int }_{a_i}^{b_i}\end{array}$ max { $\begin{array}{c}{u}_{A_i}\end{array}$ (x_i), $\begin{array}{c}{u}_{B_i}\end{array}$ (x_i))dx_i (26)

式中:S(A, B)表示A与B的相似度;M(A_i∩B_i)和M(A_i∪B_i)分别表示A_i与B_i交集和并集的面积.

由式(24)可知,与最小值模糊规则相似度计算方法相比,交并集面积和相似性计算方法具有较好的可区分性,能够更好地对模糊规则相似性进行计算.

基于模糊规则相似性的网络结构简化方法具体步骤如下:

首先,利用式(24)~(26)计算所有对规则的相似度S,其中单变量模糊集相似性采用文献[14]提出的方法进行计算.

其次,计算相似度最大值S_max=max S,并将其与相似度阈值S_t进行比较. 通常相似度阈值设置为0.6. 如果S_max>S_t,则将最大相似度所对应的2条模糊规则进行合并;如果S_max<S_t,则不进行合并. 在相似规则合并过程中,高斯函数中心、宽度以及结论部分参数都采用平均值进行计算^[4]. 依据上述方法重新计算所有对规则相似度,将大于阈值的最大相似度所对应的规则进行合并. 重复上述过程,直到最大相似度小于阈值时停止计算,得到简化后的模糊神经网络.

最后,为提高模型的精度,再次利用梯度法对网络参数进行学习,最终获得结构简洁、精度令人满意的Mamdani模糊神经网络.

基于上述介绍,相似规则计算与合并的模糊神经网络结构简化算法归纳如下:

步骤1 利用式(24)~(26)计算所有规则对的相似度S.

步骤2 计算最大相似度S_max,将其与相似度阈值S_t进行比较,若S_max>S_t,转到步骤3;若S_max<S_t,转至步骤4.

步骤3 将最大相似度所对应的两条模糊规则进行合并. 重复步骤1~3直至最大相似度小于阈值.

步骤4 利用梯度法学习网络参数.

3 仿真实验

3.1 函数逼近

选取式(27)给出的函数进行研究:

y=0.6sin(πx)+0.3sin(3πx)+0.1sin(5πx) (27)

式中x∈[-1,1].

在定义域区间内按均匀分布随机产生200组输入输出数据作为样本,其中100组用于训练模糊神经网络,其余100组用于测试. 相似度阈值设为0.6. 利用所获得的Mamdani模糊神经网络对函数式(27)进行逼近,逼近结果与逼近误差分别如图1、2所示,几种不同方法的性能比较如表1所示.

图  1  Mamdani模糊神经网络逼近效果

Figure  1.  Approximation result of Mamdani FNN

下载: 全尺寸图片 幻灯片

图  2  Mamdani模糊神经网络逼近误差

Figure  2.  Approximation error of Mamdani FNN

下载: 全尺寸图片 幻灯片

图1给出了Mamdani模糊神经网络的逼近效果. 图2给出了相应逼近误差. 由图可知,所获得的Mamdani模糊神经网络能够很好地逼近函数式(27). 在此实验中,经过相似性计算后,所有相似度均小于阈值,因此,无须对相似规则进行合并.

表1为几种不同方法在模糊规则数、参数个数、训练均方根误差(root mean square error,RMSE)及测试RMSE性能指标的比较. 通过表中数值对比可知,与文献[7]的输出内容聚类和文献[8]的输出约束聚类结构设计方法相比,提出的递归聚类结构设计方法在采用相同模糊规则数与参数个数的情况下,具有更小的训练误差和测试误差,由此表明,提出方法比文献[7-8]的方法对函数式(27)具有更高的逼近精度;与文献[15]的方法相比,提出的方法具有更少的规则数和参数个数,以及较小的测试误差. 因此,提出的递归聚类方法具有较高的逼近精度.

表  1  不同方法的性能对比

Table  1.  Comparisons between different methods

方法	模糊规则数	参数个数	训练RMSE	测试RMSE
Wang等[8]	8	24	0.0241	0.0492
Pedrycz等[7]	8	24	0.150	0.153
Pedrycz等[7]	10	30	0.1470	0.1620
Wang等[15]	11	33	0.0018	0.0225
本文	8	24	0.0167	0.0395
本文	10	30	0.0100	0.0168

下载: 导出CSV 

| 显示表格

由仿真实验图及表中结果显示,提出的Mamdani模糊神经网络能够实现对函数式(27)的逼近. 因此,递归聚类是一种有效的Mamdani模糊神经网络结构设计方法.

3.2 非线性系统辨识

式(28)给出了一个典型的非线性系统,该系统被广泛用于验证模糊神经网络算法的有效性^[16-19].

y(t+1)= $\begin{array}{c}\frac{y\left(t\right)y(t-1)\left[y\right(t)+2.5]}{1+y^2\left(t\right)+y^2(t-1)}\end{array}$ +u(t) (28)

式中:u(t)=sin(2πt/25),t∈[1,400];y(0)=0,y(1)=0.

由式(28)可知,该模型由3个输入(y(t), y(t-1), u(t))、1个输出(y(t+1))组成. 由式(28)在t∈[1,400]上得到400组样本数据,其中前200组用于网络训练,其余200组用于测试. 相似度阈值设为0.6.

图3给出了提出的Mamdani模糊神经网络对非线性系统式(28)的辨识效果. 图4为相应的辨识误差. 几种不同方法的结果比较如表2所示.

图  3  Mamdani模糊神经网络辨识效果

Figure  3.  Identification result of Mamdani FNN

下载: 全尺寸图片 幻灯片

图  4  Mamdani模糊神经网络辨识误差

Figure  4.  Identification error of Mamdani FNN

下载: 全尺寸图片 幻灯片

实验过程如下:首先,递归聚类的Mamdani模糊神经网络具有6条模糊规则;其次,采用交并集面积和对模糊规则相似性进行计算,其中2条规则相似度为0.6578,大于相似度阈值. 因此,将这2条规则进行合并,从而获得具有5条规则的Mamdani模糊神经网络.

由图3、4可知,递归聚类的Mamdani模糊神经网络对非线性系统式(28)具有较好的辨识效果,辨识误差较小.

表2给出了几种不同方法在模糊规则数、参数个数及测试RMSE性能指标的比较. 通过表中数值对比可知,提出方法在结构简化前采用6条规则和42个参数,结构简化后规则数和参数个数分别为5和35,结构简化后的测试RMSE比简化前略高. 与其他几种方法相比,提出方法在结构简化后的规则数、参数个数以及测试RMSE三个指标均最小. 因此,提出的方法能够在具有令人满意精度的情况下,获得简洁的网络结构,实现对非线性函数式(28)的辨识.

表  2  不同方法的性能对比

Table  2.  Comparisons between different methods

方法	模糊规则数	参数个数	测试RMSE
DFNN[14]	6	48	0.1315
SOFMLS[17]	6	48	0.0290
GA[18]	7	37	0.0500
MCFC[19]			0.0874
本文(结构简化前)	6	42	0.0207
本文(结构简化后)	5	35	0.0259

下载: 导出CSV 

| 显示表格

实验结果显示,递归聚类的Mamdani模糊神经网络能够较好地对非线性系统进行辨识,且具有较高的辨识精度. 因此,递归聚类与交并集面积和相似性是有效的Mamdani模糊神经网络结构设计方法.

4 结论

1) 提出了以输出变化强度为导向、以结构细分为手段的递归聚类方法,通过递归迭代对模糊神经网络初始结构进行设计.

2) 提出了相似规则合并的结构简化方法,通过计算模糊规则相似性,将高度相似的规则进行合并,对网络初始结构进行简化.

3) 为了验证提出方法的有效性,给出了函数逼近与非线性系统辨识2个仿真实验. 实验结果表明,提出的方法能够在具有令人满意精度的情况下,获得简洁的网络结构,实现模糊神经网络结构设计.