DoS攻击下具备隐私保护的多智能体系统均值趋同控制

多智能体系统是由多个具有一定传感、计算、执行和通信能力的智能个体组成的网络系统, 作为分布式人工智能的重要分支, 已成为解决大型、复杂、分布式及难预测问题的重要手段[1-2]. 趋同问题作为多智能体系统分布式协调控制领域中一个最基本的研究课题, 是指在没有协调中心的情况下, 系统中每个节点仅根据相互间传递的信息, 将智能体动力学与网络通信拓扑耦合成复杂网络, 并设计合适的分布式控制方法, 从而在有限时间内实现所有节点状态值的一致或同步.

然而具备分布式网络特点的多智能体系统由于普遍规模庞大, 单个节点结构简单且节点地理位置分散等原因, 使得系统中易产生脆弱点, 这就使其在推广应用中面临两项基本挑战: 1)节点状态信息的隐私泄露问题; 2)节点或节点间的通信链路可能会遭受网络攻击的问题, 如欺骗攻击、拒绝服务(Denial-of-service, DoS)攻击等.

针对节点状态信息的隐私泄露问题, 即在考虑多智能体网络趋同的同时, 保证系统中节点的初始状态值不被泄露, 已有较多研究人员开展相关的工作. 其中, 有学者借助于传统的安全多方计算方法, 例如Yao等[3]提出混淆电路算法, Shamir等[4]提出秘钥共享算法等. 然而这类通用的隐私保护方法因计算和通信消耗较大, 不适用于单个智能体节点结构较为简单的分布式系统, 尤其是受到硬实时约束的一类多智能体系统应用. 如上述的混淆电路的计算延迟为秒级[5], 而对于多智能体系统一些典型应用如多无人飞行器编队的实时控制, 其容许的计算延迟仅为毫秒级[6]. 针对多智能体系统均值趋同过程中节点信息泄露问题, 有研究人员提出了一系列专门的隐私保护策略[7-10]. 这些方法大多基于模糊处理的思想, 即通过加入噪声来掩盖真实的状态值. 其中一种常用的手段是差分隐私方法[11], 然而这种差分隐私下的模糊处理方法会影响最终趋同值的精度, 即使系统无法收敛到精确的节点初始状态的平均值. 最近文献[12]提出的一种基于相关噪声混淆技术的改进方法, 克服了传统差分隐私方法中精度下降的问题, 但却需要较多的算力. 最近的文献[13]采用一种基于状态分解的方法, 将每个节点的初始状态分解为两个随机的子状态, 只令其中一个子状态参与相邻节点间的信息交互, 而另一子状态保留在本节点内部, 不参与邻居间信息传递. 只要两个随机子状态的和满足特定条件, 在作者所设计的趋同算法下, 系统能够达成均值趋同, 且保护每个节点的状态信息不被泄露.

此外, 有学者研究基于可观测性的方法用来保护多智能体系统中节点的隐私[14-16]. 基本思想是设计网络的交互拓扑结构以最小化某个节点的观测性, 本质上相当于最小化该节点推断网络中其他节点初始状态的能力. 然而, 这类基于可观测性的方法仍然存在隐私泄露的风险. 为了提高对隐私攻击的抵御能力, 另一种常见的方法是使用加密技术. 然而, 虽然基于密码学的方法可以很容易地在聚合器或第三方[17]的帮助下实现隐私保护, 例如基于云的控制或运算[18-20], 但是由于分散密钥管理的困难, 在没有聚合器或第三方的情况下, 将基于密码学的方法应用到完全分散的均值趋同问题是很困难的. 同时, 基于密码学的方法也将显著增加通信和计算开销[21], 往往不适用于资源有限或受硬实时约束的分布式网络控制系统.

以上的工作均是在安全的通信环境下完成的, 然而在实际应用场景中, 由于物理设备和通信拓扑结构都有可能遭受网络攻击, 导致以往有关多智能体系统趋同研究的失效, 这使得针对多智能体系统在网络攻击下的趋同研究发展迅速, 并取得了一些显著成果[22-26]. 目前多智能体系统中常见的网络攻击主要有两种形式: 欺骗攻击[22, 25, 27-28]和DoS攻击[29-33]. 其中DoS攻击是多智能体系统中最常见也是最容易实现的攻击形式, 只要攻击者掌握系统元器件之间的通信协议, 即可利用攻击设备开展干扰、阻塞通信信道、用数据淹没网络等方式启动DoS攻击. 在DoS攻击影响下, 智能体间交互的状态信息因传递受阻而致使系统无法达成一致. 近年来, 研究者们从控制理论的角度对DoS攻击下的系统趋同问题进行了研究. 其中, 有研究人员通过构建依赖于参数的通用Lyapunov函数设计一种趋同方法[31], 使其能够适用于因通信链路存在随机攻击导致通信拓扑随机切换的情况. 此外, 有研究者通过设计一个独立于全局信息的可靠分布式事件触发器[32], 很好地解决了大规模DoS攻击下的一致性问题. 更有研究者开始研究异构多智能体系统在通信链路遭受攻击时的趋同问题[33], 通过设计基于观测器的控制器, 实现在通信链路存在DoS攻击时两层节点间的趋同问题. 而在本文中, 考虑多智能体之间通信链路遭受DoS攻击的情况, 通过攻击开始时刻与攻击链路矩阵刻画DoS攻击模型, 通过增强网络拓扑以满足所谓的r$r$-鲁棒图来刻画信息流的局部冗余量[34], 从而抵御DoS攻击的影响.

然而, 针对趋同问题, 将网络攻击和隐私保护两者结合起来考虑的研究还鲜有见文献报道. 2019年Fiore等[24]率先开展了同时考虑隐私保护和网络攻击的研究工作, 但所得成果仍存在一定的局限性: 1)所提方法虽能保护节点隐私且最终达成状态值趋同, 却无法确保系统达成均值趋同; 2)作者仅考虑了欺骗攻击下的控制器设计问题, 因此所得结论并不适用于网络中存有DoS攻击的系统.

基于上述观察与分析, 本文主要致力于研究DoS攻击下具备节点信息隐私保护的多智能体系统均值趋同问题, 从而补充现有趋同算法的相关结果. 同时, 考虑实际环境对测量条件等的限制, 不易直接获取节点的真实状态值[35], 为此本文围绕节点的输出值, 即通过观测矩阵获取的系统输出y$y$, 进行趋同控制器的设计工作. 本文的主要贡献包括:

1)针对DoS攻击在多智能体系统分布式协同控制中的攻击特性和发生范围, 及对网络拓扑连通性的影响, 建立相应数学模型;

2)针对一类DoS攻击下的无向通信网络多智能体系统, 提出一种基于状态分解的节点信息隐私保护策略. 当满足特定条件时, 所提策略可确保系统输出状态不被窃听者准确推断出来;

3)针对DoS攻击的影响, 分析给出了系统中节点通信拓扑的鲁棒性条件, 并据此设计一种基于输出量测值y$y$的分布式控制方法, 理论分析并证明系统可容忍特定数目的链路遭受DoS破坏, 并实现输出均值趋同.

本文内容结构为: 第1节介绍本文所需要用到的图论知识, 网络拓扑图的相关性质以及均值趋同算法; 第2节主要对DoS攻击模型和拟解决问题进行描述; 第3节提出系统在DoS攻击下的隐私保护均值趋同控制方法, 并分别对在攻击下的网络拓扑鲁棒性、系统收敛性以及隐私保护能力进行分析; 第4节通过一组仿真实例验证算法的有效性; 第5节是总结与展望.

1.   预备知识

1.1   图论知识

考虑由M$M$个智能体组成的多智能体系统, 节点之间为双向传递信息, 其通信网络可抽象地用一个无向加权图G=(V,E,A)$\mathcal{G}=(\mathcal{V},\mathcal{E},A)$表示. 其中V={v1,v2,⋯,vM}$\mathcal{V}=\{v_1,v_2,\cdots ,v_M\}$表示节点集合, E⊂V×V$\mathcal{E}\subset \mathcal{V}\times \mathcal{V}$表示边集. 两个节点之间的连接关系用邻接矩阵(权重矩阵) A=[aij]∈RM×M$\mathit{A}=[a_{ij}]\in {\mathbf{R}}^{M\times M}$表示, 如果(vj,vi)∈E$(v_j,v_i)\in \mathcal{E}$, 则aij>0$a_{ij}>0$; 否则aij=0$a_{ij}=0$. 在无向图中, 邻接矩阵是对称的, 即如果(vj,vi)∈E$(v_j,v_i)\in \mathcal{E}$, 则同时有(vi,vj)∈E$(v_i,v_j)\in \mathcal{E}$, 且aij=aji$a_{ij}=a_{ji}$. 本文不考虑节点自环情况, 即令aii=0$a_{ii}=0$. 节点vi$v_i$的邻居集合表示为Ni={vj∈V|(vj,vi)∈E}${\mathcal{N}}_i=\{v_j\in \mathcal{V}|(v_j,v_i)\in \mathcal{E}\}$. 无向图G$\mathcal{G}$对应的Laplacian矩阵为L=D−A$\mathit{L}=\mathit{D}-A$, 其中D为度矩阵, 定义为:

除了上述无向图的基本知识, 本文的研究工作还用到了r-可达集合和r-鲁棒图的概念. 这两个概念最早由文献[36]提出, 随后被文献[22, 27]等利用并扩展, 主要用于分析节点间拓扑抵御网络攻击的鲁棒性. 经笔者少许修改, 具体定义如下:

定义1[36]. r-可达集合: 对于图G=(V,E)$\mathcal{G}=(\mathcal{V},\mathcal{E})$及其中一非空子集S⊂V$\mathcal{S}\subset \mathcal{V}$, 如果S$\mathcal{S}$中至少有一个节点vi$v_i$在集合Ni∖S${\mathcal{N}}_i\setminus \mathcal{S}$中有不少于r$r$个节点, 则称S$\mathcal{S}$为r-可达集合.

定义 2[36]. r-鲁棒图: 对于图G=(V,E)$\mathcal{G}=(\mathcal{V},\mathcal{E})$, 如果对V$\mathcal{V}$中任意一对非空子集S1,S2⊂V${\mathcal{S}}_1,{\mathcal{S}}_2\subset \mathcal{V}$, S1∩S2=∅${\mathcal{S}}_1\cap {\mathcal{S}}_2=\mathrm{\varnothing }$, 保证至少有一个子集为r-可达集合, 则称G$\mathcal{G}$为r-鲁棒图.

以下是一些关于r-鲁棒图的基本性质.

引理1[22]. 考虑一个r-鲁棒图G=(V,E)$\mathcal{G}=(\mathcal{V},\mathcal{E})$, 令G^$\hat{\mathcal{G}}$表示G$\mathcal{G}$中每个节点至多移除s(s<r)$s(s<r)$条边后的图, 则G^$\hat{\mathcal{G}}$是一个(r−s)$(r-s)$-鲁棒图.

引理2[22]. 对于一个无向图G$\mathcal{G}$, 如果G$\mathcal{G}$满足1-鲁棒图, 则有G$\mathcal{G}$为连通图.

1.2   均值趋同算法

考虑有M$M$个节点组成的无向加权多智能体系统. 为了让系统实现均值趋同, 也就是所有节点的状态xi[k]$x_i[k]$最终收敛到它们初始状态的平均值∑Mi=1xi[0]/M${\sum }_{i=1}^M{x}_i[0]/M$, 根据文献[13, 37], 其节点动态更新方程可设计为:

式中, xi[k]$x_i[k]$为节点vi$v_i$在k$k$时刻的状态值, ε∈(0,1/Δ)$\epsilon \in (0,1/\mathrm{\Delta })$为系统增益系数, Δ$\mathrm{\Delta }$通常定义为:

文献[38]表明, 当系统拓扑满足连通图, 且存在η>0$\eta >0$使得η≤aij<1$\eta \le a_{ij}<1$时, 系统可在更新规则(1)下实现均值趋同, 即:

2.   问题描述

本文研究对象为如下M$M$个智能个体组成的一阶离散时间多智能体系统, 其动力学模型为:

式中, xi[k]∈RN$x_i[k]\in {\mathbf{R}}^N$为系统的状态值, ui$u_i$为控制输入, yi[k]∈RQ$y_i[k]\in {\mathbf{R}}^Q$为系统经通信链路传输得到的量测信号, 需要注意的是, 由于通信链路中存在DoS攻击, yi[k]$y_i[k]$可能遭受影响而无法被邻居节点接收到. nCi∈RQ×N$n{C}_i\in {\mathbf{R}}^{Q\times N}$为观测矩阵, 其中n$n$为从观测矩阵中抽取出的系数, n∈R+$n\in {\mathbf{R}}_{+}$为大于0的正实数.

2.1   攻击模型

本文所讨论的DoS攻击表现为某种传输尝试失败的情况[39], 其存在于多智能体系统中各智能体之间的通信链路中, 即当通信图中两个节点间的链路发生DoS攻击时, 其通信链路将会被切断, 此时两个节点无法通过该链路进行信息交互, 进而达到攻击多智能体系统的目的. 在多智能体系统分布式协同控制中, 运载节点输出量测值的通信链路遭遇DoS攻击的示意图如图1所示.

图 1  DoS攻击下的多智能系统框图

Fig. 1  The diagram of the multi-agent system under DoS attacks

本文以Adeversory(P,k0)$(P,k_0)$刻画系统遭遇DoS攻击的情况. 其中P=[pij[k]]∈RM×M$P=[p_{ij}[k]]\in {\mathbf{R}}^{M\times M}$表示攻击状态矩阵, 当节点vi$v_i$和节点vj$v_j$之间在k$k$时刻发生DoS攻击时, pij[k]=0$p_{ij}[k]=0$; 否则pij[k]=1$p_{ij}[k]=1$. k0$k_0$为系统遭遇DoS攻击的开始时刻.

考虑攻击者资源的有限, 本文假设攻击发生范围满足f-本地有界[22]的定义, 该假设在文献[22-23, 25]中被广泛采用. 结合DoS攻击, 具体定义如下:

定义3 (f-本地有界DoS攻击) . 对于系统中的任一节点, 如果与其相邻节点的通信链路中, 任意时刻遭遇DoS攻击的链路条数至多不超过f$f$条, 则称此类攻击模型为f-本地有界DoS攻击.

2.2   系统假设

结合上述给出的Adeversory(P,k0)$(P,k_0)$和攻击发生范围模型, 本文对所研究的系统作出如下假设:

假设1. 系统中任意一个节点的通信链路中在任意时刻至多有f$f$条链路同时遭受DoS攻击, 即满足定义3$3$攻击模型. 具体地, 则对于任意vi∈V$v_i\in \mathcal{V}$, 在任意时刻k$k$, 都有下式成立:

虽然本文考虑的是固定无向拓扑, 但在DoS攻击影响下, 可以看到系统的通信图却会与之发生变化. 因此, 本文接下去用时变图符号G[k]=(V,E[k],A[k])$\mathcal{G}[k]=(\mathcal{V},\mathcal{E}[k],\mathrm{A}[k])$表示系统在DoS攻击影响下的真实通信情况.

假设2. 存在一个标量η$\eta$满足0<η<1$0<\eta <1$, 对于所有的i,j∈{1,⋯,M}$i,j\in \{1,\cdots ,M\}$, 如果aij[k]>0$a_{ij}[k]>0$, 那么η≤aij[k]<1$\eta \le a_{ij}[k]<1$.

假设3. 系统任意节点状态值xi∈RN$x_i\in {\mathbf{R}}^N$受限于一个非空闭凸集, 表示为Xi∈RN${\mathcal{X}}_i\in {\mathbf{R}}^N$, 令X=∩Mi=1Xi$\mathcal{X}={\cap }_{i=1}^M{\mathcal{X}}_i$, 则X≠∅$\mathcal{X}\ne \mathrm{\varnothing }$.

根据上述假设, 可以得出系统具备如下属性:

引理3[38]. 当系统的网络通信图为有向连通图且邻接矩阵为双随机矩阵时, 并且满足假设2和3时, 那么对于系统中任意节点vi∈V$v_i\in \mathcal{V}$在动态更新式(1)$(1)$下, 有:

式中, {h[k]}$\{h[k]\}$为一个定义的辅助序列, 对于每个时刻k$k$, 有:

根据文献[38], 因邻接矩阵为双随机矩阵, 由式(7) ~ (8)可得:

将式(9)代入式(5), 即:

引理4. 当系统的网络通信图为无向连通图, 并且满足假设2和3时, 那么由引理3可知, 对于系统中任意节点vi∈V$v_i\in \mathcal{V}$在动态更新式(1)下, 式(10)仍然成立.

证明. 根据引理3可知, 在网络通信图为有向图情况下, 邻接矩阵为双随机矩阵表明在该网络通信图中, 所有节点通信链路满足出度等于入度的条件, 而在无向图中, 该条件同样成立, 因此在无向图中, 式(10)仍然成立. □

针对上述建立的网络攻击模型和相关的系统假设, 本文的研究目标是, 设计一种控制策略, 使得: 1)系统的输出达到趋同并且趋同值是等于所有智能体初始输出状态的平均值; 2)在整个趋同过程中保护每个节点的信息值隐私.

3.   控制器设计

3.1   DoS攻击下网络拓扑鲁棒性条件

首先对网络通信链路图的鲁棒性条件进行讨论, 以便于开展后续控制器的设计工作.

引理5. 考虑多智能体系统(4), 如果其网络拓扑结构满足(f+1)$(f+1)$-鲁棒的无向图, 那么系统在遭受f-本地有界DoS攻击下, 即满足假设1, 其通信图仍可保持连通性.

证明. 根据假设1可知, 网络中每个节点任意时刻至多有f$f$条通信链路遭受DoS攻击破坏. 再由引理1可知, 此时网络拓扑结构至少是1-鲁棒图. 最后由引理2可知, 系统网络拓扑仍然能够保持连通性. □

3.2   DoS攻击下隐私保护控制

上述小节给出了系统遭受DoS攻击下通信网络仍旧保持连通的条件, 接下去本小节给出本文核心的控制器设计方法.

受文献[13]启发, 此处引入状态分解方法: 将每个节点的状态值xi$x_i$分解成两个子状态, 用xαi$x_i^{\alpha }$和xβi$x_i^{\beta }$表示. 值得注意的是, 初始状态的子状态值xαi[0]$x_i^{\alpha }[0]$和xβi[0]$x_i^{\beta }[0]$可在所有实数中任取, 但需满足条件: xαi[0]+xβi[0]=2xi[0]$x_i^{\alpha }[0]+x_i^{\beta }[0]=2x_i[0]$.

为便于理解, 本文以5个节点的无向连通图为例, 通信拓扑如图2所示. 从示例图中可以看出: 子状态xαi$x_i^{\alpha }$充当原xi$x_i$的作用, 即与邻居节点进行信息交互, 并且实际上是节点vi$v_i$的邻居节点唯一可以获知的状态信息. 而另一个子状态xβi$x_i^{\beta }$同样存在于该分布式信息交互中, 但是其仅与xαi$x_i^{\alpha }$进行信息交互. 也就是说子状态xβi$x_i^{\beta }$的存在, 对于节点vi$v_i$的邻居节点是不可见的. 例如, 在图2(b)中, 节点v1$v_1$中的xα1$x_1^{\alpha }$相当于图2(a)中x1$x_1$的角色和邻居节点进行信息交互, 而xβ1$x_1^{\beta }$仅对节点v1$v_1$自身可见, 而对其他节点不可见. 但是它又可以影响xα1$x_1^{\alpha }$的变化. 两个子状态xαi$x_i^{\alpha }$和xβi$x_i^{\beta }$之间的耦合权重是对称的, 表示为ai,αβ[k]$a_{i,\alpha \beta }[k]$, 并且所有的ai,αβ[k]$a_{i,\alpha \beta }[k]$满足η≤ai,αβ[k]<1$\eta \le a_{i,\alpha \beta }[k]<1$.

图 2  5个节点组成的示例图

Fig. 2  Example of network with 5 nodes

基于上述方法, 本文给出具体的具备隐私保护的输出均值趋同控制协议:

定义:

并且

式中, I$\mathit{I}$为单位矩阵, L′[k]${\mathit{L}}^{\prime }[k]$为DoS攻击下的Laplacian矩阵, 其满足:

式中, DoS攻击下系统对应的邻接矩阵为A′[k]=[a′ij[k]]${\mathit{A}}^{\prime }[k]=[a_{ij}^{\prime }[k]]$, 满足:

D′[k]${\mathit{D}}^{\prime }[k]$为对应于邻接矩阵A′[k]$A^{\prime }[k]$的度矩阵.

另外, 在协议(11)中, y[k]=nCxα[k]$y[k]=nC{x}^{\alpha }[k]$为系统的状态输出方程, C$\mathit{C}$为输出方程的观测矩阵, 定义为:

式中, ei${\mathit{e}}_i$表示RM${\mathbf{R}}^M$中第i$i$个规范基向量, 该向量中第i$i$个位置数为1, 其他位置数为0.

注1. 考虑实际环境中不同情况, 当n∈(0,1)$n\in (0,1)$时, 系统输出方程将会缩小状态值进行信息交互, 适用于节点状态值过大的情况; 当n=1$n=1$时, 系统状态输出方程将会输出原本节点需要进行信息交互的状态值; 当n∈(1,∞)$n\in (1,\mathrm{\infty })$时, 系统状态输出方程将会放大状态值进行信息交互, 适用于节点状态值过小的情况.

值得注意的是, 对于系统中的节点, 用于和邻居节点进行信息交互的状态值xα[k]$x^{\alpha }[k]$是无法被邻居节点获取的, 需通过系统状态输出方程传递给邻居节点. 简言之每个节点经过信息交互接收到的邻居节点的值并不是xα[k]$x^{\alpha }[k]$, 而是经过输出方程输出的y[k]$y[k]$.

令Aαβ[k]${\mathit{A}}_{\alpha \beta }[k]$为每个节点 vi,i=1,2,⋯,M$v_i,i=1,2,\cdots ,M$的xαi[k]$x_i^{\alpha }[k]$和xβi[k]$x_i^{\beta }[k]$两个子状态之间的耦合权重ai,αβ[k]$a_{i,\alpha \beta }[k]$对应的矩阵, 定义为

为便于叙述, 本文考虑节点的状态值及输出值为一维的情况, 即令N=1,Q=1$N=1,Q=1$. 从而, 基于输出状态值的控制协议可表示为:

事实上, 只要向量状态中的每个标量状态元素都有独立的耦合权重, 本节所提出的控制方法所有分析及结果同样适用于向量状态的情况.

注2. 与文献[13, 37]的更新式(1)相比, 本文给出的协议(19)中, 由于每个可见子状态的邻居数增加了一个($($不可见子状态)$)$, 因此ε$\epsilon$的上限从1/Δ$1/\mathrm{\Delta }$降低为1/(Δ+1)$1/(\mathrm{\Delta }+1)$.

注3. 相比于文献[13, 37]设计的更新式(1), 本文在协议(19)的设计过程中考虑了系统通信链路中存在DoS攻击的情况, 可确保在存在一定能力DoS攻击时, 系统在协议(19)的约束下实现均值趋同.

3.3   输出均值趋同分析

在给出本文主要结论前, 需要下述引理知识.

引理6. 考虑多智能体系统(4), 如果其网络通信图是一个无向连通图, 则对于状态分解后的网络, 所有节点子状态总和是固定不变的.

证明. 由输出方程yi[k]=nxαi[k]$y_i[k]=n{x}_i^{\alpha }[k]$, 推导可得:

再将式(20)代入式(19), 可得:

进一步, 由式(21), 可得: