无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法（2）——模型构建
参考文献：
[1] Wang Y , Fang W , Ding Y , et al. Computation offloading optimization for UAV-assisted mobile edge computing: a deep deterministic policy gradient approach[J]. Wireless Networks, 2021:1-16.doi：https://doi.org/10.1007/s11276-021-02632-z
2 系统模型
我们考虑了一种无人机辅助的MEC系统，该系统由UE和配备纳米MEC服务器的无人机组成。整个系统运行在离散时间内，时隙长度相等。对所有终端提供通信和计算服务，但一次只能对一个终端。由于计算能力的限制，终端必须通过无线网络将部分计算任务转移到无人机的MEC服务器上。
2.1 通信模型
无人机以时间划分方式向所有终端提供计算服务，将整个通信周期 T 划分为 I 个时隙。我们假设 UEs 在该区域内以低速随机移动。在每个时间段，无人机在固定位置悬停，然后与其中一个终端建立通信。终端将部分计算任务卸载到服务器上后，剩余的计算任务将在本地执行。在三维笛卡尔坐标系下，无人机保持在固定高度 H 飞行，无人机的起始坐标
q
(
i
)
=
[
x
(
i
)
,
y
(
i
)
]
T
∈
R
(
2
×
1
)
q(i)=[x(i), y(i)]^T \in R^{(2 \times 1)}
q(i)=[x(i),y(i)]T∈R(2×1) 和结束坐标
q
(
i
+
1
)
=
[
x
(
i
+
1
)
,
y
(
i
+
1
)
]
T
∈
R
(
2
×
1
)
q(i+1)=[x(i+1), y(i+1)]^T \in R^{(2 \times 1)}
q(i+1)=[x(i+1),y(i+1)]T∈R(2×1) 在时隙
i
∈
{
1
,
2
,
⋯
,
I
}
i \in \{1,2, \cdots,I\}
i∈{1,2,⋯,I} 。UE坐标
k
∈
{
1
,
2
,
⋯
,
K
}
k \in \{1,2, \cdots,K\}
k∈{1,2,⋯,K} 是
p
k
(
i
)
=
[
x
k
(
i
)
,
y
k
(
i
)
]
T
∈
R
(
2
×
1
)
p_k(i)=[x_k(i), y_k(i)]^T \in R^{(2 \times 1)}
pk(i)=[xk(i),yk(i)]T∈R(2×1) 。无人机与UE k之间的视距链路的信道增益可以表示为:
g
k
(
i
)
=
α
0
d
k
−
2
(
i
)
=
α
0
∣
∣
q
(
i
+
1
)
−
p
k
(
i
)
∣
∣
2
+
H
2
g_k(i) = \alpha_0 d_k^{-2}(i) = \frac{\alpha_0}{||q(i+1)-p_k(i)||^2+H^2}
gk(i)=α0dk−2(i)=∣∣q(i+1)−pk(i)∣∣2+H2α0
式中，
α
0
\alpha_0
α0 为参考距离
d
=
1
m
d=1m
d=1m 处的信道增益，
d
k
(
i
)
d_k(i)
dk(i) 为无人机与 k 之间的欧氏距离。由于障碍物的遮挡，无线传输速率可表示为:
r
k
(
i
)
=
B
l
o
g
2
(
1
+
P
u
p
g
k
(
i
)
σ
2
+
f
k
(
i
)
P
N
L
O
S
)
r_k(i) = B log_2(1+\frac{P_{up}g_k(i)}{\sigma^2+f_k(i)P_{NLOS}})
rk(i)=Blog2(1+σ2+fk(i)PNLOSPupgk(i))
B 表示通信带宽,
P
u
p
P_{up}
Pup 表示终端在上传链路的传输功率,
σ
2
\sigma^2
σ2 表示噪声功率,
P
N
L
O
S
P_{NLOS}
PNLOS 表示传输损耗,
f
k
(
i
)
f_k(i)
fk(i) 表示在时刻 i , UAV 与UE k之间是否有阻塞的指示器(即0表示无堵塞，1表示堵塞)。
2.2 计算模型
在我们的MEC系统中，在每个时隙中对终端的任务使用了部分卸载策略。设
R
k
(
i
)
∈
[
0
,
1
]
R_k(i) \in [0,1]
Rk(i)∈[0,1] 表示卸载到服务器的任务的比例，
(
1
−
R
k
(
i
)
)
(1-R_k(i))
(1−Rk(i)) 表示在终端本地执行的剩余任务。那么，UE k在第 i 个时隙的本地执行延迟可以表示为:
t
l
o
c
a
l
,
k
(
i
)
=
(
1
−
R
k
(
i
)
)
D
k
(
i
)
s
f
U
E
t_{local,k}(i) = \frac{(1-R_k(i))D_k(i)s}{f_{UE}}
tlocal,k(i)=fUE(1−Rk(i))Dk(i)s
其中，
D
k
(
i
)
D_k(i)
Dk(i)为UE k的计算任务大小， s 为 UE 处理每个单位字节所需的CPU周期，
f
U
E
f_{UE}
fUE 为 UE 的计算能力。在第一个时间段，无人机从位置 q(i) 飞行到新的悬停位置
q
(
i
+
1
)
=
[
x
(
i
)
+
v
(
i
)
t
f
l
y
cos
β
(
i
)
,
y
(
i
)
+
v
(
i
)
t
f
l
y
sin
β
(
i
)
]
T
\mathbf{q}(i+1)=\left[x(i)+v(i) t_{fly} \cos \beta(i), y(i)+v(i) t_{fly} \sin \beta(i)\right]^{T}
q(i+1)=[x(i)+v(i)tflycosβ(i),y(i)+v(i)tflysinβ(i)]T
其中，速度为
v
(
i
)
∈
[
0
,
v
m
a
x
]
v(i) \in [0,v_{max}]
v(i)∈[0,vmax] 以及角度
β
(
i
)
∈
[
0
,
2
π
]
\beta(i) \in [0, 2\pi]
β(i)∈[0,2π] 。本次飞行所消耗的能量可以表示为:
E
f
l
y
(
i
)
=
ϕ
∣
∣
v
(
i
)
∣
∣
2
E_{fly}(i) = \phi||v(i)||^2
Efly(i)=ϕ∣∣v(i)∣∣2
其中
ϕ
=
0.5
M
U
A
V
t
f
l
y
\phi=0.5 M_{UAV} t_{fly}
ϕ=0.5MUAVtfly ， M 与无人机的有效载荷相关，
t
f
l
y
t_{fly}
tfly 为固定飞行时间。在MEC系统中，服务器提供的计算结果的大小通常非常小，可以忽略不计。因此，这里不考虑下行链路的传输延迟。MEC服务器的处理延迟可分为两部分。一部分是传输时延，可以表示为:
t
t
r
,
k
(
i
)
=
R
k
(
i
)
D
k
(
i
)
r
k
(
i
)
t_{t r, k}(i)=\frac{R_{k}(i) D_{k}(i)}{r_{k}(i)}
ttr,k(i)=rk(i)Rk(i)Dk(i)
另一部分是在MEC服务器上计算产生的延迟，可以表示为:
t
U
A
V
,
k
(
i
)
=
R
k
(
i
)
D
k
(
i
)
s
f
U
A
V
t_{U A V, k}(i)=\frac{R_{k}(i) D_{k}(i) s}{f_{U A V}}
tUAV,k(i)=fUAVRk(i)Dk(i)s
其中
f
U
A
V
f_{U A V}
fUAV 为服务器CPU计算频率。相应的，在 i 时间段将计算任务卸载给服务器所消耗的能量也可以分为两部分，一部分用于传输，一部分用于计算。在MEC服务器上进行计算时，其功耗可表示为:
P
U
A
V
,
k
(
i
)
=
κ
f
U
A
V
3
P_{U A V, k}(i)=\kappa f_{U A V}^{3}
PUAV,k(i)=κfUAV3
则MEC服务器在第 i 时刻的能耗为:
E
U
A
V
,
k
(
i
)
=
P
U
A
V
,
k
(
i
)
t
U
A
V
,
k
(
i
)
=
κ
f
U
A
V
2
R
k
(
i
)
D
k
(
i
)
s
E_{U A V, k}(i)=P_{U A V, k}(i) t_{U A V, k}(i)=\kappa f_{U A V}^{2} R_{k}(i) D_{k}(i) s
EUAV,k(i)=PUAV,k(i)tUAV,k(i)=κfUAV2Rk(i)Dk(i)s
2.3 问题公式化
在此基础上，提出了无人机辅助MEC系统的优化问题。为了确保有限的计算资源的有效利用，我们的目标是通过联合优化用户调度、无人机机动性和系统中的资源分配，使所有终端的最大处理延迟最小化。具体而言，优化问题可以表示为:
min
{
α
k
(
i
)
,
q
(
i
+
1
)
,
R
k
(
i
)
}
∑
i
=
1
I
∑
k
=
1
K
α
k
(
i
)
max
{
t
l
o
c
a
l
,
k
(
i
)
,
t
U
A
V
,
k
(
i
)
+
t
t
r
,
k
(
i
)
}
s.t.
α
k
(
i
)
∈
{
0
,
1
}
,
∀
i
∈
{
1
,
2
,
…
,
I
}
,
k
∈
{
1
,
2
,
…
,
K
}
,
∑
k
=
1
K
α
k
(
i
)
=
1
,
∀
i
,
0
≤
R
k
(
i
)
≤
1
,
∀
i
,
k
,
q
(
i
)
∈
{
(
x
(
i
)
,
y
(
i
)
)
∣
x
(
i
)
∈
[
0
,
L
]
,
y
∈
[
0
,
W
]
}
,
∀
i
,
p
(
i
)
∈
{
(
x
k
(
i
)
,
y
k
(
i
)
)
∣
x
k
(
i
)
∈
[
0
,
L
]
,
y
k
∈
[
0
,
W
]
}
,
∀
i
,
k
,
f
k
(
i
)
∈
{
0
,
1
}
,
∀
i
,
k
,
∑
i
=
1
I
(
E
f
l
y
,
k
(
i
)
+
E
U
A
V
,
k
(
i
)
)
≤
E
b
,
∀
k
,
∑
i
=
1
I
∑
k
=
1
K
α
k
(
i
)
D
k
(
i
)
=
D
\min _{\left\{\alpha_{k}(i), \mathbf{q}(i+1), R_{k}(i)\right\}} \sum_{i=1}^{I} \sum_{k=1}^{K} \alpha_{k}(i) \max \left\{t_{l o c a l, k}(i), t_{U A V, k}(i)+t_{t r, k}(i)\right\} \\ \text { s.t. } \alpha_{k}(i) \in\{0,1\}, \forall i \in\{1,2, \ldots, I\}, k \in\{1,2, \ldots, K\}, \\ \sum_{k=1}^{K} \alpha_{k}(i)=1, \forall i, \\ 0 \leq R_{k}(i) \leq 1, \forall i, k, \\ \mathbf{q}(i) \in\{(x(i), y(i)) \mid x(i) \in[0, L], y \in[0, W]\}, \forall i, \\ \mathbf{p}(i) \in\left\{\left(x_{k}(i), y_{k}(i)\right) \mid x_{k}(i) \in[0, L], y_{k} \in[0, W]\right\}, \forall i, k, \\ f_{k}(i) \in\{0,1\}, \forall i, k , \\ \sum_{i=1}^{I}\left(E_{f l y, k}(i)+E_{U A V, k}(i)\right) \leq E_{b}, \forall k , \\ \sum_{i=1}^{I} \sum_{k=1}^{K} \alpha_{k}(i) D_{k}(i)=D
{αk(i),q(i+1),Rk(i)}mini=1∑Ik=1∑Kαk(i)max{tlocal,k(i),tUAV,k(i)+ttr,k(i)} s.t. αk(i)∈{0,1},∀i∈{1,2,…,I},k∈{1,2,…,K},k=1∑Kαk(i)=1,∀i,0≤Rk(i)≤1,∀i,k,q(i)∈{(x(i),y(i))∣x(i)∈[0,L],y∈[0,W]},∀i,p(i)∈{(xk(i),yk(i))∣xk(i)∈[0,L],yk∈[0,W]},∀i,k,fk(i)∈{0,1},∀i,k,i=1∑I(Efly,k(i)+EUAV,k(i))≤Eb,∀k,i=1∑Ik=1∑Kαk(i)Dk(i)=D
其中，等式 (9b)和等式 (9c)保证在第 i 个时间段只有一个用户被调度到计算中。等式 (9d)为计算任务卸载率的取值范围。约束(9e)和(9f)表示UE和UAV只能在给定区域内移动。约束(9g)表示无人机与终端之间的无线信道在 i 时隙被堵塞。约束(9h)保证无人机在所有时隙飞行和计算的能耗不超过最大电池容量。约束(9i)指定整个时间段内需要完成的所有计算任务。
