что для такой цепи
{
ζ
n
}
∞
n
=0
существует единственное стационарное
распределение
Π = (
π
0
, π
1
, . . . , π
N
−
1
)
[16]. Найдем аналитические
выражения для стационарных вероятностей
π
j
, j
= 0
, N
−
1
, через
управляющие вероятностные меры
ψ
0
(
∙
)
, ψ
1
(
∙
)
, . . . , ψ
N
−
1
(
∙
)
.
Запишем систему уравнений относительно стационарного распре-
деления вложенной цепи Маркова и преобразуем ее, исключив послед-
нее уравнение. Система принимает следующий вид:
π
j
−
N
−
1
X
i
=0
π
i
p
ij
= 0
, j
= 0
, N
−
2;
(43)
N
−
1
X
j
=0
π
j
= 1
.
(44)
Теорема 1.
Стационарные вероятности вложенной цепи Маркова
представимы в виде
π
j
=
1
D
Z
. . .
U
(
N
−
1)
Z
ˆ
D
(
j
)
(
u
0
, . . . , u
j
−
1
, u
j
+1
, . . . , u
N
−
1
)
N
−
1
Y
i
=0
i
6
=
j
dψ
i
(
u
i
)
.
(45)
Здесь
D
—
определитель матрицы системы уравнений
(43)
,
(44);
U
(
N
−
1)
=
U
×
U
×
. . .
×
U
—
декартово произведение размерностью
(
N
−
1)
пространств возможных управлений;
ˆ
D
(
j
)
(
u
0
, . . . , u
j
−
1
, u
j
+1
, . . . , u
N
−
1
) =
= (
−
1)
N
+
j
+1
X
α
(
N
−
1)
,j
(
−
1)
δ
(
α
(
N
−
1)
,j
)
×
×
ˆ
D
(
j
)
0
α
(
N
−
1)
,j
, u
0
, . . . , u
j
−
1
, u
j
+1
, . . . , u
N
−
1
;
(46)
α
(
N
−
1)
,j
= (
α
0
, . . . , α
j
−
1
, α
j
+1
, . . . , α
N
−
1
)
—
произвольная переста-
новка чисел
(0
, . . . , j
−
1
, j
+ 1
, . . . , N
−
1)
;
δ
(
α
(
N
−
1)
,j
)
—
число
инверсий в перестановке
α
(
N
−
1)
,j
,
причем суммирование в правой ча-
сти формулы
(46)
проводится по всем возможным перестановкам
набора чисел
(0
, . . . , j
−
1
, j
+ 1
, . . . , N
−
1)
,
число слагаемых в
этой сумме составляет
(
N
−
1)!
;
ˆ
D
(
j
)
0
α
(
N
−
1)
,j
, u
0
, . . . , u
j
−
1
, u
j
+1
, . . . , u
N
−
1
=
= ˜
p
0
,α
0
(
u
0
)
. . .
˜
p
j
−
1
,α
j
−
1
(
u
j
−
1
) ˜
p
j
+1
,α
j
+1
(
u
j
+1
)
. . .
˜
p
N
−
1
,α
N
−
1
(
u
N
−
1
) ;
(47)
ISSN 1812-3368. Вестник МГТУ им. Н.Э. Баумана. Сер. “Естественные науки”. 2013. № 3
79
