стей цепи Маркова с
j
состояниями через
P
[
j
]
.
Естественно
,
матрица
P
[
j
]
состоит из матриц
P
[
j
]
k,n
,
соответствующих переходам из состояния
q
k
в состояние
q
n
. 2.
Пересчитывается матрица переходных вероятно
-
стей
P
[
j
−
1]
k, n
для новой цепи Маркова
.
Именно при выполнении этого ша
-
га происходит экономия вычислительных ресурсов по сравнению с ме
-
тодом Гаусса
.
Пусть
q
x
—
исключаемое состояние
,
q
a
—
элемент мно
-
жества состояний
,
в которые можно попасть из исключаемого состоя
-
ния за один шаг
,
q
b
—
элемент множества всех неисключенных состо
-
яний
.
Обозначим через
Q
x,a
вероятность того
,
что при первом выходе
из состояния
q
x
цепь Маркова с
x
состояниями попадет в состояние
q
a
.
Тогда
Q
x,a
=
¡
E
−
P
[
x
]
x, x
¢
−
1
P
[
x
]
x, a
,
a
пересчет
P
будет производится по формуле
P
[
x
−
1]
b, a
=
P
[
x
]
b, a
+
P
[
x
]
b, x
Q
x, a
.
На рис
. 2
белым цветом обозначены уже исключенные состояния
;
q
x
—
состояние
,
которое исключается на данном шаге
;
темным цве
-
том обозначено множество состояний
,
в которые можно попасть из ис
-
ключаемого состояния за один шаг
(
q
a
);
темные и серые ячейки пред
-
ставляют собой множество всех еще не исключенных состояний
(
q
b
).
3.
Для цепи Маркова с одним состоянием
q
1
и матрицей переходных
вероятностей
P
[1]
1
,
1
решается система уравнений равновесия
~π
[1]
q
1
=
~π
[1]
q
1
P
[1]
1
,
1
,
соответствующая этой цепи
,
и с точностью до константы находится
вектор
~π
[1]
q
1
стационарных вероятностей состояний такой цепи Марко
-
ва
.
Этот же вектор
~π
[1]
q
1
,
с точностью до другой константы
,
которая поз
-
же будет определена из условия нормировки
,
является вектором
~π
n
1
, n
2
стационарных вероятностей вложенной цепи Маркова
.
4.
Последовательно добавляется по одному состоянию
q
i
,
и рассмат
-
Рис
. 2.
Порядок пересчета
P
ривается цепь Маркова с
i
состояни
-
ями
.
Находится
~π
[
i
]
q
i
из соотношения
i
X
j
=1
~π
[
j
]
q
j
P
[
i
]
j, i
=
~π
[
i
]
q
i
,
представляющего собой последнее
уравнение системы уравнений рав
-
новесия для цепи Маркова с
i
состо
-
яниями
.
Вектор
~π
[
i
]
q
i
,
с точностью до
100 ISSN 0236-3933.
Вестник МГТУ им
.
Н
.
Э
.
Баумана
.
Сер
. "
Естественные науки
". 2004.
№
1
