Цепи Маркова

Цепью Маркова называют последовательность испытаний, в каждом из которых появляется только одно из несовместных событий полной группы. Причем условная вероятность того, что в -м испытании наступит событие , при условии, что в -м испытании наступило событие , не зависит от результатов предшествующих испытаний.

Однородной называют цепь Маркова, если условная вероятность (перехода из состояния в состояние ) не зависит от номера испытания. Поэтому вместо пишут . Условную вероятность называют переходной вероятностью.

Матрицей перехода системы называют матрицу, которая содержит все переходные вероятности этой системы:

Сумма переходных вероятностей каждой строки матрицы перехода равна единице:

Зная матрицу перехода из состояния в состояние за один шаг, можно найти вероятности перехода из состояния в состояние за шагов: . В частности, при , имеем: .

Пример:

Задана матрица вероятностей перехода цепи Маркова из состояния в состояние за один шаг. Найти матрицу перехода из состояния в состояние за два шага.

Решение:

Матрица перехода за два шага находится по формуле : . Умножение матриц осуществляется по правилу: если , то , где — элемент матрицы , стоящий в -й строке и -м столбце, — скалярное произведение -й строки первой матрицы на -й столбец , второй матрицы.

На этой странице размещён краткий курс лекций по теории вероятностей и математической статистике с теорией, формулами и примерами решения задач:

Теория вероятностей краткий курс для школьников и студентов

Возможно вам будут полезны эти страницы:

Закон равномерного распределения вероятностей: определение и пример с решением

Закон нормального распределения вероятностей: определение и пример с решением

Элементы математической статистики с примерами решения

Теория вероятностей основные понятия и определения