Що таке формула ланцюга Маркова?

Ланцюг Маркова визначається наступним чином. pij = 1, i ∈ S, а матриця P = (pij) є матрицею переходу ланцюга. Умова (1.1), яка називається властивістю Маркова, говорить, що в будь-який момент часу n наступний стан Xn+1 є умовно незалежним від минулого X0,…,Xn−1 з огляду на поточний стан Xn.

Це марковська модель стохастичний метод для випадково мінливих систем, що володіють властивістю Маркова. Це означає, що в будь-який момент часу наступний стан залежить лише від поточного стану та не залежить ні від чого в минулому.

Щоб визначити, чи є ланцюг Маркова регулярним, ми перевірте його матрицю переходу T і степені, Tn, матриці переходу. Якщо ми знайдемо будь-який ступінь n, для якого Tn має лише позитивні елементи (без нульових елементів), тоді ми знаємо, що ланцюг Маркова є регулярним і гарантовано досягне стану рівноваги в довгостроковій перспективі.

Визначальною характеристикою ланцюга Маркова є те, що незалежно від того, як процес досяг свого поточного стану, можливі майбутні стани фіксуються. Іншими словами, ймовірність переходу в будь-який конкретний стан залежить виключно від поточного стану та часу, що минув.

Можна показати, що принцип Маркова еквівалентний тому, що усі функції між довільними метричними просторами є сильно екстенсійними, тоді як слабкий принцип Маркова еквівалентний твердженню, що всі функції від повних метричних просторів до метричних просторів є сильно екстенсійними.

Процес Маркова {X(t)} називається однорідним у часі, якщо ймовірність переходу залежить від різниці t і s, тобто P(s, x, t, A) = P(t − s, x, A). Марковський процес {X(t)} називається просторово однорідним, якщо P(s, x, t, A) = P(s, t, A − x), де A − x = {y − x:y ∈ A}.