Une petite chaîne de MarkovMonter et descendre un escalier ...

Principe et utilité

Les chaînes de Markov sont utilisées dans les systèmes qui comprennent plusieurs états, par exemple les machines à état fini (Finite State Machine). Elles définissent le cadre théorique pour passer aléatoirement d'un état à un autre du système. Pour cela, une matrice de transitions définit les probabilités de passer d'un état à un autre. La matrice est carrée, chaque ligne contient pour un état les probabilités de transition avec les autres états. Sur la diagonale de la matrice, on lit les probabilités d'un état de ne pas changer.

L'exemple

Ici les états sont des étages et on souhaite monter puis descendre un escalier marche par marche.
On définit 2 matrice de transition, une pour monter et une pour descendre.

let upstairsProbas = [
    [1, 1, 0, 0], // RdC → others
    [0, 1, 1, 0], // 1er → others
    [0, 0, 1, 1], // 2e  → others
    [0, 0, 0, 1], // Grenier → others
]
let downstairsProbas = [
  [1, 0, 0, 0], // RdC → others
  [1, 1, 0, 0], // 1er → others
  [0, 1, 1, 0], // 2e  → others
  [0, 0, 1, 1], // Grenier → others
]