CADENAS DE MARKOV : CONCEPTOS

MATRIZ DE TRANSICIÓN

Esta es una matriz  cuadrada, donde el número de renglones y de columnas será igual al de estados que tenga la cadena de Markov, siendo cada elemento de la matriz, la probabilidad de transición respectiva de pasar del estado que encabeza el renglón donde está ubicado el elemento hacia el estado encabezado por la columna.

Miremos el siguiente ejemplo:

Se observa que para el primer renglón las probabilidades de transición indican que habrá un 50% de los clientes fieles a la marca A, por su parte un 30% cambiara de A a  B y un 20% cambiara de A a C. Obsérvese que la suma se probabilidades de cada renglón es igual a 1.

Una manera de visualizar mejor la tabla dada anteriormente es a través de un diagrama de estado. Aquí los estados se indican a través de círculos y las flechas que salen de ellos son las probabilidades de que sus clientes cambien a otro estado. Es decir, las flechas que regresan al mismo estado del que salen, señalan las probabilidades de que los clientes sean retenidos por esa marca en particular.

CALCULO DE PROBABILIDADES DE LA MATRIZ DE TRANSICIÓN

Para hallar las probabilidades de los estados dentro de la matriz de transición en un periodo determinado procedemos de la siguiente manera como se muestra en el siguiente ejemplo:

Las granjas de cierta región se pueden clasificar con 3 tipos: agrícolas, pecuarias o mixtas. Actualmente 30% son agrícolas, 40% pecuarias y 30% son mixtas. La matriz de transición de un año al siguiente es:

De acuerdo a la información dada, el Po es:

Para hallar el valor de las probabilidades en el año siguiente hacemos uso de la multiplicación de las matrices, como sigue

Para el estado A:

Por lo que el vector para el año siguiente es:

De igual manera calculamos el porcentaje para cada tipo de granja para el periodo 2, 3, 4 y 5



Obsérvese que el valor de la probabilidad de un estado n esta dado por la siguiente expresión:



MATRIZ DE TRANSICIÓN EN ESTADO ESTABLE

Un estado es estable cuando ya no hay cambios en el sistema, es decir que se alcanza el equilibrio. Una manera posible de obtener las condiciones del sistema para el estado estable es repetir iterativamente los cálculos para cada periodo con el fin de hallar el periodo con aquellas probabilidades que se mantienen constantes o no cambian.

Sin embargo también es posible utilizar los métodos para resolver sistemas de ecuaciones que nos permiten encontrar directamente estas probabilidades de estado estables.

Dado el ejemplo anterior acerca de los tipos de granjas, calcularemos los estados estables a través de los métodos para sistemas de ecuaciones.

En primera medida lo que hacemos es hallar la traspuesta de la matriz de transición, es decir:

El sistema de ecuaciones quedaría así:

Esta ultima ecuación es agregada siguiendo la propiedad de que la sumatoria las probabilidades de los estados debe ser igual a 1.

Utilizando el método de eliminación, restamos las ecuaciones (1) y (2) eliminando z.

Ahora sumamos las ecuaciones (3) y (4), multiplicando la ecuación 4 por 0.2 con el fin de eliminar z

Despejando de la ecuación (6) y y reemplazando en (5), tenemos:

Reemplazando x en (6)

MATRIZ REGULAR Y MATRIZ ERGODICA

Una  matriz de transición T se dice que es regular si para algún elemento positivo de k la matriz T^k no tiene elementos iguales a cero. Además debe tener comunicación directa con los demás estados.

Si los estados de una cadena  son recurrentes, aperiódicos y se comunican entre sí, se dice que la matriz es ergódica.

CLASIFICACION DE LOS ESTADOS DE LA CADENA DE MARKOV

Los estados de una cadena de Markov se clasifican dependiendo de la fracción de tiempo que la cadena pasa en cada uno de ellos.

Los estados de una cadena de Markov pueden ser:

Ø  Transitorios: Un estado es transitorio si después de haber entrado a este estado, el proceso no regresara a él.

Ø  Recurrentes: Se dice que un estado es recurrente si después de haber entrado a este estado el proceso definitivamente regresara a ese estado. Por consiguiente, un estado es recurrente si y solo si no es transitorio.

Ø  Absorbentes: Un estado se llama absorbente si después de haber entrado ahí el proceso nunca saldrá de ese estado. Por consiguiente, el estado i es un estado absorbente si y solo si Pij=1.