In una catena di Markov con probabilità p_ij e guadagni r_ij il guadagno medio per transizione g soddisfa le equazioni:

g + a_i = S_j p_ij (r_ij + a_j)                                    i=1, 2, ...,n                                                     (1)

in cui una delle incognite a_j può essere fissata arbitrariamente.

Se la politica di decisione è la d^II le probabilità e i guadagni sono i seguenti:

per cui il sistema (1) diventa

g + a₁ = 0.6 (1 + a₁) + 0.4 (2 + a₂)

g + a₂ = 0.4 (1 + a₁) + 0.6 (3 + a₂)

che può essere risolto fissando, ad esempio, a₂=0 . La soluzione è allora a₁ = -1 e g_II = 1.8

Se la politica di decisione è invece la d_III abbiamo

e il sistema (1) è:

g + a₁ = 0.2 (5 + a₁) + 0.8 (4 + a₂)

g + a₂ = 0.1 (4 + a₁) + 0.9 (3 + a₂)

che ammette la soluzione :

a₁ = 1.1/0.9;              a₂ = 0;            g_III = 3.2

Per confronto diretto (g_III > g_II) segue quindi che la politica di decisione d_III è preferibile alla d_II. In questo caso specifico si poteva tuttavia pervenire a questo risultato notando che tutti gli elementi della matrice R_III sono non inferiori a quelli della matrice R_II per cui a fortiori deve essere g_III ³ g_II.