Probabilidad: razonar bajo incertidumbre

Hasta aqui toda afirmacion de este curso era verdadera o falsa. La probabilidad es lo que usas cuando la respuesta honesta es un numero entre ambas, y la disciplina que impone es simple: antes de calcular nada, escribe el espacio muestral. Esa es la lista de todo lo que puede ocurrir, con exactamente una entrada por resultado. Para dos lanzamientos de moneda el espacio de abajo tiene cuatro entradas, no tres. El error tentador es escribir dos caras, una cara, ninguna cara, lo que colapsa dos resultados distintos en uno y vuelve todo calculo posterior erroneo por un factor de dos.

two fair coins

  S  =  { HH, HT, TH, TT }

  P(HH)             = 1 / 4
  P(at least one H) = 3 / 4
  P(exactly one H)  = 2 / 4

  P(HH) + P(HT) + P(TH) + P(TT)  =  1

Aqui es donde rinde fruto la leccion anterior. Cuando todos los resultados del espacio muestral son igualmente probables, una probabilidad es solo un conteo dividido entre otro conteo, y C(n,r) y la permutacion se encargan de la aritmetica. Toda la seccion siguiente consiste en contar resultados favorables y dividir entre el tamano del espacio, y por eso la combinatoria vino primero.

/* independent */

  P(A and B)  =  P(A) * P(B)

  1/2 * 1/2   =  1/4

/* dependent, cards, no replacement */

  P(first ace)             =  4 / 52
  P(second ace | first ace) =  3 / 51

Dos sucesos son independientes cuando saber que uno ocurrio no te dice nada sobre el otro, y solo entonces sus probabilidades se multiplican. Lanzar una moneda dos veces es independiente. Sacar dos cartas sin reposicion no lo es, porque la primera extraccion quito una carta del mazo: la probabilidad del segundo as es tres entre cincuenta y uno, no cuatro entre cincuenta y dos. La confusion clasica consiste en creer que la independencia tiene que ver con que los sucesos no tengan relacion conceptual. No es asi, tiene que ver con si el primero cambio los numeros para el segundo. En el software la misma distincion aparece como muestreo con y sin reposicion, y una cantidad sorprendente de simulaciones rotas proviene de muestrear sin reposicion mientras se asume que si la hubo.

P(A|B)  =  P(A and B) / P(B)

prevalence 1 / 1000        sensitivity 0.99        specificity 0.95

population 1000000

  ill                    =      1000
  healthy                =    999000

  ill and flagged        =  1000    * 0.99  =      990
  healthy and flagged    =  999000  * 0.05  =    49950
  flagged                =                     50940

  P(ill | flagged)       =  990 / 50940        =  0.019

Ahora viene la parte que la mayoria de las personas, incluidos la mayoria de los medicos y la mayoria de los ingenieros, entiende mal. Lee el bloque de abajo con calma. Una persona de cada mil tiene la enfermedad. La prueba detecta 99 de cada 100 personas enfermas y marca 5 de cada 100 personas sanas, lo que suena a una prueba muy buena. Sigue a una poblacion de un millon a traves de ella. Novecientas noventa de las mil personas enfermas quedan marcadas correctamente, y casi cincuenta mil personas sanas quedan marcadas por error. Ahora cuenta: de unas cincuenta y un mil pruebas positivas, solo novecientas noventa son reales. Eso es menos del dos por ciento. La prueba es precisa y el resultado sigue siendo casi con seguridad una falsa alarma, y ambas afirmaciones son verdaderas a la vez.

P(positive | ill)  =  0.99
P(ill | positive)  =  0.019

ratio  =  0.99 / 0.019  =  52

  990 / 50940  =  0.019

La razon no es aritmetica, es que se intercambiaron en silencio dos preguntas distintas. La sensibilidad, 0.99, es la probabilidad de un resultado positivo dado que estas enfermo. El numero que le importa al paciente es el opuesto: la probabilidad de que estes enfermo dado un resultado positivo. No son el mismo numero, ni siquiera se parecen, y aqui difieren por un factor de unos cincuenta y dos. Este intercambio tiene nombre, falacia de la tasa base, y no es una curiosidad de examen. Provoca tratamientos innecesarios, panico innecesario y malas decisiones de producto, y sobrevive en personas inteligentes porque la respuesta correcta se siente equivocada. La leccion general vale para todo: cada vez que veas una probabilidad condicional en una frase, pregunta que suceso esta a cada lado de la barra, y si lo raro esta en el numerador o en el denominador.

Si no crees la aritmetica, simula. El codigo de abajo hace pasar a un millon de personas por los mismos numeros e imprime la fraccion de positivos que realmente estan enfermos. Caera cerca de 0.019 cada vez.

import random

ill = 0
flagged = 0
true_positive = 0

for _ in range(1000000):
    sick = random.random() < 0.001
    hit = random.random() < (0.99 if sick else 0.05)
    if sick:
        ill += 1
    if hit:
        flagged += 1
        if sick:
            true_positive += 1

print(true_positive / flagged)Comprobacion Monte Carlo de los numeros de la prueba medica: prevalencia 0.001, sensibilidad 0.99, tasa de falso positivo 0.05.

El valor esperado es el unico numero que resume un resultado aleatorio, y es el promedio que obtendrias por intento a lo largo de muchos intentos. Multiplica cada resultado por su probabilidad y suma. El boleto de loteria de abajo tiene un valor esperado de menos uno, que es la forma honesta de decir que el boleto cuesta uno mas de lo que devuelve en promedio. El valor esperado es tambien lo que hace concreta la pregunta de examen anterior: solo vale la pena aplicar una prueba cuando el beneficio esperado de un resultado correcto supera el costo de las falsas alarmas que produce, y para una enfermedad rara con una prueba imperfecta ese es un calculo real, no una opinion.

/* lottery ticket, price 2 */

E  =  (1/1000000) * 1000000  +  (999999/1000000) * 0  -  2
   =  1 - 2
   =  -1

Esto conecta directamente con la evaluacion de modelos del nivel 1, y es el mismo fallo con otra ropa. La exactitud es una probabilidad condicional leida al reves: te dice con que frecuencia el modelo acierta en general, mientras que lo que sueles necesitar es con que frecuencia el modelo acierta cuando dice que si. En una clase rara los dos numeros son enormemente distintos, y por eso existen la precision y la exhaustividad, y por eso un modelo con 99 por ciento de exactitud puede no valer nada. La tasa base no es un detalle de la metrica, es lo que decide si la metrica significa algo en absoluto.