Cómo (no) validar las hipótesis

Validar hipótesis es una frase que ha entrado en el vocabulario de la gran mayoría de emprendedores, inversores y gente que se mueve en el sector tecnológico. Junto con emvipi


Validar hipótesis es uno de los conceptos claves de lean startup y custmoer discovery. Da un aire científico a todo el proceso, porque muchos de nosotros todavía nos acuerdamos un poco de las clases de estadística donde también se hablaba de hipótesis y de pruebas de hipótesis.

Pero cuando uno se pone a analizarlo en detalle, la validación de hipótesis a la lean startup tiene muy poco que ver con lo que la estadística llama prueba de hipótesis, a pesar de similitud linguística.


Así que creo que podría ser util destacar estas diferencias para tener claro lo que estamos haciendo y lo que no estamos haciendo cuando estamos "validando las hipótesis".

1. Problema de muestreo pequeño. A diferencia de la prueba de hipótesis estadística, la validación de hipótesis de una strartup típica trabaja con unas muestras tan pequeñas, que cualquier resultado carece valor estadístico. Si hablas con 3 clientes posibles y uno te dice les podría interesar el producto (o incluso te compra la versión MVP), sabes más que antes, pero muy poco más. No extrapoles en tu business plan esta experiencia multiplicándo los números por mil o millón para llegar a la rentabilidad.

2. Problema de muestreo sesgado. Si preguntas a tus amigos qué tal les parece tu idea/prototipo, en vez de market research estás haciendo friends research. No hay nada malo en eso. Sólo que friends research es (como mucho) extrapolable a todos tus amigos, pero no a todo el mercado.

3. Errores tipo 1 y tipo 2.  Incluso si llegases a hacer una prueba estadisticamente válida de tus hipótesis, aquello no quiere decir que sea 100% verdad. Repasa lo que se conoce como error tipo 1 y error tipo 2. Aunque son conceptos estadísticos, tienen implicaciones prácticas. Entiende las consecuencias y el coste que puedan tener para tu caso.

4. Problema de hipótesis compuestas: Muchas veces lo que estamos validando es una hipótesis compuesta. Un elemento de la hipótesis (p.e. un atributo de tu producto) puede causar el rechazo de todo el paquete. Por eso es clave construir bien las hipótesis e interpretar los resultados de manera correcta.

La validación de hipótesis de una startup NO es una prueba de hipótesis estadisticamente válida. No obstante, bien aplicada y combinada con cierta experiencia práctica, conocimiento del sector y de análogos ayuda a reducir la probabilidad de errores e incertidumbre del entorno de cada startup.