[ESP]Parte 2 – Diseñar un experimento para tomar decisiones de producto

Adaptar el método científico para tomar decisiones de producto parece una buena idea, ¿pero lo es realmente? Esta era la pregunta que nos surgía en el post “Tomar decisiones para el desarrollo de producto digital. ¿Cómo se toman las decisiones de producto?“

Antes de empezar a teorizar y crear procesos y herramientas para que los Product Managers y responsables de producto tomen las decisiones, decidimos aplicarnos el método científico a nosotros mismos.  

A continuación comparto los pasos que hemos seguido, donde combinamos conceptos propios del desarrollo de producto con los del método científico clásico:

Definición de la Persona

Primero de todo definimos con detalle quién es el grupo de personas que debido a sus características tienen un alto potencial de tener el problema identificado. 

En este caso, nos centramos en Product Managers trabajando en empresas con producto de software en empresas de entre 11-200 personas en España. Idealmente productos que están en fase de crecimiento y que se venden a otras empresas, es decir modelo de negocio B2B. 

Observación

La observación queríamos que estuviera vinculada con una posible problemática o situación a mejorar:

Las decisiones de desarrollo de producto digital se toman de forma arbitraria. 

Pregunta

Por qué los Product Managers no utilizan toda la información disponible (usuarios, tendencias, estadística) para tomar las decisiones de producto?

A continuación realizamos una investigación, para comprobar el estado del arte y para entender hasta qué punto habían llegado otros en este análisis. Algunas de las conclusiones que sacamos son:    

• Hay metodologías y ciclos de desarrollo de producto, pero no un marco de referencia para definir y diseñar experimentos.
• Lidiar con pruebas fallidas, generar hipótesis y el efecto de novedad (una especie de sesgo estadístico) son algunos de los desafíos en las pruebas A/B. El método científico proporciona una forma estructurada de solucionar estos desafíos.
• No hay una herramienta en el mercado que sea el “sistema operativo” para gestionar experimentos.
• Hay artículos sobre la relación del método científico y su posible relación con el desarrollo de producto digital, pero no hay información sobre su aplicación en casos reales. 

Hipótesis

El método científico es una forma validada para obtener conocimiento sobre fenómenos naturales y debería ser útil para desarrollar productos digitales (que basan su éxito en entender el comportamiento de los humanos para ofrecer soluciones). 

Un sistema específico para aplicar el método científico para el desarrollo de producto digital, será interesante para los Product Managers. 

Predicción

Más del 75% de los Product Managers del target definido estarán interesados en utilizar el método científico adaptado para el desarrollo de producto. 

Métrica de negocio

Más del 25% de los Product Managers del target definido estarán dispuestos a pagar un mínimo de 100€/mes para utilizar una herramienta que sistematice el uso del método científico. 

Si el test falla: 

• Replantear el modelo de negocio
• Replantear la propuesta de valor

Testeo

Lanzaremos una encuesta y tenemos el objetivo de recibir respuesta de un mínimo de 41 Product Managers.

A partir de la calculadora determinamos que con un tamaño de la población de 750, con unos parámetros de confianza del 95% y de error del 15%, necesitábamos 41 respuestas. 

Para conseguir estas respuestas, tuvimos que crear un texto de correo y un formulario para recoger las respuestas. Es importante que todo quede bien descrito y fijo, ya que todo puede afectar al experimento y sus conclusiones. 

Para poder trasladar bien el mensaje, creamos el concepto de Science4Product, que conceptualiza la unión entre ciencia y producto. Aquí tenéis un ejemplo del grafismo: 

Para poder validar la hipótesis y nuestras predicciones, lanzamos dos preguntas principales: 

• ¿Usarías una solución que te de soporte en la aplicación del método científico para crear productos con un mayor impacto? (Sí, No, Tal vez).
• Para esta solución estaría dispuesto/a a pagar: (0 €/mes, 100 €/mes, 250 €/mes o 500 €/mes).

Resultados

Obteniendo un total de 42 respuestas, con los resultados siguientes:

Por lo tanto, podemos afirmar lo siguiente: 

• No es cierto que el 75% de los Product Managers estén interesados en utilizar el método científico para tomar decisiones de producto. 
• El 57% de los Product Managers afirma que sería interesante utilizar el método científico para tomar decisiones de producto. 
• Hay un 38% de los Product Managers que no está decidido. Después de preguntar personalmente a algunos de los encuestados, comentaron que les faltaba información sobre cómo se aplicaría el método científico para su caso y que por eso no habían respondido afirmativamente. 
• Una respuesta que nos sorprendió, es que el 47% de los encuestados estarían dispuestos a pagar 100 €/mes. Esta cifra está por encima del 25% que predecíamos y que sería el mínimo indispensable para que este concepto fuera viable económicamente. 

Si nos fijamos solo en los Product Managers que respondieron que SÍ utilizarían el método científico para crear productos con mayor impacto, el 54,2% afirmó que estaría dispuesto a pagar 100€/mes. Los números son prácticamente idénticos si nos fijamos solo en los que respondieron que “Tal vez” lo utilizarían.

Aprovechando que habíamos establecido comunicación con nuestro público deseado, aprovechamos para preguntar cómo los Product Managers desarrollan producto siempre con la idea del método científico como base. 

Se pueden comprobar las respuestas en el siguiente post: