¿Qué pasaría si los ratings de películas no estuvieran basados casi completamente en lo que piensan los hombres?

¿Deberíamos sospechar sobre la puntuación de los sitios especializados de películas?  Esta es una pregunta que deberíamos hacernos, según el sitio fivethirtyeight.com. Los Premios Oscar usualmente reciben cada año muchas críticas porque reflejan a una pequeña parte de la población poco representativa y los rankings de sitios especializados parecen tener el mismo problema. De acuerdo a un reciente estudio, las mujeres son el 52% de los cinéfilos en Estados Unidos y Canadá, pero en internet no figuran de la misma manera.

“Si vemos cualquier número en un ranking o un número acompañado del signo porcentaje se puede tratar de una cifra convincente o significativa, así como puede no serlo”, dice Gary Langer, presidente de Langer Research Associates, una firma de encuestas que ha liderado diversos estudios para ABC News. “Lo que debemos hacer, en vez de ser atraídos por el número es someterlo a juicio y preguntarnos cómo se llegó a eso”, añade Langer.

Pero, ¿cuán escépticos debemos ser? Para descifrarlo, el sitio FiveThrityEight investigó cuál es el sesgo de los hombres que evalúan películas en sitios como IMDb y cuánto afecta el rating final de las cintas.

Para comenzar, se eligieron filmes que califican para el Top 250 de IMDB. ¿Cómo ingresan los filmes a esa lista? Cada cinta necesita al menos 25.000 evaluaciones de usuarios que voten regularmente en la página. El 14 de febrero había 4.377 títulos. De ellos, solo 97 tenían mayor puntaje dado por mujeres, los 4.280 restantes eran en su mayoría valorados por hombres. En 3.942 casos (cerca del 90%), los hombres superaban a las mujeres por los menos 2 a 1. En 2.212 casos (el 50%), los hombres superaban en una proporción de 5 a 1. En 513 casos (12%), los hombres superaban a las mujeres en 10 a 1.

imdb250-1

Mirando estrictamente al puntaje ponderado de IMDb –IMDb ajusta sus calificaciones brutas para evitar el “relleno de votos”, pero no dice cómo–, el sesgo de los evaluadores masculinos tiene un efecto bastante significativo. En un 17% de los casos el puntaje promedio era igual entre hombres y mujeres, mientras que en un 26%, los votos de hombres y mujeres estaban a 0.1 puntos del otro. Pero cuando había un mayor desacuerdo –por ejemplo, hombres y mujeres le daban un puntaje significativamente distinto a una cinta, de 0.2 puntos o más– el puntaje final se acerca más a la evaluación de los hombres que de las mujeres. O sea, el rating final estaba más cerca del puntaje dado por los hombres en un 48 por ciento del tiempo y más cerca del puntaje de las mujeres menos del 9 por ciento de las veces, lo que significa que cuando había desacuerdo, la preferencia masculina ganó casi un 85% de las veces.

Este sesgo también está presente en los 250 largometrajes que están en su top list, que apareció el pasado 16 de febrero.

imdb250-2

¿Y cuál es el problema en todo esto? Si IMDb realmente quiere reflejar lo que piensan los cinéfilos, esto no está ocurriendo. El sitio intentó contactarse con IMDB para averiguar cómo se ajustan los ratings pero no hubo respuestas.

Tratar de reflejar la realidad es una práctica común en campos que usan las encuestas. Lo que no se entiende es por qué los sitios que evalúan películas no lo hacen, o al menos por qué no indican que sus puntajes están basados mayoritariamente en lo que piensan los hombres.