miércoles, 24 de febrero de 2016

Los jugadores de Halo 3 no son sexistas

Esta es una entrada dedicada a desmontar un estudio titulado "Insights into Sexism: Male Status and Performance Moderates Female-Directed Hostile and Amicable Behaviour" que se ha venido utilizando en algunos medios para justificar la presencia de sexismo contra las mujeres en los videojuegos.

El trabajo que voy a exponer aquí no es mio, sino que pertence al youtuber TL;DR, cuyo video sobre este estudio podéis ver aquí en inglés. Yo me he limitado a transcribir el contenido del video en castellano.

Introducción al estudio

Comenzaremos yendo directamente a la metodología del estudio citando:
Neither written nor verbal consent to participate in this study was collected by the authors specifically because all individuals that participated in the study were anonymous (as players use pseudonyms) and had already agreed to the terms of Xbox Live (which state that conversations can be recorded).
Traducción (negritas mías):
Los autores no tomaron consentimiento escrito ni verbal para participar en este estudio porque todos los individuos que participaron en el estudio eran anónimos (ya que los jugadores usan pseudónimos) y habían aceptado los términos de uso de Xbox Live (que permite que las conversaciones pueden ser grabadas).
Vamos a prestar atención a lo resaltado en negrita, ya que lo usaremos más adelante.

Sobre el videojuego

El videojuego utilizado para el estudio es Halo 3. Resulta llamativo que en un estudio publicado en 2015, se haya utilizado un juego de 2007. Eso se explica porque se utilizaron unas grabaciones del juego Halo 3 publicadas en septiembre de 2012 (en pequeñito a la derecha se ve la fecha), antes de que saliera el juego Halo 4.

Resulta curioso lo siguiente:
Killing opponents results in a positive outcome for the team, while dying results in a negative outcome.
Traducción:
Asesinar oponentes resulta tiene efectos positivos para el equipo, mientras que morir tiene efectos negativos.
Bueno, si estás jugando un deathmatch, pues sí. Pero si estás jugando otros modos de juego en los que el objetivo no es matar a tus oponentes sino, por ejemplo, controlar una zona una cantidad determinada de tiempo, el número de muertes y asesinatos es irrelevante.
In addition, improved performance within a game allows players to attain higher ranks and improve their skill rating, a long-term measurement of player status (i.e. dominance) that is publicly exhibited.
Traducción:
Además, mejorar el desempeño en un juego permite a los jugadores alcanzar rangos más altos y mejorar su índice de habilidad, una medición a largo plazo del status del jugador (i.e. dominancia) que se exhibe públicamente.
Tener una buena puntuación no es una señal de dominancia social, es una señal de habilidad o, en algunos casos, de horas invertidas. Decir que el hecho de que un jugador tenga algún tipo de rango en un videojuego es un indicador de su dominación social es una afirmación que requiere evidencias.

Sobre los datos

Vamos a hora al cómo se consiguieron los datos. Nos saltamos los detalles técnicos.
Three Xbox LIVE (XBL) accounts were created and assigned to a respective experimental manipulation: control, male, and female.
Traducción:
Se crearon tres cuentas de Xbox LIVE (XBL) y se  les asignaron diferentes manipulaciones experimentales: control, masculino y femenino.
Los investigadores grabaron una docena de frases con voz de hombre y de mujer, con el mismo contenido y de contenido inofensivo. Por ejemplo, "Me gusta este mapa", "Buen tiro", "Ha sido una buena partida", "creo que he visto a uno ir por allá". Estas frases pregrabadas se reproducen durante las partidas. La manipulación de control es un jugador que no habla.

Y aquí es donde comienzan los problemas:
The control condition simply played in matches of Halo 3 as one normally would; however, this condition did not use the real-time voice channel to communicate with other players, and as a result, was not further analyzed here.
Traducción (negritas mías):
El experimiento de control simplemente jugó partidas de Halo 3 como alguien lo haría normalmente; sin embargo, este experimento no usó el canal de voz para comunicarse con otros jugadores, así que no lo vamos a analizar aquí.
Resulta que, en una partida de videojuegos online, no necesitas hablar para que te hablen. Que no digas nada no significa que los otros jugadores no se dirijan a ti. Podría haber comentarios positivos o negativos hacia ti igualmente. Excluyendo esta muestra del presente estudio, automáticamente disminuyen el número total de casos que están examinando.

Antes de lanzarnos a examinar los resultados, hay una cosas más que conviene destacar:
In the Halo 3 XBL matchmaking system, up to 8 individuals (4 on each team) are matched up against other players, by the system, according to their skill level.
Traducción:
En el sistema de emparejamiento de Halo 3 XBL, hasta 8 jugadores (4 en cada equipo) son emparejados contra otros jugadores, por el sistema, de acuerdo a su nivel de habilidad.
De aquí es importante recordar que hay 8 jugadores por partida, 4 en cada equipo.

Análisis de los resultados

Y ahora, vamos a los resultados del estudio:
We played a total of 163 games of Halo 3 in the two manipulations. We stopped at 163 as this is a substantial time effort. [...] Of the 163 games, 82 were in the female manipulation and 81were in the male manipulation and players only spoke within 102 of the games. A total of 189 players spoke in these 102 games; all of them were male.
Traducción:
Hemos jugado un total de 163 partidas de Halo 3 entre las manipulaciones de hombre y mujer. Hemos parado en 163 partidas porque esto ya nos estaba llevando mucho tiempo. [...] De las 163 partidas, 82 fueron con la manipulación femenina y 81 fueron con la manipulación masculina y los otros jugadores sólo hablaron en 102 de las partidas. Un total de 189 jugadores hablaron en estas 102 partidas; todos ellos varones.
Hagamos unas pocas matemáticas. Hemos dicho antes que había 8 jugadores por partida. Tenemos que descontar un jugador, pues es el investigador. Esto quiere decir que cada vez que se juega una partida, el investigador se empareja con 7 jugadores aleatorios. Puesto que ha jugado 163 partidas eso quiere decir que se ha emparejado con un total de 1.141 jugadores distintos. Eso quiere decir que los 189 jugadores que hablaron representan el 16,56% de todos los jugadores.

Esto choca un "poco" con la frase con la que abren su resumen:
Gender inequality and sexist behaviour is prevalent in almost all workplaces and rampant in online environments.
Traducción:
Las diferencias de género y el comportamiento sexista son prevalecientes en casi cualquier parte y desenfrenados en entornos online.
Pero si ya partimos de que hablan menos de 1 de cada 5 jugadores, ¿cómo pueden decir que el sexismo es "desenfrenado" en los videojuegos online? Y todavía no hemos realizado el escrutinio de los comentarios que son positivos y negativos. Además, hay que tener en cuenta que el 16,56% es un dato sin el grupo de control (que en el estudio han dicho que no habían analizado). Probablemente, si no dices nada durante una partida, los otros jugadores todavía interactuen menos contigo, lo que haría el número de personas que se dirigen a ti más pequeño. Bueno, sigamos adelante.
This is not to say that women did not play, just that they did not speak. This does, however, reinforce the fact that women are entering a very male dominated environment.
Traducción:
Esto no quiere decir que no hubiera mujeres jugando, simplemente que no hablaron. Esto reafirma, sin embargo, el hecho de las mujeres están entrando en un entorno muy masculinizado.
Pues no, no quiere decir eso. De entrada, están asumiendo que había mujeres jugando, cuando podría no haber habido ninguna. Probablemente las habría, pero ya hemos dicho al principio que los jugadores son anónimos, por tanto no hay forma de saber si realmente había alguna mujer jugando. El 16,56% de los jugadores eran varones. Del resto, no sabemos nada. Pero aquí están afirmando que había mujeres y que no hablaron porque... ¡razones! sin ningún tipo de evidencia.
Of these individuals, 147 individuals were teammates of the experimental player and 42 individuals were opponents. For our analyses, we focused on teammates as these individuals interact with the experimental player for the duration of the game. Opponents, in contrast, only interacted with the experimental player for a short period (less than 3 minutes) in the lobby after the game. Of the 147 teammates, 82 individuals were in the female manipulation and 65 were in the male manipulation.
Traducción:
De estos individuos, 147 fueron compañeros de equipo del jugador experimental y 42 fueron oponentes. Para nuestros análisis, nos centraremos en los compañeros de equipo ya que estos individuos interactuaron con el jugador experimental durante toda la partida. Los oponentes, sin embargo, sólo interactuaron con el jugador experimental por un periodo de tiempo corto (menos de 3 minutos) en el lobby después de la partida. De los 147 compañeros de equipo, 82 de ellos hablaron durante el experimento con voz femenina y 65 lo hicieron en el experimento con voz masculina.
Y seguimos reduciendo la muestra. En vez de 189, ahora son 147. Lo que representa un 12,88% del total de jugadores. Y de alguna forma, esto va a demotrar que el sexismo está "desenfrenado" en los jugadores de videojuegos.

Si miramos el dataset que incluyen en el estudio podemos observar (si nos fijamos en la última columna) 11 instancias de lenguaje sexista. Once instancias, que no once personas. No obstante, si asumimos que esas 11 instancias son 11 personas, sobre el total de 1.141 jugadores con los que se interactuó, esto supone un 0,964%. Pero aun así el seximo está "desenfrenado".

Pero esto no acaba aquí:
Since there were a greater number of negative statements within the female manipulation, we examined whether these statements could be considered hostile sexism. Of the 82 players in the female manipulation playing on the same team as the experimental player, only 11 individuals (13%) uttered hostile sexist statements.
Traducción:
Ya que hubo un número mucho mayor de comentarios negativos en la manipulación femenina, examinamos si esos comentarios pueden considerarse sexistas. De los 82 jugadores del experimento femenino que jugaron en el mismo equipo, sólo 11 individuos (13%) lanzaron comentarios sexistas.
Hagamos unos pocos más números. Si consideramos sólo las partidas con voz femenina (574 jugadores entre compañeros y oponentes), nos quedamos con el 1,92%, y si consideramos sólo a los compañeros de la manipulación femenina (246 jugadores en el mismo equipo), nos quedamos con el 4,47%. Como el último porcentaje se les quedaba pequeño, quitaron de esos 246 jugadores todos aquellos que no dijeron nada, quedándose con los 82 que dijeron algo.

Si tienen que hacer semejantes pirueta para que el sexismo sea "desenfrenado" es que algo falla. Pero vamos a ver qué más nos dicen en las conclusiones del estudio.

Sobre las conclusiones del estudio
We found that skill determined the frequency of positive and negative statements spoken towards both male- and female-voiced teammates. In addition, poorer performance (fewer kills and more deaths) resulted in more negative statements specifically in the female-voiced manipulation.
Traducción (negritas mías):
Hemos encontrado que la habilidad determina la frecuencia de los comentarios positivos y negativos dirigidos hacia los miembros del equipo con voz masculina y femenina. Además, un mal desempeño (pocos asesinatos y muchas muertes) resulta en más comentarios negativos específicamente en el experimiento con voz femenina.
Veamos si estas conclusiones están alineadas con los datos que arroja el estudio:
Aquí vemos una gráfica que representa el número de comentarios positivos recibidos en función de la habilidad demostrada en la partida. La línea continua es la de la manipulación femenina y la línea discontinua es la de la manipulación masculina. A la vista está que:
- Si eres mujer y lo haces mal, vas a recibir pocos comentarios positivos (lo que no quiere decir que recibas comentarios negativos).
- Si eres mujer y lo haces bien, vas a recibir un montón de comentarios positivos.
- Si eres hombre vas a recibir entre los mismos comentarios positivos independientemente de tu nivel de habilidad.

Aquí vemos que si eres mujer y lo haces bien recibes casi el doble de comentarios positivos que si fueras hombre.

Veamos que más tenemos:
Aquí vemos una gráfica que relaciona la diferencia de nivel entre el jugador que dice el comentario positivo y el nivel del jugador experimental. Un número positivo en el eje horizontal significa que el jugador experimental era mejor que el jugador que decía el comentario. Lo contrario para un número negativo. Igual que antes, la línea continua representa la manipulación femenina y la línea discontinua la manipulación masculina. Conclusiones:
- Si eres mujer y te habla un compañero de tu mismo o mayor nivel de habilidad, vas a recibir pocos comentarios positivos.
- Si eres mujer y te habla un compañero con menor nivel de habilidad, vas a recibir muchos comentarios positivos.
- Si eres hombre vas a recibir aproximadamente el mismo número de comentarios positivos independientemente de tu nivel de habilidad en relación con el de tus compañeros (1 comentario de diferencia).

Más concretamente, el estudio afirma que existe una correlación entre la diferencia en el número de muertes y el número de comentarios positivos. Los jugadores compañeros que tenían más muertes respecto del investigador realizaban más comentarios positivos. Los jugadores compañeros que tenían menos asesinatos que el investigador realizaban más comentarios positivos.

Pues ya se han ido dejando cosas. Pero en las conclusiones hablaban de comentarios negativos. Vamos a ver las gráficas correspondientes:
Las gráficas vienen juntas, en el mismo archivo. En este caso tenemos el número de comentarios negativos en el eje vertical y en los ejes horizontales tenemos arriba el número de muertes y abajo el número de asesinatos. Las líneas cotinua y discontinua significan lo mismo de las anteriores gráficas.

Empecemos con la del número de muertes:
- Si eres mujer y mueres pocas veces (o incluso ninguna) vas a recibir algún comentario negativo.
- Si eres mujer y mueres muchas veces vas a recibir bastantes comentarios negativos.
- Si eres hombre y mueres pocas veces (menos de 5) no vas a recibir comentarios negativos.
- Si eres hombre y mueres muchas veces vas a recibir muchos comentarios negativos.

En este caso, las mujeres comienzan un poco peor, con un comentario negativo sólo por existir. Sin embargo, llega un momento en que a un hombre se le castiga más por una mala partida (la función de crecimiento másculina es mayor).

Veamos ahora la del número de asesinatos (ojito con este eje vertical que comienza en 1):
- Si eres mujer y no asesinas a nadie vas a recibir un montón de comentarios negativos
- Si eres mujer y asesinas muchas veces vas a recibir un comentario negativo.
- Si eres hombre recibirás dos comentarios negativos no importa tu nivel de habilidad, sólo por existir.

Bueno, esta claro que una mujer con poca habilidad va a recibir una gran cantidad de feedback negativo, pero llega un punto en que recibe menos comentarios negativos que un hombre si lo hace lo suficientemente bien. Los hombres, curiosamente, reciben comentarios negativos independientemente de su nivel de habilidad.

Conclusiones de lo que hemos visto en las gráficas

Si eres hombre, y lo haces bien, el número de comentarios positivos apenas cambiará (2,5 y 3 comentarios en el mejor caso) y tendrás pocos comentarios negativos (en la primera gráfica de comentarios negativos tendrá un 0 y en la segunda 2).


Si eres hombre, y lo haces mal, el número de comentarios positivos no bajará mucho (2,5 y 2 comentarios en el caso peor), pero el número de comentarios negativos se dispara (en la primera gráfica de comentarios negativos tendrá un 5 y en la segunda 2).

Si eres mujer, y lo haces bien, el número de comentarios positivos será enorme (4 y 5 comentarios en el mejor caso) y el número de comentarios negativos será muy bajo (1 y 1 en el mejor caso).

Si eres mujer, y lo haces mal, el número de comentarios positivos será muy bajo (1 y 1 comentarios en el peor caso) y el número de comentarios negativos será enorme (4 y 5 en el peor caso).

Comparando con la "conclusión" del estudio

En la conclusión del estudio han afirmado que cuando el investigador con la voz femenina lo hacía mal, recibía muchos comentarios negativos, lo que es cierto. Se han dejado por el camino que cuando una mujer lo hace bien, recibe muchos más comentarios positivos que un hombre.

De hecho, la diferencia entre comentarios negativos de hombres y mujeres es menor que la diferencia de comentarios positivos. Dicho en otras palabras, cuando una mujer lo hace mal, recibe más comentarios negativos que un hombre que lo hace mal, pero no muchos más. Cuando una mujer lo hace bien, recibe más comentarios positivos que un hombre, bastantes más. 

Pero todavía hay más

Esto es un pantallazo del video de TL;DR que he enlazado al principio de la entrada. Aquí se puede ver que ha calculado el rendimiento de la manipulación femenina y de la manipulacion masculina a partir de los datos del estudio.

Vemos que, de manera consistente, los resultados de la manipulación masculina superan los de la manipulación femenina en todos los aspectos (asesinatos realizados, muertes recibidas...). En el estudio no han tenido en cuenta este factor. En el estudio se han basado en que el desempeño de los experimentos es el mismo, pero resulta que estamos comparando dos jugadores con distinto desempeño.


Conclusión final

Tras reducir la muestra hasta niveles insospechados para que el porcentaje de "sexismo" subiera de manera artificial, han extraido sólo las conclusiones negativas que afectaban a la mujer. Han ignorado completamente en el texto del estudio los resultados que arrojaban sus propios datos para quedarse con lo que les interesaba.

No solo eso. Los datos muestran justo lo contrario de lo que afirman. El sexismo no está "desenfrenado". Las mujeres reciben un trato muy positivo cuando obtienen buenos resultados jugando online. Y todo ello, a pesar de que la manipulación femenina estaba teniendo peores resultados que la manipulación masculina.

1 comentario:

  1. Y si los datos muestran justo lo contrario de lo que afirman...¿en qué datos se habrán basado? ¿En los del estudio de Pin&Pon?

    ResponderEliminar