Discurso de odio

El discurso de odio no es un concepto unívoco. De acuerdo Countering Online Hate Speech de la UNESCO, ((https://www.oas.org/es/cidh/expresion/docs/informes/odio/Discurso_de_odio_incitacion_violencia_LGTBI.pdf)) la definición de discurso de odio frecuentemente se encuentra en disputa. Sin embargo, según la misma organización, en las legislaciones el discurso de odio suele referirse a expresiones que buscan incitar el daño (especialmente la discriminación, la hostilidad y la violencia) basado en la identificación del objetivo con un determinado grupo social o demográfico. No obstante, para otros el concepto se refiere de manera más amplia a las expresiones que fomenten un clima de prejuicios e intolerancia.

Facebook, Twitter y YouTube han creado normas para prohibir ciertos tipos de discurso de odio en sus plataformas, dando sus propias definiciones para el concepto. En septiembre de 2020, las tres plataformas acordaron la adopción de una definición común para el discurso de odio y otros contenidos prohibidos en sus plataformas, luego de un acuerdo con la Federación Mundial de Anunciantes (World Federation of Advertisers -WFA). ((https://www.bbc.com/news/technology-54266534))

Este artículo trata sobre la regulación actual de estos contenidos por parte de las plataformas y muestra el historial de los cambios más relevantes. Para el detalle de los cambios, ver Cambios en discurso de odio.

Facebook

Regulación actual

Facebook prohíbe el “lenguaje que incita al odio”, el cual define como un ataque directo a personas motivado por lo que la plataforma entiende como “características protegidas”, a saber: raza, etnia, nacionalidad, religión, orientación sexual, casta, sexo, género, identidad de género y discapacidad o enfermedad grave. Facebook, además, ofrece protección de los ataques más severos a refugiados, migrantes, inmigrantes y solicitantes de asilo, pero permite los comentarios y críticas a las políticas migratorias. A su vez, un ataque se define como “todo discurso violento o deshumanizante, estereotipos dañinos, afirmaciones de inferioridad o incitaciones a la exclusión o segregación”.

Facebook separa los ataques en tres niveles de gravedad. En el primer nivel se prohíben los llamados a la violencia y la deshumanización; en el segundo las expresiones de inferioridad, desprecio y rechazo y en el tercer nivel los llamados a la exclusión y segregación. La política ofrece más detalles sobre cada una de estas categorías.

La política establece excepciones. Siempre que se indique claramente la intención, Facebook permite la publicación de este tipo de contenido:

• Con el fin de generar conciencia o educar a otros.
• De manera autorreferencial o como una forma de empoderamiento.

Reporte y aplicación de reglas

Consecuencias de la violación

A pesar de que Facebook separa en sus políticas los ataques en tres niveles, no señala cuál es la consecuencia para cada tipo de contenido infractor.

Sin embargo, las actas del Foro de Estándares de Contenidos (Content Standards Forum) del 27 de noviembre de 2018, ((https://about.fb.com/wp-content/uploads/2018/11/11.27.18-Content-Standard-Forum-Minutes-.pdf)) revelan que Facebook tiene un proceso a través del cual designa como peligrosas a personas u organizaciones que difunden discurso de odio y las retira de la plataforma. En esta misma reunión se recomendó la creación de un proceso para revertir el retiro, para los individuos que genuinamente nieguen las creencias que tenían antes.

Reportes de transparencia

En su más reciente reporte de transparencia, ((https://transparency.facebook.com/community-standards-enforcement#hate-speech)) publicado en agosto de 2021, Facebook informó que mientras en el segundo trimestre del año tomó acción respecto de 31.5 millones de publicaciones. De estas decisiones, 1.4 millones fueron apeladas y tan solo 88.100 restauradas tras la revisión. Respecto a la tasa de detección proactiva de violaciones se presentó un ligero aumento del 96.8% al 97.6% en comparación al primer trimestre del año.

Historial de cambios

Desde mayo de 2018, Facebook ha introducido cambios a su política sobre discurso de odio con el propósito de crear restricciones, relajar las restricciones o precisar definiciones. Sin embargo, las modificaciones han estado más orientadas a la creación de prohibiciones.

Más restricciones

• En mayo de 2018 y julio de 2020, Facebook actualizó su política para prohibir también ciertos tipos de contenido visual, además de los contenidos escritos.
• En agosto de 2018, se agregó la casta como una de las características protegidas.
• En agosto de 2018, Facebook amplió lo que entiende por lenguaje deshumanizante. Facebook pasó de prohibir las referencias o comparaciones con suciedad, bacterias, enfermedades, heces, animales percibidos como inferiores e infrahumanidad, a prohibir, también, las referencias o comparaciones con insectos, depredadores sexuales y criminales.
• En julio de 2019, Facebook prohibió otras expresiones de inferioridad (expresiones que denotan insuficiencia, expresiones de superioridad o inferioridad respecto de otra característica protegida y expresiones relacionadas con salirse de la norma), expresiones de desprecio (reconocimiento de intolerancia respecto de características protegidas, expresiones que indican que una característica protegida no debería existir y expresiones de odio), expresiones de rechazo y expresiones de repulsión (Expresiones que sugieren que alguien causa un malestar y expresiones de repulso o desagrado). En esta ocasión, Facebook también prohibió los insultos contra una persona o grupo de personas con una característica protegida. Sin embargo, inicialmente, en vez de definir los insultos, Facebook recurrió a ejemplos de tipos de expresiones prohibidas: términos relacionados con los genitales o el ano para hacer referencia a un persona, frases o términos ofensivos con la intención de insultar y términos o frases que incitan a participar en actividades sexuales o que hacen referencia al contacto con los genitales o el ano. Posteriormente, en febrero de 2020, Facebook modificó la política y estas expresiones pasaron de ser ejemplos a ser la forma en como Facebook define los insultos. ((En la versión en inglés cambió “such as” (“como por ejemplo”) por “defined as” (“definidos como”).)) Sin embargo, este cambio no se hizo en la versión en español.
• En agosto de 2019, se prohibieron las llamadas a la segregación.

Del acta de la reunión del Foro de Políticas de Productos en la que se adoptó el cambio. Muestra los tipos de afirmaciones basadas en comportamientos permitidas y prohibidas.

• En agosto de 2019, Facebook hizo una modificación a su política para aclarar y distinguir sus acciones frente a las afirmaciones relacionadas con comportamientos (“Un solicitante de asilo afgano apuñaló a una mujer embarazada el viernes pasado”) y las generalizaciones (“Los inmigrantes son terroristas”). (( https://fbnewsroomus.files.wordpress.com/2018/11/ppf-final-deck_05.21.2019.pdf y https://about.fb.com/wp-content/uploads/2018/11/csf-final-deck_02.26.2019.pdf)) Con el cambio, Facebook precisó que las generalizaciones están prohibidas, tanto en el primero como segundo nivel de ataques. ((De acuerdo con el acta de la reunión donde se discutió y adoptó el cambio, las generalizaciones ya estaban prohibidas, pero la falta de claridad llevaba a aplicaciones inconsistentes.)) Por otra parte, Facebook cambió su política para prohibir ciertos tipos de afirmaciones basadas en comportamientos en el primer nivel de ataques. De acuerdo con el acta de la reunión en la que se discutieron y adoptaron los cambios, se buscaba remover las afirmaciones sobre comportamientos a excepción de que el contenido incluya (i) calificativos que limitan el alcance de las características protegidas y cuasiprotegidas o (ii) indicadores de que las afirmaciones se refieren a un evento, patrón de evento o discusión sobre comportamiento general en específico o (iii) lenguaje que describa experiencias directas o reportaje (por ejemplo “yo vi” o “esto me pasó a mí). Siendo así, la política se modificó para incluir la prohibición de afirmaciones “no calificadas” basadas en comportamientos (“unqualified behavioral statements”, traducidos en la política en español como “afirmaciones basadas en comportamientos no aptas”). Sin embargo, la política establecida en las normas comunitarias se limita a hablar de afirmaciones “no calificadas”, sin hablar de los tres escenarios de excepción mencionados.

Del acta de la reunión del Foro de Políticas de Productos en la que se adoptó el cambio sobre afirmaciones relacionadas con comportamientos. Muestra ejemplos de moderación antes (opción 1) y después (opción 2) del cambio en la política.

• En diciembre de 2019, se prohibieron las “afirmaciones que niegan la existencia” en el primer nivel de ataques.
• En junio de 2020, Facebook quitó de su política la frase que aclaraba que permitía el humor y el comentario social sobre estos temas (“We allow humor and social commentary related to these topics”).
• Con la idea de que las afirmaciones sobre ciertos grupos de gente pueden causar un daño especial por la forma en como se han utilizado históricamente para atacar, intimidar o excluir, Facebook hizo más estricta su política para prohibir la publicación de ciertos tipos de “estereotipos dañinos”. En agosto de 2020, Facebook inició prohibiendo las caricaturas de personas negras con la cara pintada de negro (blackface) y los contenidos que representen a personas judías controlando el mundo o instituciones importantes como cadenas de medios de comunicación, la economía o el gobierno.
• En octubre de 2020, Facebook prohibió la negación o distorsión de información sobre el Holocausto. ((https://about.fb.com/news/2020/10/removing-holocaust-denial-content/)) Sin embargo, el cambio en la versión en español de las normas comunitarias solamente se hizo hasta diciembre de 2020.
• En noviembre de 2020, Facebook prohibió la publicación de contenidos en los que se ofrezcan productos o servicios para cambiar la orientación sexual o identidad de género de las personas.
• En enero de 2021, Facebook eliminó el texto en el que aclaraba que permitía la expresión de desprecio en el contexto de una ruptura amorosa y el uso de lenguaje con exclusión de género (en inglés “gender-exclusive language”, traducido en las políticas en español como “lenguaje sexista”) para controlar la membresía en un grupo de apoyo positivo o relacionado con la salud, como un grupo de lactancia exclusivo para mujeres.En el contexto de una ruptura amorosa.

Menos restricciones

• Para el primer nivel de ataques, la norma prohibía el lenguaje que incitara la violencia o que apoyara la muerte, enfermedad o daño. En mayo de 2018, la política eliminó las menciones a la muerte, enfermedad o daño, dejando sólo la prohibición de la incitación y el apoyo a la violencia.
• En mayo de 2019, se agregaron dos nuevas excepciones al uso de este tipo de contenidos: los que se publican en el contexto de una ruptura amorosa y el lenguaje con exclusión de género para controlar la membresía en un grupo de apoyo o relacionado con la salud.

Precisiones

• En julio de 2019, Facebook añadió una definición de “exclusión” a su tercer nivel de ataques. De acuerdo con la actualización, la exclusión puede ser explícita (“no se permite”), política (negación del derecho a la participación), económica y social. ((Notas de la reunión donde se aprobó el cambio: https://about.fb.com/wp-content/uploads/2018/11/csf-final-deck_03.26.19.pdf))
• En julio de 2019, Facebook modificó su política para definir con mayor detalle los ataques del segundo nivel de prohibición, referidos a las expresiones de inferioridad, desprecio y rechazo. De acuerdo con las notas de la reunión en la que se discutió y aprobó el cambio, ((https://fbnewsroomus.files.wordpress.com/2018/11/ppf-final-deck_04.23.2019-1.pdf)) la redacción amplia contribuía a su aplicación inconsistente y a percepciones de que Facebook estaba prohibiendo discurso benigno. Siendo así, además de dar ejemplos de palabras prohibidas (“horrible” o “subdesarrollado”, en el caso de señalamientos de inferioridad física), Facebook creó definiciones más precisas (las deficiencias físicas son aquellas relacionadas con la higiene o la apariencia física o las deficiencias mentales se relacionan con la capacidad intelectual, la educación o la salud mental).
• En diciembre de 2019, se incluyeron ejemplos de los tipos de discursos deshumanizantes prohibidos, que son los que incluyan personas negras y simios o criaturas similares a simios, personas negras y maquinaria agrícola, personas judías y ratas, personas musulmanas y cerdos, personas musulmanas y relaciones sexuales con cabras o cerdos, personas mexicanas y criaturas similares a gusanos, mujeres como objetos domésticos o referirse a las mujeres como propiedades u «objetos» o referirse a personas transgénero o de género no binario como si no fueran seres humanos.

Twitter

Regulación actual

Categorías protegidas en Facebook, Twitter y YouTube.

Twitter tiene una política relativa a las conductas de incitación al odio, con la que prohíbe publicaciones con las que se fomente “la violencia contra otras personas ni atacarlas o amenazarlas directamente por motivo de su raza, origen étnico, nacionalidad, pertenencia a una casta, orientación sexual, género, identidad de género, afiliación religiosa, edad, discapacidad o enfermedad grave”. En desarrollo de esta política, Twitter también prohíbe esta clase de acciones o mensajes en las imágenes y encabezados de perfil, nombre de usuario, nombre visible, biografía o videos en directo.

Twitter toma acción en relación con los siguientes comportamientos:

• Amenazas violentas.
• Expresar el deseo, esperar o pedir que una persona o un grupo de personas sufran un daño grave.
• Referencias a asesinatos masivos, eventos de violencia o formas de violencia específicas en los cuales dichos grupos hayan sido las principales víctimas o perjudicados.
• Incitar al miedo sobre una categoría protegida.
• Calumnias, epítetos, tropos racistas o sexistas u otro tipo de contenido reiterado o no consensual, que se utilice para degradar a otra persona.
• Imágenes de incitación al odio.

De acuerdo con esta política, Twitter considera el contexto de la conversación, ya que hay trinos que pueden erróneamente parecer incitación al odio cuando se analizan de forma aislada. Pone como ejemplo los términos que normalmente se consideran un insulto pero que se usan entre los miembros de una de las categorías protegidas.

Reporte y aplicación de reglas

Twitter considera varios factores para determinar la sanción por el incumplimiento de estas reglas; la política menciona solamente dos: la gravedad del incumplimiento y los antecedentes. Las posibles sanciones son la solicitud al usuario de que elimine el contenido, el modo solo lectura (el usuario sancionado pueden leer trinos de otros usuarios, pero no puede publicar) y la suspensión permanente de la cuenta. De acuerdo con la política, las amenazas violentas llevarán a la suspensión inmediata y permanente de la cuenta involucrada.

Historial de cambios

• En marzo de 2020, Twitter amplió su política con el fin de prohibirlos el lenguaje que deshumaniza a personas de acuerdo a la edad, discapacidad o enfermedad. ((https://blog.twitter.com/es_la/topics/company/2020/actualizamos-nuestra-regla-sobre-comportamientos-de-incitacion-al-odio.html)) En diciembre de 2020 se amplió a casta, origen nacional, raza y origen étnico.

YouTube

Regulación actual

En su política de contenido con incitación al odio o a la violencia, YouTube prohíbe esta clase de publicaciones contra personas o grupos en función de la edad, casta discapacidad, etnia, identidad y expresión de género, nacionalidad, raza, estado de inmigración, religión, sexo/género, orientación sexual, víctimas de un evento violento importante y sus familiares y condición de excombatiente de guerra (en la versión de la política en inglés se habla de veteran status o “estatus de veterano” en vez de “excombatiente de guerra”).

La política prohíbe que se publiquen contenidos dirigidos a personas o grupos con estas características protegidas que:

• Fomenten, alaben o glorifiquen la violencia o inciten al odio.
• Los deshumanicen, llamándolos infrahumanos o comparándolos con animales, plagas, enfermedades o seres no humanos.
• Afirmen su inferioridad física o mental.
• Afirmen la superioridad de un grupo sobre otro para justificar violencia, discriminación, segregación o exclusión y propaganda supremacista, incluyendo el reclutamiento de miembros nuevos o las solicitudes de apoyo financiero.
• Afirmen teorías conspirativas que atribuyan intenciones malvadas, corruptas o malintencionadas.
• Hagan llamados a la subyugación o dominación.
• Nieguen la veracidad de eventos violentos bien documentados.
• Hagan ataques contra la atracción sexual, romántica o emocional de una persona hacia otra.

Es posible que YouTube permita ciertos contenidos de incitación al odio o la violencia, cuando tengan un objetivo educativo, documental, científico o artístico. Por ejemplo, un documental sobre un grupo que manifiesta odio podría permitirse.

Reporte y aplicación de las reglas

YouTube tiene un sistema de strikes o faltas. Si una persona infringe las reglas, recibirá una advertencia, pero no una penalización. Sin embargo, si no es la primera vez, YouTube aplicará una falta al canal involucrado. Tres faltas llevarán a la eliminación del canal.

YouTube además menciona cuatro tipos de comportamientos que tiene en cuenta para aplicar sanciones:

• Fomentar de forma reiterada el comportamiento abusivo del público.
• Insultar o señalar en varias cargas y de forma reiterada a un grupo.
• Expone a un grupo a riesgos de daño físico debido al contexto social o político.
• Crear contenido en el que se incite de forma persistente a la hostilidad con el fin de obtener beneficios económicos personales.

Adicionalmente, YouTube puede limitar ciertas funciones para videos que, a pesar de no infringir esta política, estén a un paso de la eliminación o puedan resultar ofensivos para algunos espectadores. ((https://support.google.com/youtube/answer/7458465?hl=es-419)) Si bien el contenido seguirá estando disponible, YouTube puede desactivar los comentarios, los videos sugeridos o la opción de dar “Me gusta”. Además, estos videos tampoco son aptos para los anuncios.

YouTube publica un informe de transparencia en el que incluye información trimestral sobre la eliminación de videos, canales y comentarios. ((https://transparencyreport.google.com/youtube-policy/removals)) De acuerdo con este informe, en 2019 YouTube eliminó 31.935.763 videos, de los cuales 328.977 se eliminaron por tener “contenido abusivo o que incita al odio o a la violencia”. Es decir, esta clase de contenidos fueron un 1,03% del total de videos eliminados. Algo similar ocurrió en el primer semestre de 2020, en el que se borraron 17.512.704 videos, de los cuales 187.207 fueron contenidos abusivo o que incitan al odio o a la violencia. Es decir, un 1,06% del total.

Según el informe del primer trimestre de 2021, se eliminaron 85.247 videos por infringir esta política, una cifra que representa el 0,9% del total de los videos retirados de la plataforma en dicho periodo.

Historial de cambios

• En agosto de 2020, YouTube añadió información sobre algunas acciones infractoras que considera a la hora de imponer sanciones, a saber: animar a la audiencia a comportarse de forma inadecuada en repetidas ocasiones; acosar, insultar o maltratar en varios vídeos a un grupo con características protegidas; poner en peligro la integridad física de un grupo con características protegidas y crear contenido con fines lucrativos que daña el ecosistema de YouTube al incitar continuamente a comportarse de forma agresiva contra un grupo con características protegidas.

Discusiones sobre discurso de odio en las plataformas

Presiones de anunciantes

Las plataformas han recibido presión de las empresas que anuncian en ellas para que controlen el discurso de odio y la violencia. En 2017, luego de que una historia del Wall Street Journal((https://www.wsj.com/articles/googles-youtube-has-continued-showing-brands-ads-with-racist-and-other-objectionable-videos-1490380551)) revelara que videos racistas y homofóbicos estaban acompañados de publicidad de marcas como Coca Cola y Amazon en YouTube, un grupo de grandes anunciantes decidieron iniciar un boicot, dejando de comprar publicidad en la plataforma.((https://www.theverge.com/2017/3/24/15053990/google-youtube-advertising-boycott-hate-speech)) Luego del boicot, YouTube anunció cambios sustanciales a su política de anuncios.((https://blog.google/topics/ads/expanded-safeguards-for-advertisers/))

Entre junio y julio de 2020, más de mil anunciantes iniciaron una acción similar en contra de Facebook, como parte de la campaña Stop Hate for Profit.((https://www.stophateforprofit.org/)) El boicot se dio luego de que Facebook se negara a retirar una publicación del presidente de Estados Unidos, Donald Trump, en la que mencionaba la frase “cuando comienza saqueo, comienza tiroteo” (When the looting starts, the shooting starts), en relación con las protestas ocasionadas por el asesinato de George Floyd.

En septiembre de 2020, se anunció que Facebook, Twitter y YouTube habían llegado a un acuerdo sobre el manejo de contenidos dañinos en sus plataformas con la Global Alliance for Responsible Media,((https://wfanet.org/knowledge/item/2019/06/18/Global-Alliance-for-Responsible-Media-launches-to-address-digital-safety)) una alianza mundial de anunciantes, creada con el objetivo de mejorar la seguridad en entornos digitales. Luego de meses de conversaciones, las plataformas acordaron adoptar una definición conjunta de lo que constituye contenido dañino y permitir la supervisión independiente sobre sus acciones para controlar este tipo de contenidos.

Negacionismo del Holocausto

Las tres plataformas han prohibido el negacionismo del Holocausto, una tradicional discusión sobre los límites a la libertad de expresión. YouTube lo hizo en junio de 2019((https://www.reuters.com/article/us-alphabet-youtube-hatespeech-idUSKCN1T623X)) y Facebook((https://about.fb.com/news/2020/10/removing-holocaust-denial-content/)) y Twitter((https://www.bloomberg.com/news/articles/2020-10-14/twitter-like-facebook-to-remove-posts-denying-the-holocaust)) en octubre de 2020, luego del acuerdo con la Global Alliance for Responsible Media. Durante años, estas plataformas se habían resistido a prohibir esta clase de contenidos, por considerándolos protegidos por la libertad de expresión. En octubre de 2018, Mark Zuckerberg había sostenido que, aunque encontraba el negacionismo profundamente ofensivo, no creía que Facebook debía eliminar esta clase de contenidos.((https://www.vox.com/2018/7/18/17575156/mark-zuckerberg-interview-facebook-recode-kara-swisher))

Deplatforming

Se conoce como deplatforming (o “quitar la plataforma”) a la acción que toman las redes sociales de bloquear el acceso de un usuario a sus plataformas, por la violación de sus normas. Esta acción, asociada a la violación de las normas sobre discurso de odio, han sido señalada de ser una forma de censurar a quienes publican ideas impopulares.((https://www.wsj.com/articles/when-digital-platforms-become-censors-1534514122?mod=rsswn))

Veáse también

• Excepción de interés público
• Cambios en discurso de odio