Técnicas de seguimiento e investigación: avances en la detección y el análisis del discurso de odio en línea

La creciente prevalencia del discurso de odio en línea plantea importantes desafíos para la cohesión social, los valores democráticos y el bienestar individual. El discurso de odio se manifiesta de diversas formas, como el racismo, la xenofobia, el odio antimusulmán, el antisemitismo, el antigitanismo y la LGBTIQfobia, afectando de manera desproporcionada a las personas que se enfrentan a múltiples niveles de discriminación. Estas formas de intolerancia en línea han aumentado, especialmente en España y en toda Europa. Es imperativo desarrollar técnicas innovadoras de monitoreo e investigación que rastreen y contrarresten eficazmente estas narrativas dañinas.

El proyecto Contrarrestar la intolerancia en línea contra grupos especialmente vulnerables (COIN, por sus siglas en inglés) se basa en la iniciativa anterior Prevención del Odio contra Refugiados y Migrantes (PHARM, por sus siglas en inglés) para establecer un marco integral para rastrear, analizar y mitigar el discurso de odio en línea. A través de técnicas avanzadas de Inteligencia Artificial (IA) y aprendizaje automático, el proyecto busca proporcionar herramientas de monitoreo en tiempo real y contraestrategias efectivas. Estos esfuerzos se alinean con estrategias de intervención social más amplias destinadas a fomentar la empatía, aumentar la conciencia pública y reducir el impacto social del discurso de odio.

Desarrollo de herramientas de monitoreo y detección

Un componente clave del proyecto COIN es el Paquete de Trabajo 4 (WP4), que se centra en el diseño y la implementación de herramientas automáticas de detección y seguimiento para monitorear eficazmente el discurso de odio en línea. Esta herramienta se está desarrollando a través de un proceso de varias fases, lo que garantiza su adaptabilidad a diferentes contextos lingüísticos, culturales y tecnológicos.

El primer paso consiste en identificar las principales fuentes de contenido de odio, incluidas las plataformas de redes sociales, los foros en línea y los medios de comunicación digitales. Este paso permite a los investigadores mapear las estructuras de las comunidades en línea, examinando cómo se propaga y evoluciona el discurso de odio. A continuación, se implementan técnicas de agrupación distribuida a gran escala en tiempo real para detectar y analizar patrones dentro de la difusión del discurso de odio.

La siguiente fase se centra en modelos de difusión sensibles al tema, que ayudan a rastrear las variaciones temáticas en el discurso de odio y su amplificación en diferentes redes. Además, se aplican técnicas de aprendizaje de representación de redes para mapear cómo los usuarios interactúan y difunden contenido de odio. El producto final será una herramienta de detección basada en redes neuronales capaz de identificar y rastrear automáticamente mensajes potencialmente odiosos en tiempo real.

Aspectos innovadores y enfoque metodológico

Esta iniciativa integra enfoques de IA y aprendizaje automático de vanguardia con investigación interdisciplinaria y análisis social. Una innovación clave del WP4 es su capacidad para combinar métodos de detección computacional con los conocimientos de los grupos focales y la investigación cualitativa. Esto garantiza que la herramienta sea tecnológicamente avanzada y socialmente receptiva, capaz de distinguir las expresiones de discurso de odio matizadas y dependientes del contexto.

Un aspecto particularmente crítico de esta investigación es la integración de las perspectivas de género y las consideraciones de diversidad. El discurso de odio afecta a diferentes grupos demográficos de maneras únicas e interseccionales, por lo que es esencial diseñar estrategias de seguimiento que tengan en cuenta estas disparidades. El desarrollo de la herramienta se basa en consultas continuas con expertos en derechos humanos, ética digital y política social, lo que garantiza que se alinee con los esfuerzos más amplios para combatir la discriminación y promover la inclusión.

Impacto y Estrategia de Comunicación

Los resultados esperados del WP4 avanzarán significativamente en la comprensión de la propagación del discurso de odio en línea y facilitarán el desarrollo de contramedidas. Al proporcionar herramientas automáticas de detección y seguimiento, el proyecto contribuye directamente al objetivo más amplio de COIN de reducir el impacto social del discurso de odio digital y aumentar la empatía y la conciencia entre los ciudadanos.

Para maximizar el impacto, se ha diseñado una estrategia de comunicación integral:

• Un sitio web específico servirá como plataforma central para difundir los resultados de la investigación.
• La participación en las redes sociales amplificará los esfuerzos de divulgación, asegurando que los hallazgos lleguen a una audiencia amplia.
• La participación en conferencias científicas y simposios académicos facilitará el intercambio de conocimientos con expertos e investigadores.
• La colaboración con los responsables políticos, las instituciones educativas y los proyectos europeos pertinentes ayudará a traducir los conocimientos de la investigación en recomendaciones de políticas e intervenciones basadas en la comunidad.

Investigación responsable y consideraciones éticas

El proyecto COIN da prioridad a los principios de Investigación e Innovación Responsables (RRI), en particular en el Paquete de Trabajo 4. El Consejo de Ética de la Universidad de Salamanca proporciona supervisión ética, asegurando el cumplimiento de las mejores prácticas en privacidad de datos, transparencia y rendición de cuentas.

Una preocupación ética fundamental en la detección del discurso de odio es minimizar los sesgos en los modelos impulsados por la IA. El WP4 incorpora rigurosas técnicas de mitigación de sesgos, lo que garantiza que las herramientas de detección no se dirijan de manera desproporcionada a comunidades específicas ni supriman expresiones legítimas. La investigación también se adhiere a los principios de acceso abierto, lo que hace que los hallazgos estén disponibles gratuitamente para las partes interesadas, los investigadores y los responsables políticos.

Entregables y resultados del WP4

Varios resultados forman la base del WP4, cada uno de los cuales desempeña un papel crucial en el avance de la investigación y las aplicaciones prácticas:

D4.1 Herramienta automática de detección y seguimiento

Esta herramienta basada en redes neuronales detectará varias formas de discurso de odio en línea, lo que permitirá a los investigadores monitorear las tendencias y analizar la evolución de las narrativas de odio digitales. Se podrá acceder a la herramienta a través de una interfaz web, que ofrecerá visualizaciones de los datos recopilados y un seguimiento en tiempo real de los patrones de discurso de odio.

D4.2 Conjunto de datos de contenido de odio

Se compilará un conjunto de datos exhaustivo de contenido de odio identificado para respaldar los esfuerzos continuos de monitoreo y análisis. Este conjunto de datos será fundamental para perfeccionar los modelos de detección y garantizar su precisión y adaptabilidad en diferentes contextos.

Proceso y Resultados del Paquete de Trabajo 4

El desarrollo de herramientas automáticas de detección y seguimiento sigue un proceso estructurado e iterativo:

1. Recopilación y preprocesamiento de datos: el conjunto de datos se selecciona cuidadosamente, lo que garantiza que incluya varios casos de discurso de odio en múltiples plataformas. Los pasos de preprocesamiento, como la normalización, el aumento y el etiquetado, mejoran la calidad y la coherencia de los datos.
2. Selección y entrenamiento de modelos: se evalúan arquitecturas avanzadas de aprendizaje automático, incluidas las redes neuronales convolucionales (CNN) para la detección basada en imágenes y las redes neuronales recurrentes (RNN) con memoria a largo corto plazo (LSTM) para rastrear el discurso de odio textual a lo largo del tiempo.
3. Evaluación y refinamiento de modelos: la efectividad de los modelos se prueba rigurosamente utilizando métricas como la precisión, el recuerdo y la intersección sobre la unión (IoU). El rendimiento se refina de forma iterativa para lograr la mayor precisión posible en la detección de discursos de odio en línea.

Informes de investigación y herramientas analíticas

Para mejorar la transparencia y la accesibilidad de la investigación, el WP4 producirá:

• Un tutorial de Jupyter Notebook: este documento de investigación interactivo incluirá código ejecutable, visualizaciones detalladas y explicaciones completas del proceso de desarrollo del modelo.
• Un informe de desarrollo del modelo: este informe describirá todo el proceso, desde la recopilación de datos hasta la evaluación del modelo, destacando los desafíos clave y las mejores prácticas.
• Un informe de hallazgos (análisis de monitoreo de mensajes): este documento analizará los patrones en la difusión del discurso de odio y ofrecerá recomendaciones prácticas para estrategias de política e intervención.

Proceso automático de detección y seguimiento

El sistema central impulsado por IA para monitorear el discurso de odio en línea sigue un proceso de varios pasos:

• Modelos en desarrollo: los modelos iniciales se entrenan para comprender las características lingüísticas, contextuales y estructurales del discurso de odio.
• Aplicación a datos del mundo real: la herramienta se prueba utilizando mensajes aleatorios de diversas fuentes para evaluar su precisión en la clasificación del discurso de odio.
• Optimización de algoritmos: la IA perfecciona sus capacidades de detección a través del aprendizaje continuo y los ajustes de parámetros.
• Implementación y seguimiento: una vez optimizado, el algoritmo entrenado permite el monitoreo y el análisis en tiempo real, lo que garantiza que las tendencias emergentes del discurso de odio se detecten temprano y se aborden de manera efectiva.