By Breaking Editor 
El aumento del racismo habilitado por IA en plataformas de redes sociales
Las plataformas de redes sociales están experimentando un aumento en el contenido racista impulsado por la tecnología de IA generativa. A medida que se reducen los sistemas de curaduría de contenido, los videos dañinos generados por IA que presentan estereotipos raciales e imágenes despectivas están ganando tracción a través de algoritmos de recomendación.
Patrones documentados de contenido racista
Racismo anti-negro
En la plataforma de Instagram, podemos observar el siguiente contenido de video de IA generativa que muestra estereotipos raciales problemáticos. Se burla de individuos que parecen latinos con representaciones de ellos mostradas
- Comparaciones deshumanizadoras con animales: “El chico negro es un mono y un fan de Dodge” (reel de Instagram) – Contenido que representa estereotipos dañinos que vinculan a las personas negras con animales.
- Imágenes violentas: “Escena de un gorila y un hombre cargando” (reel de Instagram) – Escenarios racialmente cargados diseñados para provocar confrontación, pero también para
- Estereotipos familiares: “El apoyo infantil de los chicos negros” (reel de Instagram) – Contenido que perpetúa suposiciones negativas sobre los padres negros y la responsabilidad familiar
- Narrativas de abandono: “Abandono infantil” (reel de Instagram) – Escenarios que refuerzan estereotipos dañinos sobre las estructuras familiares negras
- Antagonismo racial: “Jóvenes negros y hombre blanco malvado” (reel de Instagram) – Contenido diseñado para crear tensión y división racial
Racismo anti-asiático/indio
- Estereotipos de higiene: “Estereotipos indios sobre higiene” en cuentas como ai_mazinggg – Objetivo sistemático de personas de ascendencia india con suposiciones despectivas
- Proliferación de cuentas genéricas: Contenido difundido a través de cuentas con “los nombres más genéricos, ‘funnyhumorcentral’” – Sugerencia de distribución coordinada de material racista
- Manipulación de IA: “video de IA de baja calidad perturbador” con ejemplos como este reel y este reel – IA de baja calidad utilizada deliberadamente para crear contenido deshumanizante mientras “se pregunta si es real o no mientras se ríe de la desgracia o estereotipos representados en una comunidad”
Contenido dañino inter-racial
- Objetivo sistemático: “Tropo de hielo todas las razas” (reel de Instagram) – Contenido diseñado para dañar a múltiples comunidades raciales simultáneamente
Problemas clave
Barreras reducidas para la creación de contenido dañino
- Las herramientas de generación de video por IA facilitan más que nunca la creación de contenido visual que representa estos estereotipos racistas documentados
- La salida de IA de baja calidad se produce rápidamente y en gran volumen, como se observa en cuentas que producen contenido anti-indio
- Los creadores pueden producir en masa contenido dañino que anteriormente requeriría tiempo y recursos significativos
Amplificación algorítmica
- Los sistemas de recomendación impulsados por el compromiso promueven contenido controvertido que genera reacciones
- La reducción de la curaduría humana permite que el contenido dañino se difunda más libremente
- Los algoritmos de las plataformas luchan por distinguir entre demostraciones legítimas de IA y propaganda racista
El fenómeno del “escudo de IA”
- Los creadores utilizan el marco de “¿real o IA?” para proporcionar una negación plausible para el contenido racista
- Se anima a los espectadores a interactuar con estereotipos dañinos bajo la apariencia de probar habilidades de detección de IA
- Esto crea una laguna que elude las políticas de contenido tradicionales
Ciclo de contaminación de datos
No está claro cómo las empresas de redes sociales pueden realmente curar sus datos de entrenamiento de manera escalable para evitar que los sistemas contaminen sus propios datos de entrenamiento con la salida de modelos anteriores. Los sistemas de IA pueden estar entrenando con contenido de redes sociales cada vez más sesgado que también es simultáneamente de baja calidad. Esto crea un ciclo de retroalimentación que incrusta y amplifica prejuicios existentes. Nuevamente, la calidad de los datos de entrenamiento de IA se deteriora a medida que las plataformas se inundan con contenido sesgado y de baja calidad.
El impacto más amplio
Esto representa una intersección crítica de sesgo algorítmico, desafíos de moderación de contenido y la democratización de herramientas de creación de medios. La tecnología avanza más rápido de lo que los marcos de gobernanza pueden adaptarse, creando nuevas vías para el daño que las políticas de contenido existentes no estaban diseñadas para abordar.
Las plataformas deben desarrollar enfoques más sofisticados para la moderación de contenido que tengan en cuenta el material generado por IA, mientras que los responsables de políticas y los investigadores deben abordar los problemas sistémicos que permiten que el contenido racista prospere en los sistemas de recomendación algorítmica.