En el marco de la iniciativa Organized Crime and Development in Latin America and the Caribbean, de la Red de Investigación del Banco Interamericano de Desarrollo (BID), LAB-CO y el Centro de Investigación y Docencia Económicas (CIDE) desarrollan una investigación para explorar cómo la inteligencia artificial puede convertir videos publicados en redes sociales y vinculados con grupos criminales en información estructurada para la investigación y el diseño de políticas públicas. A partir de contenido público de Telegram y TikTok relacionado con grupos criminales en México, LAB-CO y el CIDE desarrollaron una metodología de inteligencia artificial multimodal capaz de transformar videos en datos estructurados sobre armas, vehículos, insignias, música, referencias habladas, posibles ubicaciones, señales de reclutamiento y otras características del contenido, con el objetivo de explorar cómo el procesamiento automatizado de grandes volúmenes de información audiovisual puede abrir nuevas posibilidades para estudiar las formas en que los grupos criminales se representan y comunican en redes sociales.

Contexto

Los grupos criminales utilizan las redes sociales para comunicarse y proyectar una imagen de sí mismos frente a distintos públicos. A través de videos pueden mostrar armas, vehículos, insignias, estilos de vida y actividades, además de difundir mensajes de identidad, intimidación o reclutamiento. Este contenido constituye una fuente de información pública sobre la forma en que estos grupos deciden representarse ante rivales, comunidades, potenciales integrantes y autoridades.

Sin embargo, transformar miles de horas de contenido audiovisual en información que pueda analizarse de manera sistemática continúa dependiendo, en gran medida, de procesos manuales de búsqueda, revisión y clasificación. Esto limita el volumen de información que investigadores e instituciones pueden procesar y dificulta identificar tendencias y relaciones entre grandes cantidades de contenido.

Solución y método

Para responder a este reto, el proyecto desarrolló un proceso automatizado que analiza cada video a través de cuatro componentes paralelos: voz (transcripción de diálogos, declaraciones y referencias habladas); música y audio (identificación de canciones, artistas y otros eventos sonoros); elementos visuales (personas, armas, vehículos, insignias, equipo táctico, drones y texto visible); y contexto y escenas (tipo de entorno, indicadores de violencia y estimación de posibles ubicaciones a partir de señales como vegetación, arquitectura, infraestructura y texto visible).

La combinación de estas herramientas permite procesar simultáneamente lo que se dice, escucha y observa en el contenido audiovisual. Cada video se convierte así en un registro estructurado con más de 60 campos de información, lo que permite identificar patrones y relaciones entre los videos.

Los datos generados se integraron en una plataforma interactiva de visualización desarrollada por LAB-CO, que permite consultar la información sin necesidad de revisar individualmente cada video.

La plataforma genera una ficha individual por video y permite realizar búsquedas y filtros a partir de cualquiera de los campos extraídos, como tipo de arma, grupo criminal identificado, posible ubicación, artista musical, nivel de violencia o presencia de drones. Incorpora también un mapa de ubicaciones estimadas y una red de vínculos que conecta videos, personas mencionadas, grupos criminales, canciones, vehículos y ubicaciones.

Resultados

A la fecha, la investigación ha procesado 12,509 videos, de los cuales 11,705 provienen de 38 canales públicos de Telegram y 804 de TikTok, equivalentes a aproximadamente 170 horas de contenido audiovisual. El procesamiento automatizado del corpus completo requirió aproximadamente 73 horas de cómputo distribuido.

El procesamiento permitió construir una base de datos estructurada con un registro por cada video, que puede consultarse para analizar armamento, vehículos, símbolos, música, referencias territoriales, señales de reclutamiento y otras características del contenido. A partir de esta información también se desarrollaron las visualizaciones geográficas y de redes integradas en la plataforma.

Como resultado, el proyecto ha generado tres componentes principales: una metodología replicable de análisis mediante inteligencia artificial multimodal, una base de datos estructurada y una plataforma interactiva para la consulta y visualización de la información. El código y la base estructurada están previstos para publicarse de manera abierta junto con la versión final de la investigación, con el objetivo de facilitar su reproducción y adaptación por otros equipos e instituciones.