La importancia del análisis: Identificando cuentas falsas que hacen uso de IA y posibles estafas

El 2025 va finalizando y nos hemos encontrado ante un año particular donde vimos evolucionar ampliamente el uso de LLM e Inteligencia artificial en diferentes ámbitos. Aun así, en charlas y clases que hemos dictado juntos, siempre hemos velado porque puedan seguir pensando como analistas y no pierdan esa capacidad de mirar más allá, ya que, si desean ser investigadores o trabajar en ciberinteligencia, esta es una de las habilidades blandas más requeridas para tener éxito y destacar.

Esta curiosidad nos ha llevado, a lo largo de nuestra profesión, a identificar cuentas dedicadas a fraudes, redes vinculadas al carding y números orientados a estafas, sin embargo, en esta oportunidad nos hemos topado con algo nuevo y relevante en materia de reputación de identidad y marca.

Esta nueva metodología que les mencionamos consiste en el uso de IA generativa aplicada a redes sociales, mediante la creación de cuentas que pueden ser falsas, pero lo suficientemente realistas como para que la mayoría de los usuarios digitales las siga, intente interactuar con ellas y no dude sobre la veracidad del usuario detrás de la cuenta, así como de sus imágenes o videos.

Ya hemos proporcionado en charlas brindadas recientemente y comentamos que estadísticamente poco a poco las personas van identificando menos las imágenes hechas con LLM generativas, incluso se realizó una prueba en vivo para demostrar ese hecho y un gran porcentaje de los espectadores no había podido deducir que foto era o no real.

Esta semana hemos detectado una cuenta con estas características de uso de LLM generativos, con la particularidad de que el usuario detrás de la misma no solo ha utilizado imágenes, sino que también ha comenzado a generar posteos con videos hiperrealistas modificados mediante inteligencia artificial. Lo relevante es que no solo su cuenta de TikTok presenta este tipo de contenido, sino que además tiene vinculada una cuenta de Instagram, en la cual la mayoría del contenido también ha sido modificado o alterado con LLM.

El punto más relevante de ambos perfiles (TikTok e Instagram) es que no solo cuentan con miles de seguidores, sino que además hemos observado que ningún usuario en los comentarios ha identificado que las fotografías provienen de múltiples perfiles y que el rostro ha sido editado o generado con asistencia de inteligencia artificial.

Hasta este punto, uno podría preguntarse qué tiene de negativo que las cuentas con contenido generado por LLM afecten o comprometan la realidad que los usuarios perciben en las redes sociales. Sin embargo, aquí se destaca un aspecto clave, no se trata únicamente del uso de imágenes de personas reales para adulterar el rostro (face swapping) de un individuo cuya identidad aún no puede confirmarse como real o ficticia, sino que además sus videos han comenzado a viralizarse en TikTok con afectación de marcas y en otros casos usado para la comisión de estafas.

Metodología de análisis

Para contextualizar, aplicamos técnicas de IMINT (inteligencia de imágenes) junto con OSINT sobre las redes sociales evaluadas, con el objetivo de validar la credibilidad del contenido. Las comparaciones realizadas nos permitieron demostrar la falsedad de la cuenta y el uso de imágenes reales para la implementación de IA, tanto mediante el método de face swap como a través de la creación de contenido desde cero.

Muestras:

Los detalles importan en las investigaciones:

Como en el caso anterior aquí vemos como toma un perfil al azar de Instagram y usa la imagen para aplicar el Face Swap y lograr que se vea lo más real posible, por eso destacamos que los detalles en las imágenes importan mucho a la hora de investigar.

En este otro ejemplo, vemos cómo lo usan en historias para mejorar la ingeniera social sobre el resto de los usuarios, tomando imágenes provenientes de pinterest:

Más allá de las imágenes adulteradas a través de IA, también se empezó a analizar el contenido cargado en Tiktok, donde se ha observado la generación de contenido audiovisual con mensajes ideológicos y políticos, e incluso con connotaciones de violencia física. A esto se suma el uso de marcas, empresas y entidades gubernamentales como vehículo para imponer una determinada postura o línea de pensamiento, o simplemente para maximizar la viralización del contenido generado.

Este tipo de actividad, desde el lado de la empresa, puede afectar su marca y reputación, incluso cuando el contenido no sea real. Esto puede provocar que los usuarios crean que dicho contenido es verídico, generando reclamos o quejas directamente hacia la empresa.

Por ejemplo, podemos observar cómo otro usuario compartió el vídeo mencionado anteriormente y presenta la noticia como si fuera real, dificultando que los usuarios distingan entre contenido verdadero y falso. Que otro usuario difunda contenido generado con IA puede dar la falsa impresión de una validación de su veracidad, cuando en realidad no es así.

Además, hemos detectado otra cuenta asociada al de la usuaria de Instagram, en el cual simula ser una "amiga" y utiliza el mismo modus operandi, imágenes adulteradas con IA generativa, cuyo origen proviene de otras cuentas de la misma red social.

Muestras de análisis de imágenes del perfil 2:

Conclusión

Esto es una simple muestra de cómo se utiliza la IA generativa para crear perfiles completos con miles de seguidores que no se percatan de que las imágenes no son reales, destacando los siguientes riesgos significativos identificados:

• Uso de cuentas totalmente falsas usando fotos de muchos usuarios con perfiles públicos.
• Medio para realizar estafas y fraudes como el uso de los casinos online ilegales o contactos directos.
• Aplicación de ingeniería social con fines ideológicos o políticos.
• Afectación de reputación de marca y/o producto.
• Posibles extorsiones por intercambio de imágenes de índole sexual.

Nos encontramos en una época en la que tendremos que cuestionar qué es real y qué no, donde abundará la desinformación y las fake news, y será difícil distinguir lo verdadero de lo falso. Por eso, desde nuestro enfoque analítico podemos ofrecer un análisis sencillo que permita a quienes lean este artículo aplicar y adoptar la misma perspectiva que buscamos transmitir cada vez que generamos este tipo de contenido.

A su vez, destacamos la importancia de analizar los detalles con cuidado para evitar situaciones no deseadas.