Los analistas de Kaspersky decidieron poner a prueba a ChatGPT para verificar lo que sabe sobre investigación de amenazas sencillas y conocidas, como Mimikatz o Fast Reverse Proxy, entre otras.
¿Cómo se comportó ChatGPT en cuanto a la detección de indicadores de compromiso? La realidad es que no fue capaz de identificar el hash de WannaCry, un ransomware de los más conocidos -si no el que más- de la historia.
En relación a las Amenazas Persistentes Avanzadas (APT), la solución proporcionó una lista de dominios que se consideran parte de esta categoría. Específicamente, identificó el dominio FIN7 1 como malicioso y señaló que su nombre está diseñado para engañar a los usuarios haciéndoles creer que es legítimo.
ChatGPT no logró identificar el hash de WannaCry
En las pruebas realizadas por los expertos de Kaspersky, se observó que ChatGPT obtiene mejores resultados en desarrollos basados en host que en indicadores simples, como nombres de dominio y hash.
Esta disparidad puede deberse a varios factores, como posibles filtros en los datos utilizados durante el entrenamiento del modelo o la construcción inadecuada de las preguntas formuladas.
Resultados de una consulta sobre APT:
En otra de las pruebas realizadas, se le solicitó al sistema que generara código para extraer metadatos de un sistema Windows y, posteriormente, se consultó si esos metadatos podían considerarse como indicadores de compromiso.
Los analistas solicitaron a ChatGPT que generara un código que permitiera la extracción de metadatos de un sistema operativo Windows, y luego se evaluó si esos metadatos podrían indicar una posible violación de seguridad.
ChatGPT está impulsado por el motor de lenguaje text-davinci-003, basado en redes neuronales y entrenado con datos de texto de Internet
Algunos fragmentos de código creado por el chatbot no estaban del todo afinados, así que los expertos de Kaspersky intervinieron manualmente. Filtraron la salida en los casos en que la respuesta de ChatGPT era ‘sí’ respecto a la presencia de un indicador de compromiso, y se agregaron controladores de excepción e informes en CSV, se corrigieron pequeños bugs y convirtieron algunos fragmentos en cmdlets individuales, lo que generó un sencillo scanner IoC (HuntWithChatGPT.psm1) capaz de analizar un sistema remoto a través de WinRM.
Se generó un sencillo scanner IoC (HuntWithChatGPT.psm1) capaz de analizar un sistema remoto a través de WinRM. Tras ello, los analistas de Kaspersky infectaron un equipo con los agentes maliciosos Meterpreter y PowerShell Empire.
Posteriormente, se utilizó el escáner, que generó un informe enriquecido con las conclusiones de ChatGPT. La herramienta fue capaz de identificar dos procesos maliciosos de un total de 137 procesos analizados. No se detectó ningún falso positivo.
Chat GPT facilitó detalles acerca de la detección de estos archivos: “La línea de comando intenta descargar un archivo de un servidor externo”, “se está usando un bypass que indica a PowerSHell que omita los controles de seguridad” o «el código se está utilizando para deshabilitar el registro u otras medidas de seguridad de Windows«.
