Las IAs open source que cualquiera puede ejecutar y alterar en su PC abren la puerta al auge de ciberestafas cada vez más exitosas

Spoiler: cualquier modelo de IA comercial puede ser usado también de forma maliciosa, ya sea por 'prompt engineers', o ya sea por los propietarios de la tecnología

Open Phishing
1 comentario Facebook Twitter Flipboard E-mail

"La inteligencia artificial avanza a pasos agigantados". Da igual cuándo leas esto, es verdad. Y no avanza únicamente en calidad de resultados, también en su accesibilidad. Y es que ya no todo depende de grandes plataformas comerciales en la nube…

…ahora ya basta con contar con una configuración de hardware, si no 'barata' sí moderadamente asequible, para poder ejecutar potentes modelos de IA de código abierto en nuestros propios PCs.

En los últimos meses, esto ha permitido que una amplia gama de aplicaciones, desde chatbots y asistentes virtuales hasta transcriptores de audio o generadores de imágenes, resulten más accesibles para empresas, desarrolladores y usuarios de todo el mundo.

Esta misma semana os hablábamos de Mistral AI, la compañía francesa que aspira a convertirse en 'la OpenAI europea'. Su último lanzamiento, anunciado el lunes, ha sido el de Mixtral 8x7B, un modelo ajustable que, según el jefe científico de la compañía,

"iguala o supera a LlaMa 2 70B y a GPT3.5 en la mayoría de los benchmarks, y […] admite una longitud de contexto de 32k tokens".

Mixtral también es —al igual (más o menos) que LLaMa 2 y al contrario que GPT-3.5— un modelo open source. Lo cual no sólo significa que es gratis, y que cualquiera puede descargarlo… sino también que cualquier puede modificarlo, por lo que o bien carece de salvaguardas de seguridad, o bien está expuesto a que cualquiera con suficientes conocimientos pueda suprimir dichas salvaguardas.

En palabras de Ethan Mollick, profesor de la Univ. de Pensilvania y reputado experto en IA,

"Este lanzamiento tiene cosas buenas, pero […] señalar los beneficios no niega los daños: […] los reguladores, expertos en seguridad informática…, también deben tener en cuenta que 'el genio está fuera de la botella'.
"Hay una serie de implicaciones inmediatas de las que la gente debe ser consciente, para bien y para mal. Por ejemplo, que GPT-3.5 es muy bueno en el spear phishing. […] Y este modelo open source es mejor que GPT-3.5".
Un vistazo a…
ROBO DE DATOS y PAQUETES NO SOLICITADOS QUÉ es el BRUSHING

El peligro del phishing con IA

El phishing es una técnica de ciberdelincuencia en la que los atacantes intentan manipular a sus víctimas haciéndose pasar por entidades de confianza (administraciones públicas, entidades financieras, etc.) para robar información confidencial, como contraseñas y datos financieros.

Teniendo a su disposición modelos de IA de alto rendimiento, los atacantes pueden crear textos más convincentes para sus emails y mensajes de texto, lo que aumenta la probabilidad de éxito de sus ataques.

Ejemplo Spear Redactor del presente artículo, iniciando su carrera para convertirse en supervillano

Recordemos que el 'spear phishing' es un tipo de phishing que se diferencia por estar dirigido a engañar a un objetivo concreto, normalmente partiendo del conocimiento de información previa sobre el mismo.

Y un 'paper' académico publicado (PDF) en mayo de este mismo año ya destacaba que el modelo de lenguaje en el que se basa la versión gratuita de ChatGPT resultaba muy eficaz en la generación de mensajes de phishing personalizados y realistas, a un costo muy bajo.

El peligro de democratizar ciertos recursos… y de no hacerlo

Toda democratización en el acceso a cualquier recurso amplía necesariamente su potencial para utilizar dicho recurso con fines maliciosos. Los modelos de IA avanzados no son ninguna excepción a esa regla. Y al igual que ocurre con el resto de recursos, esto no puede ser un argumento para evitar dicha democratización.

Salvaguarda El algoritmo pudo conmigo esta vez, pero mi venganza será terrible. MWAHAHAHA.

Los modelos cerrados y comerciales implementan salvaguardas que filtran cierto tipo de contenidos, sí… pero una buena 'ingeniería de prompts' ha demostrado ser suficiente para evadirlas en muchos casos.

Y, en cualquier caso, aunque dichas salvaguardas fueran fiables en la versión que se ofrece al común de los mortales, nada evita que los propietarios de esa tecnología hagan uso en provecho propio de una versión sin limitaciones de la misma.

Imagen | Marcos Merino mediante IA

En Genbeta | El open source, un elemento clave en la explosión de inteligencia artificial que está ocurriendo ante nuestros ojos

Inicio