En la conferencia anual de hackers Defcon, más de 2,200 participantes pusieron a prueba modelos de inteligencia artificial en busca de vulnerabilidades y problemas éticos. Los hackers se enfrentaron a retos que incluían hacer que los modelos generaran información incorrecta o discriminatoria. A pesar de que las empresas como Google, OpenAI y Meta ofrecieron versiones anónimas de sus modelos para su evaluación, no se encontraron nombres específicos de los modelos en el informe.

Los participantes trataron de sortear las salvaguardias de la IA generando contenido erróneo y discriminatorio. Se puso a prueba la capacidad de los modelos para producir mentiras perjudiciales, influir en elecciones y otros daños potenciales. Los organizadores del evento Defcon colaboraron con el gobierno de Biden para abordar los riesgos de la IA generativa.

El red-teaming, o simulación de ataques, se utilizó para evaluar la seguridad de los sistemas de IA. Aunque se había hecho poco para probar las defensas de la IA antes de esta competencia, los resultados ayudarán a identificar riesgos y fallos. Los hackers también buscaron problemas inesperados, en lugar de simplemente engañar a los modelos para que se comportaran de manera incorrecta.

El evento reunió a expertos en ciberseguridad y la industria tecnológica para evaluar la IA generativa. Algunos participantes sintieron incomodidad al colaborar con empresas de IA, aunque reconocieron la importancia de mantener la seguridad y la transparencia en la tecnología. La competencia destaca la necesidad de abordar las vulnerabilidades y los riesgos de la inteligencia artificial en crecimiento.

El evento Defcon demostró la importancia de entender cómo funcionan estos ataques y sus implicaciones, a pesar de la naturaleza competitiva y divertida de la competencia.