Encontrando falhas nos modelos de IA
O site helpnetsecurity esta explorando a ideia de usar inteligencia artificial para encontrar bugs em sistemas, a fim de tornar a internet um lugar seguro para todos. Eles estao testando diferentes modelos de IA e tentando encontrar o melhor para este propósito.
As pesquisas sobre a segurança de inteligência artificial (IA) têm crescido nos últimos anos, e agora um estudo recente da McAfee Labs demonstrou que a capacidade de automatizar a descoberta de vulnerabilidades em modelos de IA está crescendo.
O estudo, intitulado “Texto oculto: como manipular modelos de processamento de linguagem natural para adulterar os resultados”, analisou 24 modelos de processamento de linguagem natural (NLP) de código aberto para identificar vulnerabilidades. Os modelos de NLP foram manipulados usando técnicas de “embedding”, que poderiam alterar o resultado final das análises do modelo em até 93,4%.
“As vulnerabilidades reveladas indicam que o design atual dos modelos de NLP não é seguro o suficiente para a maioria das aplicações. Os atacantes estão se aproveitando disso para tentar manipular os resultados dos modelos ”, disse Raj Samani, chefe cientista da McAfee.
Os pesquisadores também testaram os modelos de NLP e demonstraram que as técnicas de manipulação foram bem-sucedidas 52,3% do tempo, o que sugere que os ataques de enganação são possíveis.
Com a popularidade da inteligência artificial crescendo, os atacantes têm cada vez mais incentivos para manipular os modelos de IA para fins maliciosos. A McAfee recomenda que os desenvolvedores de modelos de IA:
• Projetem com segurança em mente
• Escalar a segurança para monitorar e responder aos ataques de adversários
• Ter um plano de contingência para lidar com falhas em seus sistemas
