NIST revela ARIA para avaliar e verificar capacidades e impactos de IA
O Instituto Nacional de Padrões e Tecnologia ( NIST ) está lançando um novo programa de teste, avaliação, validação e verificação (TEVV) destinado a ajudar a melhorar a compreensão das capacidades e impactos da inteligência artificial.
A avaliação de riscos e impactos da IA (ARIA) visa ajudar organizações e indivíduos a determinar se uma determinada tecnologia de IA será válida, confiável, segura, privada e justa depois de implantada. O programa ocorre logo após vários anúncios recentes do NIST em torno da marca de 180 dias da Ordem Executiva sobre IA confiável e da revelação pelo US AI Safety Institute de sua visão estratégica e rede de segurança internacional.
“Para compreender totalmente os impactos que a IA está a ter e terá na nossa sociedade, precisamos de testar como a IA funciona em cenários realistas – e é exatamente isso que estamos a fazer com este programa”, disse a Secretária do Comércio dos EUA, Gina Raimondo .
“Com o programa ARIA e outros esforços para apoiar as responsabilidades do Comércio sob a Ordem Executiva do Presidente Biden sobre IA, o NIST e o Instituto de Segurança de IA dos EUA estão puxando todas as alavancas quando se trata de mitigar os riscos e maximizar os benefícios da IA”, continuou Raimondo.
“O programa ARIA foi projetado para atender às necessidades do mundo real à medida que o uso da tecnologia de IA cresce”, disse o subsecretário de Comércio para Padrões e Tecnologia e diretor do NIST, Laurie E. Locascio . “Este novo esforço apoiará o Instituto de Segurança de IA dos EUA, expandirá o já amplo envolvimento do NIST com a comunidade de pesquisa e ajudará a estabelecer métodos confiáveis para testar e avaliar a funcionalidade da IA no mundo real.”
ARIA expande a Estrutura de Gestão de Risco de IA, lançada pelo NIST em janeiro de 2023, e ajuda a operacionalizar a função de medição de risco da estrutura, que recomenda o uso de técnicas quantitativas e qualitativas para analisar e monitorar riscos e impactos de IA. A ARIA ajudará a avaliar esses riscos e impactos, desenvolvendo um novo conjunto de metodologias e métricas para quantificar até que ponto um sistema mantém a funcionalidade segura em contextos sociais.
“Medir impactos envolve mais do que quão bem um modelo funciona em um ambiente de laboratório”, disse Reva Schwartz , líder do programa ARIA do Laboratório de Tecnologia da Informação do NIST. “A ARIA considerará a IA além do modelo e avaliará os sistemas no contexto, incluindo o que acontece quando as pessoas interagem com a tecnologia de IA em ambientes realistas e sob uso regular. Isto dá uma visão mais ampla e holística dos efeitos líquidos destas tecnologias.”
Os resultados do ARIA apoiarão e informarão os esforços coletivos do NIST, inclusive por meio do US AI Safety Institute, para construir a base para sistemas de IA seguros e confiáveis .
