Prompt Fuzzer: ferramenta de código aberto para fortalecer aplicativos GenAI
Prompt Fuzzer é uma ferramenta de código aberto que avalia a segurança do prompt do sistema do seu aplicativo GenAI contra ameaças dinâmicas baseadas em LLM.
Recursos do Prompt Fuzzer
- Simulação de mais de uma dúzia de tipos de ataques GenAI
- A ferramenta se contextualiza automaticamente com base no prompt do sistema para adaptar os ataques ao tópico específico ou ao setor relevante para o aplicativo GenAI
- É interativo e fácil de usar
- Os usuários podem repetir o processo quantas vezes forem necessárias para proteger os prompts do sistema e verão como sua pontuação de segurança aumenta à medida que o prompt do sistema se torna mais seguro e resiliente.
- Prompt Fuzzer oferece suporte a 20 provedores LLM
Planos futuros e download
“Continuaremos adicionando novos ataques continuamente para acompanhar o ritmo dos riscos da GenAI e planejamos mais integrações”, disse Vitaly Neyman , arquiteto-chefe da Prompt Security, ao Help Net Security.
O Prompt Fuzzer está disponível gratuitamente no GitHub . Observe que o uso do Prompt Fuzzer levará ao consumo de tokens.
