ProvGuard
Python-библиотека с открытым кодом, которая защищает AI-агентов от prompt injection. Она не гадает, вредоносен ли текст, а проверяет, из какого источника пришёл каждый чувствительный аргумент.
AI-агенты читают письма, веб-страницы и документы, написанные посторонними, а затем выполняют реальные действия: переводят деньги или отправляют письма. Злоумышленник может спрятать в таком тексте инструкцию и управлять агентом.
ProvGuard идёт другим путём. Он помечает всё, что видит агент, как доверенное или недоверенное, а перед вызовом инструмента проверяет, откуда пришёл каждый аргумент (получатель, IBAN, сумма). IBAN, который встречается только в письме, не может перевести деньги, как бы это письмо ни было сформулировано.
На сайте есть песочница прямо в браузере: можно «перехватить» агента и посмотреть, как ProvGuard принимает решение. Результаты измерены на бенчмарке AgentDojo от ETH Zürich.
- AgentDojo, без модели: банкинг 144/144 (100%), Slack 97/105 (92%), workspace 200/240 (83%), travel 79/120 (66%).
- Живой агент: на Qwen3 8B успех атак упал с 16/48 до 0/48 без заметной потери полезности.
- Честные ограничения: что библиотека не ловит, прямо написано в README.