ProvGuard
AI agentlərini prompt injection hücumlarından qoruyan açıq mənbəli Python kitabxanası. Mətnin zərərli olub-olmadığını təxmin etmir, hər həssas arqumentin hansı mənbədən gəldiyini yoxlayır.
AI agentləri yad adamların yazdığı e-poçtları, veb səhifələri və sənədləri oxuyur, sonra pul köçürmə, məktub göndərmə kimi real əməliyyatlar edir. Hücumçu mətnin içinə gizli əmr yazıb agenti idarə edə bilər.
ProvGuard bu problemi fərqli yolla həll edir. Agentin gördüyü hər mətni etiketləyir (etibarlı və ya etibarsız), alət çağırılmazdan əvvəl isə hər arqumentin (alıcı, IBAN, məbləğ) haradan gəldiyini yoxlayır. Yalnız e-poçtda görünən IBAN, e-poçt necə yazılmasından asılı olmayaraq, pul köçürə bilməz.
Saytda brauzerdə işləyən playground var: agenti "hijack" edib ProvGuard-ın necə qərar verdiyini canlı görmək olar. Nəticələr AgentDojo (ETH Zürich) benchmark-ında ölçülüb.
- AgentDojo, modelsiz: bank 144/144 (100%), Slack 97/105 (92%), workspace 200/240 (83%), travel 79/120 (66%).
- Canlı agent: Qwen3 8B-də hücum uğuru 16/48-dən 0/48-ə düşdü, faydalılıq ölçülə biləcək qədər azalmadı.
- Açıq məhdudiyyətlər: nəyi tuta bilmədiyi README-də açıq yazılıb.