Rýchle overenie bezpečnosti: Bezpečnostné posúdenie AI

Posúdenie sa zameriava na AI aplikačné rozhrania a hranice kontrol

• AI aplikácie, asistenti a agentické postupy v prevádzkovom kontexte
• Cesty interakcie s modelom, prompty, nástroje, pluginy a retrieval mechanizmy
• Toky citlivých údajov naprieč vstupom používateľa, pamäťou, kontextom a externými systémami
• Hranice identity, autorizácie a schvaľovania pri AI podporovaných akciách

Ako sa AI systémy správajú pri útočnej interakcii a pokusoch o zneužitie

• Pokusy o prompt injection, nepriame vloženie škodlivých inštrukcií a obchádzanie pravidiel
• Testovanie úniku dát, nadmerného zverejnenia a nebezpečného správania retrieval mechanizmov
• Zneužitie nástrojov, akcií a prepojených systémov cez workflow sprostredkované modelom
• Vyhodnotenie ochranných mechanizmov, validačnej logiky, kontrol výstupu a ľudského dohľadu
• Scenáre zneužitia zodpovedajúce realistickému prevádzkovému dopadu

Vedené praktickým útočným testovaním LLM aplikácií a princípmi bezpečného návrhu AI integrovaných systémov.

Výsledky zdôrazňujú potvrdené cesty zneužitia a praktický bezpečnostný dopad

• Demonštrované cesty zneužitia a potvrdené bezpečnostné slabiny
• Dôkazy o nebezpečnej expozícii dát alebo potenciáli neoprávnenej akcie
• Identifikácia slabých hraníc kontrol naprieč promptmi, nástrojmi, retrieval mechanizmami a schvaľovaním
• Jasné určenie toho, čo bolo dosiahnuteľné v realistických podmienkach

Poskytuje praktické vstupy

• Validáciu aplikačných kontrol okolo používania modelu, nástrojov, retrieval mechanizmov a prístupu k dátam
• Vstupy pre riadenie AI, dokumentáciu a ošetrenie rizík v súlade s EU AI Act
• Podporu návrhu a dohľadu nad systémom riadenia AI v súlade s ISO/IEC 42001
• Rizikovo orientované odporúčania pre AI postupy a scenáre zneužitia relevantné pre ISO/IEC 23894