Firemní chatbot může posloužit hackerům, expert v Praze předvedl slabiny AI asistentů

Španělský bezpečnostní specialista Chema Alonso na pražské konferenci předvedl, jak snadno lze zneužít běžného zákaznického chatbota – oklikou ho přiměl psát programový kód, přestože to měl zakázáno. Upozornil, že technikami jako prompt injection mohou útočníci obejít pravidla nastavená provozovatelem a asistenta s přístupem k firemním systémům zneužít i k vynášení dat. Rámec MITRE ATT&CK kvůli podobným rizikům letos zavedl novou techniku nazvanou „AI-Enabled Exfiltration“. Více zde

Španělský bezpečnostní specialista Chema Alonso na pražské konferenci předvedl, jak snadno lze zneužít běžného zákaznického chatbota – oklikou ho přiměl psát programový kód, přestože to měl zakázáno. Upozornil, že technikami jako prompt injection mohou útočníci obejít pravidla nastavená provozovatelem a asistenta s přístupem k firemním systémům zneužít i k vynášení dat. Rámec MITRE ATT&CK kvůli podobným rizikům letos zavedl novou techniku nazvanou „AI-Enabled Exfiltration“. Více zde

Zdroj: lupa.cz