Заметки

Твой агент доверяет описанию инструмента. Это и есть дыра.

Для языковой модели нет разницы между данными, которые ты ей дал, и инструкцией — она читает всё как возможную команду. Этот один факт — и есть вся безопасность ИИ-агентов. Вот как он превращает полезный инструмент в канал утечки данных, почему промптом это не починить, и единственное структурное правило — lethal trifecta — которое говорит, когда твой агент по-настоящему опасен.

• agents
• security
• methodology