ИТМО представил первую российскую систему защиты ИИ от кибератак

Магистранты ИТМО совместно с экспертами компании Raft создали HiveTrace — первую российскую систему защиты искусственного интеллекта от кибератак. Система совместима с любыми открытыми или закрытыми ИИ-моделями. Это позволит технологическим, финансовым, телекоммуникационным и другим компаниям внедрить HiveTrace в свои бизнес-процессы и гибко настроить правила безопасности под собственные требования.

Генеративный ИИ активно используется для решения бизнес-задач: создания текстов и сценариев, ответов клиентам, генерации кода и контента. Однако чем больше компании внедряют ИИ-решения, тем выше риск кибератак на большие языковые модели.

Наиболее распространенные угрозы — обход ограничений (jailbreaks) и вредоносные инъекции в запросы (prompt injection). С помощью этих атак злоумышленники манипулируют моделью, чтобы получить доступ к закрытым данным или спровоцировать некорректное поведение и заставить ее выдавать запрещенный контент. Например, в 2025 году хакеры завладели личными данными пользователей, воспользовавшись уязвимостями в M365 Copilot и Operator ChatGPT.

HiveTrace защищает от 70% уязвимостей, перечисленных в Top-10 OWASP — списке наиболее критических уязвимостей для приложений LLM, который регулярно обновляет некоммерческая организация OWASP Foundation. HiveTrace справляется с промт-инъекциями, утечками конфиденциальной информации и системных инструкций, некорректной обработкой входных данных, чрезмерным использованием LLM-агентов, уязвимостями в обработке векторов и эмбеддингов, которые вызывают непредсказуемые ошибки, и неограниченным потреблением вычислительных ресурсов, ведущим к перегрузке системы.

HiveTrace совместима с любыми популярными ИИ-моделями — как открытыми, так и закрытыми, — и позволяет компаниям гибко настраивать правила безопасности под собственные требования. Система представляет собой веб-приложение с панелью для службы информационной безопасности, где администратор управляет веб-приложениями с генеративным ИИ и настраивает для каждого правила безопасности. Каждый пользовательский запрос проходит через фильтр HiveTrace, перед тем, как попасть в конкретное веб-приложение. Система анализирует запрос и блокирует в случае опасности. Вредоносные инъекции в запросе определяются с точностью 97%.

Сейчас HiveTrace защищает ИИ-модели от 7 из 10 наиболее критичных уязвимостей. Компания планирует увеличить количество функций, которые позволят нейтрализовать как существующие, так и только зарождающиеся киберугрозы. При создании новых решений в области безопасности ИИ разработчики будут ориентироваться на научные статьи и исследования, которые публикуют в том числе в ИТМО. Разработка найдет применение в российских технологических, финансовых, медицинских и телекоммуникационных компаниях. Сейчас HiveTrace договаривается о пилотировании своей разработки.