Оценка безопасности ИИ
Проверьте реакцию ассистента на вредоносные инструкции, чувствительные данные и запросы за рамками задачи.
Когда стоит обратиться
До подключения помощника к внутренним документам или инструментам проверьте границы его действий.
Состав работ
- Сценарии злоупотребления
- Синтетические данные
- Оценка защитных мер
Этапы проекта
- 01Определить допустимые действия
- 02Испытать штатные и вредоносные запросы
- 03Сравнить результаты после изменений
Что подготовить
Предоставьте правила, перечень инструментов и примеры допустимых запросов.
От чего зависит стоимость
Трудоёмкость зависит от инструментов, языков и вариантов сценариев.
Пример задачи
Скрытая в документе команда не раскрывает вымышленный секрет, а штатный запрос выполняется.
Критерий приёмки
Сравните опасные ответы, отказы и передачи специалисту при повторном прогоне.
Частые вопросы
С чего начать пилот?
Выберите один инструмент и один вид вымышленных конфиденциальных данных.
Как поступить в нестандартном случае?
Рискованное действие изолируют и повторяют тест после исправления.
Рабочее пространство
До заключения договора уточняем доступность специалистов, квалификацию и необходимые местные разрешения.