Закупка агентной платформы обычно идёт по накатанной: классический TPRM-опросник, пара вопросов про «где хранятся данные», подпись. Через полгода выясняется, что вендор дообучается на ваших тикетах, агент ходит в прод без журнала, а кастомизация, которую вы сделали, переквалифицировала вас из деплоера в провайдера по EU AI Act — со всеми обязанностями. RFP эпохи 2024 года (софт плюс AI-раздел в конце) для агентных систем неадекватен: три вещи изменились в 2025–2026 годах — агенты действуют, а не отвечают; EU AI Act перешёл к enforcement high-risk положений; автономия стала измеряемым риском, а не свойством демо. Разберём каркас оценки, который это учитывает.
Почему старый TPRM не ловит агентные риски
Классический опросник проверяет вендора как софт: SOC 2, шифрование, бэкапы, subprocessors. Агентный вендор — это софт плюс модель плюс автономия плюс инструменты. Старый чеклист не спрашивает: какие действия агент может выполнять без человека; какие инструменты и с какими правами; где граница автономии и кто её двигает; что пишется в журнал вызовов и кто его читает; дообучается ли модель на ваших данных; что происходит при смене модели под капотом. KPMG в Q1 2026 фиксирует контекст: вопросы trust, control и accountability вышли на первый план, большинство организаций требуют human validation выходов агентов, 71% идут через human-in-the-loop. Оценка вендора обязана проверять именно эту связку — доверие через контроль, а не через слайды.
Восемь категорий вопросов
Шаблон Kognitos (30 вопросов, 8 категорий) — хорошая структура, берите каркас:
- Архитектура и reasoning. Как агент планирует и исполняет; где живут state и память; что происходит при смене модели; как изолированы тенанты.
- Audit trail и explainability. Что пишется на каждый вызов (кто, что, аргументы, результат); неизменяемость журнала; экспорт для ваших систем; field-level разбор.
- Model governance и версионирование. Реестр моделей и промптов; кто утверждает изменения; canary и rollback; уведомление о смене модели.
- Human oversight и HITL. Какие действия требуют человека; кто настраивает пороги; запрет самоподтверждения; что происходит при отсутствии approver.
- Data lineage и безопасность. Какие данные куда текут; обучение на клиентских данных (да/нет/доказательства); шифрование; residency; DLP и маскирование.
- Regulatory и compliance. EU AI Act классификация (high-risk по Annex III?), conformity assessment и Annex IV, deployer-документация под Article 26, DPIA, сертификаты (ISO 42001, SOC 2).
- Implementation и операционная готовность. Лимиты, квоты, circuit breaker; мониторинг и алерты; incident response под агентов; offboard и удаление данных.
- Commercial и контракт. Владение inputs/outputs; ответственность за ошибки агента; SLA на точность, а не только uptime; право аудита; exit-план и выгрузка.
По каждой категории требуйте артефакты, а не заявления: скриншоты журналов, пример политики, процедуру смены модели.
Данные: обучение, lineage, владение
Самый дорогой раздел. Вопросы ACC-чеклиста как образец глубины: остаётся ли владение inputs за заказчиком; кому принадлежат outputs; создаются ли модели/улучшения на основе ваших данных, inputs или outputs; проверяется ли bias в pre-training данных и компонентах. Red flags: «обучаемся на агрегированных данных клиентов» без opt-out; lineage, обрывающаяся на границе вендора («дальше — наша IP»); отказ показать DPIA; ноль про удаление данных при расторжении. Отдельно — works council и трудовые требования в юрисдикциях ЕС: агент, оценивающий сотрудников, затрагивает и их.
Автономия и HITL
Спрашивайте как инженеры, а не как юристы: перечислите действия, которые агент выполняет вообще без человека; покажите, где настраиваются пороги; продемонстрируйте отказ в самоподтверждении; что видит approver в момент подтверждения; что происходит с цепочкой при недоступности approver (очередь, эскалация, fail-closed?). Хороший ответ — демонстрация; mediocre — «у нас есть human-in-the-loop»; red flag — «агент полностью автономен, это же фича».
Аудит и доказательства
Оценка без проверки журнала — чтение буклета. Требуйте: live-демо журнала с разбором одного вызова до полей; экспорт в ваш SIEM; доказательство неизменяемости (hash-chain, WORM, подписи); retention-политику с балансом GDPR; процедуру legal hold. Проверьте сами: попросите тестовый стенд, сделайте запрещённое действие, найдите его в журнале. Не нашли — всё остальное в опроснике не имеет значения.
EU AI Act: провайдер vs деплоер
Критичная ловушка 2026 года (Enzai, Protecto): Article 25 переквалифицирует деплоера в провайдера, если вы ставите своё имя на high-risk систему, вносите substantial modification, меняете purpose на high-risk или выводите на рынок после третьей стороны. Кастомизация «под себя» — файнтюн, ретрейн, смена purpose — требует оценки substantial modification до работ, а не после письма регулятора. В вопросник: классификация продукта по Annex III с обоснованием; conformity assessment и декларация; deployer-документация под Article 26 (вендор обязан её дать); кто ведёт логи по Article 12 — провайдер, деплоер, оба, и где handoff. Enforcement high-risk положений идёт с августа 2026 года — «потом разберёмся» истекло.
Red flags: короткие сигналы беды
- «Мы не тестируем на bias» / «тестируем, но показать не можем».
- Нет conformity assessment при заявлении «не high-risk» без обоснования.
- Журнал — «скоро будет» или «по запросу в поддержку».
- Обучение на ваших данных по умолчанию без opt-out.
- Нет процедуры смены модели и уведомления о ней.
- Ответственность за ошибки агента — «как есть», SLA только на uptime.
- Отказ от права аудита и пентеста.
- Нет exit-плана: данные и конфиги не выгружаются.
Один флаг — повод копать; три — повод уходить.
Контрактные защиты
Фиксируйте в договоре: запрет обучения на ваших данных (или явный opt-in с compensation); владение inputs/outputs; deployer-документация и обновления к ней; право аудита и пентеста; SLA на точность/качество с методологией замера; уведомление о смене модели/существенных изменениях заранее; breach notification сроки; удаление данных и подтверждение удаления при exit; распределение ролей провайдер/деплоер по AI Act с ответственностью. Опросник без контрактных зубов — пожелания.
Непрерывный мониторинг
Оценка раз в закупку — compliance-артефакт, а не риск-менеджмент: AI-системы меняются, и риски меняются с ними. После подписания: пере-оценка при смене модели, новых инструментах, расширении scope; мониторинг индикаторов (доля human override, инциденты, жалобы, дрейф качества); сверка журналов sample-based; ежегодный light-ресёрч вендора. Свяжите результаты оценки, контрактные обязательства и realtime-индикаторы в один workflow — иначе мониторинг деградирует ровно тогда, когда бдительность нужнее всего.
Чеклист оценки
- 8 категорий покрыты вопросами с требованием артефактов, а не заявлений.
- Данные: владение, обучение, lineage, DPIA, удаление при exit — письменно.
- Автономия продемонстрирована: пороги, запрет самоподтверждения, fail-closed.
- Журнал проверен руками на стенде: запрещённое действие находится.
- AI Act: классификация, conformity, deployer-docs, роли провайдер/деплоер, substantial modification оценена.
- Red flags посчитаны; контрактные защиты в договоре.
- Мониторинг после сделки: триггеры переоценки, индикаторы, владелец.
Где Codenik
Codenik — это половина ответов на вопросник из коробки и инструмент проверки второй половины. Allowlist инструментов, approval с запретом самоподтверждения, неизменяемый журнал с экспортом, retention и legal hold, отзыв и offboard — артефакты, которые можно показать оценщику, а не рассказать. А поверх чужого агента Codenik даёт свой контур: те же скоупы, тот же журнал, тот же approval — независимо от того, что умеет или не умеет вендорская платформа. Оценка вендора превращается из доверия в проверку: включите, сделайте запрещённое, найдите в журнале.
Короткий вывод
Агентного вендора оценивают не как софт, а как оператора с полномочиями: что он может сделать без вас, что пишет, чему учится и кто отвечает. Восемь категорий, артефакты вместо заявлений, AI Act без иллюзий, контракт с зубами, мониторинг после сделки. Подписывайте только то, что смогли проверить руками, — остальное арендуйте с правом выйти.