В предыдущих материалах (статья 1, статья 2) мы говорили о том, как искусственный интеллект может помогать директору при подготовке управленческих решений и сделок. Теперь важно обозначить пределы этой логики. Даже если технология использовалась осмысленно и оставила понятный след в документах, она не становится самостоятельным участником корпоративных отношений. Если система ошиблась, спор будет строиться вокруг другого вопроса: кто доверился ее выводу, как проверял результат и почему на его основании было принято решение.
Ошибка системы не становится ничьей ошибкой
Главная управленческая иллюзия при работе с ИИ состоит в том, что ошибка как будто остается внутри технологии. Система дала неверный ответ, не заметила риск, предложила слабую формулировку или уверенно сослалась на несуществующий источник, и здесь мы уже готовы все на бытовом объяснить это тем, что это инструментальная ошибка. Эта логика работает в корпоративной среде, ведь там объяснение «система зависла» или «принтер не пропечатал» бывает достаточным. Но в правовой плоскости такое объяснение не сработает. ИИ не является директором, сотрудником, консультантом или контрагентом компании, он не принимает на себя обязанность проверить сделку, оценить налоговые последствия или предупредить руководителя о рисках. Поэтому ошибка системы почти всегда возвращает нас к людям и процессам вокруг нее. Мы должны разобраться в том, кто выбрал инструмент, какие задачи ему поручили, кто проверял выводы и как они были использованы. Чем сложнее технология, тем важнее становится контур контроля вокруг нее.
Один из самых известных примеров — дело Mata v. Avianca в США. Юристы использовали ChatGPT при подготовке процессуальных документов, а система предложила ссылки на судебные акты, которые выглядели правдоподобно, но в действительности не существовали. И конечно, в итоге санкции были применены не к разработчику нейросети и не к самой системе, а к юристам, которые подписали и направили документы без надлежащей проверки.
Для бизнеса этот кейс важен своей общей логикой. Машинный вывод остается предварительным материалом до тех пор, пока его не подтвердил человек, отвечающий за соответствующее направление. Структурированный и уверенный текст может создавать ощущение готового заключения, но внешняя убедительность не равна достоверности. Если директор опирается на такой вывод без проверки, технология превращается из инструмента осмотрительности в новый источник уязвимости.
Компания отвечает за инструмент, который использует
Другая важная ситуация возникла в клиентском споре с Air Canada. Клиент получил от чат-бота авиакомпании неверную информацию о правилах применения льготного тарифа. И когда компания отказалась следовать этому разъяснению, она попыталась сослаться на ошибку чат-бота. Но, как несложно предсказать итог, этот аргумент не помог авиакомпании: автоматизированный сервис был частью коммуникации компании с клиентом, а значит, риск его неверной работы остался внутри организации. Из этого управленцы должны сделать довольно ясный вывод: если бизнес внедряет ИИ в клиентскую поддержку, согласование сделок, подготовку документов или оценку рисков, он должен понимать, кто отвечает за качество такого инструмента. Ошибка системы в этом случае никогда не будет трактоваться как внешний форс-мажор, как, например, внезапная плохая погода, это всегда будет недостаток в организации процесса. Особенно это важно там, где выводы ИИ влияют на контрагентов, клиентов, сотрудников или управленческие решения внутри компании.
Человеческий контроль часто называют ключевым условием безопасного использования ИИ. Но сам по себе этот термин мало что дает. Здесь важно, чтобы у ответственного лица была реальная возможность понять вывод системы, проверить его по другим источникам, остановить ошибочное решение или передать вопрос специалистам. Контроль, существующий только в регламентах, не снижает риск, а иногда лишь создает видимость управляемости.
Это хорошо видно на нидерландском скандале вокруг детских социальных выплат. Налоговая служба использовала систему оценки рисков, которая относила семьи к потенциальным нарушителям и запускала жесткие проверки. Тысячи родителей были ошибочно обвинены в мошенничестве и вынуждены возвращать пособия, что для многих обернулось долгами, потерей жилья, разрушением семей и судебными разбирательствами. Скандал привел к выплатам компенсаций и отставке правительства Марка Рютте в январе 2021 года.
Для бизнеса эта история иллюстрирует неприятный факт, с которым, тем не менее, он все равно столкнется: автоматизированное решение быстро начинает восприниматься как уже установленный факт, если внутри процесса нет человека, который проверяет основание вывода, оценивает последствия и может остановить ошибку до того, как она станет управленческим решением. Поэтому в компании контроль должен быть привязан к конкретным точкам процесса. Кто проверяет вывод по контрагенту? Кто оценивает налоговый риск? Кто решает, можно ли подписывать договор при сохранении выявленных замечаний? Кто фиксирует, почему рекомендация системы была принята или отклонена? Без таких ответов ссылка на человеческий контроль остается красивой формулой.
Отвечать придется самому
Компании также не стоит исходить из того, что ответственность за спорный результат можно будет переложить на разработчика или поставщика ИИ-системы. Большинство массовых платформ прямо предупреждают пользователей о необходимости самостоятельной проверки результатов. Даже если в отдельных случаях возможны претензии к поставщику технологии, это не отменяет обязанности директора действовать разумно и организовать проверку внутри компании.
Особенно осторожно нужно относиться к универсальным генеративным моделям. Они помогают работать с информацией, но не обладают статусом юридического, налогового, финансового или аудиторского заключения. Их вывод может быть полезен как предварительный материал, но управленческая позиция должна опираться на проверку, документы и профессиональную оценку. Иначе ссылка на платформу будет выглядеть слабее, чем нормальная процедура анализа с участием ответственных сотрудников и консультантов.
ИИ может помогать директору видеть риски, сравнивать варианты и готовить решение. Но ошибка системы не создает отдельную зону, свободную от ответственности. В споре будут оценивать, кто использовал инструмент, как проверялись его выводы, как была устроена процедура контроля и почему компания сочла выбранное решение допустимым.
Так что для бизнеса главный вопрос заключается не в том, можно ли доверять ИИ вообще. Доверие к технологии должно быть организовано через внутренние регламенты, правила, проверку источников, участие специалистов, фиксацию выводов и понятное распределение ответственности. Только тогда ИИ остается инструментом управления, а не слабым оправданием после неудачной сделки, неверного документа или ошибочной рекомендации.