Банки и платежные компании в США расширяют применение ИИ-агентов для платежей, открытия счетов и других финансовых услуг. Однако ключевой вопрос остается открытым: кто несет ответственность, если агент ошибается, становится инструментом мошенничества или действует за пределами разрешений пользователя?
От ответа зависит, смогут ли клиенты вернуть потерянные средства и как операционные риски будут распределены между банками, платежными сетями, продавцами, технологическими компаниями и финтех-платформами. По оценке Bain, к 2030 году ежегодные расходы в США на агентную коммерцию могут достичь 500 млрд долларов. По мере роста числа таких операций четкие правила ответственности становятся важным условием для более широкого внедрения технологии.
Уоллер указал на риск ошибочных покупок
Управляющий Федеральной резервной системы Кристофер Уоллер затронул вопрос ответственности 29 сентября на конференции Sibos. По его словам, распространение агентной коммерции, особенно когда ИИ принимает решения от имени потребителя, зависит от доверия между покупателями и продавцами.
Уоллер привел простой пример: клиент поручает агенту купить свитер, но тот выбирает неправильный размер, а банк одобряет платеж. Сам факт авторизации платежа не означает, что агент купил именно то, что хотел потребитель. Существующие механизмы электронной торговли — в том числе правила платежных сетей, меры защиты потребителей и применимые нормы — можно адаптировать к операциям с участием ИИ-агентов. Регуляторы также могут проверять новые подходы, отметил он.
Риски связаны не только с хакерами и мошенниками, которые пытаются манипулировать ИИ. Агент может отступить от заданных инструкций или настроек, а проблемы могут возникнуть и из-за обычной ошибки потребителя, продавца или другого участника цепочки. Если агент переведет деньги за пределы счета, ответственность может лечь на пользователя, неверно настроившего систему, разработчика модели, допустившего превышение полномочий, или банк, одобривший операцию при наличии тревожных сигналов.
Lead Bank предлагает распределять ответственность по этапам
Базирующийся в Канзас-Сити Lead Bank — банк с лицензией штата, предоставляющий финтех-компаниям, компаниям в сфере цифровых активов и потребительским брендам инфраструктуру банковских услуг — разрабатывает подход к операциям с участием ИИ-агентов.
Глава банка Джеки Резес отметила, что традиционные системы идентификации и проверки личности создавались для людей и нередко были рассчитаны на то, чтобы блокировать ботов. По мере того как автоматизированных систем становится больше и они работают в значительно большем масштабе, этот подход меняется. Ошибки в транзакциях неизбежны, поэтому важно заранее определить контрольные механизмы, требования к программированию и порядок распределения ответственности, если агент отклонится от заданного сценария, сказала она.
Предложенная Lead Bank схема, условно названная «каскадом» ответственности, связывает ее распределение с типом сбоя и тем, какая сторона контролировала соответствующий процесс. Если агент превысил полномочия, прямо предоставленные потребителем, клиент не должен отвечать за последствия. Если банк управляет настройками разрешений, но не обеспечивает соблюдение ограничений, ответственность должна лежать на банке. Поставщики ИИ должны отвечать за дефекты модели, небезопасные вызовы инструментов или недостаточные защитные механизмы. Продавец может нести ответственность, если сознательно побуждает агента с ограниченными правами выйти за их пределы.
Такой подход предполагает, что правила ответственности будут встроены в систему до возникновения спора, а не определяться заново после каждого инцидента. На практике исход по-прежнему будет зависеть от того, как настроены разрешения, получал ли банк сигналы о необычной активности и может ли каждая сторона подтвердить, что контролировала соответствующий участок процесса.
Primitive разрабатывает протокол для финансовых ИИ-агентов
Стартап Primitive, основанный Дереком Уайтом, бывшим директором по цифровым технологиям американского банка US Bancorp, также работает над операционными стандартами и правилами ответственности для агентного ИИ. Уайт рассказал, что потребители уже используют такие модели, как ChatGPT, чтобы искать поставщиков финансовых услуг, а в будущем могут поручать агентам открывать счета в выбранных банках.
Один из предлагаемых стандартов — Agentic Financial Services Protocol. Он призван помочь компаниям создавать ИИ-агентов, отвечающих общим требованиям безопасности. По словам Уайта, протокол предусматривает ведение записей о каждой сессии: в них будет указано, соблюдал ли агент правила управления, какую большую языковую модель он использовал и сколько токенов потребовалось для работы.
Такие записи можно будет предоставлять регуляторам или аудиторам, чтобы восстановить ход принятия решения. Для банков подробный журнал действий также может помочь установить, возникла ли проблема из-за инструкций пользователя, поведения модели, вызова инструмента или процедуры одобрения транзакции.
Технические ограничения есть, единых правил пока нет
Резес считает, что современные технологии позволяют ограничивать действия агента и поддерживать подотчетность. Программируемые интерфейсы Lead Bank могут отслеживать отклонения, сохранять подтверждения системы, периодически обновлять сведения по процедуре «знай своего агента», выдавать учетные данные для транзакций и отзывать их при необходимости.
Главная трудность, по ее словам, — согласовать банковские и платежные правила с действиями ИИ-агентов. Пока правовые и регуляторные требования не определены яснее, банкам сложно понять, какие меры контроля будут достаточными, а потребителям — заранее установить, кто возместит ущерб в случае ошибки.
Над стандартами работают платежные сети, платформы электронной торговли, платежные провайдеры, технологические компании, альянс FIDO и банки. При этом у потребителей сохраняются опасения по поводу использования ИИ-агентов для оплаты, несмотря на оценки потенциального роста рынка. По мере того как агенты получают возможность искать услуги, открывать счета и проводить платежи, финансовым организациям предстоит определить, как фиксировать разрешения, управлять платежными учетными данными, проверять модели и распределять ответственность, если агент выходит за пределы предоставленных ему полномочий.