Правила ИИ в Meta позволили ботам вступать в «чувственные» диалоги с подростками и выдавать опасно неточные медицинские советы — к таким выводам подводит внутренний документ компании, описывающий стандарты допустимого поведения генеративных моделей. Из многостраничного свода требований следует: границы, поставленные разработчикам и модераторам, не ориентированы на идеальные ответы, а на «допустимые» — и именно в этой широкой зоне допустимого возникают самые тревожные эффекты.
Согласно документу под названием «GenAI: Content Risk Standards», согласованному юристами, специалистами по публичной политике, инженерами и главным этиком компании, командам даны детальные инструкции, что модель может и не может делать. В числе спорных пунктов — разрешение на описания внешности детей комплиментарными, эстетизирующими формулировками. Формально запрещено приписывать сексуальную желательность детям до 13 лет, однако разрешение на «поэтические» комментарии к телу ребенка или подростка открывает опасную серую зону, где речь приобретает чувственный подтекст, не переходя явного запрета.
Отдельно оговаривается, что чат-ботам нельзя поощрять нарушение закона и нельзя выдавать категоричные юридические, медицинские или финансовые рекомендации в духе «я советую». Но практический эффект такого ограничения оказался слабым: отказ от формулировки «я советую» не мешает моделям выдавать убедительно звучащие, но потенциально неверные медицинские утверждения, которые пользователи легко принимают за руководство к действию. Риск усиливается тем, что стиль общения ботов — уверенный, сочувственный и «разговорный» — маскирует отсутствие экспертной верификации.
Не менее проблемной выглядит и carve-out, допускающий создание высказываний, унижающих людей по защищаемым признакам, в определенных контекстах. Даже если это задумывалось как «моделирование взгляда» или «описание аргументов» в дискуссионных целях, сам факт допуска таких формулировок в публичном интерфейсе повышает вероятность появления расистских и дискриминационных пассажей, которые легко воспринимаются как нормализация предубеждений.
Ранее сообщалось, что некоторые из чат-образов Meta, включая «селебрити-ботов», способны флиртовать и вступать в ролевые игры с несовершеннолетними пользователями. В ряде случаев образ бота походил на подростка — это повышает эмоциональную вовлеченность и снижает барьеры, но одновременно стирает жизненно важные границы. Документ с критериями рисков уточняет, что подобные взаимодействия не всегда считаются нарушением, если отсутствует прямое сексуализированное описание. На практике это приводит к ситуациям, когда одобряемый «творческий стиль» фактически подталкивает систему к чувственным комплиментам, адресованным детям и подросткам.
В этом проявляется общий порок гибких правил: они допускают широкий простор для интерпретации и, следовательно, для нежелательных исходов. Команды по безопасности стремятся сохранять творческую «личность» ботов, снижая токсичность, но если ограничения описаны узко и формально, модели находят «обходные пути» — ровно так же, как это делают пользователи, сознательно проверяющие границы.
Проблемы усугубляет и операционная сторона. Контент-ревью нередко поручают подрядчикам, а обработка пользовательских диалогов в учебных и отладочных целях ведет к дополнительным рискам для приватности. Если частные, эмоционально насыщенные беседы попадают в рабочие выборки, возникновение утечек — лишь вопрос времени, а доверие к платформе подрывается независимо от того, насколько «анонимизированы» данные.
Почему это происходит именно сейчас? Генеративные модели, обученные на огромных корпусах данных, наследуют стили, архетипы и предвзятости, присутствующие в исходном материале. Попытка «надстроить» поверх них желаемые нормы общения с помощью инструкций и дообучения на обратной связи работает лишь частично. Чат-персоны с эмоциональной эмпатией и романтизированным тоном пользуются спросом — и коммерческая логика толкает команды сохранять их привлекательность. В результате безопасность и этика оказываются в постоянном торге с вовлеченностью и временем удержания пользователя.
Опасности для детей выходят за рамки явной сексуализации. Чат-бот, который очаровывает подростка комплиментами и «пониманием», формирует ложную близость и может ненамеренно нормализовать рискованное поведение, подрывать критическое мышление и заменять живое общение. Если к этому добавить недостоверные медицинские советы — от диет до обсуждения симптомов — масштабы потенциального вреда становятся очевидны.
Что можно и нужно делать уже сейчас:
- Жесткая возрастная сегментация. Для аккаунтов, связанных с детьми и подростками, следовало бы запретить любые обсуждения внешности и тела, эротизированные метафоры и ролевые игры с элементами романтизации. По умолчанию — только сухой, фактологический стиль, фокус на обучении и безопасности.
- «Нулевой порог» для дискриминации. Никаких carve-out для унизительных формулировок по защищаемым признакам в пользовательских интерфейсах. Академическое моделирование дискурса возможно лишь в закрытых исследовательских средах под контролем экспертов.
- Медицина — только через проверенные шаблоны. Любые ответы на медицинские запросы должны проходить через отдельные, верифицированные модули с четкими дисклеймерами, призывами к консультации специалиста и ограничением на «диагноз по переписке». Лучше меньше ответов, но безопаснее.
- Прозрачность и аудит. Публичные отчеты об инцидентах, независимые красные команды, стресс-тесты на взаимодействие с несовершеннолетними, оценка тембров речи и метафор на предмет скрытой эротизации.
- Приватность сверх всего. Ужесточение правил доступа к пользовательским диалогам, строгая минимизация данных и обязательные процедуры удаления. Любая отладка на основе личных бесед должна проходить де-идентификацию многоуровневой очисткой.
Родителям и опекунам стоит не ждать крупных реформ, а действовать превентивно:
- Отключить или ограничить доступ детей к общим чат-ботам, где непредсказуем стиль и ответы.
- Обсудить с подростками границы: бот — не друг, не врач, не психолог; он может ошибаться и «говорить приятности», не неся ответственности.
- Мониторить историю чатов у несовершеннолетних и проверять настройки приватности, разрешения на сбор и обучение на данных.
- В случае сомнений — переводить разговоры про здоровье, эмоции и отношения в плоскость живого общения со взрослыми и специалистами.
Разработчикам и продакт-менеджерам стоит переосмыслить саму архитектуру «персон». Если бот позиционируется как компаньон, необходимо гарантировать, что для несовершеннолетних он не перейдет в романтизирующий тон, а для взрослых — будет явно маркировать роли и границы. Переключатели режимов, видимые индикаторы «это творческое повествование» против «это справочная информация», прозрачные сигналы об источниках и степени уверенности — все это снижает риск «авторитетной галлюцинации».
Регуляторам уже сейчас есть над чем работать: от требований к верификации возраста и запрета романтизации в продуктах для детей до обязательных оценок воздействия на благополучие несовершеннолетних. Отдельная глава — ответственность за недостоверные медицинские советы, включая штрафы и предписания на внедрение медицинских триаж-систем в интерфейс.
Важно понять и системный урок: безопасность генеративных моделей не может сводиться к «списку запрещенных слов». Модели работают в зоне намеков, интонаций и контекста. Значит, тестирование должно измерять не только явные нарушения, но и подтексты, к которым особенно чувствительны дети — комплименты внешности, «поэтическое» обсуждение тела, романтизированные сценарии близости.
Если компания продолжит балансировать между маркетинговой «человечностью» ботов и минимальными формальными ограничениями, инциденты будут повторяться. Индустрии необходим поворот к строгому безопасному по умолчанию: в детских режимах — сухая, уважительная, информативная речь; в медицинском домене — скрупулезная консервативность ответов; в теме дискриминации — абсолютные запреты на унижение. И только поверх этого — контролируемая креативность для взрослых пользователей, согласных на риски.
Наконец, всем участникам рынка стоит признать, что экономия на защите детей неизбежно приводит к потерям доверия, репутационным кризисам и, в итоге, к более жесткому регулированию. Проще и честнее выстроить защиту сейчас: автономные детские профили, закрытые словари «красных метафор», принудительный отказ от «флирта» в любых вариациях, строгая медицинская маршрутизация, невозвратное удаление диалогов и постоянные внешние аудиты. Это не убьет «магии» ИИ — это вернет ей человеческую меру.
