Cloudflare развёл обучение ИИ и поиск: где проходит безопасная настройка robots.txt

15 сентября Cloudflare изменила логику контроля ИИ-краулеров: режим Disallow AI Training запрещает использование материалов для обучения моделей, сохраняя доступ Googlebot, Applebot и Bingbot к сайту для поиска. Ошибка в выборе соседнего режима Block может закрыть этим роботам обход страниц целиком и создать риск для поисковой видимости.

Для контент-маркетинга и digital-маркетинга это уже не узкая техническая настройка. Публикации бренда одновременно участвуют в поисковой выдаче, могут попадать в ответы ИИ-сервисов и становятся сырьём для обучения моделей. Поэтому robots.txt приходится рассматривать вместе с SEO, публикациями, мониторингом бренда и целями по охватам, а не как файл, который однажды настроил разработчик.

Почему настройка Cloudflare важна для поискового трафика

До обновления у владельца сайта был неприятный выбор: блокировать ИИ-обучение и рисковать доступом поисковых роботов, либо оставлять контент доступным для всех сценариев. Проблема возникала с роботами смешанного назначения. Они участвуют в поисковом обходе, но инфраструктура компании может использовать материалы и для задач обучения.

Cloudflare разделила три типа контроля:

• Search — доступ к сайту для задач поиска;
• Training — использование контента для обучения ИИ-моделей;
• Agent — доступ ИИ-агентов, которые выполняют действия от имени пользователя.

Новый режим Disallow AI Training относится именно к обучению. Он передаёт предпочтение «не использовать для обучения» через robots.txt, но не должен лишать сайт поискового обхода со стороны роботов, которых Cloudflare относит к категории Accountable.

В список таких операторов Cloudflare включает Google, Apple и Microsoft. Amazon, Anthropic, Meta и OpenAI также указаны как Accountable, поскольку их поисковые и обучающие роботы разделены. Для них режим может заблокировать именно обучающие краулеры, не затрагивая отдельные поисковые сценарии.

Для SMM-команды эта граница имеет практический смысл. Статьи, исследования, подборки и расшифровки публикаций из соцсетей работают на накопление органического спроса. Если из-за технической настройки Googlebot перестаёт обходить новые страницы, контент-маркетинг теряет один из каналов дистрибуции, а падение охватов легко ошибочно списать на качество темы или вовлечённость аудитории.

Режим запрета обучения не равен запрету индексации. Режим полной блокировки может затронуть и обучение, и поиск.

Disallow AI Training и Block: разница, которая влияет на SEO

В интерфейсе Cloudflare похожие названия могут создать ложное ощущение одинакового результата. На практике они решают разные задачи.

Disallow AI Training: запретить обучение, оставить поиск

Этот режим предназначен для сайта, который хочет сохранить присутствие в обычной поисковой выдаче, но выразить отказ от обучения моделей на своём контенте. Cloudflare формирует правила для соответствующих идентификаторов роботов в robots.txt.

Для Google применяется директива для Google-Extended. В документации Google указано, что Google-Extended управляет использованием контента для обучения Gemini и не влияет на включение сайта в Google Search или ранжирование в обычной выдаче.

Для Apple используется Applebot-Extended. Apple указывает, что этот идентификатор не выполняет обход страниц для поиска и не участвует в поисковом ранжировании. Следовательно, его ограничение не должно закрыть доступ основному Applebot.

Cloudflare также сообщила, что прежние настройки Training с вариантами Block и Block on pages with ads будут перенесены в Disallow AI Training. Для части сайтов ручное действие не требуется, но проверка итоговой конфигурации остаётся обязательной: миграция настройки не отменяет особенностей конкретного домена, проксирования и существующих правил robots.txt.

Block: закрыть доступ полностью

Режим Block имеет более жёсткое последствие. Он останавливает смешанных роботов, включая Googlebot, Applebot и Bingbot, не только для задач обучения, но и для поиска. Такой выбор уместен лишь при осознанном решении полностью ограничить обход со стороны этих систем.

Для блога, который получает органический трафик через статьи о SMM, аналитике соцсетей или Telegram-маркетинге, это обычно рискованная настройка. Закрытие обхода способно замедлить появление новых материалов в поиске и усложнить переобход обновлённых страниц. Отключение поиска нельзя использовать как побочный эффект борьбы с обучением ИИ.

Режим Block on pages with ads также требует отдельной оценки. Он связан с доступом агентов к страницам с рекламой и не заменяет политику для поисковых роботов или обучения моделей.

Robots.txt для Google, Apple и Bing: где правила расходятся

Cloudflare упрощает управление настройками, но не отменяет различий между платформами. Единый переключатель не означает, что все поисковые компании одинаково трактуют robots.txt и метатеги.

Google: обучение Gemini и видимость в ответах ИИ — разные контуры

Google-Extended позволяет выразить запрет на обучение моделей Google. При этом видимость страницы в Google Search не должна меняться. Но отказ от обучения не отвечает на другой вопрос: может ли страница участвовать в AI Overviews, AI Mode и генеративных функциях Discover.

Для этих сценариев Google использует отдельную настройку в Search Console. Она управляет появлением сайта в генеративных ответах и, согласно справке Google, не влияет на обучение моделей. Поэтому владельцу контента нельзя считать блокировку Google-Extended универсальным запретом на любое использование в ИИ-продуктах Google.

Практический вывод для SEO и контент-маркетинга: сначала нужно сформулировать цель. Если задача — не использовать статьи для обучения, проверяется Google-Extended. Если задача — ограничить показ фрагментов в генеративных ответах, потребуется отдельное решение через инструменты Google. Эти действия относятся к разным уровням управления.

Apple: обучение и ответы Siri регулируются разными сигналами

Applebot-Extended относится к использованию контента для обучения. При этом для исключения материалов из ИИ-ответов на широкие информационные запросы в Siri и Search Apple рекомендует метатег nosnippet.

Здесь важно оценивать последствия для контентной страницы. Nosnippet способен ограничить использование описаний и фрагментов в результатах поиска, поэтому его нельзя добавлять массово без проверки SEO-эффекта. Для юридической, репутационной или закрытой экспертной информации этот компромисс может быть оправдан. Для страниц, которые собирают органический спрос, решение требует согласования между редакцией, SEO и владельцем продукта.

Bing: настройка через robots.txt пока не завершена

На момент объявления Cloudflare не передаёт Bing запрет на обучение через robots.txt: Microsoft ещё не добавила поддержку такого сигнала. Cloudflare ожидает её в начале 2027 года.

Сейчас Bing использует метатег NOARCHIVE. Согласно документации Bing, он запрещает использовать контент для обучения генеративных моделей Microsoft и одновременно исключает ссылки на такой контент из Chat и Copilot. Это существенное ограничение: сайт получает больше контроля над обучением, но сокращает потенциальную видимость в продуктах Microsoft с генеративным поиском.

Именно поэтому настройка не должна превращаться в механический список запретов. У материалов разная ценность: новостная публикация, база знаний, отраслевое исследование и закрытая методология могут требовать разных правил доступа.

Что проверить перед включением запрета на обучение ИИ

Работу лучше начать не с переключателя Cloudflare, а с инвентаризации контента и источников трафика. Для маркетинговой команды полезно собрать короткую таблицу: тип страниц, поисковая ценность, вероятность цитирования в ИИ-ответах, чувствительность материалов и действующие директивы.

1. Разделить цели: индексация, обучение и ответы ИИ

Фраза «закрыть сайт от ИИ» слишком неточна для постановки задачи. Она может означать минимум три разных требования:

• не использовать материалы для обучения моделей;
• не показывать текст в генеративных ответах;
• не допускать на сайт автономных агентов;
• полностью закрыть обход определённым роботам.

Для каждой цели применяются разные настройки. Если смешать их в одной задаче, легко закрыть поисковый трафик там, где требовалось ограничить только обучение.

2. Проверить фактический robots.txt после изменения

Cloudflare может управлять правилами автоматически, но финальная проверка должна идти по доступному извне файлу https://домен/robots.txt. Нужны контроль версий, дата изменения и понятный владелец настройки. Это особенно важно, если robots.txt формируется CMS, CDN и собственными правилами одновременно.

В проверке стоит убедиться, что правила для Google-Extended и Applebot-Extended появились именно там, где их ожидает команда, а запрет для Googlebot, Applebot или Bingbot не возник случайно.

3. Сверить настройки с данными поисковой аналитики

После изменения полезно наблюдать за статусом обхода, индексированием новых URL, ошибками в Search Console и Bing Webmaster Tools. Оценивать результат стоит не по одному дню: переобход и обработка директив занимают время.

Для публикационного направления дополнительно нужна связка с веб-аналитикой: органические сеансы, показы, клики, посадочные страницы и конверсии. Так становится видно, совпало ли изменение технической политики с реальным сдвигом в поисковом трафике.

4. Не путать роботов с генеративным поиском

Частая ошибка — считать, что запрет обучения автоматически убирает бренд и страницы из ИИ-ответов. Cloudflare прямо разделяет эти сценарии. Google управляет видимостью в AI Overviews и AI Mode отдельно, Apple использует nosnippet для широких ответов, а Bing связывает NOARCHIVE с отсутствием ссылок в Chat и Copilot.

Для мониторинга бренда это означает, что наблюдение за упоминаниями в поиске с ИИ должно остаться отдельным процессом. Robots.txt выражает предпочтение доступа, но не заменяет регулярную проверку того, как бренд, публикации и ссылки появляются в разных поверхностях поиска.

Как связать техническую настройку с аналитикой соцсетей и контента

У сайта бренда контент редко существует отдельно от остальных каналов. Статья может сначала получить охват в Telegram, затем собрать переходы из соцсетей, позже попасть в обычную выдачу и только после этого стать источником для генеративной системы. Поэтому последствия изменения robots.txt нужно наблюдать на уровне маршрута пользователя, а не только на уровне статуса краулера.

Минимальный набор наблюдения включает:

• динамику поисковых показов и кликов по разделам сайта;
• скорость индексации новых публикаций;
• переходы из постов и репостов в соцсетях;
• упоминания бренда и ссылок в Telegram-каналах;
• вовлечённость у публикаций, которые поддерживают органический спрос;
• появление страниц в ответах и цитатах ИИ-поиска, если команда ведёт такой мониторинг.

Здесь особенно полезна единая картина для редакции, SMM и SEO. Если после смены настройки упали поисковые показы, но выросли переходы из Telegram, это не повод считать проблему решённой: каналы выполняют разные функции. Аналитика соцсетей помогает отделить интерес аудитории к теме от технических ограничений видимости сайта.

FollowPulse объединяет аналитику соцсетей, Telegram Analytics и мониторинг упоминаний, чтобы отслеживать, как публикации и бренд работают за пределами одного рекламного кабинета.

Чеклист

1. Зафиксировать, требуется ли запрет на обучение моделей, ограничение ИИ-ответов или полная блокировка роботов.
2. В Cloudflare выбрать Disallow AI Training, если поисковый обход Googlebot, Applebot и Bingbot необходимо сохранить.
3. Не включать Block без подтверждения SEO-команды: этот режим может остановить поисковый обход.
4. Открыть публичный robots.txt после изменения и проверить директивы для Google-Extended и Applebot-Extended.
5. Отдельно проверить настройки Google Search Console для AI Overviews, AI Mode и Discover, если задача касается генеративной выдачи.
6. Для Bing оценить последствия NOARCHIVE: он связан и с запретом обучения, и с отсутствием ссылок в Chat и Copilot.
7. В течение следующих недель контролировать индексирование, поисковые показы, клики и вклад контента из соцсетей и Telegram.

FAQ

Можно ли запретить обучение Gemini, не закрывая сайт от Google Search?

Да. Cloudflare использует правило для Google-Extended в режиме Disallow AI Training. Google указывает, что Google-Extended не влияет на включение сайта в обычную поисковую выдачу и ранжирование.

Закроет ли Disallow AI Training Googlebot и Bingbot?

Нет, если речь идёт о роботах, которые Cloudflare относит к Accountable. Режим сохраняет им доступ для поиска. Полная блокировка через Block действует иначе и останавливает обход, включая поисковый.

Достаточно ли robots.txt, чтобы сайт не появлялся в ответах ИИ Google?

Нет. Отказ от обучения через Google-Extended и видимость в AI Overviews или AI Mode регулируются разными настройками. Для генеративных функций Google используется отдельный контроль в Search Console.

Как запретить Bing использовать контент для обучения ИИ?

На момент объявления Cloudflare Microsoft ещё не поддерживает передачу такого предпочтения через robots.txt. Bing использует метатег NOARCHIVE, который также исключает ссылки на контент из Chat и Copilot.

Влияет ли Applebot-Extended на позиции сайта в поиске?

Apple сообщает, что Applebot-Extended не занимается поисковым обходом и не учитывается в поисковом ранжировании. Для ограничения участия в широких ИИ-ответах Siri и Search Apple рекомендует nosnippet.

Нужно ли менять настройки Cloudflare вручную после обновления?

Cloudflare сообщает, что существующие настройки обучения могут быть перенесены автоматически в Disallow AI Training. Однако после миграции необходимо проверить итоговый robots.txt, режим в панели управления и данные поискового обхода.

Контроль доступа к ИИ-роботам не должен оставаться слепой зоной. FollowPulse помогает связать мониторинг бренда, Telegram-маркетинг и аналитику соцсетей с результатами контентной работы.

Пользуйся FollowPulse и получай:

• Аналитику соцсетей
• Умный поиск информации
• Рост своего бренда

Пробный доступ — от 10 рублей.

Попробовать FollowPulse