Запрет на обучение ИИ не должен закрывать путь в Google
Cloudflare разделил два действия, которые раньше легко спутать: запретить использовать страницы для обучения ИИ и полностью закрыть их для роботов. Новая настройка Disallow AI Training оставляет доступ Googlebot, Applebot и Bingbot для поиска, но публикует отказ от обучения моделей. Для контент-маркетинга это важное разграничение: защита материалов не должна случайно обнулить органические охваты.
Проблема стала заметнее после того, как AI Overviews и AI Mode вошли в обычный поисковый сценарий. Google подтверждает: страницы, которые могут появляться в этих функциях, должны быть проиндексированы и иметь право показываться в обычной выдаче со сниппетом. Если закрыть поискового робота вместе с ИИ-ботами, сайт исключает себя не только из обучения, но и из поиска, включая возможную видимость в ответах с ИИ.
Почему запретить обучение ИИ на контенте и закрыть поиск — разные задачи
У сайта обычно есть три независимые цели:
- сохранить индексацию и органический трафик;
- обозначить запрет на использование материалов для обучения моделей;
- управлять тем, где именно страницы могут появляться: в классической выдаче, AI Overviews, AI Mode или приложениях ассистентов.
Один общий запрет не решает все три задачи. Например, директива в robots.txt сообщает роботам правило обхода, но сама по себе не удаляет уже опубликованный текст из поискового индекса и не гарантирует, что сторонняя система технически обязана соблюдать это пожелание. А блокировка Googlebot уже затрагивает поиск напрямую.
Cloudflare в июле изменил смысл настройки Block: для роботов смешанного назначения она останавливает обход целиком, включая поисковый. Новая опция Disallow AI Training создана именно для другого сценария — оставить поисковое сканирование доступным и зафиксировать запрет на обучение. Существующие настройки Training blocks Cloudflare обещает автоматически перевести на новый режим, но конфигурацию зоны всё равно стоит проверить вручную.
Для digital-маркетинга это вопрос не только юридической позиции. Ошибка в правилах обхода быстро превращается в падение охватов из поиска, снижение входящего трафика на материалы и менее полную картину эффективности контент-маркетинга.
Какие роботы отвечают за обучение, а какие — за поиск
Google: Googlebot и Google-Extended выполняют разные роли
Googlebot используется для сканирования и индексации в Google Search. Его нельзя закрывать, если цель — сохранить присутствие сайта в поисковой выдаче.
Для отказа от использования контента при обучении Gemini Google применяет отдельный токен Google-Extended. Google прямо указывает, что этот токен не влияет на включение сайта в Google Search и не используется как сигнал ранжирования. Он также не управляет показом страниц как поддерживающих ссылок в AI Overviews или AI Mode: эти функции подчиняются общим правилам доступности страницы в поиске.
Это означает, что отказ от обучения и видимость в поисковых ответах с ИИ могут существовать одновременно. Но это не даёт контроля над тем, будет ли конкретная страница процитирована: решение о показе ссылки остаётся за поисковыми системами.
Apple: отдельный Applebot-Extended
У Apple аналогичную роль выполняет Applebot-Extended. Он позволяет выразить запрет на использование контента для обучения генеративных моделей Apple, не перекрывая обычного Applebot, который участвует в поисковых и других сервисах компании.
Microsoft: единая настройка пока не закрывает вопрос полностью
Cloudflare отмечает, что Microsoft ещё не поддерживает сопоставимое robots.txt-предпочтение для запрета обучения и планирует работу с этим вопросом в начале 2027 года. Поэтому нельзя автоматически считать, что одна настройка в панели CDN одинаково влияет на всех разработчиков ИИ. Для бренда это повод вести реестр правил по каждому роботу, а не ограничиваться общим переключателем «заблокировать ИИ».
Настройка запрета на обучение ИИ без потери видимости в Google
Самый безопасный порядок — сначала зафиксировать текущую поисковую доступность, затем менять правило и только после этого наблюдать за обходом и показателями.
1. Проверьте, что Googlebot не заблокирован
Откройте текущий robots.txt и правила CDN. Для поисковой видимости должны отсутствовать запреты на Googlebot для нужных разделов сайта. Также стоит проверить метатег robots и HTTP-заголовок X-Robots-Tag: запрет в них может сработать независимо от robots.txt.
Пример корректного разделения ролей:
User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Disallow: /
Это пример конфигурации, а не универсальная команда для любого сайта. Перед размещением нужно сверить список доступных роботов, структуру разделов и текущие правила на уровне CDN, CMS и сервера.
Если контент лицензируется выборочно, правило можно ограничить каталогом. Бессистемные исключения затрудняют поддержку и анализ.
2. Если используется Cloudflare, выберите Disallow AI Training
В зоне Cloudflare нужно проверить, какой вариант действует после обновления настроек. Опция Disallow AI Training предназначена для публикации отказа от обучения при сохранении доступа поисковых роботов. Настройка Block работает жёстче и может отрезать поисковый обход вместе с ИИ-обходом.
После сохранения стоит открыть публичный robots.txt браузером и убедиться, что правило действительно отдано пользователям и роботам. При нескольких слоях инфраструктуры — например, CMS, CDN и серверных правил — итоговый файл может отличаться от ожидаемого.
3. Не путайте обучение моделей с AI Overviews и AI Mode
Запрет Google-Extended не является способом исключить страницы из AI Overviews или AI Mode. По документации Google, для права на показ в этих функциях достаточно соблюдения обычных технических требований Google Search: страница должна индексироваться и быть пригодной для показа со сниппетом.
Если задача состоит именно в ограничении поискового показа, понадобится управлять индексированием и сниппетами через стандартные механизмы Google Search. Это уже другое решение с другой ценой: оно может уменьшить органический трафик. Его нельзя маскировать под политику запрета обучения.
4. Сохраните доказательства настроек
Для юридической и операционной дисциплины полезно сохранить дату изменения, текст robots.txt, скриншот настройки CDN и перечень затронутых разделов. Это пригодится, если правила обновятся автоматически или понадобится объяснить команде, почему конкретная страница осталась доступной поиску.
Как проверить, что Google не потерял страницы
После изменения robots.txt не стоит ориентироваться только на ощущение или одну поисковую проверку по названию бренда. Нужен короткий контрольный набор метрик и технических сигналов.
Проверка в Search Console
В первую очередь стоит использовать проверку URL для нескольких страниц из разных типов: главной, коммерческой, статьи и материала из раздела, который чаще всего получает органический трафик. Важно убедиться, что Google может получить страницу и что она не закрыта директивами индексации.
Затем в отчёте «Страницы» следует отслеживать причины исключения URL. Резкий рост статусов, связанных с robots.txt, после обновления правил требует немедленной проверки конфигурации.
Наконец, нужно сравнить периоды до и после изменения по:
- кликам и показам из веб-поиска;
- числу проиндексированных страниц;
- страницам и запросам с наибольшей долей органического трафика;
- странам и устройствам, если важны локальные рынки или мобильная аудитория.
В 2026 году Google развернул отдельные отчёты видимости в генеративных функциях поиска. В них доступны показы, URL, страны, устройства для поиска и динамика по датам. При этом они не заменяют обычную оценку SEO: в отчёте важнее смотреть тренд и состав страниц, чем пытаться трактовать каждый показ как отдельный визит.
Google подчёркивает, что для AI Overviews и AI Mode сохраняются базовые практики SEO: специальных требований для попадания в эти функции нет.
Почему позиция в ИИ-выдаче не даёт точного ориентира
Традиционная средняя позиция плохо описывает ответ с несколькими блоками, раскрывающимися ссылками и разным набором источников. По разъяснениям Google, ссылка внутри AI Overview получает в данных позицию самого блока, а не точное место ссылки в нём. Показы тоже считаются по правилам отображения блока, а часть скрытых ссылок учитывается после раскрытия.
Поэтому отчёт по генеративным функциям не стоит использовать для вывода «страница занимает третье место в ответе ИИ». Корректнее ставить другие вопросы:
- какие страницы регулярно появляются в таких функциях;
- растут или падают их показы;
- меняется ли общий органический трафик этих URL;
- приносят ли переходы вовлечённость и целевые действия.
Именно связка Search Console, веб-аналитики и данных о контенте помогает отделить заметность от результата. Для SMM-команд тот же принцип полезен в аналитике соцсетей: охват сам по себе не показывает ценность публикации, пока не понятны источник, реакция и дальнейшее действие аудитории.
Ошибки, из-за которых защита контента превращается в потерю трафика
Первая ошибка — применить общий запрет ко всем роботам. Так можно случайно заблокировать Googlebot и лишить сайт новых обходов и переиндексации.
Вторая — считать, что отказ от обучения автоматически запрещает цитирование в поисковой функции с ИИ. Это разные механизмы. Google-Extended управляет использованием материалов для обучения Gemini, а поисковая доступность определяется правилами Google Search.
Третья — менять robots.txt без базового замера. Если до изменения не зафиксированы ключевые URL, показы и клики, команда не сможет быстро отделить последствия настройки от сезонности, обновления контента или изменений спроса.
Четвёртая — не учитывать инфраструктуру. robots.txt может генерироваться CMS, переписываться CDN или иметь разные версии для домена и поддомена. Проверять нужно публичный ответ сервера, а не только поле в административной панели.
Пятая — воспринимать запрет как полноценную защиту от копирования. robots.txt выражает правило для добросовестных роботов, но не заменяет защиту авторских прав, договорные условия, ограничение доступа к закрытым материалам и мониторинг бренда.
Политика доступа к ИИ должна стать частью контент-стратегии
Решение о запрете обучения нельзя оставлять только администраторам сайта. Оно затрагивает редакцию, SEO, юридическую функцию и команду, которая отвечает за контент-маркетинг.
Полезно заранее определить три уровня контента:
- Открытые материалы для поисковой дистрибуции. Статьи, справочные страницы и исследования, которым важны охваты и присутствие в Google.
- Материалы с ограниченной ценностью для обучения. Например, авторские базы, платные отчёты или контент, доступный после авторизации.
- Материалы, требующие отдельного контроля. Лицензированные изображения, персональные данные, документы партнёров и закрытые данные клиентов.
Такая карта помогает не принимать техническое решение «запретить всё» из-за одного чувствительного раздела. Для каждого уровня можно выбрать свою комбинацию доступа, индексации и лицензирования.
Управлять этой политикой стоит как частью общей аналитики. Изменения в индексации, поисковых охватах и цитировании важно сопоставлять с публикационным календарём, обновлениями сайта и реакцией аудитории. FollowPulse помогает собрать данные по соцсетям и мессенджерам рядом с мониторингом бренда, чтобы оценивать эффект контента не по одному каналу.
Чеклист
- Зафиксировать текущие клики, показы и список приоритетных страниц в Search Console.
- Проверить публичный robots.txt, метатеги robots и X-Robots-Tag на ключевых URL.
- Оставить Googlebot доступ к разделам, которые должны сохранять видимость в Google.
- Добавить или включить отдельный запрет для Google-Extended и Applebot-Extended.
- В Cloudflare проверить, что выбрана настройка Disallow AI Training, а не общий Block.
- Через несколько дней и затем регулярно отслеживать статусы страниц, обход и динамику органического трафика.
- Вести журнал изменений правил и пересматривать его после обновлений CDN, CMS или поисковых требований.
FAQ
Можно ли запретить обучение ИИ на контенте и остаться в поиске Google?
Да. Для Google нужно не блокировать Googlebot и отдельно использовать Google-Extended для выражения запрета на обучение Gemini. Это сохраняет поисковую доступность, если на страницах нет других запретов на индексацию.
Повлияет ли Google-Extended на показы в AI Overviews?
Нет, Google указывает, что Google-Extended не управляет включением сайта в Google Search и не является способом запретить показ в AI Overviews или AI Mode. Для этих функций действуют обычные требования поисковой доступности страницы.
Нужно ли блокировать Googlebot, чтобы контент не использовали для обучения?
Нет. Блокировка Googlebot затрагивает обход для поиска и может привести к потере индексации. Для обучения Gemini предусмотрен отдельный токен Google-Extended.
Как проверить, что robots.txt не ухудшил поисковую видимость?
Нужно проверить несколько URL в Search Console, отслеживать причины исключения страниц и сравнивать клики, показы и индексируемость с периодом до изменения. Отдельно следует убедиться, что публичный robots.txt соответствует настройке в CDN.
Можно ли увидеть точную позицию ссылки внутри AI Overview?
Нет, точной позиции ссылки внутри блока отчёт не показывает. В данных Search Console ссылка наследует позицию AI Overview как поискового блока, поэтому для оценки полезнее анализировать показы, URL, переходы и последующие действия на сайте.
Для контроля реакции на публикации и репутационных сигналов в соцсетях пригодится FollowPulse: аналитика соцсетей, Telegram Analytics и мониторинг бренда в одной рабочей среде.
Пользуйся FollowPulse и получай:
- Аналитику соцсетей
- Умный поиск информации
- Рост своего бренда
Пробный доступ — от 10 рублей.
Комментарии
Комментариев - 0