Gemini Notebook уже забирает страницы в обход robots.txt: что менять в защите контента до августа 2026

Google дал владельцам сайтов лишь несколько недель на переход: старый user-agent Google-NotebookLM поддерживается только до августа 2026, после чего правила на его основе перестанут ловить обращения Gemini Notebook. Если задача — блокировать AI-скрейпинг и защитить контент от Gemini Notebook, одного robots.txt недостаточно: этот fetcher относится к user-triggered fetchers, а значит, доступ приходится закрывать на уровне firewall или .htaccess.

Для digital-маркетинга, SMM и контент-маркетинга это не частная техническая правка. Речь о сервисе, который может подтягивать страницы по URL или через функцию Discover Sources, собирать до десяти источников по теме, делать сводку без реферального трафика, а затем переупаковывать материал в аудио- и видеоформаты. Для редакций, брендов и команд, которые вкладываются в аналитические тексты, исследования и Telegram-маркетинг, это уже вопрос не только SEO, но и контроля над повторным использованием контента.

Search Engine Journal обратил внимание на то, что Google не менял саму логику продукта: NotebookLM просто переименован в Gemini Notebook. Но вместе с ребрендингом изменились сигнатуры, по которым многие сайты отслеживали или блокировали обращения. Именно здесь и возникает практический риск: защита может казаться включённой, хотя по факту она уже смотрит в устаревшее имя.

Почему Gemini Notebook стал отдельной проблемой для контент-команд

Главная проблема не в самом факте сканирования страниц. Поисковые системы и сервисы аналитики давно забирают контент для индексации, предпросмотра и анализа. Здесь ситуация другая: Gemini Notebook работает как пользовательский fetcher, который помогает собирать материалы в исследовательский проект, а затем пересобирать их в новый формат.

Из опубликованного описания Google и разбора Search Engine Journal вытекают три практических последствия.

• Реферальный трафик не гарантирован. Если страница попала в Discover Sources и была использована для сводки, это не означает перехода на исходный сайт. Для контент-маркетинга это болезненно: контент участвует в ответе, но не получает визит.
• Смысловой слой может быть отделён от исходной страницы. Текст, структура и выводы статьи становятся частью краткого ответа, аудиообзора или видеообъяснения. Пользователь потребляет суть, не обязательно доходя до автора.
• Возникает вторичный конкурентный контур. Если пересобранный материал публикуется дальше, он начинает конкурировать с исходником за внимание, поиск по теме и обсуждение в соцсетях.

Для брендов это особенно чувствительно в темах, где ставка делается не на новость как таковую, а на интерпретацию данных: аналитика соцсетей, мониторинг бренда, Telegram-маркетинг, репутационные разборы, правовые комментарии для маркетинга. Здесь ценность текста часто не в заголовке, а в логике, подборе фактов и выводах. Если этот слой начинает распаковываться без перехода к первоисточнику, экономика контента меняется.

Есть и ещё один нюанс. Многие команды до сих пор воспринимают защиту от ИИ-сервисов как расширение SEO-настроек. На практике это уже ближе к политике доступа к контенту. Вопрос звучит не так: «Хотим ли мы индексироваться?» Вопрос другой: «Какие типы автоматического использования допустимы для открытых материалов, а какие нет?»

Почему robots.txt здесь не работает и что именно изменил Google

В случае Gemini Notebook упираются не в синтаксис robots.txt, а в статус самого fetcher. Google относит его к user-triggered fetchers, то есть обращения инициируются действиями пользователя. Для таких систем robots.txt не считается обязательной директивой.

Это ключевой момент, который часто теряется в обсуждениях. Можно аккуратно прописать правила для ботов, закрыть отдельные разделы сайта и даже считать вопрос решённым, но для Gemini Notebook такой подход не даёт гарантии. Если защита строится только на robots.txt, контент всё равно может быть запрошен.

Параллельно Google обновил документацию по user-triggered fetchers. Из неё исчезло упоминание Google-NotebookLM как основной сигнатуры и появился новый user-agent Google-GeminiNotebook в составе мобильного и десктопного браузерного заголовка. Старое имя Google оставил лишь как временно поддерживаемое, до августа 2026.

Смысл для владельца сайта предельно прикладной. Если где-то жёстко прошита старая строка Google-NotebookLM, её нужно заменить. Иначе блокировка просто перестанет срабатывать, даже если правило формально никуда не делось.

В changelog Google сформулировал это коротко:

“update the string to avoid potential bugs.”

Отдельно примечательно, что из документации убрали и ссылку на Project Mariner как пример связанного продукта. Для повседневной защиты сайтов это не главная новость, но она показывает общее направление: Google зачищает старые названия и приводит список fetchers к новой продуктовой схеме. Значит, проверять нужно не только robots.txt, но и все точечные правила в .htaccess, WAF, CDN и системах логирования.

Где реально блокировать скрейпинг Gemini Notebook

Если задача — именно остановить доступ, работать приходится на уровне сервера или сетевого периметра. В зависимости от стека это может быть .htaccess, правило в веб-сервере, WAF или фильтр на стороне CDN.

.htaccess и Apache: минимальный рабочий вариант

Search Engine Journal привёл базовый пример для Apache:

RewriteEngine On

# Block Google-GeminiNotebook
RewriteCond %{HTTP_USER_AGENT} Google-GeminiNotebook [NC]
RewriteRule ^ - [F,L]

Этот вариант решает главную задачу: любые запросы с новой сигнатурой получают отказ. Но в переходный период до августа 2026 практичнее перекрывать и новое, и старое имя, чтобы не оставить окно между ревизиями правил.

Пример для переходного периода:

RewriteEngine On

# Block Gemini Notebook and legacy NotebookLM agent during transition
RewriteCond %{HTTP_USER_AGENT} (Google-GeminiNotebook|Google-NotebookLM) [NC]
RewriteRule ^ - [F,L]

Здесь важна точность. Блокировать стоит именно совместимую сигнатуру Google-GeminiNotebook, а не мобильный или десктопный Chrome целиком. Иначе можно случайно задеть обычных пользователей и сторонние сервисы.

WAF, CDN и firewall: когда правил в .htaccess уже мало

Для крупных медиа, SaaS и нагруженных контентных проектов логичнее поднимать защиту выше — на уровень WAF или CDN. Причина проста: правила там легче централизованно обновлять, тестировать и журналировать.

Практический подход выглядит так:

• на уровне WAF создаётся правило по User-Agent, содержащее Google-GeminiNotebook;
• до августа 2026 в него добавляется и Google-NotebookLM;
• для правила включается логирование с пометкой причины блокировки;
• после включения смотрят, нет ли ложных срабатываний по легитимным браузерным обращениям.

Если сайт обслуживается несколькими приложениями или доменами, такой путь надёжнее локальных правок в отдельных .htaccess. Для агентств и in-house команд это ещё и вопрос операционной дисциплины: одно правило в периметре проще контролировать, чем искать совпадения по десяткам проектов.

Логи и проверка: защита должна быть не только настроена, но и подтверждена

Техническая ошибка здесь типовая: правило добавлено, но никто не проверил, были ли реальные обращения и начала ли система их резать. После обновления правил имеет смысл посмотреть access logs и события WAF хотя бы по трём параметрам:

• есть ли входящие запросы с Google-GeminiNotebook;
• продолжают ли появляться обращения со старым Google-NotebookLM;
• возвращается ли на эти запросы ожидаемый статус отказа.

Если в логах вообще нет таких записей, это не повод успокаиваться. Возможно, сервис ещё не обращался к конкретному сайту; возможно, обращения идут редко; возможно, журналирование не сохраняет User-Agent. Поэтому защита от AI-скрейпинга в этом случае — это не одноразовая правка, а регулярная проверка технических сигналов.

Что это меняет для SEO, аналитики соцсетей и контент-маркетинга

История с Gemini Notebook выглядит узкотехнической только на первом уровне. На уровне стратегии контента она бьёт по трём метрикам сразу: охваты, вовлечённость и возврат на вложения в контент.

Первое изменение касается органического спроса. Если всё больше сервисов отдают пользователю сводку по теме, часть информационных запросов начинает закрываться до клика. Для SEO это означает не только риск падения CTR, но и снижение ценности материалов, которые создавались как точка входа в экспертную воронку.

Второе изменение связано с репутацией источника. Когда суть исследования или статьи пересказывается в другом интерфейсе, бренд автора может исчезнуть из поля внимания. Для контент-маркетинга это уже не спор о лицензиях, а вопрос узнаваемости экспертизы. Публикация остаётся источником интеллектуальной работы, но перестаёт быть обязательной остановкой для аудитории.

Третье изменение касается измерения. Командам приходится шире смотреть на аналитику соцсетей и мониторинг бренда: не только считать прямой трафик на статью, но и отслеживать, где её тезисы, изображения и выводы начинают жить отдельно от оригинала. В таких сценариях полезны инструменты, которые помогают замечать копии, вторичные публикации и переработанные упоминания. Для этой задачи можно использовать FollowPulse: платформа помогает собирать сигналы по соцсетям и мессенджерам, искать копии и отслеживать, где тема расходится дальше исходной площадки.

Для SMM и Telegram-маркетинга есть отдельный прикладной вывод. Часть ценности приходится переносить из длинного открытого текста в форматы, которые сложнее вытащить без потери контекста: последовательные серии публикаций, живые комментарии экспертов, регулярные обновления, работа с сообществом, быстрые реакции на рынок. Иными словами, защищать нужно не только страницу, но и модель распространения смысла.

Блокировать всё подряд не всегда выгодно

Соблазн здесь понятен: если сервис не даёт переходов, лучше закрыть ему весь контент. Но для digital-маркетинга такая логика не всегда оптимальна. Решение зависит от того, на чём именно строится отдача от материала.

Есть контент, который разумно защищать жёстко:

• оригинальные исследования и отраслевые обзоры;
• экспертные колонки с собственной интерпретацией рынка;
• обучающие материалы, из которых можно быстро собрать сводку без клика;
• страницы с высокой стоимостью производства: большие лонгриды, white paper, отраслевые базы знаний.

Есть и другой тип материалов, где полная блокировка может навредить больше, чем помочь:

• новости, где ценность живёт несколько часов;
• базовые справочные страницы, поддерживающие общий охват бренда;
• SEO-материалы верхнего уровня, которые работают как точка первого знакомства;
• тексты, в которых основная конверсия происходит не из самого просмотра статьи, а из дальнейшего маршрута пользователя по продукту.

Поэтому вместо универсального запрета чаще нужна матрица доступа. Часть контента оставляется открытой, часть закрывается для конкретных fetchers, часть уводится в формы, подписки или gated assets. Для маркетинга это уже не чисто техническая защита, а настройка экономической модели контента.

Здесь полезен и более широкий мониторинг. Если после публикации сильной статьи растёт число вторичных пересказов, а прямой трафик не растёт пропорционально видимости темы, это сигнал пересмотреть политику доступа. FollowPulse уместен в такой связке как слой наблюдения: по нему проще увидеть, как расходятся упоминания, где усиливается обсуждение и какие форматы лучше удерживают внимание в Telegram и соцсетях.

Практический подход для редакции, бренда и агентства

У этой истории нет одной кнопки. Рабочая схема обычно строится в три слоя.

Первый слой — технический. Здесь обновляют сигнатуры блокировки, проверяют .htaccess, WAF, CDN и журналы. Главный риск — забыть про устаревший Google-NotebookLM и не добавить Google-GeminiNotebook.

Второй слой — контентный. Здесь определяют, какие материалы можно отдавать в открытый доступ без серьёзных потерь, а какие лучше защищать строже. Для этого полезно смотреть не только на трафик, но и на стоимость производства, глубину экспертизы и вероятность переработки без атрибуции.

Третий слой — аналитический. Здесь оценивают не просто посещаемость статьи, а полный след публикации: поисковый спрос, обсуждение в соцсетях, вторичные упоминания, Telegram-репосты, повторное использование тезисов и изображений. В 2026 году защита контента — это уже не только вопрос сервера. Это часть системы измерения, в которой digital-маркетинг соединяется с мониторингом бренда и управлением дистрибуцией.

Чеклист

1. Проверить, используются ли в .htaccess, WAF, CDN или firewall правила по Google-NotebookLM, и добавить Google-GeminiNotebook.
2. Убедиться, что защита строится не только на robots.txt, потому что user-triggered fetchers его не обязаны соблюдать.
3. Настроить логирование обращений по обоим user-agent в переходный период до августа 2026.
4. Протестировать ответы сервера на такие запросы и убедиться, что легитимный пользовательский трафик не затронут.
5. Разделить контент на группы: открытый охватный, экспертный аналитический, премиальный или дорогостоящий в производстве.
6. Для наиболее ценных материалов пересмотреть модель дистрибуции: часть выводов переносить в подписки, серии публикаций, Telegram и форматы с более сильной связью с брендом.
7. Отслеживать вторичные упоминания, копии и переработки темы в соцсетях и мессенджерах, чтобы оценивать не только трафик, но и реальное распространение контента.

FAQ

Можно ли закрыть Gemini Notebook через robots.txt

Нет, этого недостаточно. Gemini Notebook относится к user-triggered fetchers, а такие обращения не обязаны подчиняться правилам robots.txt. Рабочая блокировка ставится на уровне сервера, WAF или firewall.

Какой user-agent нужно блокировать после ребрендинга NotebookLM

Основной актуальный идентификатор — Google-GeminiNotebook. До августа 2026 имеет смысл держать блокировку и для старого имени Google-NotebookLM, потому что Google оставил переходный период.

Что именно делает Gemini Notebook с веб-страницами

Сервис может подтягивать URL, использовать функцию Discover Sources для поиска материалов по теме, собирать несколько источников в проект и формировать сводки. Также платформа поддерживает аудио- и видеообзоры на основе загруженного или найденного контента.

Почему блокировка Gemini Notebook важна для SEO и контент-маркетинга

Потому что часть смысловой ценности статьи может быть использована без перехода на исходную страницу. Для SEO это риск снижения кликов по информационным запросам, а для контент-маркетинга — потеря прямого контакта с аудиторией при сохранении затрат на производство материала.

Стоит ли блокировать все ИИ-fetchers без исключения

Не всегда. Для новостей и охватных материалов тотальная блокировка может оказаться невыгодной. Жёстче обычно защищают исследования, экспертные разборы и контент с высокой себестоимостью, где основная ценность сосредоточена в интерпретации и структуре.

Как понять, что контент уже используется без заметного реферального эффекта

Один из признаков — тема начинает расходиться по соцсетям, Telegram-каналам и вторичным публикациям, а прямой трафик и брендовые переходы не растут сопоставимо охвату обсуждения. В такой ситуации полезно совмещать веб-аналитику с мониторингом бренда и аналитикой соцсетей.

Короткий вывод практический: защита от Gemini Notebook в 2026 году — это не спор о терминологии и не косметика для robots.txt, а проверка всей политики доступа к контенту. Если нужна не только публикация, но и контроль над тем, как она живёт дальше в соцсетях, Telegram и вторичных пересказах, уместно подключить FollowPulse для мониторинга сигналов и распространения темы.

Пользуйся FollowPulse и получай:

• Аналитику соцсетей
• Умный поиск информации
• Рост своего бренда

Пробный доступ — от 10 рублей.

Попробовать FollowPulse