Google радить закривати від індексації сторінки, створені для поширення за посиланням

26 жовтня Google оновив довідковий посібник про запобігання спаму, який створюють користувачі, і додав до нього розділ «Only index content meant for Search», тобто «Індексуйте лише контент, призначений для пошуку». Головна думка така: якщо сервіс створює сторінки для доступу за посиланням, для спільної роботи або як результат роботи інструмента, їх варто за замовчуванням закривати від індексації. Про оновлення написали Search Engine Roundtable і Search Engine Journal.

Що сталося

Google розширив перелік ризикових майданчиків у вступі документа. Тепер там прямо названо інструменти, де користувачі можуть публікувати спільні сторінки, згенерований контент або вебзастосунки. Також змінилося формулювання про спамерів: раніше йшлося про масове створення сайтів, тепер про масове створення сторінок або сайтів.

У новому розділі Google радить вирішити, чи має такий контент знаходитися через пошукові системи, чи тільки відкриватися людям, які отримали посилання. В останньому випадку Google рекомендує за замовчуванням застосовувати правило noindex через метатег robots або HTTP-заголовок X-Robots-Tag чи блокувати сканування в robots.txt. У журналі змін Google пояснює, що оновлення стосується блокування індексації контенту, яким діляться за посиланням, і моніторингу зловживань у Search Console.

Ось що Google пропонує робити для моніторингу:

• підтвердити сайт або піддомен у Search Console, щоб отримувати листи про ручні санкції та проблеми безпеки;
• регулярно переглядати звіти «Індексування сторінок» і «Ефективність». Сигналом тривоги є несподіване зростання кількості проіндексованих сторінок, показів або запитів, які не відповідають призначенню сайту;
• стежити за кількістю створених і проіндексованих сторінок та налаштувати сповіщення про аномалії. Наприклад, про різке зростання кількості нових публічних сторінок або про ситуацію, коли кілька користувачів створюють велику частку URL-адрес, доступних для індексації.

Порада з попередньої версії від 10 грудня 2025 року лишилася без змін: закривати noindex дописи нових користувачів, доки вони не здобудуть репутацію на платформі.

Важливий нюанс: noindex чи robots.txt

Як зазначає Search Engine Journal, власна довідка Google визнає, що robots.txt не призначений для того, щоб тримати сторінку поза Google. Якщо на заблоковану сторінку посилаються інші сайти, вона все одно може опинитися в індексі: у видачі може з'явитися її URL-адреса, а інколи й анкор посилання, але без опису. А noindex працює тільки тоді, коли сторінка не заблокована в robots.txt, бо інакше робот просто не побачить цього правила. У Search Console такі випадки позначаються статусом «Проіндексовано, хоча заблоковано файлом robots.txt». Для них Google радить зняти блокування й натомість використати noindex.

Що це означає для бізнесу

Оновлення адресоване насамперед платформам, але стосується й звичайних сайтів компаній. Сторінки з результатом калькулятора, комерційні пропозиції за посиланням, спільні документи чи розділи для клієнтів навряд чи мають з'являтися в пошуку. Якщо вони потрапляють в індекс, у Google з'являються зайві сторінки сайту, а стороннім людям може стати доступним те, що для них не призначалося. Сайтам, де користувачі можуть щось публікувати, варто ще й враховувати ризик спаму. Подібні технічні помилки, що заважають індексації, часто довго лишаються непоміченими.

Що ми радимо зробити

Ми в RBK Digital радимо пройти такий короткий чек-лист:

1. Скласти перелік типів сторінок, які сайт створює автоматично або за запитом користувача, і для кожного вирішити, чи потрібен він у пошуку.
2. Для сторінок, які не мають бути в пошуку, налаштувати noindex через метатег або X-Robots-Tag. Обов'язково перевірити, що ці адреси не заблоковані в robots.txt, інакше Google не побачить правила.
3. Підтвердити сайт у Search Console й увімкнути сповіщення.
4. Раз на місяць переглядати звіт «Індексування сторінок», особливо статус «Проіндексовано, хоча заблоковано файлом robots.txt», а також перевіряти, чи немає дивних запитів у звіті «Ефективність».
5. Якщо картина неясна, замовити перевірку сайту на індексацію та безпеку або самостійно пройти кроки з нашого посібника як провести SEO-аудит сайту.