ЩО ТАКЕ GOOGLE SUPPLEMENTAL INDEX АБО «СОПЛІ ГУГЛ»

Уявіть, що ви заходите у магазин одягу. На вішаках та манекенах — новинки. На полицях лежать акуратно складені товари з попередніх колекцій. Є столик з акційними товарами, їх також чудово видно. Найбільш помітні сезонні пропозиції. І мало хто здогадується, що на складі зберігаються позиції, які вже давно не рекламуються. Їх можна купити, але про цей одяг ніхто не запитує, тому що він захований. Для магазину значно вигідніше звільнити місце для популярного одягу, який принесе бренду прибуток.

Впродовж тривалого періоду аналогічною була ситуація з додатковим індексом пошукових систем. Google та інші пошуковики ховали вебсторінки, які не відповідали важливим критеріям якості. Сторінки могли бути надто старими, нецікавими, дубльованими. І якщо таких на сайті було забагато — це впливало на ранжування вебресурсу в цілому.

Про що йде мова?

• Основний індекс і додатковий індекс Google
  • Чому вебсторінки потрапляли у Google Supplemental Index?
  • Як уникали попадання у Supplemental Index?
• Висновки

Основний індекс і додатковий індекс Google

До 2007 року існувала вторинна база даних — GoogleSupplemental Index (SI). Розглянемо фактори, які впливали на потрапляння вебсторінок у сховище пошуковиків і які варто знати власникам сайтів і SEO-спеціалістам і на сьогодні.Визначити наявність сторінок у додатковому індексі колись можна було за допомогою оператора site, який використовується з URL-адресою сайту, наприклад: site: marketing.link. Однак зараз таким чином ми можемо побачити лише кількість проіндексованих сторінок — якщо прогортаємо видачу Google за нашим запитом до кінця.

Раніше пошукова система виводила на останній сторінці видачі повідомлення про те, що частина результатів за запитом прихована.

Так виглядав додатковий індекс раніше.

Проте з 2006 року Google повністю змінив свій підхід до сканування та індексації додаткових результатів.

«… ми індексуємо URL-адреси з більшою кількістю параметрів і продовжуємо накладати менше обмежень на сайти, які ми скануємо. Як наслідок, Додаткові результати оновлені та повніші, ніж будь-коли. Ми також працюємо над тим, щоб показувати більше Додаткових результатів, гарантуючи, що кожен запит може здійснювати пошук у додатковому індексі, і плануємо розгорнути це протягом літа. Таким чином, різниця між основним і додатковим індексом продовжує звужуватися». «Supplemental goes mainstream», Google Search Central

У 2007 році Google офіційно скасував видиме позначення Додаткового індексу, інтегрувавши ці сторінки з основним індексом, хоча різниця між сторінками з різною оцінкою, ймовірно, досі неявно існує в системах індексації та рейтингу Google.

«Так, до 2010 року Google підтримував два індекси з технічних причин. Основний покажчик оновлювався частіше та швидше, а додатковий індекс був для сторінок меншої важливості, які не потрібно було оновлювати так швидко». «Reminder: The Google Supplemental Index Has Not Existed In Over A Decade», Search Engine Roundtable

Google додавав у основний індекс виключно корисні, інформативні та унікальні сторінки. Якщо алгоритми пошуковика оцінювали якусь сторінку сайту як неважливу для основного індексу, вона потрапляла у supplemental results. Українські SEO-спеціалісти називали ці результати ще частково співзвучним сленгом «соплі Google».

Додатковий індекс Google негативно впливав на ранжування сайту, оскільки сторінки, проіндексовані як неосновні, часто вважалися менш важливими. Відповідно, рейтинг у результатах пошуку був нижчим, сторінку не бачили та не відвідували користувачі. 

А у 2009 році Google вже тестував новий метод індексування — Caffeine. Він запрацював на повну у 2010 році, коли використання додаткового індексу цілком припинилося.

Supplemental results допомагали відокремити низькоякісний контент і дублювання вмісту, зокрема, повторювані описи на сторінках одного і того ж сайту. І хоча додаткового індексу як такого вже не існує, той же скопійований контент, як і штучно згенерований, має нижчий пріоритет і погано впливає на видимість вебресурсу у результатах пошуку.

Як це працювало?

1. Google сканував інтернет за допомогою ботів, індексуючи вміст вебсторінок. В основній базі даних він обробляв новий і найбільш релевантний вміст.
2. Алгоритми Google вибирали, який контент є не дуже важливим, не відповідним запитам ЦА та ключовим словам, або просто застарілим. Сторінки з таким наповненням додавалися до вторинного індексу.
3. Оновлення індексу у додаткових результатах відбувалося значно рідше, ніж в основних, тож пріоритет таких сторінок був нижчим, як і рейтинг та видимість.

Вже понад 15 років результати основного та додаткового індексів поєднуються на сторінці результатів пошуку. При цьому Google ще більше уваги приділяє релевантності контенту, його унікальності, природності та факторам E-E-A-T (експертність, досвід автора, авторитетність і надійність).

Чому вебсторінки потрапляли у Google Supplemental Index?

Існував ряд поширених помилок, яких слід уникати й на сьогодні. Адже, хоча поняття додаткового індексу вже давно не актуальне, практично усі фактори, що призводили до попадання сторінок у Google Supplemental Index, погано впливають на просування сторінок і зараз.

• Дублювання контенту. Прискіпливий фільтр Panda дивиться навіть на дублі всередині сайту. Тож якщо у вас є повтори контенту на різних сторінках, і на цей час ви нічого з цим не можете зробити, закривайте всі неунікальні сторінки від індексування у файлі robots.txt.

Директива Disallow забороняє індексацію.

• Погано продумана структура сайту, складна навігація. Це погано і для користувацького досвіду, тож регулярно проводьте аудит сайту. Якщо сканери пошукової системи не можуть легко орієнтуватися на вебресурсі, ймовірно, вони не проіндексують деякі сторінки. Тож подбайте про наявність XML-карти й попрацюйте над тим, щоб структура сайту була максимально передбачуваною та зручною.
• Глибоко вкладені сторінки. Цей критерій стосується попереднього пункту списку. Якщо для того, щоб знайти сторінку, користувачеві доводиться клікати мишкою більше ніж чотири рази, це негативно сприйматимуть і самі юзери, і пошуковики. Спрощуйте архітектуру, робіть важливі сторінки доступними.
• Низький PageRank. Покращуйте показник за допомогою якісної посилальної стратегії та її послідовного впровадження. Це стосується як беклінків на авторитетних ресурсах, так і внутрішньої перелінковки.
• Незначний вміст. Не публікуйте на сторінці одне-два речення і тим більше не залишайте її порожньою. Сконцентруйте свою увагу на створенні якісного експертного контенту. Навіть якщо це просто описи товарів чи послуг. Вони мають свої правила написання, тож вчіться створювати різні типи текстів, інфографіку, відео та в цілому готувати класні матеріали, які Google високо оцінить, а відвідувачі сторінки — переглянуть чи навіть поширять.
• Рідкісні оновлення теж можуть викликати недовіру з боку пошукових систем. Оновлюйте контент. Наприклад, до статті у блозі можна додати цитату експерта, цікаве зображення чи відеоролик.
• Повна відсутність зовнішніх посилань роблять сайт менш авторитетним. Дотримуйтеся балансу: надмірне використання партнерських посилань, а особливо наявність на сторінці посилань на сумнівні ресурси — «червоний прапорець» для Google.
• Сторінка, тема якої суттєво відрізняється від змісту сайту, також викликає підозри пошуковиків. Аналогічно зі згенерованими штучним інтелектом текстами. Коли Supplemental Index ще існував як такий, проблеми штучності ще не існувало, однак актуальною була заспамленість та низька унікальність контенту. Все це у поєднанні важливо і зараз.
• Відсутні метатеги title, description чи їх повтори на сайті також могли загнати вебсторінки у додатковий індекс.
• Причиною попадання сторінки у supplemental index може бути і некоректна внутрішня перелінковка, і неправильне налаштування файла Robots.txt. Аудит сайту дозволяє виявити та усунути ці помилки.

Причиною попадання сторінки у supplemental index може бути і некоректна внутрішня перелінковка, і неправильне налаштування файла Robots.txt. Аудит сайту дозволяє виявити та усунути ці помилки.

Як уникали попадання у Supplemental Index?

Щоб пошукові системи рекомендували користувачам вебсторінки сайту, слід регулярно працювати з SEO. Адже додатковий індекс — далеко не єдина проблема, яка могла виникнути у власника вебресурсу. 

Послідовність у просуванні сайту дозволить вам нарощувати цільовий органічний трафік. Для цього виконуйте комплекс дій, які раніше використовували для уникнення попадання в Supplemental Index.

• Переконайтеся, що на сайті немає скопійованого з інших ресурсів контенту. Якщо такий є, замініть його унікальними статтями, зображеннями, відео. Не забувайте про метатеги та ключові слова.
• Перевірте якість посилальної маси (кількість беклінків, їх якість, релевантність). Використовуйте сервіси Google Search Console, Ahrefs (Domain Rating і Backlink Checker), Moz Spam Score.
• Для сторінок, які не можна покращити (та й не дуже потрібно), наприклад, «Політика конфіденційності», використовуйте тег «noindex». Таким чином вони не будуть індексуватися і не впливатимуть на SEO-показники вебресурсу.

«Ви можете запобігти появі нового вмісту в результатах, додавши слаг URL-адреси до файлу robots.txt . Пошукові системи використовують ці файли, щоб зрозуміти, як індексувати вміст веб-сайту. Вміст системних доменів HubSpot, що містить hs-сайти, завжди встановлюється як no-index у файлі robots.txt.  Якщо пошукові системи вже проіндексували ваш вміст, ви можете додати мета-тег “noindex” до HTML заголовка вмісту. Це дозволить пошуковим системам припинити відображати його в результатах пошуку». «Prevent content from appearing in search results», HubSpot

• Оптимізуйте внутрішню перелінковку, а саме — додавайте посилання на важливі сторінки зі сторінок першого і другого рівня вкладеності, а також з навігаційного меню.
• Застосовуйте перенаправлення 301 для постійно переміщених сторінок і канонічних тегів.
• Важливим фактором є швидкість сайту. Звертайте особливу увагу на те, чи немає проблем із завантаженням вебресурсу та окремих елементів на мобільних пристроях, а також чи нічого не «з’їжджає», чи працюють форми та чи зручно їх заповнювати. Низький показник відмов демонструє пошуковим системам, що сайт корисний для користувачів.
• Публікуйте якісний контент, що відповідає вимогам E-E-A-T. Вміст вебсторінок має бути надійним, експертним, авторитетним та відображати досвід автора. Чудово, якщо ваш копірайтер є спеціалістом у конкретній вузькій сфері, про яку пише. Глибокі знання зроблять будь-які матеріали більш унікальними, цінними та природними.

Відстежуйте ефективність за допомогою інструментів Google Analytics і Google Search Console. Робіть це до і після кожної зміни, яку ви вносите на сайт.

Період, коли попадання у додатковий індекс було реальним ризиком для власників сайтів давно минув, однак усі критерії оцінювання сайтів пошуковиками залишилися актуальними. Ба більше — розпочалася епоха штучного інтелекту, що суттєво вплинуло на специфіку просування вебресурсів. 

Якщо раніше контент мав бути без спаму та унікальний, то тепер додався важливий показник — природність, а точніше, відсутність штучно згенерованого вмісту. Радимо перевіряти тексти на наявність ШІ не тільки у тому випадку, якщо ви створили статтю в ChatGPT і відрерайтили її, але також у тих випадках, коли написали матеріал самостійно. 

Річ у тім, що тексти без емоційного забарвлення, особливо на популярні теми, часто зчитуються програмами як штучно згенеровані. Ймовірно, це відбувається через те, що чат-боти ШІ збирають інформацію на різних сайтах, і якщо у багатьох джерелах збігаються формулювання, ваші авторські речення можуть вважатися неунікальними та згенерованими. Перевіряйте статті в онлайн-сервісах Smodin, GPTZero, AI Detector чи OpenAI.

Висновки

До 2007 року додатковим індексом називали вторинну базу даних пошукової системи. У своєму сховищі Google зберігав вебсторінки, які вважав менш оригінальними та не дуже корисними. Також це стосувалося тих сторінок, котрі рідко оновлювалися. Таким чином пошукова система намагалася забезпечувала більш точні та цінні результати пошуку для користувачів.

У 2006 році Google почав накладати на сайти менше обмежень. Оновлені алгоритми сканування та індексації додаткових результатів. призвели до того, що у 2007 році додатковий індекс був офіційно скасований. До 2010 року пошукова система з технічних причин підтримувала обидва індекси.

Пошуковик і досі звертає увагу на якість вмісту сторінок. Додатковий індекс зник, а критерії, за якими сторінки потрапляли до нього, залишилися. Додалися нові фактори, які впливають на просування сайту негативно, наприклад, штучно згенеровані тексти. Тож щоб займати у рейтингу Google високі позиції, регулярно публікуйте на вебресурсі унікальний авторський контент і працюйте над посилальною масою сайту.

FAQ