Как проверить техническое SEO сайта и понять, что там натворили

В первой статье мы разобрались, как должны быть устроены <title>, заголовки H1–H3 и внутренняя перелинковка. Но даже если на бумаге всё выглядит красиво и логично, техническая настройка SEO может превратить сайт в тот самый Хаос)

Поисковик может не найти часть страниц, неправильно понять их содержание или обнаружить сразу несколько почти одинаковых версий. Владелец сайта при этом будет смотреть на красивый дизайн и думать: «А почему клиентов из поиска нет?»

Поэтому технический SEO-аудит сайта я начинаю не с волшебных сервисов и огромных отчётов на сотню страниц. Сначала нужно понять, что вообще находится на сайте, какие страницы видят поисковые роботы и что написано в их основных SEO-элементах.

Я могу рассказать о своём подходе. В первую очередь я составляю общую схему сайта и записываю для каждой страницы:

• URL-адрес;
• <title>;
• description;
• H1;
• основные заголовки H2 и H3;
• назначение страницы.

Так сразу становится видно, где страницы повторяют друг друга, где заголовки не соответствуют содержанию, а где в <title> поселилась какая-то «чепуха», мешающая Яндексу и Google понять, о чём вообще эта страница.

Получается своеобразный скелет сайта. По нему уже можно проверить структуру, найти дубли и решить, какие страницы нужно исправить, объединить, закрыть от поисковых роботов или вообще удалить.

Как поисковые роботы находят и индексируют страницы сайта

После проверки структуры нужно понять, как поисковые роботы вообще находят страницы сайта. Сначала робот должен узнать, что страница существует: перейти на неё по внутренней или внешней ссылке либо обнаружить её в Sitemap. Затем он загружает страницу, анализирует текст, заголовки, ссылки и технические настройки, а после передаёт собранную информацию в поисковую базу. Но даже если робот успешно обошёл страницу, это ещё не означает, что Яндекс или Google обязательно добавят её в поисковую выдачу.

Можно открыть поисковым роботам все двери, накрыть стол и ждать гостей, но это ещё не гарантирует, что каждая страница попадёт в поиск. Если Яндекс или Google увидят несколько одинаковых или почти одинаковых страниц, они могут выбрать одну, а остальные посчитать дублями и не добавлять в выдачу)))

Как файл robots.txt управляет поисковыми роботами

А ещё на сайте есть файл robots.txt - своеобразный охранник у входа. Он подсказывает поисковым роботам, какие разделы сайта можно обходить, а куда заходить не нужно. И здесь достаточно одной неправильной строчки, чтобы случайно закрыть от Яндекса и Google важную страницу, целый каталог или вообще весь сайт. Внешне всё будет работать, посетители смогут открывать страницы, а поисковые роботы просто не получат к ним нормального доступа.

Как избежать дублей страниц на сайте

Чтобы потом не разгребать очередной ХАОС, лучше заранее составить план развития сайта. Например, выписать, какие страницы услуг уже есть, какие услуги ещё нужно добавить, для каких городов действительно нужны отдельные страницы и чем региональные версии будут отличаться друг от друга. Если страница для Казани полностью повторяет страницу для Чебоксар и отличается только названием города, поисковик может посчитать её дублем. Поэтому у каждой новой страницы должны быть своё содержание, предложения и польза для конкретной аудитории.

Почему Astro хорошо подходит для SEO и AI-поиска

Я выбрал Astro, потому что при сборке сайта он превращает страницы в готовый HTML. Поисковый робот открывает страницу и сразу видит <title>, заголовки, текст, ссылки и другие важные элементы. Ему не приходится ждать, пока загрузится большое количество JavaScript и сайт наконец покажет основное содержание.

Какие SEO-настройки можно контролировать в Astro

В Astro я могу контролировать практически весь технический скелет страницы: <title>, description, заголовки H1–H6, canonical, URL-адреса, внутренние ссылки и Sitemap. Это позволяет заранее задать общую схему сайта и следить, чтобы у каждой страницы были своё назначение, понятный адрес и уникальное содержание.

Конечно, сам Astro не выведет сайт в ТОП. Он не напишет полезный текст, не создаст спрос и не сделает компанию авторитетной. Но он позволяет убрать технический ХАОС и нормально показать поисковику всё, что находится на странице.

Как скорость сайта на Astro влияет на SEO

Astro по умолчанию отправляет в браузер минимум JavaScript и подключает его только там, где действительно нужна интерактивность. Благодаря этому страницы быстрее загружаются, основной контент раньше появляется на экране, а человеку не приходится ждать, пока сайт наконец оживёт. Скорость и удобство страницы важны для SEO, но это не волшебный билет в ТОП. Быстрый сайт с бесполезным контентом поисковику тоже не нужен.

Почему обычное SEO важно для AI-поиска

AI-поиск не существует отдельно от обычного поиска. Сначала поисковая система должна найти страницу, получить доступ к её содержанию, проиндексировать его и понять, о чём идёт речь. Только после этого информация со страницы может использоваться при формировании AI-ответов.

Поэтому готовый HTML в Astro полезен и для AI-поиска: заголовки, текст и ссылки сразу доступны поисковой системе и собраны в понятную структуру.

Как дубли страниц мешают SEO-продвижению сайта

На своём сайте я решил быстро создать страницы услуг сразу для нескольких городов. Основа оставалась почти одинаковой: менялись URL, название города в <title>, H1–H3 и несколько фраз внутри страницы. Тогда мне казалось, что схема отличная: один раз всё настроил и сразу получил десятки страниц под региональные SEO-запросы.

Как я создавал страницы услуг для разных городов

Для каждой услуги автоматически создавались отдельные версии под Чебоксары, Казань, Москву и другие города. Например: «Лендинг под SEO и AI-поиск в Чебоксарах», «Лендинг под SEO и AI-поиск в Казани» и «Лендинг под SEO и AI-поиск в Москве».

Как выглядели URL региональных страниц

У каждого города был свой адрес:

• /cheboksary/catalog/ai-landing
• /kazan/catalog/ai-landing
• /moscow/catalog/ai-landing

Технически всё выглядело аккуратно: отдельные URL, разные заголовки и нужный город на каждой странице. Но основное содержание почти не менялось, поэтому для поисковика это всё равно были очень похожие страницы.

Как я расширил SEO-страницы на зарубежные города

На этом я не остановился. Решил, что раз схема работает автоматически, можно таким же способом создать английские версии страниц для зарубежных городов. Так появились отдельные страницы под Алматы, Дубай, Абу-Даби и другие города мира. В <title>, заголовки и URL подставлялось нужное название, но основа контента снова оставалась практически одинаковой.

Для зарубежных страниц использовалась такая же структура URL: /en/almaty/catalog/ai-landing, /en/dubai/catalog/ai-landing, /en/abu-dhabi/catalog/ai-landing. В итоге российские и английские версии создавались автоматически по одной схеме. Саму структуру сайта и логику генерации страниц можно посмотреть в Git-репозитории: https://github.com/Daos0/RM_Syst_Astro.

Как Sitemap показал поисковикам сразу 400 страниц

После автоматической генерации региональных страниц их нужно было как-то показать Яндексу и Google. Для этого на сайте использовался Sitemap - файл со списком URL, которые поисковым роботам предлагается обойти.

В Astro Sitemap можно создавать автоматически при каждой сборке сайта. Добавил новые маршруты, пересобрал проект - и свежие страницы уже появились в карте сайта.

Казалось бы, красота: поисковому роботу не нужно случайно искать каждую страницу по внутренним ссылкам. Мы сами отдаём ему готовую карту и говорим:

«Вот все наши страницы. Заходи, изучай, добавляй в поиск!»)

Почему Sitemap не гарантирует попадание страниц в поиск

Но здесь находится важный подвох. Sitemap помогает поисковику обнаружить URL, но не заставляет его добавлять каждую найденную страницу в выдачу.

В моём случае Sitemap честно показал роботам практически весь созданный ХАОС: сотни страниц услуг, версии для разных городов, русские и английские URL.

Технически страницы существовали. Они открывались, имели собственные адреса, , H1–H3 и находились в Sitemap. Но поисковик оценивал не только наличие отдельных URL. Он сравнивал содержание страниц и видел, что многие из них отличаются друг от друга в основном названием города.

Получилось примерно так:

• Чебоксары — текст один;
• Казань — почти тот же текст;
• Москва — снова практически тот же текст;
• Дубай — английская версия той же схемы;
• Абу-Даби — ещё одна похожая страница.

Я поменял несколько слов, но для поисковика не создал несколько сотен действительно разных и полезных страниц.

Почему региональные страницы начали исчезать из индекса

Сначала всё выглядело неплохо. Часть страниц появилась в поисковой базе, и я уже мысленно праздновал победу:

«Неплохо. Около 400 страниц почти за один раз)))»

Но радость оказалась недолгой. Через несколько дней значительная часть страниц начала выпадать из индекса. Особенно быстро это происходило в Яндексе.

Поисковики нашли страницы, обошли их, сравнили между собой и, судя по результату, решили, что показывать все версии нет особого смысла.

Подмена города в URL, , H1–H3 и нескольких предложениях не сделала каждую страницу уникальной и полезной для конкретного региона.

При этом я не могу утверждать, что причиной выпадения стала только автоматическая подстановка городов. На индексацию влияет сразу много факторов:

• востребованность конкретной страницы;
• количество похожего контента;
• внутренняя перелинковка;
• canonical;
• качество и объём текста;
• авторитет сайта;
• техническое состояние страницы;
• наличие реальной пользы для пользователя.

Но именно после массового создания похожих региональных версий структура сайта превратилась в тот самый ХАОС, который мне затем пришлось долго разгребать.

Как правильно создавать страницы сайта для разных городов

Сама идея региональных страниц нормальная. Если компания действительно работает в нескольких городах, отдельные страницы могут помочь показать пользователю подходящие условия, цены, сроки и предложения.

Проблема начинается тогда, когда для каждого города создаётся одна и та же страница, а название населённого пункта просто меняется в нескольких местах.

У региональной страницы должна быть причина существовать.

Например, на ней могут отличаться:

• доступные услуги;
• стоимость и условия работы;
• сроки выполнения проекта;
• примеры работ в этом регионе;
• отзывы местных клиентов;
• особенности доставки или выезда специалиста;
• контакты регионального представителя;
• описание местного рынка и задач клиентов.

Если страница для Казани ничем не отличается от страницы для Чебоксар, кроме слова «Казань», возникает простой вопрос: зачем поисковику хранить и показывать обе версии?

Осваивать регионы лучше постепенно. Сначала сделать одну общую страницу и одну полноценную городскую версию. Затем посмотреть, приносит ли она показы, переходы и обращения. И только после этого переходить к следующему городу.

Иначе можно быстро создать 400 URL, а потом ещё быстрее получить 400 новых проблем)

Как я исправлял техническое SEO на своём сайте

После эксперимента нужно было решить, что делать со всей этой конструкцией.

Какие-то страницы вообще не попадали в поиск. Другие сначала индексировались, а затем исчезали. Города, языковые версии и услуги перемешались между собой. В английский раздел мне уже самому было страшно заходить)

Сразу всё исправить не получилось. Сайт продолжал работать, а заниматься сайтом не было времени, а ХАОС тем временем спокойно пускал корни.

Постепенно я поменял стратегию.

Какие версии сайта я решил оставить

Вместо десятков почти одинаковых региональных направлений я оставил:

• общую русскоязычную версию сайта;
• общую английскую версию;
• отдельное направление для Чебоксар.

Чебоксары я выбрал не потому, что поисковик особенно любит этот город, просто я тут живу. Для Чебоксар я оставил главную страницу и несколько основных страниц услуг из каталога. Остальные материалы сохранил в общей версии без автоматического размножения под каждый город.

Ненужные региональные страницы сначала закрыл, а затем удалил.

Почему удалённые страницы не исчезают из поиска сразу

После удаления URL история не заканчивается.

Поисковики уже успели узнать об этих страницах, сохранить информацию о них и добавить часть адресов в свою базу. Поэтому удалённая страница не исчезает из памяти Яндекса или Google мгновенно.

Роботу нужно снова зайти на сайт, проверить старый URL, увидеть изменения и обновить поисковый индекс.

Из-за этого некоторое время в сервисах для веб-мастеров могут оставаться:

• старые адреса;
• сообщения об исключённых страницах;
• дубли;
• ошибки обхода;
• URL, которых на сайте уже фактически нет.

И это заметно затягивает индексацию уже исправленного сайта. Саму структуру можно привести в порядок за один день, но поисковым системам потребуется время, чтобы заново обойти страницы, увидеть изменения и обновить свой индекс.

Как я разделил общие и региональные страницы

Для общей версии сайта и раздела Чебоксар я сделал разные блоки каталога и отдельные тексты.

Теперь региональная страница должна была отличаться не только названием города в заголовке. У неё появлялись собственная задача, своё содержание и понятная польза для местной аудитории.

Так структура стала значительно проще:

• общие услуги представлены в основной версии сайта;
• отдельные страницы Чебоксар развивают региональное направление;
• английская версия существует как самостоятельный раздел;
• лишние автоматически созданные города больше не размножаются без необходимости.

Поисковику стало проще понять, какая страница за что отвечает. Мне самому — тоже)

Нужны ли специальные настройки для AI-поиска

Отдельно перестраивать сайт под AI-поиск не нужно. Сначала поисковая система всё равно должна найти страницу, получить доступ к её содержанию, проиндексировать его и понять, о чём вообще идёт речь.

Поэтому основа остаётся прежней: доступный HTML, понятная структура, нормальные и заголовки, внутренняя перелинковка и уникальный текст. Если на странице находится копия другого материала или очередная «чепуха», никакая специальная AI-разметка её не спасёт.

Astro здесь помогает технически: поисковая система сразу получает готовый HTML с текстом, ссылками и заголовками. Но сам фреймворк не решает, насколько полезной и уникальной получилась страница.

Что я понял после эксперимента с техническим SEO

Создать сотни страниц автоматически оказалось несложно. Сложнее было объяснить поисковику, зачем каждая из них вообще нужна)

У меня были отдельные URL, , заголовки H1–H3, быстрый HTML и автоматически созданный Sitemap. Технически всё выглядело аккуратно. Но внутри находились практически одинаковые страницы, в которых менялось в основном название города.

В результате часть страниц не попала в индекс, часть появилась и потом исчезла, а мне пришлось разбирать весь созданный ХАОС.

Поэтому теперь я стараюсь не размножать страницы заранее. Сначала делаю одну полноценную версию, добавляю собственный текст, предложения и пользу для конкретной аудитории. Следующую страницу создаю только тогда, когда она действительно отличается от уже существующей.

Техническое SEO помогает поисковику найти сайт, правильно его обойти и понять структуру. Но даже идеально настроенный сайт ещё не становится авторитетным автоматически.

Остаётся следующий вопрос: почему Яндекс, Google или AI-поиск должны доверять именно нашему сайту и показывать его выше конкурентов?

Об этом поговорим в следующей статье — «Ссылочный вес сайта: как повысить авторитет в SEO и AI-поиске».