Как понять, что там по SEO натворили
С чего начать? Думаю, это мало кого должно волновать. Но прочитать всё же стоит: так будет легче понять, что «натворили» на сайте.
Я, Роман Михайлов, могу ответить только за свой подход. В первую очередь составляю схему <title> и H1: какой заголовок должен быть у каждой страницы, что сейчас стоит на его месте и соответствует ли это реальному содержанию.
Дальше записываю H2-H3 и основные темы. Получается скелет сайта, на котором сразу видны дубли, странные названия и страницы без понятной цели.
Что поисковым роботам нужно от сайта
Поисковый робот сначала должен узнать, что страница существует. Он может найти её по внутренней или внешней ссылке либо через Sitemap. Затем робот загружает страницу, анализирует её и передаёт информацию в поисковую базу. Только после этого поисковик решает, нужна ли страница в выдаче.
Эти этапы описывает Яндекс Вебмастер. Важное следствие: обход ещё не означает обязательное попадание в поиск.
Можно открыть ботам все двери, накрыть стол и ждать гостей, но они посмотрят на одинаковые страницы и решат забрать с собой только одну)))
Robots.txt: охранник у входа
Файл robots.txt показывает поисковым роботам, куда можно заходить, а какие разделы обходить не нужно. Одна неверная строка способна случайно закрыть важную страницу или весь сайт.
Но robots.txt не делает контент качественным и не гарантирует индексацию. Он управляет обходом. Для удаления страницы из поиска или запрета индексации используются другие механизмы, поэтому «закрою в robots.txt и всё исчезнет» - опасное упрощение.
Почему Astro отлично подходит для технического SEO
Я использую Astro не потому, что поисковики тайно влюблены в этот фреймворк) Его преимущество практичнее: основной контент можно сразу отдавать готовым HTML, без ожидания огромной пачки JavaScript. Это базовый принцип Astro, описанный в официальной документации.
В Astro удобно контролировать <title>, H1-H6, description, canonical, адреса страниц и внутренние ссылки. Сайт получается быстрым, а важный текст уже находится в HTML.
Это не волшебная кнопка «В ТОП». Но техническая основа получается действительно сильная.
Мой эксперимент: около 400 страниц почти разом
Однажды я решил схитрить. Взял страницы услуг и автоматически добавил к ним по десять городов. Для каждого города создавался отдельный URL, а название подставлялось в H1-H3.
Пример действующей страницы:
Примеры удалённых маршрутов:
/kazan/catalog/ai-landing/moscow/catalog/ai-landing
Но я не остановился. России мне показалось мало, и появилась английская версия для городов мира:
/en/almaty/catalog/ai-landing/en/dubai/catalog/ai-landing/en/abu-dhabi/catalog/ai-landing
Вот думаю: «Умный! Сходу, не напрягая голову, покорю сразу кучу городов)))».
Открытая схема сайта и региональных маршрутов сохранилась в репозитории Daos0/RM_Syst_Astro.
Как Sitemap показал поисковикам весь мой ХАОС
Sitemap - карта сайта со списком страниц, которые мы хотим показать поисковым роботам. В Astro её можно создавать при сборке через официальную интеграцию `@astrojs/sitemap`.
Это удобно: добавили маршруты, собрали сайт, и страницы появились в Sitemap. Роботу не приходится случайно искать каждую из них.
Но тут и находится подвох. Sitemap помогает найти URL, но не гарантирует его попадание в поиск. В моём случае он честно показал поисковикам сразу весь ХАОС из сотен похожих страниц)))
Страницы сначала появились в индексе, но через несколько дней значительная часть исчезла. Особенно быстро это произошло в Яндексе. Подмена города в четырёх-пяти местах не сделала материал действительно уникальным и полезным для региона.
Сразу честно: доказать, что причиной была только автоматическая подстановка города, я не могу. На индексацию также влияют спрос, похожесть содержания, canonical, внутренняя структура и другие факторы.
Как я исправлял структуру сайта
Быстрый путь оказался не самым верным. Какие-то города не попали в поиск, часть страниц сначала появилась, а затем пропала. В английскую версию я некоторое время даже соваться не хотел)
В итоге оставил:
- общую русскую версию для России;
- общую английскую версию;
- отдельный регион Чебоксары, где могу делать действительно полезный локальный контент.
Для Чебоксар оставил главную, каталог и девять страниц услуг. Остальные региональные маршруты заглушил, а затем удалил. В каталогах для России и Чебоксар появились разные блоки и тексты.
Удалённые страницы не исчезают из памяти поисковика мгновенно. Робот должен снова обойти сайт, увидеть новую структуру и обновить индекс. С «шайтан»-роботами пришлось бодаться, и этот процесс ещё продолжается.
Почему Astro подходит для AI-поиска
Google прямо пишет, что для попадания в AI Overviews или AI Mode страница должна быть проиндексирована и допущена к показу в обычном Поиске. Базовые правила SEO продолжают работать.
Здесь Astro снова показывает себя хорошо: готовый HTML, скорость, понятная структура и минимум лишнего JavaScript. AI-поиску проще получить доступ к содержанию. Но сам фреймворк ничего не гарантирует. Если внутри пустота, копии или «чепуха», Astro нас не спасёт)
Специального секретного файла для Google AI не требуется. Никакой волшебный llms.txt или отдельная «AI-разметка» не заменят индексацию, полезный текст, реальные факты и понятную информацию об авторе.
Следующий шаг - SEO-продвижение и GEO: разберём внешние площадки, отзывы, авторитет и то, как обычная поисковая выдача связана с ответами Алисы и Google.