AI-поиск не работает? Сначала проверьте, доступен ли ваш сайт в России

Издание seonews пишет, что для доступности сайта в AI-поиске важно не только добавлять файлы вроде llms.txt, но и проверять базовую техническую доступность. Я считаю, что это не новость — это фундамент, который многие упускают. Если сайт не виден даже обычному боту, то говорить о его видимости в ChatGPT или Perplexity — преждевременно.

О чём речь и почему я считаю это важным для бизнеса

Речь о том, как сайты попадают в AI-поисковые системы — не только Google, но и OpenAI, Anthropic, Perplexity. Многие думают: «надо добавить llms.txt, открыть GPTBot — и сайт появится в чат-поиске». Это упрощение. На деле, если бот не может получить страницу из-за блокировки в robots.txt, 403-ошибки или JS-файлов, то никакая разметка не поможет. Это не про «AI-поиск» — это про базовую доступность. И именно это — ключ к выручке. Сайт, который не виден, не привлекает клиентов. А если он не виден в новых каналах, то выручка падает не из-за конкуренции, а из-за технического устаревания. Мы в Cetera видим это регулярно: сайт работает, но не ведёт. И не потому что он «не красив», а потому что не доступен. Это не про улучшение — это про сохранение. И я считаю, что для бизнеса это важнее, чем любая «новая фича».

Как это устроено — что тут вообще происходит

AI-поисковые системы используют разные боты для разных задач. У OpenAI есть GPTBot (для поиска), OAI-SearchBot (для индексации), а у Anthropic — ClaudeBot (обучение), Claude-SearchBot (поиск), Claude-User (пользовательский запрос). У Perplexity — PerplexityBot (поиск) и Perplexity-User (вручную). И у каждого — свои права. Открытие одного бота не значит, что все остальные получат доступ. Более того, Perplexity-User может игнорировать robots.txt. Это значит, что даже если вы его запретили, пользователь может открыть страницу вручную. А значит, блокировка — не гарантия. И ещё: `robots.txt` — это не инструкция, а рекомендация. Боты могут её игнорировать. А `noindex` — это директива для поисковика, а не для AI. Если бот не получил страницу, он не увидит `noindex`. Всё это — не про «секретные настройки», а про понимание, как работает доступ. И если вы не проверили, может ли бот получить контент, то всё остальное — пустая трата времени.

Что изменилось на рынке: как делали раньше и как делают сейчас

Раньше бизнесы думали: «если сайт в Google — значит, он везде». Теперь: «если сайт в Google — значит, он может быть в AI-поиске». Но это не так. AI-поиск — не копия Google. Он работает с другими ботами, другими правилами, другими целями. Раньше мы проверяли только доступность, индексацию, метатеги. Сейчас — ещё и то, как сайт выглядит для AI-краулера. Но главное — не то, что изменилось, а то, что осталось: если сайт не виден, он не работает. Проблема не в том, что AI-поиск «сложный» — она в том, что многие сайты не прошли базовую проверку. И теперь, когда каналы продвижения меняются, сайт, сделанный под старую логику, не просто не работает — он теряет выручку. Потому что клиенты не видят его в новых каналах. А это — не позиции, это деньги.

Кому это касается и как понять, что это про ваш проект

Это про любой сайт, который: — не получает трафик из новых источников (например, из ChatGPT или Perplexity); — не отвечает на запросы, хотя контент есть; — имеет 403, 404 или JS-проблемы; — закрыт в robots.txt; — не отдаёт контент в рендеринге. Если вы видите, что сайт «работает», но не «зарабатывает» — это может быть из-за технических барьеров. И не потому что «не появился в AI-поиске», а потому что не был доступен. Мы в Cetera такие интеграции делаем так: начинаем с проверки доступности, затем — с рендеринга, потом — с анализа метатегов. И только потом — с разметки. Если вы не проверяли, может ли бот получить контент, то это — главная проблема. А не `llms.txt`.

Что с этим делать — порядок действий в общем виде

Начинаем с аудита. Проверяем, может ли бот получить страницу. Делаем это по шагам: — Проверяем HTTP-коды: 200 OK? — Проверяем robots.txt: URL разрешён? — Проверяем, не стоит ли noindex или nofollow? — Проверяем, не блокирует ли CDN или WAF бота? — Проверяем, отдаёт ли браузер контент в рендеринге? — Проверяем, не скрывает ли JavaScript основной текст? — Проверяем, какие боты имеют доступ: GPTBot, OAI-SearchBot, PerplexityBot — и для какой задачи. Только после этого — смотрим на `llms.txt`, `Schema.org`, `robots.txt`-директивы. И только если всё технически доступно — начинаем думать, как сделать сайт «видимым» в AI-поиске. Потому что иначе — это как строить дом на песке.

Сайт, сделанный под прошлую расстановку каналов, теряет не позиции, а выручку

Каналы продвижения меняются. Раньше — Google, Яндекс. Сейчас — AI-поиск, чаты, агенты. Сайт, который не адаптирован к этим изменениям, не привлекает клиентов. И не потому что «не красив», а потому что не доступен. Это не про улучшение — это про выживание. Мы в Cetera видим это у клиентов: сайт работает, но не приносит. И только после проверки доступности — начинается рост. Клиенты более чем в 30 отраслях — это факт о компании. Аудит сайта — это следующий шаг. Не потому что «надо», а потому что иначе — вы теряете деньги.

Это часть нашей работы — Администрирование. Поддерживаем сайты всех типов на CMS и фреймворках: Cetera CMS, Laravel, Yii2, InSales, «1С-Битрикс», Bitrix24, WordPress, WooCommerce, Ecwid, OpenCart, Drupal, Joomla, Magento2, Shopify и самописные системы на PHP и Python. Инфраструктура, развитие и продвижение включены. Администрирование

Автор: Святослав Семенов из Cetera Labs

Новость для бизнеса в Краснодаре, Россия