ИИ · 23 августа 2026 г.

Клиент спросит нейросеть про вас. А вас там нет

Алиса и ChatGPT всё чаще советуют клиентам, куда пойти и что купить — но только то, до чего смогли дотянуться. Разбираемся, почему сайт малого бизнеса может быть невидим для ИИ и как это проверить за пять минут.

Сайт есть. Для ИИ его нет. Пользователь спрашивает нейросеть — где записаться на стрижку в своём районе, где снять домик на выходные, какой автосервис не обманет на диагностике. И получает список. Попасть в него ваш бизнес не может физически, даже если у вас лучшие цены и отзывы в городе.

Робот, который запоминает, и робот, который отвечает прямо сейчас

У каждой крупной нейросети — свой краулер, и не один. GPTBot собирает тексты, чтобы учить будущие версии модели. OAI-SearchBot и ChatGPT-User заходят на сайт в момент, когда живой человек прямо сейчас задал вопрос и ждёт ответа. У Anthropic похожая пара ботов, у Perplexity — свой PerplexityBot. Разница принципиальная: заблокировать первого не страшно, это вопрос авторских прав на контент. Заблокировать второго — значит выпасть из ответа клиенту здесь и сейчас.

Каждый третий крупный сайт уже хлопнул дверью

По данным исследования Originality.ai, к августу 2024 года GPTBot был закрыт на 35,7% сайтов из мирового топ-1000 — год назад таких было всего 5%. PerplexityBot заблокирован ещё жёстче — у 67%. The New York Times, CNN, Bloomberg и другие крупные издания закрыли доступ демонстративно, из-за денег и авторских прав. У малого бизнеса запрет чаще стоит не по решению владельца, а по умолчанию — в шаблоне сайта, в настройках конструктора, в файле, который никто не открывал с момента запуска.

Похожие истории, где мелкая техническая деталь на сайте меняла поток заявок, разбирали в кейсах FRM. кейсы FRM

Гостевой дом, которого не существует для ChatGPT

Турист выбирает, где остановиться на выходных в Суздале. Спрашивает не карту, а ChatGPT. Тот пытается зайти на сайт понравившегося гостевого дома — и получает отказ: robots.txt разрешает только Google и Яндекс, остальным вход закрыт. Нейросеть не станет разбираться и жаловаться. Она просто предложит гостю три других варианта, до которых смогла дотянуться. Хозяин потеряет бронь и даже не узнает, что произошло.

И дело не во вредности модели. Наткнувшись на закрытую дверь, она либо молча пропускает вас в списке, либо — того хуже — отвечает про вас по памяти, устаревшими или вовсе выдуманными данными. Назовёт цену, которая была два года назад. Опишет услугу, которую вы уже не оказываете.

Пять строк, которые стоит проверить сегодня

Откройте свой сайт с приставкой /robots.txt прямо в адресной строке браузера. Файл маленький, читается за минуту, без технического образования.

Проверьте, нет ли в файле общего запрета Disallow: / для всех агентов подряд — иногда его ставит сама CMS при установке
Убедитесь, что не заблокированы GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot и PerplexityBot — именно они формируют ответы клиентам в реальном времени
Не путайте обучение модели и ответ клиенту — это разные боты, можно закрыть одно и оставить другое
Помните: robots.txt — это просьба, а не замок. Часть краулеров её нарушает, но большинство добросовестных ботов её слушается — и это единственный рычаг видимости, который у вас есть

Проверить файл — вечер. Не проверить — упустить клиента, который вас даже не искал напрямую, а просто спросил нейросеть.

Разобраться в технической стороне сайта не значит нанимать программиста — приходите на открытый урок: «Вайб-кодинг: с нуля до профи»