В этой статье
- Интернет только что пересек историческую черту, и ваш сайт оказался в самом центре
- Что именно изменилось?
- Почему это происходит?
- Почему это важно для сайта вашей компании
- Новое правило: не "блокировать всех ботов"
- Практическое руководство по управлению ботами
- Как Origami учитывает это в своей работе
- Источники
Интернет только что пересек историческую черту, и ваш сайт оказался в самом центре
Впервые в истории интернета машины генерируют больше веб-трафика, чем люди. 3 июня 2026 года генеральный директор Cloudflare Мэттью Принс поделился данными Radar, согласно которым автоматизированные запросы достигли 57,5% веб-трафика против 42,5% от людей. Короткий ответ для любого владельца бизнеса: большинство "посетителей" вашего сайта уже не клиенты, а боты, и быстро растущую их долю составляют ИИ-краулеры, которые питают ответные системы вроде ChatGPT, Gemini и Claude. Это одновременно и затраты, которые нужно контролировать, и возможность, которую нужно использовать.
Что именно изменилось?
Поразительно, как быстро произошел этот сдвиг. В марте 2026 года Принс предсказывал, что бот-трафик обгонит человеческий к 2027 году. Это случилось примерно на восемнадцать месяцев раньше. До эпохи генеративного ИИ боты были менее заметны: около 20% веб-трафика, где доминировали поисковые системы вроде Googlebot. Сегодня, по данным Cloudflare Radar, одни только ИИ-краулеры составляют около 20% трафика проверенных ботов, причем GPTBot от OpenAI и ClaudeBot от Anthropic входят в число самых активных, а Googlebot остается крупнейшим отдельным краулером.
Почему это происходит?
Движущая сила — агентный ИИ. Когда человек выбирает фотоаппарат, он, возможно, откроет пять сайтов. Когда ИИ-агент выполняет ту же задачу от имени пользователя, он может посетить тысячи страниц, чтобы собрать и сравнить информацию. Умножьте это на миллионы ежедневных запросов к ИИ, и вывод неизбежен: автономное программное обеспечение теперь просматривает интернет в масштабах, с которыми не сравнится никакое человеческое население. Это не временный всплеск, а новая норма.
Почему это важно для сайта вашей компании
Эта тенденция затрагивает ваш бизнес четырьмя конкретными способами:
- Искаженная аналитика: если боты раздувают показатели трафика, вы принимаете решения на основе вымысла. Коэффициенты конверсии, отказов и результаты кампаний становятся ненадежными, пока бот-трафик не отфильтрован.
- Более высокие расходы на инфраструктуру: каждый запрос бота расходует пропускную способность и ресурсы сервера. Агрессивные краулеры могут замедлять сайт для реальных клиентов или раздувать счет за хостинг.
- Риски для контента и безопасности: не все боты дружелюбны. Скрейперы крадут цены и контент, а вредоносные боты ищут уязвимости, пытаются проводить атаки с подбором учетных данных или скупают товарные запасы.
- Возможность для видимости: хорошие ИИ-краулеры — это путь, по которому ваша компания попадает в ИИ-ответы. Если GPTBot и ClaudeBot не могут прочитать ваш сайт, вас просто не процитируют, когда клиент попросит у ассистента рекомендацию.
Новое правило: не "блокировать всех ботов"
Старый инстинкт подсказывал считать угрозой любого бота. Сегодня это ошибка. Настоящая задача — отличать нужных вам ботов от ненужных. Вам нужны поисковые и ИИ-краулеры, которые приносят видимость и клиентов. Вам не нужны скрейперы и злоумышленники. Сама Cloudflare отошла от простого противопоставления "боты против людей" к проверке того, какие автоматизированные клиенты легитимны, с помощью таких подходов, как Web Bot Auth и подписанные проверенные идентификаторы ботов.
Практическое руководство по управлению ботами
- Осознанно контролируйте доступ краулеров: используйте robots.txt, чтобы пропускать нужные вам ИИ-краулеры (GPTBot, ClaudeBot, PerplexityBot, Googlebot) и запрещать ненужные. Принимайте это решение намеренно, а не случайно.
- Поставьте перед сайтом слой управления ботами: WAF или сервис управления ботами может распознавать проверенных ботов, ограничивать частоту запросов агрессивных и блокировать вредоносный трафик до того, как он дойдет до вашего исходного сервера.
- Очистите аналитику: отфильтруйте известных ботов, чтобы отчеты отражали реальное поведение людей, и отслеживайте обращения ИИ-краулеров отдельно, чтобы измерять свое присутствие в ИИ-ответах.
- Сделайте сайт читаемым для машин: быстрые, хорошо структурированные страницы с понятными заголовками и структурированными данными помогают хорошим ИИ-краулерам понимать вас и точно цитировать.
- Защищайте то, что ценно: ограничивайте частоту запросов к API, защищайте вход и оформление заказа от автоматизированных злоупотреблений и следите за необычными паттернами трафика.
Вопрос уже не в том, "как не пустить ботов на мой сайт?". Вопрос в том, "каких машин я впускаю, каких блокирую и как их различать?"
Как Origami учитывает это в своей работе
Мы проектируем и создаем корпоративные сайты и платформы, готовые к интернету, где большинство составляют машины, с первого дня: инфраструктура, учитывающая ботов, чистая и надежная аналитика, защита от вредоносной автоматизации и быстрые структурированные страницы, которые могут читать хорошие ИИ-краулеры, чтобы ваша компания появлялась в ИИ-ответах. Цель проста: не пускать плохих ботов, впускать ценных и превратить структурный сдвиг в веб-трафике в преимущество, а не в затраты.
Источники
- Cloudflare — Moving past bots vs. humans (подход проверенных ботов и Web Bot Auth).
- TechCrunch — прогноз генерального директора Cloudflare (март 2026 года).
- Cloudflare Radar — данные о трафике ботов и ИИ-краулеров.
Частые вопросы
Неужели большинство посетителей моего сайта теперь боты?
В масштабах всего интернета да: в июне 2026 года Cloudflare сообщила, что автоматизированные запросы достигли 57,5% трафика, и боты впервые превзошли людей. Точное соотношение зависит от вашего сайта, но значительная часть обращений теперь приходится на поисковые системы, ИИ-краулеры и другие автоматизированные клиенты, а не на живых покупателей.
Стоит ли блокировать ИИ-краулеры, такие как GPTBot и ClaudeBot?
Обычно нет. Именно через эти краулеры ваша компания попадает в ИИ-ответы ChatGPT и Claude, и их блокировка исключает вас из этих результатов. Блокируйте вместо этого скрейперы и вредоносных ботов, а нужные вам ИИ-краулеры пропускайте через robots.txt и правила управления ботами.
Как боты влияют на аналитику моего сайта?
Боты могут завышать трафик и искажать коэффициенты конверсии и отказов, приводя вас к неверным выводам. Отфильтруйте известных ботов из отчетов, чтобы они отражали реальное поведение людей, и отслеживайте визиты ИИ-краулеров отдельно, чтобы измерять свою видимость в ИИ-ответах.
Какой первый шаг в управлении бот-трафиком самый простой?
Поставьте перед сайтом слой управления ботами или WAF. Он распознает проверенных ботов, ограничивает частоту запросов агрессивных и блокирует вредоносный трафик до того, как тот дойдет до вашего сервера, без изменений в коде вашего приложения.
