
ChatGPT-User игнорирует robots.txt в половине случаев
В первой половине 2026 года бот ChatGPT-User проигнорировал запреты в файлах robots.txt на 54% проверенных веб-страниц. Исследование платформы TollBit показывает, что это самый высокий показатель среди всех ИИ-агентов, работающих в европейском сегменте интернета, где активность роботов Perplexity и ByteDance оказалась заметно ниже.




























