Устранение посещений сайтов с несуществующих User-Agent
Добавлено: 08 авг 2014, 22:00
Некоторое время назад мы стали получать обращения от рекламодателей о посещении сайтов с несуществующих User-Agent'ов. Мы провели детальную проверку и обнаружили, что у 34 пользователей системы поведение программы SafeSurf в части формирования User-Agent отличается от нормального.
Эти пользователи получили свои заслуженные "бонусы", а все IP-адреса, для которых наблюдалась аномальная активность - долгую блокировку в черном списке.
Кроме того, добавлено автоматическое дополнение черного списка IP-адресами, для которых будет наблюдаться аномальная активность снова. В результате количество посещений тестовой страницы с User-Agent, которые можно отнести к подозрительным, снизилось с 15% до 1.5% и продолжает снижаться в результате работы автоматических фильтров. Уже в черный список попало около 5500 IP-адресов.
Возникший в процессе решения этой проблемы черный список IP-адресов будет использоваться и в других системах улучшения качества трафика. В частности, в скором времени мы введем автоматическую блокировку IP-адресов, а также IP-подсетей, для которых будет зафиксировано низкое качество трафика. При этом на первом этапе будут блокироваться только IP-адреса, никаких штрафов посетителям за это не будет.
Разбор конкретных случаев выписки штрафов
Обновление от 9 августа: дополнительная проверка показала всего 3 посещения из 25000 (0.01%) с некорретным User-Agent.
Можно считать, что проблема устранена.
Эти пользователи получили свои заслуженные "бонусы", а все IP-адреса, для которых наблюдалась аномальная активность - долгую блокировку в черном списке.
Кроме того, добавлено автоматическое дополнение черного списка IP-адресами, для которых будет наблюдаться аномальная активность снова. В результате количество посещений тестовой страницы с User-Agent, которые можно отнести к подозрительным, снизилось с 15% до 1.5% и продолжает снижаться в результате работы автоматических фильтров. Уже в черный список попало около 5500 IP-адресов.
Возникший в процессе решения этой проблемы черный список IP-адресов будет использоваться и в других системах улучшения качества трафика. В частности, в скором времени мы введем автоматическую блокировку IP-адресов, а также IP-подсетей, для которых будет зафиксировано низкое качество трафика. При этом на первом этапе будут блокироваться только IP-адреса, никаких штрафов посетителям за это не будет.


Можно считать, что проблема устранена.