На долю программ-роботов приходится 61,5% от всего трафика сайта!

Весной прошлого года специальное исследование, вызвавшее пристальное внимание многих, показало, что большая часть посещений сайта, а это примерно 51% - сгенерировано программными средствами. Около 60% такого искусственного трафика оказалось вредоносным.

Впоследствии выяснилось, что для многих пользователей этот факт был совсем неочевиден и, с некоторых пор, многие из них озаботились этой проблемой.

Последующий анализ и публикация отчета потребовали времени - был нужен достаточный временной интервал для эффективного сбора данных, а также новые инструменты для анализа. Наконец пользователям стал доступен новый отчет, который наглядно демонстрирует данные за 2013 год.

• 31% - поисковые системы и другие программы, не несущие вреда (на 55% больше, чем в 2012 году)
• 5% - программы-скреперы, ворующие и дублирующие контент, адреса почты для рассылки спама
• 4,5% - инструменты для взлома, вредоносные программы, воровство данных и тому подобное (10% в 2012 году)
• 0.5% - программы-спаммеры, публикующие ссылки и проч. (75% в 2012 году)
• 20,5% - персонаторы для сбора данных, осуществления DOS-атак и прочее (на 8% больше, чем в 2012 году)
• 2012 год - соотношение человек/программа-робот составляло 49%/51%
• 2013 год - соотношение человек/программа-робот составляет 38,5%/61,5%)

Методика исследования была следующей: в анализе участвовали посещения программ-роботов в количестве 1,45 млрд на 20 000 сайтов. География анализируемого трафика охватывает 249 стран, а используемым стандартом был ISO 3166-1.

Итак, все полученные данные говорят о том, что число посещений программ-роботов возросло на 21% по сравнению с прошлым годом и достигло числа в 61,5%. Стоит учесть, что определенную часть этих посещений составляет работа поисковых сервисов, сертифицированных агентов ПО - число подобных посещений также возросло с 20% до 31%. Для этого может быть две причины. Эволюция в сфере веб-услуг объясняет появление новых онлайн-сервисов и, соответственно, новых типов безобидных программ-роботов, служащих для оптимизации сайтов в поисковых системах. Посещения таких роботов могут составлять до 50 в день.

Активность уже существующих программ-роботов повышается, что объясняет столь частые «положительные» посещения по сравнению с прошлым годом. Циклы посещений становятся короче для того, чтобы повысить долю выборки, скажем, для поисковых средств - следовательно, частота посещений сайта одними и теми же программными средствами возрастает.

Примерно 31% всех посещений, выполненных программными средствами, можно считать вредоносными, хотя программ-спаммеров стало меньше по сравнению с данными за прошлый год. Несмотря на то, что количество вредоносных программ осталось почти прежним (31%), спам-роботов среди них стало меньше, благодаря специальной кампании Google, включающей такие обновления как Penguin 2.0 и 2.1.

Основной мотивацией для спама были ссылки, которые можно было сгенерировать при помощи некоторых SEO-инструментов. Средства Penguin помогают бороться со многими техниками подобного продвижения, снижая их эффективность. Таким образом, автоматическую публикацию ссылок и посещение подобными программами удалось снизить на 75%.

В то же время, активность хакеров становиться более сложной. В этом году она увеличилась на 8% - это число в диаграмме представляет не идентифицированных роботов, посещающих страницы с целью вредоносного воздействия. Программы, подобные этим пытаются идентифицировать себя как поисковые сервисы, агенты веб-обозревателей или других сервисов, в надежде обойти защитные средства сайта. В то время как многие вредоносные программы являются конкретной разработкой, обладают пользовательским интерфейсом, имеют название и несколько версий, подобные персонаторы создаются с конкретной целью и имеют специфические вредоносные задачи.

Общий сценарий; не идентифицированный DDoS-робот, имитирующий агента обозревателя IE6

По своим функциям и возможностям такие роботы стоят на вершине иерархии - это могут быть автоматические шпионские программы, агенты DDoS, опасные вирусы и прочее. Это результат труда профессиональных взломщиков, которые имеют достаточно опыта для создания собственного вредоносного ПО. Прирост активности в 8% свидетельствует о том, что активность хакеров в этом году также увеличилась, равно как и количество целенаправленных кибератак. Также новые данные демонстрируют последние тенденции в среде создателей DDoS-атак - их инструменты развились от волюметрических разработок 3-4 уровня до сложных мультивекторных, которые сегодня могут достигать 7 уровня.

По материалам: Incapsula