Как мы боролись с веб-спамом в Google Поиске в 2019 году
Не бывает бесполезных поисковых запросов. Поэтому мы постоянно работаем над тем, чтобы пользователи Google Поиска получали максимально релевантные и полезные сведения и материалы.
К сожалению, в Интернете есть злоумышленники, распространяющие контент, который называется веб-спамом. Это может причинять пользователям Поиска серьезные неудобства. Противодействие спамерам – непростая задача. Над тем, чтобы в результатах поиска не появлялся веб-спам, работает несколько подразделений Google. Кроме того, мы активно взаимодействуем с веб-мастерами, убеждая их соблюдать наши рекомендации. Это помогает веб-мастерам добиваться успеха, создавая интересный общедоступный контент, который пользователи могут найти в Поиске.
О том, как мы боролись со спамом в 2019 году и какую поддержку оказывали сообществу веб-мастеров, читайте ниже.
Масштабное противодействие спаму
Наш индекс содержит сотни миллиардов веб-страниц, и ежедневно мы обрабатываем миллиарды поисковых запросов. Вряд ли стоит удивляться тому, что регулярно появляются злоумышленники, которые стремятся манипулировать рейтингом страниц в Поиске. Каждый день мы обнаруживаем более 25 миллиардов страниц со спамом. Это число позволяет оценить, насколько масштабно, последовательно и активно действуют спамеры. Мы принимаем самые серьезные меры для того, чтобы в Поиске было как можно меньше страниц со спамом. Благодаря нашим усилиям 99 % результатов поиска Google ведут на ресурсы, не содержащие спама.
Изменения по сравнению с предыдущим годом
В 2018 году мы снизили объем спама, созданного пользователями, на 80 %. Мы рады сообщить, что в 2019 году его не стало больше. По-прежнему часто использовался ссылочный спам, однако нашим специалистам удалось сдерживать его распространение в 2019 году. Наши системы не только обнаружили более 90 % ссылочного спама, но и снизили эффективность таких уловок, как платные ссылки и обмен ссылками.
Широко распространен спам со взломанных ресурсов, однако частота его появления осталась более стабильной, чем в предыдущие годы. Мы продолжили работу над решениями, позволяющими эффективно выявлять взломанные ресурсы. Благодаря этим решениям мы можем информировать веб-мастеров и владельцев о взломе их ресурсов, а также помогать им с устранением последствий взлома.
Тенденции, связанные со спамом
Одной из приоритетных задач в 2019 году для нас было развитие наших средств борьбы со спамом при помощи систем машинного обучения. Наши решения, основанные на таких системах, в сочетании с проверенными временем мерами, принимаемыми вручную, позволяли опознавать результаты, содержащие спам, и не допускать их показа пользователям.
В последние годы увеличилось количество сайтов, содержащих спам, автоматически созданный и скопированный контент, а также иные средства, призванные досаждать пользователям (например, фальшивые кнопки, реклама, от которой невозможно избавиться, подозрительные переадресации, вредоносное ПО и т. д.). Подобные ресурсы зачастую не приносят посетителям никакой пользы и нацелены лишь на то, чтобы вводить их в заблуждение. В 2019 году нам удалось уменьшить воздействие такого спама на пользователей Поиска более чем на 60 % по сравнению с 2018 годом.
Мы не только повышаем эффективность наших средств выявления спама, но и ведем активную работу по противодействию мошенничеству и другим видам недопустимых действий. Поскольку мошеннические сайты могут выглядеть как официальные ресурсы различных учреждений и организаций, пользователи зачастую оставляют там свои персональные данные, теряют денежные средства или подвергают свои устройства воздействию вредоносного ПО. Мы внимательно следим за поисковыми запросами, по которым могут показываться ссылки на мошеннические ресурсы, и стремимся опережать спамеров тактически, защищая пользователей.
Сотрудничество с веб-мастерами и разработчиками
Противодействовать спаму нам помогают автоматизированные системы, призванные распознавать его. Однако эти системы не могут выявлять все случаи. Помогать нам в борьбе со спамом и другими видами недопустимых действиям может любой пользователь Поиска. Для этого достаточно сообщать нам о спаме, фишинге или вредоносном ПО. В 2019 году мы получили почти 230 000 сообщений о спаме в результатах поиска. В 82 % случаев нам удалось успешно принять меры по устранению спама. Мы признательны всем, кто сообщал нам о спаме и помогал нам исключать его из результатов поиска.
Если мы узнаём от пользователей или наших систем, что на каком-либо ресурсе есть спам, то оповещаем об этом веб-мастера ресурса. В 2019 году мы отправили владельцам сайтов более 90 миллионов сообщений с информацией о неполадках и проблемах, которые могут отрицательно сказаться на представлении их ресурса в результатах поиска, а также с рекомендациями по их устранению. Около 4,3 млн из этих сообщений были связаны с мерами, принятыми вручную в результате нарушения наших рекомендаций для веб-мастеров.
Мы стремимся более эффективно помогать владельцам сайтов. В 2019 году мы реализовали ряд программ, направленных на улучшение взаимодействия с веб-мастерами, в частности новые сообщения в Search Console, плагин Site Kit для сайтов WordPress и автоматическое подтверждение права собственности с помощью записи DNS в новой версии Search Console. Мы надеемся, что это поможет веб-мастерам быстрее подтверждать права на свои ресурсы и будет приносить им пользу в дальнейшем. Кроме того, мы рассчитываем на то, что благодаря новым возможностям веб-мастерам будет удобнее знакомиться с новостями, а также устранять неполадки, связанные со спамом и взломом ресурсов.
Уделяя самое пристальное внимание борьбе со спамом, мы продолжали следить за тем, как меняется Интернет. Поэтому мы реализовали новый способ обработки ссылок с атрибутом rel="nofollow". Изначально этот атрибут служил средством для борьбы со спамом в комментариях и для указаний рекламных ссылок, но с течением времени сфера его применения продолжает расширяться. Мы считаем, что с учетом развития средств борьбы со спамом этот атрибут должен использоваться шире. Мы предложили два новых атрибута для ссылок: rel="sponsored" и rel="ugc". Благодаря им веб-мастера смогут предоставлять Google Поиску более точную характеристику тех или иных ссылок. Как и rel="nofollow", эти атрибуты учитываются нашими алгоритмами ранжирования. Мы рады, что веб-мастера из разных стран стали активно использовать новые атрибуты на своих сайтах.
Взаимодействие с сообществом
Как и прежде, в прошлом году мы были рады возможности общаться с веб-мастерами со всего мира, а также помогать им улучшать видимость их ресурсов в Поиске и узнавать их мнение. Мы провели свыше 150 консультаций и прямых трансляций в разных городах мира для огромной аудитории, в которую вошли специалисты по поисковой оптимизации и по интернет-маркетингу, а также владельцы компаний и разработчики. В частности, мы были приятно удивлены тому, насколько успешными стали наши конференции веб-мастеров, которые были проведены на 12 языках в 35 городах из 15 стран мира, включая первый саммит по продукту в Маунтин-Вью, США. В настоящее время у нас нет возможности собирать гостей, но мы планируем проведение этих мероприятий и различных видеовстреч в дальнейшем.
Как и раньше, веб-мастера находили советы и решения на справочном форуме сообщества для веб-мастеров. В 2019 году на форуме было свыше 30 000 цепочек на более чем 12 языках. Чтобы ответить на вопросы и развеять типичные заблуждения, мы разместили на нашем канале YouTube серию видео #AskGoogleWebmasters, а также ролики, посвященные мифам о поисковой оптимизации.
Работа над совершенствованием Интернета далека от завершения. Мы будем рады продолжать ее вместе с вами в следующем году. Следите за нами в Твиттере, на YouTube, читайте наш блог, присоединяйтесь к сообществу и посещайте наши мероприятия в вашем регионе.
Авторы: Черри Проммавин (Cherry Prommawin), представитель команды Google Поиска по взаимодействию с веб-мастерами, и Зуй Нгуен (Duy Nguyen), аналитик по вопросам качества Google Поиска.
Успеха и удачи!
