Блокировка сайта Роскомнадзором. Что делать и как обойти бан?

Если Вы занимаетесь сайтами серых и темных ниш, то с проблемой блокировкой сайтов Роскомнадзом на территории РФ думаю уже знакомы. Но меня подобная проблема всегда обходила стороной, так как сайты которые я веду в основном белые и пушистые, иногда с оттенками серого. Но даже на белые сайты могут прилетать абузы и блокировки от РКН. Так, в начале декабря, на один из моих проектов тоже прилетел предновогодний сюрприз и трафик в один из дней упал в разы.

Предыстория

Коротко о сайте:

  • Тип сата: портал с объявлениями\предложениями.
  • Контент: товары, бизнес услуги, добавляются пользователями
  • Аудитория: основной трафик с России, Яндекс чуть больше чем Google
  • Причина по которой прилетела блокировка: пара объявлений с предложениями о продаже табачных изделий (стики, кальяны, сигареты)

На сайт часто приходили жалобы, верней не на сайт в целом, а на отдельные объявления (те же сигареты, копии брендов). Иногда это были предупреждения на почту указанную на сайте, но чаще жалобы летели хостеру, а они уже писали мне, я в свою очередь всегда их тут же удалял.

Беда в том, что в этот раз никаких предупреждений не было (как мне казалось), поэтому причину резкого падения я понял не сразу. Что делает  сеошник когда видит такую картину?

блокировка РКН - посещаемость

Сначала я просрался, потом собрался и начал гонять сайт по сервисам анализа в поисках проблемы, проверять ответы кодов, доступность, позиции, апдейты и.т.д. Но все показывало норм. Позиции просесть не успели, апдейтов не было, сайт технически исправен. В процессе анализа понял что трафик порезало именно с России. Было как-то у меня что Cloud Flare по IP резал страну, поэтому думал на него, и убили сутки на настройку сервера.

Не забыл и на сайт Роскомнадзора заглянуть и проверить нет ли сайта в базе (https://blocklist.rkn.gov.ru/). Сайт был, но ограничение было наложено на страницу, а не на домен. Причем об этом ограничении я знал и ранее, оно было наложено еще с лета (более 5 месяцев), а сайт не доступен стал только сейчас. Страницу не удалял, так как это была категория, причем она сидела в топе по жирным запросам что давало хороший траф на нее (даже с учетом блокировки) и конверсию по монетизации сайта. Ну в блоке и в блоке, сайт же не заблочен был, поэтому этот вариант тоже отложил в сторону.

Многие наверное уже думают:

Бля, как ты мог не заметить? Ведь при блокировке сайта РКН выводится заглушка с сообщением что оный ресурс наказан?

Главная загвоздка моей слепоты была в том, что я живу в Украине (ага, не "на", а "в"), в рунет хожу через VPN от Hideme, а зайдя на сайт под VPN никакой заглушки как оказалось позже не видно, даже если у тебя российские IP установлены. Блокировка происходит на уровне DNS сети в регионах. Когда попросил знакомых с России посмотреть на сайт, сразу все стало на свои места. Прислали такой скрин:

сообщение о блокировке ресурса

Почему тогда не было предупреждений по email или от хостера? Как оказалось были, вот только в СПАМ все письма от РКН попадали от того я их и не видел. Стоит отдать должное они старались, неоднократно предупреждали, терпели и ждали пока же я исправлюсь.

Вот пример одного из таких писем:

от 25.11.19

Роскомнадзор информирует/the Roscomnadzor is informing

Направляется уведомление о внесении в «Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено» следующего(их) указателя (указателей) страницы (страниц) сайта в сети «Интернет»: https://адрес страницы .

В случае непринятия провайдером хостинга и (или) владельцем сайта мер по удалению запрещенной информации и (или) ограничению доступа к сайту в сети «Интернет», будет принято решение о включении в единый реестр сетевого адреса, позволяющего идентифицировать сайт в сети «Интернет», содержащий информацию, распространение которой в Российской Федерации запрещено, а доступ к нему будет ограничен.

Сведения о включении доменных имен, указателей страниц сайтов сети «Интернет» и сетевых адресов доступны круглосуточно в сети «Интернет» по адресу http://eais.rkn.gov.ru .
   
С уважением,
ФЕДЕРАЛЬНАЯ СЛУЖБА ПО НАДЗОРУ В СФЕРЕ СВЯЗИ, ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И МАССОВЫХ КОММУНИКАЦИЙ.

Последнее такое письмо было 09.12.19, а уже 11.12.19 сайт приуныл.

Что стоит знать о блокировке Роскомнадзором?

  1. Блокировка сайта происходит: а) через так называемый Deep Packet Inspection (DPI) б) на уровне DNS. в) По IP ресурса (по-моему уже не блокируют из-за неэффективности метода). 
  2. По вариантам а) и б) менять IP адрес сайта бесполезно
  3. Если вы смотрите на заблокированный сайт с российского IP но через VPN, то сайт будет доступен и вы не увидите того, что он заблокирован
  4. Делать редиректы на варианты домена с www, без www, на https и другие варианты не работают. Блокируется домен целиком со всеми алиасами
  5. Если вы хотите восстановить трафик с помощью редиректов (302 например) с заблокированного домена на новый на время выяснений и процесса разблокировки, то это не поможет ввиду метода блокировки описанного в пунтке 1. Люди все равно будут видеть заглушку от РКН и никакого редиректа не будет.
  6. Боты в отличии от людей заходящих на сайт через браузеры видят редиректы и коды страниц как есть. То есть, если поставить 301 редирект со старого сайта на новый, то пользователи редиректится не будут, но код у страницы для ботов будет 301.
  7. Переезд на новый домен со склейкой через 301 редирект без устранения причины блокировки малоэффективна, так как подобные клоны сайтов быстро снова попадают под блокировку.

Шаги для разблокировки сайта РКН?

Зная нюансы указанные выше стоит начать с ответа на вопрос: можем ли мы устранить причину нарушения (контент который стал причиной блокировки), или наш сайт сплошное нарушение))?

В моем варианте сайт белый, только отдельные страницы серые, поэтому опишу шаги для этого случая. В случае если такой контент удалить не возможно, шаги будут отличаться.

Минимизируем потери трафика

Первоочередная задача при блокировке сайта Роскомнадзором конечно же минимизировать потери посещаемости на время, пока идет процесс разблокировки сайта. Для этого:

  1. Удаляем весь контент который стал причиной блокировки сайта. Причем не скрываем, а удаляем. Код ответа этих страниц должен быть 404, иначе есть вероятность что не прокатит с первого раза.
  2. Покупаем домен (зеркало сайта). В моем случае был куплен домен максимально похож на заблокированный с отличием только в доменной зоне.
  3. В настройках основного домена пишем купленный домен как alias (псевдоним)
  4. Добавляем новый домен в сервисы Яндекс вебмастер и Search console для максимально быстрой индексации. Переезд сайта на новый домен делать я не стал, так как рассчитывал что процесс разблокировки займет пару недель. Если проблема лишь в некоторых страницах, то переезд делать не стоит, пока сайты склеятся сайт уже разблокируют и вам снова нужно будет делать переезд. Больше потеряете в итоге чем сохраните.
  5. Ставим 302 редиректы со всех страниц старого домена, на страницы нового. Но! Редиректы как я писал выше для юзеров работать не будут! То есть кликая на старый домен в выдаче ПС или переходя по прямой ссылке, с закладок и.т.д. он будет видеть заглушку от РКН. Редиректы лишь для того, чтобы поисковые системы быстрее индексировали контент на новом домене, а 302 код указывает, что это временно, а не постоянно. 
  6. Сообщаем нашим пользователям что на сайте временные проблемы и что он временно доступен по новому адресу. Если на сайте есть каналы в Телеграмм, группы с соц. сетях с подписчиками, базы email которые подписались на новости сайта и т.д. делаем рассылки там.
  7. Если позволяет бюджет запускаем контекстную рекламу на поиске, я не запускал так как для этой тематики и частотности запросов это было бы нецелесообразной тратой средств.
  8. Пишем в Роскомнадзор на Email zapret-info@rkn.gov.ru письмо примерно следующего содержания:

Здравствуйте. Сайт  https:// адрес был внесен в реестр запрещенных. Сообщаю Вам, что я устранил причину внесения сайта в реестр, все страницы нарушающие правила удалены с портала. В связи с этим прошу Вас удалить сайт из https://адрес  данного реестра и возобновить доступ. Сообщите пожалуйста о статусе заявки, о том нет ли более проблем с сайтом которые могут повлечь его блокировку, и сроки когда можно ожидать восстановления работоспособности сайта.

С уважением, Зинченко А.А

Все. Дальше остается только ждать ответа от них.

Сколько времени проходит на разблокировку сайта от Роскомнадзора?

Письмо мной было написано им 13.12.19, и уже (или аж) 24.12.19 я получил ответ:

Направляется уведомление об исключении записи из «Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено» следующего(их) указателя (указателей) страницы (страниц) сайта в сети «Интернет»: https://адрес страницы .

С уважением,
ФЕДЕРАЛЬНАЯ СЛУЖБА ПО НАДЗОРУ В СФЕРЕ СВЯЗИ, ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И МАССОВЫХ КОММУНИКАЦИЙ.

В среднем ответ приходит в промежутке от 7 до 10 дней.

25.12.19 трафик на сайт заметно улучшился, но так как Новый год на носу трафик всегда к этому времени проседал, поэтому оценить реальные потери сложно.

Действия после разблокировки

Чтобы не путаться. Заблокированный основной домен пусть будет сайт 1, новый, временный домен (зеракало) - сайт 2

  1. Убираем редиректы которые делали с сайта 1 на сайт 2
  2. С сайта 2 ставим 301 редиректы на сайт 1
  3. В Яндекс вебмастере делаем переезд (склейку) сайта 2 на сайт 1
  4. В Гугл Search console ничего не делал так как там не все так удобно как в Яндексе, 301 редиректы сдеалют свое дело.

Последствия блокировки и парадоксы

Позиции

Самым интересным является то, что после блокировки сайта позиции в Яндексе начинают стремительно падать, а вот в Гуле наоборот позиции начали расти.

photo_2019-12-15_20-32-28.jpg

photo_2019-12-15_20-32-29.jpg

На сегодняшний день (конец Января) позиции в Яндексе восстановились, за исключением некоторых отдельных запрос

position.png

Посещаемость

Конечно же посещаемость на время блокировка значительно просела, практически весь российский трафик ушел. Создание домена зеркала не дало ощутимого эффекта на таких коротких сроках, его польза лишь в том, чтобы предоставить доступ к сайту постоянным посетителям. Новые на него идут в очень малых количествах так как он не успел проиндексироваться и занять позиции вытеснив старый домен.

На сегодня посещаемость восстановлена, можно даже сказать полностью, и даже больше, с учетом корреляции на Январь месяц, который всегда был на сайте хуже Декабря.

rkn_graph.png

Но вот если до блокировки лидером по трафику был Яндекс (хоть и не с большим отрывом), то теперь им стал Google, и отрыв уже заметен. При этом позиции в Яндексе восстановлены полностью.

janderx-google.png

Здесь я описал историю и шаги для сайта, у которого лишь некоторые из страниц нарушали правила РКН, если же сайт сам по себе из серых и черных ниш, то шаги по выходу с под бана будут различаться. Вернее это будет история не выхода с под блокировки, так как его разблокировать не получится, а о том, как восстановить трафик на новом домене-зеркале. При этом 301 редирект и склейка со старым сайтом, как я говорил ранее, скорее всего снова приведет к новой блокировке. Опыта такого пока нет, как будет может напишу отдельную статью.

Если у вас есть свой опыт вывода сайтов с под блокировки РКН было бы интересно почитать ваше мнение и опыт в комментариях, или на отдельных статьях по теме.

Average: 7.5 (6 votes)