Роскомнадзор черный список сайтов

Роскомнадзор черный список сайтов

Персона РФ : Кто Есть Кто в России

Единый реестр доменных имён, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено — автоматизированная информационная система ведения и использования базы данных о сайтах, содержащих запрещённую к распространению в России информацию.

Реестр находится в ведении Роскомнадзора в соответствии с постановлением Правительства Российской Федерации от 26 октября 2012 года № 1101 «О единой автоматизированной информационной системе „Единый реестр доменных имён, указателей страниц сайтов в информационно-телекоммуникационной сети „Интернет“ и сетевых адресов, позволяющих идентифицировать сайты в информационно-телекоммуникационной сети „Интернет“, содержащие информацию, распространение которой в Российской Федерации запрещено“».

Предполагается, что реестр направлен на предотвращение распространения через сайты детской порнографии, инструкций по суицидам и изготовлению наркотиков. В таких случаях возможно досудебное закрытие сайтов. В других случаях решение о закрытии ресурса будет принимать суд

Список сайтов, по состоянию на 12 ноября запрещенных Роскомнадзором, опубликован в интернете. Его выложил в Живом журнале пользователь ntv

Платформа: Windows XP/Vista/7
Язык: Perl

Сервис, созданный Роскомнадзором носит очень длинное, трудное для восприятия название: «Единый реестр доменных имён, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено», поэтому далее будем называть его для простоты-сервис «Роскомнадзор».

Задача
Организовать автоматическое скачивание списков запрещенных сайтов с ресурса «Роскомнадзор». Система должна быть реализована в рамках одного хоста, скаченные файлы должны ротироваться с заданной глубиной.

Лирика
По поводу списка запрещенных сайтов, сказано было уже немало и обсуждать эту тему снова не имеет смысла.

Однако ежедневное скачивание списка запрещенных сайтов, несмотря на всю очевидную бессмысленность данного занятия, стало необходимостью для многих интернет-провайдеров. Делается это в основном для того, чтобы избежать претензий со стороны Роскомнадзора. Естественно что первое что приходит на ум-автоматизировать процесс скачивания. К сожалению на сайте Роскомнадзора способ автоматизации описан довольно туманно, а техподдержка практически отсутствует. Кроме того в случае автоматизации процесса, работа с сервисом идет по протоколу SOAP, что тоже не добавляет радости.

По этому поводу хочу представить один из возможных способов организации автоматического скачивания списка запрещенных сайтов. Возможно что у кого-то тоже возникла такая проблема, и я надеюсь моя статья поможет тем людям, которые в данный момент ищут ее решение.
Должен сказать, что на эту тему уже написано некоторое количество статей, в том числе и на Хабре, методы, представленные в этих статьях, большей частью, не позволяли достигнуть полной автоматизации. Где-то нужно было руками формировать запрос на получение списка, где-то руками запускать скрипты и т.д. В моем случае система работает полностью автоматически, я только иногда поглядываю все ли нормально. Скажу честно, чтобы поднять систему, я воспользовался статьей, которую нашел на Toster. В ней были представленны скрипты на Perl, которые я немного изменил и кое-что добавил.

Читайте также:  Полнотекстовый поиск что это

Реализация конечно получилась довольно грубой, но вполне рабочей. Все удалось разместить на одном хосте. Это старый компьютер из бухгалтерии под Windows XP, в который воткнули Rutoken, подключили к сети и закрыли в стойке. Соответственно директория, в которую скачиваются архивы с сервиса Роскомнадзор расшарена в локальную сеть.

Теперь рассмотрим реализацию.

В качестве ОС, как я уже сказал, была использована Windows XP(какой версии не имеет значения), также для этих целей подойдет и Windows Vista и Windows 7.
Изначально считаем, что единственное назначение хоста-работа с реестром запрещенных сайтов.

1.Квалифицированная открепленная электронная подпись (ЭП) и програмное обеспечение (ПО) для работы с ней

Приобретение электронной подписи-отдельная тема для разговора. Приобрести ее можно у различных компаний, имеющих соответствующую лицензию, как это сделать-обычно стоит выяснять в самой компании. В нашем случае ЭП была приобретена у компании ООО «КРИПТО-ПРО», поэтому именно этот случай я опишу.

В приобретенный комплект входили: носитель подписи (Rutoken) с криптографическим ключом, сертификат ЭП, сертификат на техподдержку и диск с набором ПО.

Когда ОС установлена и хост готов к работе первое что необходимо сделать-это установить необходимое ПО для работы с ЭП.

Сначала устанавливаем драйверы для Rutoken (те что были на диске с ПО не подошли). Найти их можно на сайте производителя (раздел Рутокен для Windows).

Скачиваем драйверы и устанавливаем. Если все сделано верно, то после того как Rutoken будет вставлен в USB-порт на нем начнет светиться светодиод. (Программа соответственно называется-«Панель управления Рутокен»).

Далее устанавливаем программу Крипто-ПРО. Делать это нужно с подключенным Rutoken.
Сертификат действителен один год, потом его необходимо обновлять. В этом случае необходимо удалить старый сертификат и подключить новый. Информацию о сертификатах
можно посмотреть в «Пуск->Крипто-Про->Сертификаты»
Если в этом месте возникают затруднения, то лучше всего позвонить в техподдержку, там объяснят все достаточно корректно.
В моем случае я обновлял устаревший сертификат. Для этого я зашел в раздел «Сертификаты», далее
«Сертификаты-текущий пользователь->Личные->Реестр->Сертификаты», и удалил старый сертификат вручную, вставил Rutoken и перегрузил машину. Актуальный сертификат подцепился автоматически.

Чтобы проверить что сертификат установлен верно можно подписать файл вручную при помощи программы Крипто-АРМ, которая входит в комплект.

Читайте также:  Как разблокировать элемент adblock

Для этого устанавливаем программу и создаем произвольный, желательно не пустой файл.
Включаем Крипто-АРМ, далее «Подпись->Подписать», выбираем файл и проходим диалог, в конце выбираем сертификат и жмем OK. Если все сделано верно. То в указаной в диалоге директории, появится файл filename.sig. Этот файл и есть открепленная электронная подпись.

Программа Крипто-АРМ в системе автоматической выгрузки списков запрещенных сайтов не участвует.

Самое главное, что нам нужно-утилита csptest.exe,(проверку ЭП можно сделать и с ее помощью) которая входит в состав Крипто-ПРО.
Это консольная утилита для создания ЭП. Работает только под ОС Windows.

По словам разработчиков, эта утилита нужна исключительно для тестов и в боевой системе ее использовать нельзя, т.к. она обладает неполными возможностями. Для нормальной работы используется другая утилита, которая может работать и на Linux-сервере, но за нее требуется заплатить отдельно.

Практика показала, что для решения поставленой задачи csptest.exe вполне подходит.

2. Организация автоматического скачивания

Работа с сервисом «Роскомнадзор» происходит по протоколу SOAP.

Раз в 5 минут проверяем, производилось ли скачивание за текущий день(существует ли архив с нужным именем)
&nbspЕсли да-ничего не делаем.
&nbspЕсли нет-начинаем скачивание.
&nbsp&nbsp&nbspСоздаем актуальный запрос на выгрузку списка запрещенных сайтов
&nbsp&nbsp&nbspСоздаем файл подписи
&nbsp&nbsp&nbspОтправляем на сервер запрос и получаем код запроса (или сообщение об ошибке если запрос корректный)
&nbsp&nbsp&nbsp&nbspЕсли запрос корректный ждем 5 минут (запрос обрабатывается 1-2 минуты) и отправляем на сервер код запроса
&nbsp&nbsp&nbsp&nbspПринимаем архив со списком запрнещенных файлов в бинарном режиме
&nbsp&nbsp&nbspЕсли запрос некорректный-получаем код ошибки и ничего не делаем.

Система выгрузки представляет из себя следующее:
4 файла, из которых 3-скрипты на perl и один файл типа .bat
Файлы: make_request.pl,get_register.pl,rotation.pl,roscomnadzor.bat

Назначение скриптов.
make_request.pl-создает запрос к сервису «Роскомнадзор»
get_register.pl-отправляет запросы к сервису «Роскомнадзор» и обрабатывает результаты
rotation.pl-производит ротацию скаченных архивов с заданной глубиной
roscomnadzor.bat-синхронезирует работу скриптов и утилит

Развертывание системы

Создаем в корне диска С:// (или иногог диска) рабочую директорию. У меня она называется roscomnadzor.
Внутри нее создаем 2 поддиректории: source и result.

В директорию source нужно поместить скрипты, в директории result будет находится результат ее работы, т.е. архивы со списками запрещенных сайтов.
После размещения скриптов необходимо прописать пути к файлам от корневой директории (или вынести в config, если есть желание сделать все красиво).

Принцип работы

Для выполнения процедуры необходимо запустить файл roscomnadzor.bat

1. Создание файла запроса

За создание запроса отвечает скрипт make_request.pl, файл запроса создается в директории source

Читайте также:  Состояние линии dsl разорвано

Запрос на скачивание представляет изсебя файл в формате xml, следующего вида:

2. Создание файла подписи

Для создания файла-подписи мы и используем ту самую утилиту csptest.exe Вызывается она из bat-файла

где:
-my — Указывает владельца ключа;
-in — Указывает какой файл нужно подписывать. Если файл находится не в папке с csptest то нужно указывать полный путь.;
-out — Указывает имя файла подписи;

3. Диалог с сервисом «Роскомнадзор»

За отправление запросов и обработку результатов отвечает скрипт get_register.pl

Результатом выполнения скрипта(при условии доступности сервера) является архив с именем вида: reestr_yyyy_mm_dd.zip

4.Ротация результатов

Даже при невысокой частоте скачивания, рано или поздно все пространство на жестком диске машины окажется занятно, что может привести к самым плачевным последствиям. Для того, чтобы длительное время поддерживать работоспособность системы необходимо организовать ротацию, т.е. по мере скачивания новых архивов, старые будут постепенно удаляться.

За ротацию отвкчает скрипт rotation.pl

Глубина ротации определяет, какое количество архивов будет одновременно находится в директории result(при заданной логике-за какой временной интервал в прошлое относительно текущего дня)

5.Запуск по расписанию

Для запуска по расписанию использовал стандартный планировщик заданий Windows
schtasks (http://www.windowsfaq.ru/content/view/83/57)

Интервал времени, через который будет запускаться roscomnadzor.bat должен быть большим, чем время ожидания запроса от сервера

Я запустил систему в середине марта, пока все работает без сбоев.
Спасибо за внимание. Надеюсь моя статья была вам полезна.

Инструмент покажет, заблокирован ли сайт Роскомназдором. Вы можете проверить домен или IP. Чтобы проверить запрет от РКН, введите в поле адрес сайта.

О блокировках

С 2009 года Роскомнадзор контролирует распространение информации в интернете. Для этого ведомство в 2012 году создало реестр запрещенных сайтов, который пополняется ежедневно. В первую очередь, под блокировку попадают сайты, содержащие запрещенный контент: призывы к насилию, ненависти по расовым или религиозным признакам или порнографию. Также Роскомнадзор может заблокировать сайт за менее серьезные нарушения, например, ФЗ 152 “О персональных данных”.

Сайт попадает в реестр по решению суда или в досудебном порядке по следующей схеме:

  • В РКН поступает жалоба о наличии на сайте запрещенного контента;
  • Служба проверяет ее и направляет уведомление хостинг-провайдеру;
  • Хостер уведомляет владельца сайта;
  • Если владелец в трехдневный срок не удаляет запрещенную информацию, сайт попадает в реестр и блокируется интернет-провайдерами.

Попасть в реестр без суда и следствия можно по трем основным причинам:

  • Детская порнография;
  • Пропаганда наркотиков;
  • Пропаганда суицида.

Тест не показывает список заблокированных сайтов и не помогает совершить обход блокировки.

Ссылка на основную публикацию
Регистр сведений соответствие объектов информационных баз
Логично ожидать, что при синхронизации данных, как начальной, так и основанной на регулярной основе, одинаковые данные в приложениях будут сопоставлены...
Программы похожие на муви мейкер
Если Windows Movie Maker вам не подходит, есть несколько альтернатив, которые больше подходят вашим специфическим требованиям. Для вдохновленных кинопроизводителей важно...
Продажа авто гражданину белоруссии
Авторы статьи: Коллектив компании AMB MOTORS www.ambmotors.ru +7(495) 724-10-44 В последнее время в Москве автомобили с пробегом все чаще стали...
Регистрация gmail com без номера телефона
Google – передовой поисковый сервис, давно изменивший способ взаимодействия с интернетом. Именно здесь впервые ввели поиск по картинкам, предусмотрели голосовое...
Adblock detector