Необходимо записывать и хранить сведения о фактах приема, передачи, доставки сообщений и звонков сроком до 3 лет. Но даже такие метаданные создают большие объемы, для которых необходимо использовать выделенную систему хранения данных (СХД).
Проведем расчет емкости СХД для оператора связи с внешним каналом 20 Гбит/с.
Категории статистической информации
Вся накапливаемая статистическая информация делится на две категории.
- Декодированные соединения, которые можно декодировать при обработке сетевого трафика:
- соединений подключения/отключения абонентов к сети передачи данных (ААА);
- соединений HTTP-обращений к информационному ресурсу сети связи;
- соединений передачи электронных почтовых сообщений, в том числе веб-почты;
- соединений передачи мгновенных электронных сообщений (IМ) между пользователями, в том числе социальных сетей, использующих открытые протоколы обмена;
- соединений передачи файловых данных.
- Недекодированные соединения, не поддающиеся декодированию при обработке:
- соединений терминального доступа к оборудованию для удаленного управления;
- соединений передачи прочих видов данных, принимаемых и передаваемых пользователями при помощи закрытых протоколов обмена;
- информации о сессиях трансляции сетевых IР-адресов (NАТ).
Система СОРМ-3 выполняет выделение из сетевого трафика информации о недекодированных соединениях, ее накопление и высокопроизводительный поиск в ней. В процентном соотношении информация о недекодированных соединениях составляет около 95 % от всего объема статистических данных о соединениях пользователей, получаемых комплексом с сетевого трафика.
Сроки хранения статистической информации
Говоря о сроке хранения статистической информации до 3 лет, мы подразумеваем максимальное значение для определенного типа данных. В настоящее время территориальное Управление ФСБ может согласовать меньший срок для разных типов данных, поэтому рекомендуем сделать расчет емкости СХД для каждого из них.
| Тип данных | Срок хранения (месяцев) максимальный/реальный |
| Информация об абонентах, оказанных им услугах и платежах | 36/36 |
| Информация о посещенных ресурсах сети Интернет (URL) | 36/6 |
| Информация о соединениях с использованием протокола TCP | 36/3 |
| Информация о соединениях с использованием протокола UDP | 36/3 |
Расчет емкости СХД
При скорости канала с вышестоящим провайдером в 20 Гбит/с за день система СОРМ-3 накапливает 250 Гб статистической информации. Посчитаем объем одновременно хранимых данных по каждому типу при различных согласованных сроках хранения.
Ориентировочно в сети оператора связи, предоставляющего услугу доступа к сети Интернет:
- информация о соединениях TCP и UDP – 55 %;
- информация о посещенных ресурсах сети Интернет (URL) – 30 %;
- информация об абонентах, оказанных им услугах и платежах – 5 %;
- информация о сообщениях, почте и проч. – 10 %.
В среднем:
| Тип данных | Соотношение, % | Объем за день, Гб | Срок хранения (дней) | Объем за все время хранения, Тб |
| Информация о соединениях с использованием протокола TCP и UDP | 55 | 137,5 | 1080 180 90 |
148,5 24,8 12,4 |
| Информация о посещенных ресурсах сети Интернет (URL) | 30 | 75 | 1080 180 90 |
81 13,5 6,8 |
| Информация о сообщениях, почте и проч. | 10 | 25 | 1080 180 90 |
27 4,5 2,3 |
| Информация об абонентах, оказанных им услугах и платежах | 5 | 12,5 | 1080 180 90 |
13,5 2,3 1,1 |
Суммарный объем:
Хранение 3 месяца – 23 Тб.
Хранение 6 месяцев – 45 Тб.
Хранение 3 года– 270 Тб.
Итого для хранения данных в течение всего необходимого срока при UPLINK в 20 Гб/с объем СХД будет колебаться от 23 Тб при минимальном сроке хранения (3 месяца) до 270 Тб при максимальном (36 месяцев). Объем системы хранения рекомендуется выбирать для максимального срока – 270 Тб, что соответствует 75 HDD объемом 8 Тбайт каждый, объединенных в RAID10 для создания массива, и 5 дискам для горячей замены.
У систем разных производителей цифра ежедневного накопления будет отличаться в зависимости от согласованного срока хранения (3, 6, 36 месяцев) из-за неоднородности трафика, охвата данных для сохранения на СХД. Например, ИС СОРМ-3 от VAS Experts, в отличие от систем других производителей, накапливает:
- HTTPs-трафик. Сбор такого трафика не регламентируется Постановлением № 538, но его доля с каждым годом растет. Все больше данных, передаваемых через Интернет, шифруется, и для того чтобы осуществлять ОРМ, сотрудникам правоохранительных органов требуется сбор таких данных. Большинство производителей СОРМ и операторы связи игнорируют HTTPs, считая ненужным переплачивать за такую функцию, но она станет очень актуальна в ближайшем будущем.
- Все URL. Сбор данных об URL-переходах осуществляется для всех ссылок (зачастую решения других производителей хранят только один URL, когда по факту пользователь просматривал много страниц сайта).
- FTP-протоколы. Сбор статистики не только FTP, но и других протоколов этого семейства (SFTP, TFTP, FTPS, MFTP и другие).
- 6000 протоколов. Общее число протоколов, которые система позволяет определять и накапливать. Так как для выполнения требований Постановления № 538 необходимо накопление лишь декодированных соединений, многие производители СОРМ накапливают только их, а это всего 5 % от общего объема. Постановление отстает от реального числа необходимых для накопления протоколов.
Практические значения могут отличаться от расчетных, поскольку объем генерируемого трафика может меняться каждый день. При покупке СХД можно сразу заложить некоторый объем, но запланировать его расширение в будущем при необходимости.
Стоит упомянуть о неизбежности вступления в силу «закона Яровой» с 1 июля 2018 года, что приведет к значительному росту объема накапливаемой информации. Соответственно, системы хранения СОРМ-3 должны быть легко масштабируемыми, чтобы позволять увеличивать объем при необходимости. Например, компания VAS Experts предлагает решение для хранения, расширяемое за счет использования дополнительных JBOD.
Более точно рассчитать систему хранения для СОРМ-3 относительно загрузки вашей сети смогут специалисты компании VAS Experts – разработчика ИС СОРМ-3 и системы глубокого анализа трафика СКАТ DPI.