Проект реализовал VAS Experts совместно с локальным партнером-интегратором. VAS Experts разработала программную часть системы и предоставила экспертную поддержку, а партнер внедрил готовое решение на стороне заказчика.
Задачи проекта
Ранее оператор использовал решение Sandvine для работы с данными о пользовательском трафике. После окончания поддержки решения и отсутствия возможности расширять его функциональность потребовалась собственная система формирования UDR, которая могла бы работать с существующей сетевой инфраструктурой и автоматически готовить записи для внутренних систем.
Автоматическое формирование UDR
Основная задача — автоматически собирать данные о пользовательских сессиях из HTTP- и HTTPS-трафика и каждые 15 минут и формировать отдельные UDR-файлы. Готовые файлы требовалось передавать во внутреннюю инфраструктуру оператора. Для получения данных об абонентах также требовалась обработка RADIUS Accounting от PGW.
Нагрузка до 300 Гбит/с и 3М абонентов
При этом система должна была обрабатывать мобильный трафик из двух площадок, суммарно объем которого достигает 300 Гбит/с и 3 000 000 абонентов. Для этого требовалась поддержка интерфейсов 100G Ethernet и распределение обработки между несколькими DPI-узлами. При этом оператору было необходимо наращивать производительность по мере роста трафика без перестройки системы целиком.
Работа без остановки
Кроме функциональных требований, особое внимание уделялось надежности и сохранности данных. Архитектура должна была сохранять работоспособность при отказе отдельных компонентов, а сформированные UDR требовалось хранить в течение 90 дней.
Решение
В проекте была подключена лицензия с поддержкой обработки трафика в обоих направлениях и передачи статистики по IPFIX.
От базовой конфигурации до высокопроизводительной DPI-платформы — выбирайте нужный уровень лицензии и расширяйте его по мере роста сети.
Подробнее о вариантах лицензирования СКАТ
Аппаратная часть решения построена на серверной платформе ITPOD и включает два DPI-узла, два QoE-сервера. Для подключения трафика используются по четыре 100G-интерфейса на DPI.
Решение развернули на стандартных x86-серверах.
Рисунок 1 — Схема организации сетевого взаимодействия между площадками
От зеркалируемого трафика к данным о сессии
Зеркалируемый трафик из двух дата-центров поступал на DPI-платформу, где выполнялась реконструкция двунаправленных потоков L2–L7 и агрегация их в единые сессионные записи. Для привязки сетевой активности к конкретному абоненту без изменения существующей AAA-инфраструктуры оператора была реализована интеграция с RADIUS Accounting. DPI формирует идентификатор сессии на основе IP-адреса, а AAA-система предоставляет соответствующую учетную запись абонента. Платформа сопоставляет эти данные и сохраняет соответствие между сетевой сессией и абонентом даже в случае смены IP адреса.
Обогащение данными пользовательских сессий
Полученное соответствие используется для обогащения данных о сетевой активности.
Информация об абоненте добавляется к агрегированным представлениям fullflow и clickstream, которые содержат параметры пользовательских сессий и сетевых событий.
Так формируется единый контекст, в котором технические данные о сессии связаны с конкретным абонентом. Это позволяет использовать уже агрегированную информацию при последующем формировании UDR, без необходимости повторно анализировать отдельные сетевые пакеты.
Рисунок 2 — Схема формирования UDR на основе AAA-, FullFlow- и Clickstream-данных
Зачем понадобились отдельные структуры и фильтрация
Следующим этапом стало формирование самих UDR из обогащенных данных fullflow и clickstream.
Поскольку для UDR требуется только часть собираемой информации, в архитектуре предусмотрен слой нормализации и фильтрации. На основе fullflow и clickstream были выделены отдельные структуры формирования UDR, а также реализованы правила отбора полей. Это позволило ограничить состав итоговой записи только теми параметрами, которые требуются оператору, и исключить избыточные данные на этапе подготовки.
В результате система стала управляемой с точки зрения состава UDR и масштабируемой по мере изменения требований.
Формирование UDR и масштабирование системы
Сформированные и отфильтрованные данные агрегируются в текстовые UDR-файлы с интервалом 15 минут, при этом HTTP и HTTPS обрабатываются раздельно. Далее файлы автоматически передаются в инфраструктуру оператора.
Для обеспечения надежности используются два рабочих узла DPI, а для оперативного восстановления предусмотрен комплект запасных частей и оборудования (ЗИП).
Масштабировать решение можно поэтапно: сначала увеличивается производительность существующей инфраструктуры, а при исчерпании ее возможностей добавляются новые DPI-узлы.
Результат
В результате внедрения оператор получил систему формирования User Detail Records, полностью соответствующую требованиям по производительности и интеграции.
Решение обеспечивает:
- анализ до 300 Гбит/с мобильного HTTP и HTTPS-трафика;
- автоматическое формирование отдельных UDR для HTTP и HTTPS каждые 15 минут;
- сопоставление пользовательских сессий с данными Radius Accounting;
- работу с интерфейсами 100G Ethernet;
- отказоустойчивую архитектуру с резервированием ключевых компонентов;
- возможность дальнейшего масштабирования без изменения общей архитектуры системы.
Система успешно прошла пользовательские приемочные испытания (UAT), была введена в промышленную эксплуатацию и передана на техническую поддержку.
Отзыв клиента
Нам было важно заменить прежнее решение на собственную систему формирования UDR, способную работать с большими объемами мобильного трафика. Отдельно хотим отметить взаимодействие с командой VAS Experts и локальным партнером. Специалисты учли наши требования, помогли пройти UAT и вывести систему в промышленную эксплуатацию.
В результате мы получили понятный и управляемый инструмент для работы с UDR, который позволяет развивать систему дальше без привязки к прежнему решению.
