В этой статье мы рассмотрим, как реализовано масштабирование платформы СКАТ, какие компоненты участвуют в кластерной схеме и как оператор может наращивать производительность от одного узла до терабитных конфигураций.
Предел узла обработки трафика
Представим регионального оператора. У него есть несколько тысяч абонентов, вечерний пик трафика в десятки Гигабит, IPTV, торренты, онлайн-игры, видеозвонки, корпоративные клиенты и требования законодательства по фильтрации запрещенных ресурсов.
На старте один узел СКАТ может работать как единая точка обработки абонентского трафика. На основе технологии глубокого анализа трафика (Deep Packet Inspection) платформа СКАТ выполняет функции:
- BRAS (сервер широкополосного удаленного доступа);
- Carrier Grade NAT (трансляция сетевых IPv4 адресов);
- Контроль пропускной способности канала (Quality of Service);
- Фильтрация трафика;
- Сбор статистики и аналитика (Network Visibility and Quality of Experience).
Потом оператор начинает расти. Появляются новые районы, увеличивается потребление видео, растет объем мобильного и OTT-трафика, подключаются корпоративные клиенты, расширяется тарифная линейка.
Когда трафика в сети становится больше, один узел может перестать справляться с его обработкой. Тогда оператору нужно расширить вычислительные ресурсы или изменить схему обработки трафика.
На первом этапе оператор обычно использует вертикальное масштабирование. ПО СКАТ переносится на более производительный сервер с большим запасом по CPU, памяти и сетевым интерфейсам.
| Подход | Как работает | Когда подходит | Где появляется предел |
| Вертикальное масштабирование | Лицензия СКАТ переносится на более производительный сервер | Достаточно производительности одного сервера | CPU, память, интерфейсы, стоимость и физические ограничения сервера |
| Горизонтальное масштабирование | Осуществляется распределение трафика между несколькими серверами | Один сервер уже не дает нужного запаса или требуется расширение | Нужно правильно распределять трафик между серверами без дополнительных балансировщиков |
| Кластер с несколькими NPB (Балансировщиками) | В схему добавляются дополнительные NPB и серверы | Нужен рост до терабитных значений | Масштабирование зависит от производительности NPB, числа узлов и резервирования N+X |
Подходы к масштабированию
Но вертикальный рост не бесконечен. У сервера есть физический потолок по CPU, памяти, PCIe-линиям, сетевым картам, охлаждению и стоимости конфигурации.
Сначала замена узла на более мощный помогает закрыть рост нагрузки. Но если каждый новый прирост трафика закрывать только заменой серверов, стоимость расширения быстро растет, а запас производительности снова остается временным. При этом архитектура не меняется. Вся обработка по-прежнему сосредоточена в одной точке, через которую проходит критический объем абонентского трафика.
Когда один узел уже не дает нужного запаса, систему переводят в кластерную схему.
Как работает кластерная схема с брокером сетевых пакетов (NPB)
Платформа СКАТ масштабируется за счет линейного добавления балансировщиков трафика NPB (Network Packet Broker) и серверов обработки. Такая схема позволяет увеличивать производительность постепенно, без замены центральных компонентов и без перестройки логики сети – достаточно добавить новые элементы в кластер.
Для сети оператора платформа остается прозрачным L2-устройством и продолжает работать в режиме in-line.
Основные элементы, участвующие в масштабировании:
- NPB – устройство балансировки трафика, которое распределяет потоки (flows) между узлами обработки трафика и сохраняет симметричное прохождение сессий в рамках каждого сервера СКАТ. В связке с bypass-коммутаторами он участвует в отказоустойчивой схеме прохождения трафика.
- Серверы обработки – x86_64 серверы общего назначения с сетевыми картами Mellanox/Intel, на которых работает ПО СКАТ для глубокого анализа трафика.
- Bypass-коммутаторы — устройство, обеспечивающее непрерывность связи путем автоматического перенаправления трафика напрямую через сеть при отказе системы обработки.
- Управление выполняется через NMS. Через графический интерфейс задаются профили, политики, правила фильтрации, списки, пользовательские протоколы и параметры мониторинга.
Каждый узел платформы может работать отдельно или быть частью кластера. В кластерной схеме NPB распределяет потоки между серверами с учетом алгоритма балансировки и текущего состояния узлов.
Типовая логика обработки выглядит так:
- Трафик оператора приходит на оптический bypass.
- Через bypass он поступает на NPB.
- NPB распределяет трафик между узлами обработки.
- Исходящий и входящий трафик одной сессии/абонента направляется на один и тот же узел обработки СКАТ.
- На узле СКАТ анализируется трафик, применяются политики QoS, выполняется веб фильтрация, трансляция адресов CG-NAT или полноценный BRAS.
- После обработки трафик через NPB и BYPASS возвращается в линию.
Логика обработки сетевого трафика с использованием NPB и DPI
В зависимости от сценария балансировка может строиться по-разному. Для DPI-сценариев допустима балансировка на уровне отдельных сессий. Для BRAS и CG-NAT используется subscriber-aware схема, когда весь трафик одного абонента обрабатывается одним узлом.
Если в сети присутствует асимметрия маршрутов, например входящий и исходящий трафик проходят через разные площадки, используется зеркалирование ТОЛЬКО ИСХОДЯЩЕГО трафика между NPB разных площадок. В этом случае копия потока передается между площадками и используется для корректного анализа сессии. После обработки зеркальный трафик отбрасывается и не участвует в статистике. Это не влечет больших дополнительных расходов, т.к. исходящий трафик не более 10% от входящего.
Такой сценарий особенно важен для распределенных сетей, где трафик абонента может идти через разные точки присутствия.
Как наращивается производительность
Дальше кластер расширяется поэтапно. В пределах текущей схемы можно добавлять серверы под СКАТ. Когда емкости балансировочного уровня становится недостаточно, добавляются новые NPB.
Один NPB c 64x100G портами рассчитан на 1,2 Тбит/с суммарного трафика, из них 1 Тбит/с download и 200 Гбит/с upload.
Максимально в кластер можно включить до 8 NPB. В такой конфигурации суммарная пропускная способность достигает 9,6 Тбит/с.
Пример масштабирования кластера на 4 NPB 4xNPB = 4,8Tbps total traffic (4Tbps download + 800Gbps upload)
Для DPI-серверов расчет строится отдельно. В зависимости от конфигурации рабочая расчетная нагрузка может составлять от 120 до 360 Гбит/с суммарного трафика на узел. Но финальное количество узлов всегда зависит от профиля трафика, PPS, числа сессий, NAT-трансляций, набора включенных функций и коэффициента резервирования, который оператор хочет заложить.
| Конфигурация | Суммарный трафик | Download | Upload |
| 1 NPB | 1,2 Тбит/с | 1 Тбит/с | 200 Гбит/с |
| 2 NPB | 2,4 Тбит/с | 2 Тбит/с | 400 Гбит/с |
| 3 NPB | 3,6 Тбит/с | 3 Тбит/с | 600 Гбит/с |
| 4 NPB | 4,8 Тбит/с | 4 Тбит/с | 800 Гбит/с |
| 8 NPB | 9,6 Тбит/с | 8 Тбит/с | 1,6 Тбит/с |
Например, если оператор строит кластер только «впритык» к текущей нагрузке, любой вечерний пик или отказ узла сразу создаст перегрузку. Поэтому в промышленных схемах закладывают резерв N+X. Часть узлов обработки закладывается как резерв кластера. При отказе одного сервера NPB перераспределяет потоки трафика на оставшиеся узлы, а кластер продолжает обрабатывать трафик.
Важная особенность такой архитектуры — рост происходит поэтапно. Оператору не нужно заранее покупать максимальную конфигурацию. Сеть может начать с одного NPB и нескольких серверов обработки трафика, затем получить дополнительные узлы по мере роста абонентской базы или подключенных функций.
При масштабировании кластера рекомендуется использовать серверы одинаковой мощности.
Резервирование, heartbeat и bypass
Масштабирование не должно превращать сеть в конструкцию, где отказ одного сервера ломает весь участок. Поэтому в кластерной схеме СКАТ резервирование строится на нескольких уровнях.
Внешний оптический BYPASS и контроль состояния DPI-узлов
Для DPI- и PCEF-сценариев используется внешний оптический BYPASS. Линки оператора подключаются в разрыв через bypass switch. Он отслеживает состояние сигнала в линии, работоспособность компонентов всего комплекса. Если происходит критический сбой сервера обработки или балансировщика, bypass пропускает трафик напрямую, исключая влияние. Связность сети сохраняется, но DPI-функции временно перестают применяться.
Прохождение трафика через оптический bypass во включенном и выключенном режимах
Здоровье кластера контролируется через heartbeat-механизм. NPB видит, какие серверы доступны, и использует только рабочие узлы. Если один из узлов перестает отвечать, балансировщик исключает его из схемы распределения и направляет новые потоки трафика на оставшиеся серверы.
Резерв N+X
Для всех функций платформы СКАТ применяется резервирование по схеме N+X. В кластер закладываются дополнительные вычислительные ресурсы, которые позволяют переживать отказ отдельных узлов без немедленной перегрузки системы.
При проектировании такого резерва важно учитывать не только текущую нагрузку, но и поведение кластера после аварии. Если после отказа оставшиеся серверы получают больше трафика, чем способны обработать, качество обработки может начать снижаться даже при сохранении работоспособности сервиса. Поэтому рекомендуется закладывать нагрузку в 80% от максимальной производительности на каждый узел СКАТ.
Заключение
Масштабирование СКАТ строится по линейной схеме. Оператор может начать с одного узла, а затем перейти к кластерной схеме с несколькими NPB и с совокупной мощностью 9,6 Тбит/с.
Такая архитектура дает понятный маршрут расширения. Пропускная способность растет за счет добавления компонентов, управление политиками остается централизованным, а сам комплекс продолжает работать как прозрачное L2-устройство для сети оператора.
Если вашему бизнесу требуется система, которая растет вместе с вами, – архитектура СКАТ предоставляет готовую, проверенную стратегию расширения без перестройки логической схемы сети.
