Масштабирование и резервирование BRAS

20.05.2021 | VAS Experts

Ключевые требования к аппаратной части при масштабировании — это совместимость компонентов и драйверов основного ПО. Основные компоненты: CPU, RAM, HDD, Network cards. Важно отметить, что при построении высоконагруженных систем используется только один CPU для того, чтобы избежать высоких задержек при обращении к памяти из-за архитектуры NUMA.

Софтовый BRAS имеет ряд особенностей в сравнении с программно-аппаратными решениями:

  • Независимость от производителя аппаратной части
  • Возможность использования уже существующего оборудования
  • Быстрое развертывание
  • Возможность создания демо стендов на Virtual Machine для проверки конфигурации
  • Гибкое масштабирование путем наращивания производительности.

Компания VAS Experts имеет большой опыт в реализации решений по расширению BRAS. Наши клиенты часто сталкиваются с задачей масштабирования сетевого оборудования, вот что они говорят об опыте его развития и миграции:

«Миграция СКАТ-20 на СКАТ-40 — проблем не вызвала совсем. При миграции со СКАТ-40 на 80 были трудности связаны с оборудованием. ПО СКАТ отработало без ошибок и сама миграция прошла без особых проблем.»

Роман Трепалин, компания «Пост ЛТД»

В этой статье мы подробно рассмотрим несколько вариантов расширения с примерами масштабирования.

Scale-up (вертикальное)

Вертикальное расширение — это расширение в рамках одного устройства для достижения нужной производительности. Текущий лимит по производительности на один сервер до 100G full duplex. В будущем при выходе новых процессоров лимит будет повышен. Мы рекомендуем использовать резервный сервер, на который в случае выхода из строя основного, сможет переключаться нагрузка.

Пример масштабирования на базе серверов Intel

Память наращивается в соответствии с требованиями: для старта может быть использована платформа с 8 ядрами, затем возможен переход на 16-и и 28-и ядерные платформы. Сетевые карты могут быть использованы с портами 10G/25G/40G, комбинация разных типов портов в таком случае не поддерживается.

Приведем пример расширения СКАТ-20 до СКАТ-100 на одной и той же платформе.

Платформа: Supermicro SYS-5019P-WTR

 

Характеристики платформы:

  1. Single Socket P (LGA 3647) supports 2nd Gen Intel® Xeon® Scalable processor (Cascade Lake/Skylake)
  2. 6xDIMMs; up to 1.5TB 3DS ECC DDR4-2933MHz RDIMM/LRDIMM
  3. 2xPCI-E 3.0 x16 (FHFL) slots, 1 PCI-E 3.0 x8 (LP) slot
  4. 4xHot-swap 3.5″ SATA3 drive bays
  5. 2x10GBase-T ports with Intel X722 + X557
  6. 1xVGA, 2 COM, 2 USB 3.0, 2 USB 2.0
  7. 2xSuperDOM (Disk on Module) ports
  8. 500W Redundant power supplies Platinum Level Certifie

 

 

Пример масштабирования на базе серверов AMD

Многоядерные процессоры AMD отлично себя зарекомендовали для систем, где требуется производительность от 50G full duplex. Наращивание производительности происходит также путем замены процессора и добавлением памяти и сетевых адаптеров.

Приведем пример расширения СКАТ-100 до СКАТ-200 на одной и той же платформе. Платформа: Supermicro AS-1014S-WTRT или Supermicro AS-2113S-WTRT.

Важно: для использования 100G интерфейсов, нужно установить материнскую плату с поддержкой PCI 4.0.

Характеристики платформы:

  • Single AMD EPYC™ 7002 Series Processor
  • 8xDIMMs; up to 2TB 3DS ECC DDR4-3200MHz RDIMM/LRDIMM
  • 2xPCI-E 4.0 x16 (FHFL) slots, 1xPCI-E 4.0 x16 (LP) slot
  • Integrated IPMI 2.0 + KVM with dedicated LAN
  • 4xHot-swap 3.5″ SATA3 drive bays, Optional 4 U.2 NVMe (PCI-E 3.0) drive support via additional kit for NVMe devices
  • 2x10GBase-T LAN ports via Broadcom BCM57416 Controller
  • 1xVGA, 5xUSB 3.0 (4 rear, 1 Type A)
  • 2xSuperDOM (Disk on Module) ports
  • 500W Redundant Power Supplies Platinum Level High-efficiency

 

 

Пример спецификации платформ на Supermicro

При использовании СКАТ DPI в роли L2 BRAS (DHCP/ARP/PPPoE авторизация) необходимо учитывать дополнительную нагрузку, связанную с анализом каждого пакета по дополнительным параметрам. Это влечет рост потребления мощностей CPU. В этих сценариях рекомендуется увеличить количество ядер CPU на 30%. Для лицензии СКАТ-40 взять платформу СКАТ-60.

Scale-out (горизонтальное)

Горизонтальное расширение происходит путем использования нескольких серверов СКАТ с целью деления и балансировки нагрузки. Путем увеличения количества серверов решается ситуация, в которой нет возможности обработать весь трафик на одном устройстве. В данном случае повышается отказоустойчивость решения в целом.

Рекомендуем учитывать производительность каждого устройства в ситуации, когда предполагается перевод трафика с выбывшего на другой сервер.

Рассмотрим варианты масштабирования и резервирования отдельно для схем L2 и L3 BRAS.

Условия:

  • Одинаковые BRAS по производительности и лицензиям
  • PCRF сервер синхронизирует внутренние базы UDR (статус авторизации, полисинг, услуги)

L3-Connected BRAS

L3 IPoE BRAS взаимодействует с абонентами через промежуточные маршрутизаторы, поэтому он не видит оригинальных MAC-адресов, а абонентам уже назначены IP-адреса. Выдача IP-адресов в этой схеме осуществляется или статически в сетевых настройках, или на коммутаторах доступа через DHCP Relay.

Горячий Резерв L3 BRAS через LAG (Active-Active)

l3-active-active

Два устройства помещаются в один LAG, где настроена балансировка трафика по IP src / IP dst. Это позволяет распределить нагрузку между двумя устройствами и если одно из них выйдет из строя, весь трафик будет направлен на один сервер. Для реализации вам потребуется активная лицензия на каждый сервер BRAS.

Холодный Резерв L3 BRAS в LAG (Active-Standby)

l3-active-standby

Два устройства помещаются в один LAG, где часть линков неактивна. В случае падения основных линков, происходит активация резервных. Это позволяет направить весь трафик на один сервер при выходе основного сервера из строя. Для реализации потребуется резервная лицензия на резервный сервер BRAS.

Холодный Резерв L3 BRAS через роутинг (Active-Standby)

Два устройства помещаются в разные LAG. Через активный сервер проходит основной маршрут трафика. Маршрутизация настраивается на граничных роутерах. Если основной сервер выходит из строя, происходит переключение на резервный маршрут. В ситуациях, когда основного сервер отключается, это позволяет направить весь трафик на один резервный сервер через альтернативный маршрут. Для реализации потребуется резервная лицензия на резервный сервер BRAS.

L2-Connected BRAS

L2-Connected BRASи абонент имеют прямое L2 соединение, поэтому он видит оригинальные MAC-адреса, тэг VLAN или Q-in-Q, DHCP запросы, на основании которых формируются Radius запросы. Выдача IP-адресов осуществляется в атрибуте Radius-Accept.

Варианты BRAS L2:

  • DHCP — Абонент получает IP-адрес через СКАТ DHCP Proxy и проходит ААА в Биллинге. Дальше терминируется СКАТом и попадает на бордер.
  • Static IP — Абонент имеет фиксированный IP-адрес, через ARP авторизацию проходит AAA в Биллинге, терминируется СКАтом и попадает на бордер.
  • PPPoE — Абонент поднимает PPP туннель со СКАТ, через логин/пароль авторизацию проходит AAA в Биллинге, терминируется СКАтом и попадает на бордер

Холодный Резерв L2 BRAS (DHCP, PPPoE) (Active-Standby)

l2

Два устройства помещаются в один и тот же L2 домен. Активный сервер отвечает на запросы пользователей и проводит авторизацию. После успешной авторизации проходит анонсирование через OSPF/BGP маршрутов на пограничный маршрутизатор. Маршрутизация динамическая. Если основной сервер выходит из строя, резервный сервер начинает отвечать на запросы и анонсирует абонентов. Процесс переключения может быть выполнен разными способами, например, поднятием портов на резервном сервере или переписывание VLAN на коммутаторе агрегации. Для реализации потребуется резервная лицензия на резервный сервер BRAS.

Горячий Резерв L2 BRAS (DHCP, PPPoE) (Active-Active)

l2-active-active

Два устройства помещаются в один и тот же L2 домен. Оба сервера активные и отвечают на запросы пользователей, проводят авторизацию. Для технологии PPPoE данный режим поддерживается на основе дизайна самой технологии, когда абонент устанавливает соединение с сервером, который ответил первым. Для DHCP данный режим находится в разработке. После успешной авторизации проходит анонсирование через OSPF/BGP маршрутов на пограничный маршрутизатор. Маршрутизация динамическая. Если один из серверов выходит из строя, второй сервер начинает обрабатывать весь трафик. Для реализации вам потребуется активная лицензия на каждый сервер BRAS.

Поделиться в социальных сетях