Резервирование сетей передачи данных

Текущее положение вещей

Расположение ключевой ИТ-инфраструктуры — контроллера домена Active Directory, SQL-серверов, серверов 1С:Предприятие, программной АТС, почтового сервера и файлового хранилища — в центральном офисе и/или распределенных дата-центрах с резервированным электропитанием, поддержкой климатического режима и контролем доступа является общепринятой практикой.

Наличие общей инфраструктуры существенно упрощает организацию контроля доступа и резервного копирования данных. С использованием механизмов групповых политик становится возможным создавать и поддерживать единый набор программного обеспечения и сетевых ресурсов, реализовать FSLogix, устраняющий зависимость пользователей от их физического местоположения и конкретных рабочих станций. Средний и крупный бизнес давно применяет такой подход для оптимизации затрат при построении и эксплуатации IT-инфраструктуры.

Развитие, внедрение новых технологий и экономика часто приводят к использованию централизованных клиент-серверных архитектур. Яркие тому примеры — миграция на серверную версию 1С:Предприятие или с традиционной телефонии на работу через сети передачи данных (VoIP).

Для компаний с географически распределённой ИТ-инфраструктурой надёжная связь между филиалами, центральным офисом и дата-центрами всегда будет критически важным фактором.

К сожалению, отказоустойчивых каналов связи не существует, существуют лишь с определенным уровнем надёжности.

Стабильная и отказоустойчивая работа сети достигается только за счет резервирования — наличия нескольких каналов от независимых друг от друга операторов и автоматизированных систем мониторинга доступности (BFD) и управления маршрутами (OSPF/BGP).

Как это работает?

Для обмена информацией устройства (рабочие станции, сервера, мобильные телефоны, маршрутизаторы, IP-телефоны, IP-камеры, сетевые принтеры) должны поддерживать работу по протоколу TCP/IP: иметь назначенный сетевой адрес (IP-адрес, например 198.51.100.24 или 2001:db8::215:5dff:fee9:ee01), а информацию делить на IP-пакеты для передачи по сети.

При определении пути доставки таких пакетов используется только IP-адрес стороны назначения. Непрерывные диапазоны IP-адресов образуются в подсети. Любое устройство с поддержкой протокола TCP/IP имеет внутреннюю таблицу маршрутизации, в которой перечислены доступные направления (подсети), их приоритеты (метрики), а также информация об интерфейсе и/или соседнем устройстве, через которые осуществляется передача трафика.

Таблица маршрутизации всегда содержит информацию о подсетях, физически подключённых к интерфейсам устройства (connected), и может наполняться как статическим, так и динамическим способами.

Статическая маршрутизация

Статическая маршрутизация — это маршруты, которые, независимо от способа их добавления (вручную, через DHCP или с помощью скриптов), не изменяются автоматически в процессе эксплуатации устройства.

Наиболее распространённым статическим маршрутом является маршрут по умолчанию (0.0.0.0/0 для IPv4), который создаётся при указании шлюза в сетевых настройках устройства.

Для сетей конечных устройств (рабочие станции, сервера, мобильные телефоны, IP-телефоны, IP-камеры, сетевые принтеры), а также при подключении маршрутизаторов компаний и частных заказчиков, для которых не предусматриваются альтернативные пути доставки трафика, статическая маршрутизация является стандартом де-факто.

При отказе или сильной деградации канала связи, по которому направлены статические маршруты, пакеты продолжат отправляться и будут безвозвратно потеряны. Этот эффект именуется как «чёрная дыра» (blackhole). Для обеспечения резервирования при наличии альтернативных каналов требуются динамические механизмы обновления маршрутов.

Динамическая маршрутизация

Подход, при котором наличие маршрутов и их приоритет зависят от доступности каналов связи и их наличия у соседних устройств, называется динамической маршрутизацией. Основной задачей такого подхода является обеспечение адаптивности и отказоустойчивости сети без необходимости ручной перенастройки.

Основным способом резервирования сетей передачи данных является переход на динамическую маршрутизацию с использованием протоколов BGP и/или OSPF в сочетании с механизмом быстрого обнаружения отказов BFD.

Важно сказать

В случае, если устройство осуществляет пересылку чужого трафика (forwarding) или имеет подключение более чем к одной сети — оно выполняет функции маршрутизатора. При этом конечные устройства, которые создают и потребляют трафик не должны выполнять функции маршрутизатора.

Контруры резервирования

Несмотря на использование единого стека протоколов TCP/IP, в локальных, корпоративных и глобальных (Интернет) сетях применяются разные архитектурные и протокольные решения для управления маршрутами и резервирования каналов связи. При этом временные и финансовые затраты, необходимые для их внедрения, будут сильно различаться.

С точки зрения бизнеса задачи резервирования можно разделить на три функциональные группы.

Резервирование доступности публичных сервисов

Под доступностью публичных сервисов понимается возможность внешних пользователей получать доступ к серверам и сервисам компании из сети Интернет. При отказе отдельных каналов связи, операторов или маршрутов резервирование осуществляется за счёт использования избыточных подключений и механизмов динамической маршрутизации.

Это наиболее сложная с организационной и финансовой точки зрения задача. Для её реализации, помимо заключения договоров с несколькими операторами связи, потребуется приобретение через трансфер провайдеро-независимого (Provider-independent, PI) блока IP-адресов и номера автономной системы (ASN), а также выполнение регуляторных процедур, включая взаимодействие с Роскомнадзором.

Основные потребители — (грубо) компании со стоимостью простоя от 10`000 USD в час или численностью от 250 сотрудников: крупные банки и финтех-платформы, онлайн-игры и киберспорт, маркетплейсы, службы доставки, хостинг-провайдеры, контакт-центры, государственные и иные критически важные сервисы.

Типовые сроки реализации: от 1 месяца.
Ориентировочный бюджет: от 15`000 USD (внешний рынок).

Резервирование исходящего доступа в Интернет

Существует ситуация, при которой имеется несколько подключений к сети Интернет (Ethernet, GPON, LTE, спутниковый модем) с IP-адресацией интернет-провайдера (Provider Aggregated, PA).

При отказе канала связи входящий трафик из сети Интернет к публичным серверам и сервисам, размещённым в PA-адресном (провайдерском) пространстве, становится недоступным, поскольку маршруты для указанной адресации ведут к конкретному интернет-провайдеру, а не к абоненту. Такое поведение неизбежно приведёт к деградации телефонного сервиса, в частности SIP-телефонии.

Тем не менее, с помощью механизмов виртуальной маршрутизации и системы быстрого обнаружения отказов возможно обеспечить автоматическое переключение с основного канала на резервный (в пределах нескольких секунд) и сохранить доступ для пользователей локальной сети к ресурсам сети Интернет.

Типовые сроки реализации: от 1-3 дней.

Резервирование корпоративной сети

Корпоративная сеть необходима для доступа к общей ИТ-инфраструктуре — кластеру сервера 1С:Предприятие, Asterisk, системе сбора и хранения данных, видеонаблюдения.

Избыточность провайдеров связи не всегда экономически оправдана, особенно для небольших торговых точек с 2–3 сотрудниками. С точки зрения надёжности наличие публичного статического IP-адреса будет наиболее полезным, а вот механизмы динамической маршрутизации проявят себя прежде всего в масштабируемости и сопровождении.

В корпоративных сетях с децентрализованной архитектурой и поддержкой связанности (прямое взаимодействие между точками подключения, например для RTP-трафика, обмена файлами, видеонаблюдения) добавление новой точки может потребовать наличия нового маршрута на всех маршрутизаторах сети. При динамической маршрутизации распространение новых подсетей происходит автоматически, что существенно снижает вероятность человеческой ошибки и затронет настройки лишь сопрягаемых устройств.

Архитектура корпоративной сети должна быть спроектирована заранее, а её принципы применены для всех точек подключения.

Типовые сроки реализации: от 1-3 дней.

SD-WAN

SD-WAN — это технология, которая отменяет все традиционные ценности классической маршрутизации и с которой нам предстоит бороться в ближайшие годы.

По сути своей SD-WAN представляет из себя технологию оркестрации (управления) программно-аппаратных устройств, которые распределяют трафик на основе полученных политик, не ограничиваясь информацией об IP-адресе назначения пакета:

• по типу приложений (на основании используемых протоколов и портов);
• по приоритету (Qos);
• по метрикам качества канала (SLA) и отказоустойчивости;
• по стоимости канала (Ethernet, LTE, спутниковый канал);
• по времени (рабочие часы, пиковое время, ночь, выходные дни);
• по диапазонам IP-адресов как получателя, так и отправителя.

SD-WAN по своей архитектуре является централизованным решением. При потере связи с кластером (контроллером) SD-WAN устройства продолжат свою работу согласно ранее полученным политикам, но в отличии от классических маршрутизаторов с динамической маршрутизацией не обладают автономностью и не принимают решений о перераспределении трафика.

Основные игроки на рынке: Cisco, VMware, Citrix.

MikroTik пока не поддерживает SD-WAN как архитектуру, однако задачи расширенного распределения трафика могут быть частично реализованы при помощи политик маршрутизации, таблиц виртуальной маршрутизации и распределения трафика (VRF) и механизмов аварийного переключения — без централизованной оркестрации и SLA-контроля.