Реструктуризация сетевой инфраструктуры
наверх
Поддержка
8 800 550 1955
Пн–пт с 9:00 до 18:00
Софт
Оборудование
Услуги и решения

Кейс: "Реструктуризация сетевой инфраструктуры сети магазинов"

Большой подробный кейс от нашего руководителя отдела системного администрирования о том, как мы наводили порядок в сетевой инфраструктуре сети магазинов «В.». В тексте подробно описаны технические детали реализации проекта. Если вы директор, и вам они не интересны, то для вас блоки «задача» и «результат».

Задача

Заказчик обратился в нашу компанию с задачей навести порядок в своей сетевой инфраструктуре. В сети периодически возникали различные проблемы: недоступность ресурсов (Интернет, 1С), падение скорости каналов связи, ухудшение качества связи IP-телефонии. Нам было необходимо исследовать текущую инфраструктуру и разработать проект по ее модернизации.

Предпроектное исследование

Любое внедрение мы начинаем с предпроектного исследования. Оно необходимо чтобы понять, с чем мы имеем дело и какие возможны пути решения задачи. На какую важную информацию мы обращаем внимание:

Территориальное распределение сети

Компания имеет несколько филиалов, соответственно, сетевая инфраструктура заказчика территориально распределена. Пять филиалов связаны между собой посредством vpn-каналов топологией типа «звезда». В основном офисе расположены основные сервисы и серверы компании, такие как контроллеры Active Directory, DNS-сервер, сервер баз данных, сервер приложений 1С: Предприятие, IP-АТС Asterisk и система контроля доступа. Кроме того, в нормальном режиме все филиалы получали доступ к ресурсами сети Internet через головной офис.

Используемое сетевое оборудование

В качестве маршрутизаторов использовалось оборудование Mikrotik различных моделей, в качестве коммутаторов в подавляющем большинстве присутствовали различные модели DLink, кроме них было несколько коммутаторов UniFi, NetGear и HP.

Система организации видеонаблюдения

В каждом филиале присутствовал локальный сервер видеонаблюдения, к которому были подключены видеокамеры. К видеосерверам осуществлялся доступ из головного филиала, с целью просмотра видеоархива.

Организации подключения к сети Интернет

Головной офис и три дополнительных филиала были объединены посредством vpn-каналов (pptp) через VLAN, организованный провайдером связи. Четвертый филиал был подключен через другого провайдера, поэтому vpn-канал к головному офису был построен через Internet. Кроме того, один из филиалов имел резервный канал связи, и одним из требований заказчика было организовать переключение на резервный канал в случае недоступности основного.

Использование удаленного доступа сотрудниками

Помимо филиалов, в организации широко используется так называемый «удаленный доступ», когда пользователи компании могут получать доступ к ресурсам локальной сети организации из дома или из командировки по защищенным vpn-каналам.

Другая важная информация

Так же на этапе исследования были выявлены и классифицированы основные потребители трафика (четыре класса, исходя из возможностей коммутаторов):

  • Пользователи: в эту группу вошли персональные ПК, ноутбуки, тонкие клиенты, орг-техника и другие специализированные устройства
  • Телефония: VoIP телефоны, шлюзы, IP-АТС
  • Видеонаблюдение: IP-камеры, серверы видеонаблюдения
  • Гостевой WiFi: смартфоны и планшеты, которые потребляют ресурсы сети Internet и не должны иметь доступ к локальной сети. Не критичны для бизнес-процессов.

Выводы по результатам предпроектного исследования

Все устройства всех филиалов заказчика располагались в пределах одной «плоской» сети. Реализована эта плоская сеть была на проприетарном протоколе Mikrotik: EoIP, позволяющем объединять разделенные физически сегменты сети в один широковещательный домен посредством eoip-туннелей. В такой сети нет сегментации, одно IP-пространство, затруднен поиск и локализация проблемы из-за того, что нет возможности локализовать сегмент, в пределах которого порождается проблема, проблема может распространиться на всю сеть. Кроме того, широковещательный трафик может порождать лавинообразную нагрузку на сеть, так называемый широковещательный шторм, который может в худшем случае намертво парализовать всю сеть целиком из-за проблем на каком-то одном устройстве в сети, определить которое в момент шторма практически невозможно. Помимо прочего такие сети наиболее уязвимы с позиции безопасности, существует много способов, с помощью которых злоумышленник может «положить» сеть не сильно утруждаясь.

Все устройства всех филиалов заказчика располагались в пределах одной «плоской» сети. В такой сети нет сегментации, одно IP-пространство, затруднен поиск и локализация проблемы. Сеть уязвима, злоумышленники могут «положить» её не сильно утруждаясь. 

Решение задачи

Исходя из результатов предпроектного исследования, мы решили реорганизовать сеть следующим образом:

1.       Сегментировать IP-пространство предприятия для устранения недостатков плоской сети.

В результате мы получим возможность быстро и точно локализовать проблемный сегмент сети, обнаружить в нем причину нетипичного поведения и устранить ее. Ограничить широковещательный трафик пределами сегмента. Так мы снизим нагрузку как на всю сеть целиком, так и на устройства, которые образуют эту сеть плюс получим возможность гибко управлять трафиком.

2.       Настроить приоритезацию трафика, основываясь на классе потребителей:

  • внутри каждого филиала на коммутаторах,
  • межфилиального трафика на пограничных маршрутизаторах, связывающих филиалы
  • приоритезировать трафик обмена устройств с ресурсами сети Internet на маршрутизаторе головного филиала.

3.       Организовать автоматическое переключение на резервный канал в случае недоступности основного и обратное переключение при восстановлении основного канала.

Процесс реализации

Первым этапом было спланировано IP-пространство под всю организацию. Решено было полностью уйти с уровня L2 на уровень L3. Для каждого филиала был выделен свой уникальный диапазон IP-подсетей с таким учетом, чтобы каждый тип потребителей в каждом филиале находился в своей отдельной IP-подсети.

Чтобы повысить безопасность и исключить прямой обмен трафиком между устройствами разных классов потребителей, мы применили технологию виртуальных логических сетей (VLAN) на сформированное IP-пространство в каждом филиале. На каждом коммутаторе были созданы VLAN под каждый тип потребителей, затем каждый порт коммутатора был добавлен в тот или иной VLAN в зависимости от типа потребляемого трафика (телефония, ПК и т. д.). Между собой коммутаторы были связаны транками. На маршрутизаторе филиала были сконфигурированы VLAN-интерфейсы для маршрутизации трафика между VLAN’ами. На маршрутизаторе так же были настроены DHCP-серверы для каждой подсети, обеспечивающие автоматическую конфигурацию устройств с заданными параметрами сети.

Между маршрутизаторами филиалов построили шифрованные L3 туннели с применением технологии IPSec. Поверх полученной структуры был запущен протокол динамической маршрутизации OSPF для обеспечения связности между подсетями филиалов и возможности в будущем гибко и удобно конфигурировать изменения в структуре сети.

Так как в одном из филиалов было заведено два провайдера (основной и резервный канал), то был настроен и отлажен механизм автоматического переключения на резервный канал в случае падения основного и обратный переход при восстановлении основного канала связи. На данном этапе уже пригодился механизм динамической маршрутизации OSPF, который в автоматическом режиме переключал маршруты филиала в зависимости от того, какой канал в данный момент используется.

После того как мы протестировали систему, устранили все недочеты и наведи последний блеск, мы перешли к проектированию и настройке QoS.

На первом этапе был реализован CoS (Class of Service) внутри филиала. Иерархию построили следующую:

  • телефония - наивысший приоритет

  • пользователи - высокий приоритет

  • видеонаблюдение - средний приоритет

  • Гостевой WiFi - низкий приоритет по остаточному принципу

Общий протокол 802.1p позволили задать эти четыре типа приоритетов. На каждом порту каждого коммутатора был задан приоритет с учетом того, какой тип потребителя обслуживает данный порт (какому Vlan он принадлежит). На портах маршрутизатора, которые смотрят в сторону локальной сети, так же были настроены приоритеты в зависимости от VLAN, которым принадлежит трафик. 

Этим мы добились того, что трафик между устройствами филиала будет обслуживаться с учетом заданных приоритетов.

Вторым этапом был реализован межфилиальный QoS. Для реализации системы QoS на маршрутизаторах Mikrotik в данной конфигурации были задействованы деревья очередей HTB с планировщиком PCQ, которые позволяют приоритезировать одни виды трафика над другими, а также разделить поровну пропускную способность для одного вида трафика между всеми потребителями.

Были выделены следующие классы трафика и их приоритеты (маршрутизаторы Mikrotrik позволяют назначить 8 уровней приоритета):

- Инфраструктурный трафик, включает протоколы icmp, ntp, dns, ospf, ssh, приоритет этого класса – 1.
- Веб-трафик: протоколы http и https, приоритет – 5.
- Почтовый трафик: протоколы pop3(s),imap(s),smtp(s), приоритет – 6.
- трафик 1С и RDP (удаленный рабочий стол), приоритет – 3.
- трафик CIFS/SMB (общий доступ к файлам), приоритет – 6.
- трафик систем видеонаблюдения, приоритет – 8.
- трафик IP-телефонии, приоритет – 2.
- трафик гостевых WiFi сетей, приоритет – 7.
- трафик серверов/приложений опубликованных в сеть Интернет, приоритет – 4.

Принцип работы системы QoS на маршрутизаторе состоит в том, что потокам трафика с высоким приоритетом выделяется необходимая им полоса пропускания, а потоки с малым приоритетом делят оставшуюся полосу. Если канал занят полностью, то пакеты помещаются в буфер очереди на отправку. В случае переполнения канала - отбрасываются.

Таким образом важные виды трафика проходят гарантированно и с наименьшими задержками, а менее важные обрабатываются по остаточному принципу.

При настройке был учтен нюанс, что филиал, который имеет два канала провайдера с разной полосой пропускания, использовал для каждого канала свой отдельный QoS, зависящий от «ширины» канала для межфилиального обмена.

Третьим этапом был реализован QoS для внешнего канала маршрутизатора в головном офисе. Принцип его настройки очень схож с межфилиальным QoS. Отличие в том, что помимо трафика, который направлен непосредственно в сеть Internet, на нем так же были организованы резервные каналы для филиалов и vpn-подключения удаленных пользователей. Межфилиальный обмен и трафик от удаленных пользователей в целом по приоритету выше, чем трафик, направленный в Internet. Поэтому при проектировании QoS для головного маршрутизатора пришлось учитывать нагрузку, которую могут давать резервные каналы и каналы vpn для удаленных пользователей и динамически выделять им необходимую полосу пропускания в ущерб потоку трафика, направленного в Internet. В случае снижения нагрузки на VPN-каналах, полоса пропускания снова становится доступна потребителям Internet трафика. В итоге после реализации данной схемы мы исключили влияние Internet трафика на VPN-каналы удаленных пользователей и филиалов.

Другими словами, если кто-то в локальной сети скачивает некий тяжелый файл, то этот поток трафика не сможет отобрать кусок полосы у трафика, который ходит между филиалами или по vpn-каналам удаленного пользователя.

Точно так же, трафик обмена между пользовательской станцией и сервером 1С будет всегда выигрывать полосу пропускания у трафика менее приоритетного, например, трафика просмотра ролика из сети Internet.

Результат

В итоге клиент получил масштабируемую сеть с возможностью удобно и легко ее администрировать, отлаживать и вносить изменения в ее структуру. Сеть отказоустойчивая автоматизированная, в ней легко можно выявить малейшие возникающие проблемы. Трафик между устройствами филиалов обслуживается с учетом заданных приоритетов.

  • Проблемы в сетевой инфраструктуре?
    Вы можете позвонить Никите по телефону 89237999953 или написать на почту roganov@clpo.ru. Телефон отдела продаж 8 (3852) 57-11-11
    Помогите мне с выбором
  • Проблемы в сетевой инфраструктуре?
    Вы можете написать Сергею на почту mgr2@clpo.ru. Телефон отдела продаж 8 (3852) 57-11-11
    Помогите мне с выбором


Откуда