Рус Eng Cn Перевести страницу на:  
Please select your language to translate the article


You can just close the window to don't translate
Библиотека
ваш профиль

Вернуться к содержанию

Программные системы и вычислительные методы
Правильная ссылка на статью:

Методика создания распределенной компьютерно-вычислительной системы для программного инфокоммуникационного коммутатора

Щемелинин Дмитрий Александрович

ORCID: 0000-0003-3032-130X

доктор технических наук

Санкт-Петербургский политехнический университет Петра Великого (СПбПУ)

195251, Россия, г. Санкт-Петербург, ул. Политехническая, 29

Shchemelinin Dmitry

Doctor of Technical Science

Peter the Great St. Petersburg Polytechnic University

195251, Russia, g. Saint Petersburg, ul. Politekhnicheskaya, 29

dshchmel@gmail.com
Другие публикации этого автора
 

 

DOI:

10.7256/2454-0714.2019.1.28782

Дата направления статьи в редакцию:

26-01-2019


Дата публикации:

06-06-2019


Аннотация: Предметом исследования настоящей статьи являются новые принципы построения глобально распределенных компьютерно-вычислительной систем для создания программного инфокоммуникационного коммутатора, предоставляющего услуги телефонии, службы отправки факсимильных, коротких и мутимедийных сообщений, через каналы пакетной передачи данных, а также храниения пользовательских файлов. Объектом научного исследования является глобально распределенная вычислительная система компании RingCentral (США), которая начала создаваться с начала основания компании в 1999 году и технологически постоянно развивается в настоящее время. Автор подробно раскрывает основные критерии методики тестирования аппаратного окружения реализованной компьютерной инфраструктуры при переходе на модель распределенных вычислений. Создание архитектуры глобально распреленной вычислительной системы для программного инфокоммуникационного коммутатора, явилось предопределяющим значением в развитии компьютерных систем в области предоставления универсальных инфокоммуникационных услуг. Обмен полученными научными знаниями на профильных конференциях и семинарах показал, что построенная модель инфокоммуникационного сервиса является наиболее современной с технологической точки зрения предложенной архитектуры.


Ключевые слова:

распределенные информационные системы, высокая доступность, хранение данных, предотвращение отказов ИС, отказоустойчивость, сетевой архитектуры, защита от форсмажеров, обслуживание, нагрузочное тестирование, резервное копирование

Abstract: The subject of the research is the new principles of building globally distributed computer and computing systems for creating a software infocommunication switch providing telephony services, sending facsimile, short and multimedia messages services, via packet data transmission channels, and also storing user files. The object of scientific research is the globally distributed computing system of RingCentral (USA), which began to be created from the beginning of the company's founding in 1999 and is technologically constantly evolving at the present time. The author reveals in detail the main criteria for testing the hardware environment of the implemented computer infrastructure during the transition to the distributed computing model. The creation of a globally distributed computing system architecture for an information and communication software switch was a decisive factor in the development of computer systems in the provision of universal information and communication services. The exchange of the obtained scientific knowledge at specialized conferences and seminars showed that the constructed model of information and communication services is the most modern from the technological point of view of the proposed architecture.


Keywords:

distributed IT systems, high availability, data store, outage prevention, resilience, network architecture, disaster recovery, maintenance, performance testing, backup

Введение

Глобально распределенный вычислительный комплекс (ГРВК) RingCentral начал создаваться с начала основания компании в 1999 году и технологически постоянно усовершенствуется по настоящее время [1]. В таблице 1 представлены сравнительные характеристики развития ГРВК за последние 20 лет, с учетом выделения пяти основных этапов внедрения новых методов с последующим становлением глобальных изменений ГРВК RingCentral, которая обеспечивает предоставление инфокоммуникационных услуг по всему миру через глобальную сеть Интернет.

Таблица 1 - Сравнительные характеристики развития ГРВК RingCentral по годам:

Годы

Этап развития

Количество элементов ГРВК

Число сотрудников обслуживающих ГРВК

Количество триггеров в системе мониторинга

1999

1

3

2

0

2003

1

6

5

20

2005

1

21

7

45

2008

2

45

8

60

2010

2

250

16

250

2011

3

856

32

1200

2012

3

1860

65

12670

2013

3

3580

98

55000

2014

4

5690

134

210000

2015

4

8580

175

340000

2016

4

10260

223

650000

2017

5

15870

299

970000

2018

5

20590

350

1350000

На первом этапе, с начала создания компании, все серверное оборудование было размещено в единственном доступном на то время для RingCentral центре обмена данными (ЦОД) [2] в г. Сан Хозе, штат Калифорния, США и представляло собой VoIP (англ. Voice over internet protocol) окружение [3], состоящее из сетевого маршрутизатора, подключенного к сети Internet и двух медиа-шлюзов, работающих по протоколу SIP (англ. Session Initiation Protocol) [4]. Компания делала первые шаги по созданию программного коммутатора и до начала 2008 года, выполняла, как правило, основную исследовательскую работу в области создания программного обеспечения (ПО) для перспективных информационных услуг в дополнение к существующим функциям доступным абонентам, постепенно наращивая аппаратные ресурсы для возрастающих нужд компьютерно-вычислительной среды (КВС).

Важнейшей частью второго этапа развития КВС RingCentral стало определение основы компьютерно-вычислительной модели для программного коммутатора и метода реализации компьютерной инфраструктуры в ЦОД на основе серверного оборудования и собственного прикладного программного обеспечения (ППО) [5] для элементов пользовательских программных приложений. Также были сформированы задачи к инструментам технологического обслуживания и непрерывного мониторинга КВС.

На третьем этапе, с целью удовлетворения растущих потребностей со стороны клиентов компании и для повышения доступности ИС, к началу 2011 года, была сформулирована задача по разработке и строительству дополнительной КВС в г. Сакраменто, штат Калифорния, США, которая стала выполнять роль горячего резерва куда переключался пользовательский трафик, в случае возникновения ситуации, когда основной ЦОД в г. Сан Хозе выйдет из строя. Данная задача позволила выполнить анализ пропускной способности виртуальных IP линий передачи данных, включая анализ аппаратных средств и ППО.

Четвертый и пятый этапы, привели КВС компании RingCentral к архитектуре ГРВК, с увеличением количества предоставляемых инфокоммуникационных услуг для непрерывно растущей базы пользователей. Так, помимо сервиса виртуальной учрежденческо-производственной автоматической телефонной станции (УПАТС) [6], клиенты компании получили возможность использования смартфонов для осуществления телефонных звонков и обмена короткими и мультимедийными сообщениями, а также появились отдельные КВС для организации услуг видео конференций через сеть Интернет, построения колл-центров и средств взаимодействия офисного персонала.

Цель и объект исследования

Целью данной работы является создание методики географического распределения КВС для построения инфокоммуникационного программного коммутатора с применением новой методики тестирования предложенной архитектуры ГРВК, для решения задач по снижению финансовых затрат на покупку избыточных аппаратных средств и коренного пересмотра подходов к обслуживанию информационной системы (ИС). В частности, таких аспектов как, учет и инвентаризации имеющихся компьютерных ресурсов, внедрение средств непрерывного мониторинга, создание системы регистрации заявок на техническое обслуживание и изменений в КВС.

Объектом исследования была выбрана КВС компании RingCentral (США), что позволило создать необходимые поредпосылки для дальнейшего развития распределенной обработки пользовательских запросов в системах UCaaS (англ. Unified Communication as a Service) [7], для чего был предложен вариант архитектуры ГРВК для реализации инфокоммуникационного программного коммутатора на географически распределенных компьютерно-вычислительных ресурсах.

Методика эксперимента

Для интеграции географически разнесенных баз данных и оптимизации работы КВС в промежутки переключения с основного ЦОД в резервный было проведено экспериментальное исследование с целью выбора сетевой архитектуры и конфигурации аппаратных элементов ИС, проверка их функционирования с точки зрения надежности и определение максимальной скорости выполнения резервного копирования между географически разделенными кластерами обработки и хранения данных (рисунок 1).

ussmfmss

Рисунок 1: Схема экспериментального исследования сетевой архитектуры

Нагрузочное тестирование выполнялось в тестовой зоне КВС. С целью изменения времени ответа системы было проведено пять различных испытаний с вариациями количества пользовательских учетных записей (таблица 2).

Таблица 2 – Результаты нагрузочного тестирования распределенной КВС:

№ п/п

Время ответа,

(мс)

RAM,

Загрузка %

CPU, загрузка (%)

Количество испытуемых учетных записей (шт.)

1

115.7071875

46

53

10000

2

159.9999

49

80

20000

3

122.7582125

48

65

30000

4

118.67213

45

55

50000

5

112.8949

45

51

80000

В процессе проведения нагрузочного тестирования через балансировщик сетевой нагрузки было сгенерировано 80 HTTP [8] запросов в секунду на кластер обработки и хранения данных. Интенсивность нагрузки на один элемент кластера составила 40 HTTP запросов в секунду, а время отклика системы варьировалось от 112мс до 160мс. Полученные результаты исследования были представлены на графике (рисунок 2).

perfsmfmss

Рисунок 2: График результатов нагрузочного тестирования

Проведенный анализ результатов собранных данных во время нагрузочного тестирования показал, что:

1. Увеличение количества сгенерированных пользовательских учетных записей в базе данных не привело к увеличению времени отклика системы хранения данных;

2. Минимальное время простоя процессора составляло 20%;

3. Использование памяти не превышало 50%;

4. Среднее время отклика составляло 131,81 миллисекунды;

5. Во время теста стабильности не было сбоев серверов;

6. Текущее ППО не приводило к определенным сложностям при географическом разнесении систем управления и обработки данных.

На основании выполненного анализа была реализована окончательная распределенная архитектура взаимодействия кластеров обработки и хранения данных в КВС (рисунок 3).

ussmfmss2

Рисунок 3: Схема созданной распределенной сетевой архитектуры

Заключение

В рамках проекта создания распределенной КВС была финализирована спецификация аппаратных средств и вычислительной модели программного коммутатора, ограниченного на тот момент следующими сервисами доступными пользователям:

1. Виртуальная УПАТС, с набором стандартных услуг офисной автоматической телефонной станции, включая сервисы переадресации входящего телефонного вызова на любые номера телефонной сети общего пользования (ТФоП) и записи голосовых сообщений в централизованное хранилище данных. Запись голосовых сообщений происходит в медиа файл формата *.mp3 [9] и далее записанный файл отправляется как вложение к электронному письму на адрес электронной почты указанного абонентом при подписке на услугу;

2. Отправка факсимильных сообщений по методике «email2fax», когда факсимильное сообщение формируется из электронного письма с вложенным файлом в формате *.doc [10] или *.pdf [11] отправленного пользователем на почтовый сервер RingCentral и далее транскодированого в формат передачи данных через факсимильное передающее устройство, работающее с ТФоП. Причем телефонный номер принимающей стороны записывался в поле адресата электронного письма в формате почтового электронного адреса +xyyyzzzzzzz@rcfax.com, где левая часть состоит из цифр телефонного номера в виде стандартного плана телефонной нумерации [12], а правая часть адреса указывает доменное имя того почтового сервера, на котором расположен электронный почтовый ящик в ИС [13];

3. Прием факсимильных сообщений по методике «fax2email», когда факсимильное сообщение, поступившее из ТФоП на телефонный номер абонента виртуальной УПАТС, записывалось в файл в формате .pdf, и далее записанный файл отправляется как вложение к электронному письму на адрес электронной почты указанного абонентом при подписке на услугу;

4. Синхронизация записей в телефонных книгах HP и SP с записями контактной информации в службе Microsoft Outlook [14];

5. Пользовательский веб-портал доступный через Internet для:

· Управления настройками учетной записи включая биллинг информацией, относящейся к платежным системам и банковским картам;

· Осуществления настроек оконечного телефонного оборудования, автоответчика и управление правилами переадресации звонков на другие телефонные номера ТФоП;

· Обеспечения доступа и выгрузки на пользовательские ЭВМ пользовательских данных таких как, детализации телефонных звонков, файлы факсимильных и голосовых сообщений;

· Доступа к дистрибутивам последних версий программных телефонов для установки на пользовательские ЭВМ.

Распределение КВС между двумя географически разнесенными ЦОД с применением режима «активный-резервный» позволило минимизировать время простоя ИС в случае возникновения внештатных ситуаций в работоспособности активного ЦОД. Технический персонал получил возможность переключать сервисы в резервный ЦОД в течении 30-90 минут, путем изменения DNS записи (англ. Domain Name System) [15] и перенаправление сетевого трафика в резервный ЦОД.

Стоит обдельно отменить, что переход к глобально распределенной ИС обеспечил необходимые предпосылки к внедрению виртуализации серверного оборудования и выполнения условий для создания ИС на облачных технологиях, что обеспечивает сокращение затрат на построение ГРВК.

Библиография
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
References
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Предмет исследования – создание распределённой компьютерной системы для программного инфокоммуникационного коммутатора (на примере глобально-распределённого вычислительного комплекса (ГРВК) RingCentral).

Методология исследования основана на сочетании теоретического и эмпирического подходов с применением методов анализа, эксперимента, сравнения, обобщения, синтеза.

Актуальность исследования обусловлена широким распространением информационно-коммуникационных систем во всех отраслях современной экономики и, соответственно, необходимостью их изучения и проектирования, в том числе на примере программного инфокоммуникационного коммутатора глобально-распределённого вычислительного комплекса RingCentral.

Научная новизна связана с разработкой автором распределённой компьютерной системы для программного инфокоммуникационного коммутатора (виртуальная УПАТС, отправка и приём факсимильных сообщений по методике «email2fax», синхронизация записей в телефонных книгах, пользовательский веб-портал). Показано, что переход к глобально-распределённой системе обеспечил необходимые предпосылки к внедрению виртуализации серверного оборудования на облачных технологиях, что обеспечит сокращение затрат на построение ГРВК.

Стиль изложения научный. Статья написана русским литературным языком.

Структура рукописи включает следующие разделы: Введение (глобально-распределённый вычислительный комплекс (ГРВК) RingCentral, характеристики развития ГРВК за последние 20 лет), Цель и объект исследования (цель работы, объект исследования), Методика эксперимента (интеграция географически разнесенных баз данных и оптимизации работы компьютерно-вычислительной среды (КВС) в промежутки переключения с основного центра обмена данными (ЦОД) в резервный, схема экспериментального исследования сетевой архитектуры, нагрузочное тестирование, пять испытаний с вариациями количества пользовательских учетных записей, результаты нагрузочного тестирования, окончательная распределенная архитектура взаимодействия кластеров обработки и хранения данных в КВС), Заключение (выводы), Библиография.

«Введение» обычно включает актуальность, цель и задачи исследования. В данном случае в нём излагается история развития ГРВК RingCentral по годам, что, возможно, следует выделить в отдельный раздел.

Тест содержит две таблицы, три рисунка. Номер и название рисунка следует оформить так же, как и таблицы, например: Рисунок 2 – График результатов нагрузочного тестирования. Двоеточия в названиях таблиц, слово «График» в названии рисунка 2 удалить. Название таблицы 1 не вполне соответствует её содержанию (сравнительные характеристики – это сравнение с другими кампаниями).

Содержание в целом соответствует названию. В то же время в формулировке заголовка, возможно, следует отразить, что речь идёт не об общей методике создания распределенной компьютерно-вычислительной системы для программного инфокоммуникационного коммутатора в целом, а о конкретном исследовании (на примере глобально-распределённого вычислительного комплекса RingCentral).

Библиография включает 15 источников отечественных и зарубежных авторов – Интернет-ресурсы. Библиографические описания некоторых источников нуждаются в корректировке в соответствии с ГОСТ и требованиями редакции, например:
1. RingCentral Inc. – URL: http://www.ringcentral.com (дата обращения: 25.01.2019).
4. SIP. – URL: https://en.wikipedia.org/wiki/Session_Initiation_Protocol (дата обращения: 25.01.2019).
Библиографические описания завершаются точкой. Обращает внимание, что в подавляющем числе использованы ресурсы Википедии, что для научной статьи представляется некорректным. Необходимо дополнить библиографический список иными видам источников научной информации.

Апелляция к оппонентам отсутствует. Необходимо сопоставить представленные в статье результаты с данными, полученным иными авторами.

Замечен ряд опечаток: Глобально распределенный вычислительный комплекс – Глобально-распределённый вычислительный комплекс; роль горячего резерва куда переключался пользовательский трафик, в случае возникновения ситуации, когда основной ЦОД в г. Сан Хозе выйдет из строя – роль «горячего» резерва, куда переключался пользовательский трафик в случае возникновения ситуации, когда основной ЦОД в г. Сан Хозе выйдет из строя; необходимые поредпосылки – необходимые предпосылки; Стоит обдельно отменить – Стоит отдельно отметить.

В целом рукопись соответствует основным требования, предъявляемым к научным статьям. Материал представляет интерес для читательской аудитории и после доработки может быть опубликован в журнале «Программные системы и вычислительные методы» (рубрика «Телекоммуникационные системы и компьютерные сети»).