Сравнительный анализ производительности сред исполнения JavaScript кода: Node.js, Deno и Bun

Смирнов Андрей Александрович ORCID: 0009-0006-6322-6842 студент; факультет "Программная инженерия и компьютерные технологии"; Национальный исследовательский университет ИТМО 197101, Россия, г. Санкт-Петербург, ул. Кронверкский, 49 Smirnov Andrei Aleksandrovich Student; Faculty of Software Engineering and Computer Technology; ITMO National Research University 197101, Russia, Saint Petersburg, Kronverksky str., 49 smirnov.andrew.1999@yandex.ru Подольский Егор Александрович ORCID: 0009-0002-8311-8882 студент; факультет "Программная инженерия и компьютерные технологии"; Национальный исследовательский университет ИТМО 195112, Россия, г. Санкт-Петербург, ул. Заневский, 28-30-32, кв. 614 Podolskiy Egor Aleksandrovich Student; Faculty of Software Engineering and Computer Technology; ITMO National Research University 195112, Russia, Saint Petersburg, Zanevsky str., 28-30-32, sq. 614 egorpodolskij51@yandex.ru Черенков Артем Вячеславович студент; факультет "Программная инженерия и компьютерные технологии"; Национальный исследовательский университет ИТМО 197101, Россия, г. Санкт-Петербург, ул. Кронверкский, 49 лит. А Cherenkov Artem Vyacheslavovich Student; Faculty of Software Engineering and Computer Technology; ITMO National Research University 197101, Russia, Saint Petersburg, Kronverksky str., 49 lit. A art.cherenkov@gmail.com

Государев Илья Борисович ORCID: 0000-0003-4236-5991 кандидат педагогических наук доцент; факультет "Программная инженерия и компьютерные технологии"; Национальный исследовательский университет ИТМО 197046, Россия, г. Санкт-Петербург, Кронверкский пр-т, 49 Gosudarev Ilia Borisovich PhD in Pedagogy Associate Professor; Faculty of Software Engineering and Computer Technology; ITMO National Research University 197046, Russia, Saint Petersburg, Kronverksky ave., 49 goss@itmo.ru

Введение

JavaScript был анонсирован в 1996 году. Целью языка было добавление интерактивности на статичные веб-страницы. С этого момента прошло много времени. JavaScript стал одним из наиболее популярных языков программирования, а область его применения расширилась. Ключевым расширением функциональности языка стало появление среды исполнения серверного JavaScript кода - Node.js в 2009 году. Node.js позволила использовать один язык как для разработки клиента, так и для создания сервера. Это привело к активному развитию технологий на базе JavaScript, таких как серверные приложения, микросервисы и API.

Несовершенство Node.js и востребованность в средах выполнения серверного JavaScript кода подтолкнули индустрию к развитию и созданию новых решений. Создатель Node.js Райан Даль в 2018 представил новую технологию - Deno, которая должна была решить все проблемы предшественника. Вслед на Deno в 2022 году была анонсированная новая среда - Bun. Каждая из представленных технологий предлагает уникальные подходы к безопасности, производительности и удобству разработки. Однако, несмотря на растущее число исследований и статей о сравнении сред выполнения JavaScript, до сих пор не проводилось комплексного анализа всех трех технологий, учитывающего все ключевые критерии.

Объектом данного исследования является язык JavaScript и исполнение программного кода на этом языке.

Предметом исследования послужила производительность исполнения программ на JavaScript в современных средах.

Цель исследования – выявить различия в производительности основных современных сред исполнения (Node.js, Deno и Bun) для дальнейшего применения этих сред в разработке серверной части веб-приложений.

Научная новизна данного исследования заключается в том что впервые предложена целостная и обоснованная методика измерения и сравнения производительности кода на JavaScript применительно к современным средам исполнения, которая позволит исследователям в дальнейших экспериментах опираться на предложенный подход и распространить его на новые среды исполнения.

Перспективы

Область программных систем на веб-платформе развивается крайне динамично и сопровождается разработкой новых сред исполнения. До настоящего времени эти среды разрабатывались за рубежом. В русле импортозамещения планируется выработать систему критериев оценки производительности исполнения JavaScript-кода и использовать её для разработки отечественных решений в данной сфере. В числе прочего дальнейшие исследования будут направлены на разработку российских компонентов облачных инфраструктур, обеспечивающих безопасные и эффективные методы поддержки серверных решений, основанных на экосистеме JavaScript.

Анализ литературы

В научной литературе тема сравнения производительности сред исполнения JavaScript кода исследована недостаточно. Большинство работ фокусируются на сравнении производительности различных языков программирования или сравнивают только две среды исполнения ^{[1, 2]}. Официальные сайты Node.js, Deno и Bun заявляют о превосходстве своих продуктов, но часто без подробных экспериментальных данных.

В работе ^[3] проведено сравнение Deno и Bun, где показано, что Bun выделяется в обработке массивов и рекурсивных вычислениях, а Deno — в асинхронных задачах. В статье ^[4] проведено сравнение Node.js и Bun, где отмечается, что Bun обещает значительно более быстрый запуск, что делает его привлекательным для бессерверных функций.

В статье ^[5] отмечается, что хотя Bun все еще нов и требуется больше всесторонних испытаний, начальные тесты показывают многообещающие результаты. Легкая модель корутин и оптимизированный сборщик мусора в Bun могут обеспечить улучшенную производительность для нагрузки, связанной с вводом-выводом. Однако, относительная новизна Bun и меньшее сообщество по сравнению с Node.js могут создать препятствия для его широкого применения.

В работе ^[6] проведено сравнение производительности Node.js и Deno, показывающее приблизительно равный уровень производительности в задачах преобразования координат и поиска прямых линий в изображениях. Это связано с использованием одного и того же движка V8.

В книге ^[7] описываются основные требования к профессиональному бенчмаркингу: повторяемость, проверяемость и переносимость, принцип невмешательства, приемлемый уровень точности и честность. Авторы также рассматривают риски бенчмаркинга, такие как неточные замеры времени и оптимизация компилятора. Все эти требования и рекомендации учтены в данном исследовании.

В статье ^[8] рекомендуется использовать график "ящик с усами" для наглядного представления распределения данных. Этот график отображает распределение данных через их квартили и выявляет потенциальные выбросы, что особенно полезно для сравнения распределений между различными группами или условиями.

Исследуемая в работе ^[9] модель M/G/m queue основывается на том, что современные веб-серверы обладают очередью запросов и пулом потоков для обработки входящих запросов. В средах исполнения JavaScript вместо пула потоков используется механизм Event Loop, который обеспечивает асинхронность выполнения операций. Синхронные операции, однако, выполняются в основном потоке, который существует в единственном экземпляре. Если этот поток будет занят выполнением ресурсоемких вычислений, то время ожидания ответа кратно увеличится.

В статье ^[10] проводится экспериментальное исследование с целью измерения и сравнения производительности Node.js и Jetty в контексте обработки REST-запросов. В рамках данного исследования сервер выполняет ряд операций, характерных для каждого запроса: парсинг JSON, создание объектов, их деструктуризация, обработка, сбор данных и формирование ответа в формате JSON. Эти операции, являющиеся неотъемлемой частью обработки каждого запроса, были выбраны для анализа производительности в данной работе.

Методология эксперимента

Для обеспечения воспроизводимости и переносимости экспериментальных вычислений все операции выполнялись в изолированной среде Docker-контейнеров. Создание Docker-образов осуществлялось на базе стандартных образов, доступных в репозитории Docker Hub (таблица 1). В качестве основы были выбраны Alpine-образы, которые отличаются минималистичностью и повышенной безопасностью.

Таблица 1 – Используемые базовые Docker-образы

Исследования проводились в облачных вычислительных средах с использованием виртуальных машин (таблица 2). Такой подход позволяет приблизить условия эксперимента к реальным производственным условиям.

Таблица 2 – Характеристики виртуальной машины

Описание процесса эксперимента представлено на рисунке 1.

Рисунок 1 – Процесс проведения эксперимента

Эксперимент включал измерение времени выполнения следующих сценариев каждый из которых запускался 1000 раз для обеспечения достаточного количество элементов в выборке:

• Быстрая сортировка. Быстрая сортировка массива из 10000 чисел, сгенерированных с помощью функции Math.random().
• Обработка JSON. JSON.stringify, а затем JSON.parse объекта с 10000 ключами без вложенностей.
• Деструктуризация. Создание нового объекта из двух объектов, у каждого из которых по 10000 ключей, с помощью деструктуризации.
• Object.assign. Создание нового объекта из двух объектов, у каждого из которых по 10000 ключей, с помощью Object.assign.
• Проверка на простоту числа. Является ли число 5600748293801 простым.
• Обработка промисов. Создание и await пустого промиса в цикле 1 млн раз.

Результаты эксперимента

По результатам эксперимента составлены сравнительные таблицы с основными характеристиками распределения и построены графики. В ходе эксперимента было зафиксировано, что средняя загрузка двухъядерного центрального процессора составила 58%. Это явление можно объяснить следующим образом: одно из ядер процессора испытывало максимальную нагрузку в связи с выполнением задач однопоточных движков, в то время как другое ядро обеспечивало выполнение фоновых процессов операционной системы.

В ходе эксперимента наблюдалось постепенное увеличение объема оперативной памяти, используемой для выполнения задач, с 400 Мб до 500 Мб. Выделение 2 Гб виртуальной памяти оказалось избыточным для выполнения задач.

Deno показал наилучшую производительность при выполнении быстрой сортировки массива, с наименьшим средним временем выполнения 17,3 мс и минимальным значением 11,5 мс. Bun занял второе место со средним временем 19,1 мс, а минимальным значением 13,2 мс. Node.js показал наихудшие результаты со средним временем 23,5 мс. Числовые показатели представлены в таблице 3, а их визуализация на рисунке 3.

Таблица 3 – Результаты быстрой сортировки массива

Рисунок 2 – Ящик с усами для результатов быстрой сортировки

Большое, относительно других экспериментов, среднеквадратичное отклонение объясняется тем, что время выполнения алгоритма быстрой сортировки зависит от того, как в массиве распределены элементы, которые в данном эксперименте генерировались случайным образом.

Для повышения наглядности масштаба основного распределения выбросы не отображены на графических иллюстрациях, поскольку их присутствие затрудняет визуальное восприятие распределения данных.

Bun продемонстрировал наилучшую производительность в обработке JSON, со средним временем выполнения 5,8 мс и минимальным значением 5,3 мс. Deno занял второе место со средним временем 13,4 мс, а Node.js показал наихудшие результаты со средним временем 15,0 мс. Среднеквадратичное отклонение было самым низким у Bun (0,3 мс), что указывает на высокую стабильность его производительности. Максимальное время больше всего отличается от медианы (на 56%) у Node.js, что свидетельствует о значительном выбросе. Числовые показатели представлены в таблице 4, а их визуализация на рисунке 4.

Таблица 4 – Результаты обработки JSON

Рисунок 3 – Ящик с усами для результатов обработки JSON

Bun значительно превосходит Deno и Node.js в выполнении операций деструктуризации, со средним временем 3,5 мс и минимальным значением 3,1 мс. Deno занял второе место со средним временем 15,5 мс, а Node.js показал наихудшие результаты со средним временем 17,0 мс. Среднеквадратичное отклонение у Bun было самым низким (0,2 мс), что свидетельствует о стабильной производительности. Числовые показатели представлены в таблице 5, а их визуализация на рисунке 5.

Таблица 5 – Результаты деструктуризации

Рисунок 4 – Ящик с усами для результатов деструктуризации

Bun продемонстрировал наилучшую производительность в операции Object.assign, со средним временем 3,3 мс и минимальным значением 3,0 мс. Deno показал среднее время выполнения 16,9 мс, а Node.js – 18,3 мс. Среднеквадратичное отклонение у Bun было самым низким (0,2 мс), что указывает на стабильную производительность. Числовые показатели представлены в таблице 6, а их визуализация на рисунке 6.

Таблица 6 – Результаты Object.assign

Рисунок 5 – Ящик с усами для результатов Object.assign

Node.js и Deno показали схожие результаты при проверке числа на простоту, со средними значениями 16,7 мс и 16,0 мс соответственно. Bun продемонстрировал значительно худшие результаты, со средним временем выполнения 119,5 мс. Среднеквадратичное отклонение у Bun было самым высоким (2,7 мс), что свидетельствует о меньшей стабильности. Числовые показатели представлены в таблице 7, а их визуализация на рисунке 7.

Таблица 7 – Результаты проверки на простоту числа

Рисунок 6 – Ящик с усами для результатов проверки на простоту числа

Таблица 8 – Результаты обработки промисов

Рисунок 7 – Ящик с усами для результатов обработки промисов

Deno показал наилучшую производительность при обработке промисов, со средним временем выполнения 173,1 мс и минимальным значением 162,8 мс. Node.js занял второе место со средним временем 195,5 мс, а Bun показал наихудшие результаты со средним временем 230,1 мс.

Заключение

В данном исследовании проведён комплексный анализ производительности сред исполнения JavaScript кода: Node.js, Deno и Bun в различных сценариях, включая быструю сортировку, обработку JSON, деструктуризацию, Object.assign, проверку на простоту числа и обработку промисов. Эксперимент был выполнен в изолированной среде Docker-контейнеров с использованием инструмента Ansible для автоматизации процесса, что обеспечило воспроизводимость и переносимость результатов.

Результаты эксперимента показали, что Bun демонстрирует наилучшую производительность в большинстве синхронных вычислений, таких как быстрая сортировка, обработка JSON, деструктуризация и Object.assign. Однако, в сценарии проверки на простоту числа Bun значительно уступает Node.js и Deno, что может быть обусловлено особенностями реализации расчёта остатка от деления в Bun. Deno, в свою очередь, демонстрировал высокую эффективность в асинхронных операциях, таких как обработка промисов, благодаря тому, что он разработан на языке Rust и использует библиотеку Tokio для асинхронных задач, что способствовало его оптимизированной асинхронной архитектуре.

Node.js, несмотря на то, что он не выигрывает в большинстве синхронных сценариев, обеспечивает стабильную производительность во всех тестах и остается надежным выбором для крупных проектов, где важна проверенная временем стабильность и наличие специализированных библиотек. Более того, широкое распространение и большее количество разработчиков, знакомых с Node.js, делает его предпочтительным в тех случаях, когда требуется общая совместимость и поддержка сообщества.

Рекомендуется использовать Bun для задач, требующих высокой скорости сборки и эффективности в синхронных вычислениях, особенно в бессервисных функциях. Однако, при выборе Bun для задач, связанных с асинхронными операциями или специфическими вычислениями, следует проводить дополнительные исследования производительности, так как в некоторых сценариях он может оказаться менее эффективным, чем Node.js или Deno.

Deno, благодаря своей высокой производительности в асинхронных операциях и акценту на безопасности, является предпочтительным выбором для задач, где важен баланс между безопасностью и производительностью. Кроме того, Deno показал себя более быстрым, чем Node.js, во всех сценариях.

Предполагается, что похожие результаты производительности между Node.js и Deno могут быть обусловлены тем, что обе среды исполнения используют одинаковый движок V8, что подтверждает важность учёта движка при оценке производительности JavaScript сред.

В таблице 9 приведены относительные временные характеристики вычислений медиан, где минимальное время принято за 100%, для удобного сравнения результатов между собой.

Таблица 9 – Относительные результаты вычислений для медиан

В целом, выбор среды исполнения JavaScript должен основываться на конкретных требованиях проекта, таких как тип вычислений (синхронные или асинхронные), необходимость безопасности, стабильность. Результаты данного исследования предоставляют разработчикам обоснованные рекомендации для выбора наиболее подходящей среды в зависимости от специфики задачи.