Аннотация: Предметом исследования является управление доступом к каналам случайного доступа (Random Access Channel, RACH) в сетях узкополосного Интернета вещей (Narrowband Internet of Things, NB-IoT), испытывающих перегрузки при высокой плотности размещения устройств. Объектом исследования выступают процедуры динамического распределения слотов RACH с использованием методов машинного обучения. Основное внимание уделяется применению алгоритмов обучения с подкреплением (Reinforcement Learning, RL), в частности методов Q-learning и Deep Q-Network (DQN). Авторы детально рассматривают проблему перегрузки каналов и связанных с ней коллизий, приводящих к задержкам передачи данных и повышенному энергопотреблению устройств. Анализируется недостаточная эффективность традиционных статических методов управления слотами и обосновывается необходимость внедрения динамического подхода, способного адаптироваться к изменяющимся условиям сети. В исследовании использовались методы машинного обучения, включающие Q-learning и DQN, а также симуляционное моделирование в среде NS-3 с интеграцией RL-агента для динамического перераспределения RACH-слотов. Научная новизна исследования заключается в разработке и интеграции специализированного RL-агента, позволяющего осуществлять адаптивное распределение слотов RACH на основе текущего состояния сети NB-IoT. Основными выводами проведённого исследования являются подтверждённая высокая эффективность предложенного динамического подхода, обеспечившего снижение числа коллизий на 74%, увеличение числа успешных подключений на 16% и улучшение энергоэффективности устройств на 15% по сравнению с традиционными статическими методами. Перспективность дальнейших исследований состоит в масштабировании предложенного подхода на сети с большим числом устройств, изучении мультиагентных RL-подходов, экспериментальной проверке и интеграции разработанного метода с реальными сетями NB-IoT, а также в разработке гибридных моделей управления, сочетающих алгоритмы обучения с подкреплением с другими методами машинного обучения.

Ключевые слова: NB-IoT, Reinforcement Learning, Q-learning, DQN, коллизии, NS-3, обучение с подкреплением, RACH, IoT, Интернет вещей

Abstract: The subject of this research is the adaptive management of access to Random Access Channels (RACH) in Narrowband Internet of Things (NB-IoT) networks, which frequently face congestion due to high device density and limited channel capacity. The study focuses on the practical application of Reinforcement Learning algorithms, specifically Q-learning and Deep Q-Network (DQN), to address this issue. The authors thoroughly examine the problem of RACH overload and the resulting collisions that cause delays in data transmission and increased energy consumption in connected devices. The article analyzes the limitations and inefficiency of traditional static slot allocation methods and justifies the necessity of implementing a dynamic, learning-based approach capable of adapting to constantly changing network conditions. The research aims to significantly minimize collision rates, improve connection success rates, and reduce the overall energy consumption of NB-IoT devices. The research methodology involved the use of advanced machine learning methods, including Q-learning and DQN, together with simulation modeling conducted in the NS-3 environment, integrating a dedicated RL-agent for dynamic and intelligent RACH slot allocation. The main conclusions of the study highlight the demonstrated effectiveness of the adaptive RL-based approach for optimizing access to communication slots in NB-IoT networks. The scientific novelty lies in the development and integration of a specialized RL-agent capable of dynamically managing slot distribution based on real-time network conditions. As a result of implementing the proposed approach, the number of collisions was reduced by 74%, the number of successful connections increased by 16%, and the energy efficiency of the devices improved by 15% in comparison with traditional static methods. These results clearly demonstrate the practical applicability, and scalability of adaptive RL-based management techniques for enhancing both the performance and reliability of real-world NB-IoT networks.

Keywords: Internet of Things, IoT, RACH, reinforcement learning, NS-3, collisions, DQN, Q-learning, Reinforcement Learning, NB-IoT