РЕКУРЕНТНІ НЕЙРОННІ МЕРЕЖІ МАЛОЇ СКЛАДНОСТІ ДЛЯ ГРАНИЧНИХ ОБЧИСЛЕНЬ

Oleh Sinkevych

Анотація


Дана стаття присвячена розробці рекурентних нейронних мереж для програмного забезпечення інтелектуальних пристроїв, які можуть функціонувати на основі штучного інтелекту, таких як мікроконтролери та інші системи граничних обчислень. Через незначну обчислювальну потужність таких пристроїв метою дослідження є розробка та аналіз прогностичних моделей низької складності для прогнозування сенсорних часових рядів на прикладі одновимірного часового ряду, а саме виміряних температур у приміщенні. Розроблені моделі можуть легко розгортатися на мікроконтролері сімейства STM32 за допомогою пакету розширення X-CUBE-AI. Температурні дані були зібрані з використанням датчиків температури DS18B20, що підключались до Raspberry Pi 3 зі встановленою базою даних InfluxDB. У статті наведений опис підготовки та перетворення даних у вигляді часового ряду для подальшого використання у процесі тренування рекурентних нейронних мереж. Розглянута низка конфігурацій моделей на основі простих одношарових архітектур LSTM та GRU з однонаправленими та двонаправленими зв’язками між відповідними комірками нейронних мереж. Для розрахунку оптимального набору гіперпараметрів для чотирьох архітектур нейронних мереж було реалізовано генетичний алгоритм. Оптимізація гіперпараметрів відбувалась на базі мінімізації функції середньоквадратичної помилки на зразках з валідаційної вибірки, що вимагало багаторазовий процес навчання нейронних мереж для кожного набору гіперпараметрів з простора пошуку. Наведені результати чисельних експериментів, проведених для конфігурацій моделей з однонаправленими та двонаправленими зв’язками між комірками свідчать про можливість використання такого підходу для побудови прогностичних моделей для одновимірних сенсорних часових рядів. Аналіз отриманих результатів дає змогу визначати оптимальну прогностичну модель низької складності для розгортання на мікроконтролері. Також запропоновано схему розгортання розроблених моделей на мікроконтролері STM32, об'єднаному з високопродуктивним хабом на базі мікрокомп’ютера Nvidia Jetson Nano з графічним прискорювачем, що може ефективно застосовуватися для тренування простих нейронних мереж.

Ключові слова: граничні обчислення, рекурентні нейронні мережі, часові ряди, генетичний алгоритм.


Повний текст:

PDF (English)

Посилання


[1] Deep Learning for Edge Computing Applications: A State-of-the-Art Survey / [F. Wang, M. Zhang, X. Wang та ін.]. // IEEE Access. – 2020. – №8. – P. 58322 – 58336. DOI: 10.1109/ACCESS.2020.2982411.

[2] Edge computing use case examples [Електронний ресурс]. – 2020. – Режим доступу до ресурсу: https://stlpartners.com/edge_computing/10-edge-computing-use-case-examples/.

[3] Mao J. Application of learning algorithms in smart home IoT system security / J. Mao, Q. Lin, J. Bian. // Mathematical Foundations of Computing. – 2018. – №1. – P. 63–76. DOI: 10.3934/mfc.2018004.

[4] Smart Home System Based on Deep Learning Algorithm / Y. Peng, J. Peng, J. Li, L. Yu. // Journal of Physics: Conference Series. – 2019. – №1187. – P. 032086. DOI: 10.1088/1742-6596/1187/3/032086.

[5] Design of a Prototype Neural Network for Smart Homes and Energy Efficiency / T.Teich, F. Roessler, D. Kretz, S. Franke. // Procedia Engineering. – 2014. – №69. – P. 603–608. DOI: 10.1016/j.proeng.2014.03.032.

[6] Chakraborty T. Home automation using edge computing and Internet of Things / T. Chakraborty, S. Datta. // IEEE International Symposium on Consumer Electronics (ISCE). – 2017. – P. 47–49. DOI: 10.1109/ISCE.2017.8355544.

[7] Design of Smart Home System Based on Collaborative Edge Computing and Cloud Computing / Q.Ma, H. Huang, W. Zhang, M. Hua. // Algorithms and Architectures for Parallel Processing. – 2020. – P. 355–366. DOI: 10.1007/978-3-030-60248-2_24.

[8] Self-Learning Algorithm to Predict Indoor Temperature and Cooling Demand from Smart WiFi Thermostat in a Residential Building / [K. Huang, K. Hallinan, R. Lou та ін.]. // Sustainability. – 2020. – №12. – P. 7110–7124. DOI: https://doi.org/10.3390/su12177110.

[9] Deep Learning architecture for temperature forecasting in an IoT LoRa based system / [I. Ouahab, B. Abdelhakim, A. Astito та ін.]. // Conference: the 2nd International Conference on Networking, Information Systems & Security (NISS19). – 2019. – P. 1–6. DOI: 10.1145/3320326.3320375.

[10] AI expansion pack for STM32CubeMX [Електронний ресурс] – Режим доступу до ресурсу: https://www.st.com/en/embedded-software/x-cube-ai.html.

[11] Jin H. Auto-Keras: An Efficient Neural Architecture Search System / H. Jin, Q. Song, X. Hu. // ACM SIGKDD International Conference. – 2019. – P. 1946–1956. DOI: 10.1145/3292500.3330648.

[12] Embedding Sequence Model in STM32 Based Neuro-Controller / [O. Sinkevych, Y. Boyko, O. Rechynskyi та ін.]. // 2021 IEEE 12th International Conference on Electronics and Information Technologies (ELIT). – 2021. – P. 113–118. DOI: 10.1109/ELIT53502.2021.9501132.

[13] Siami-Namini S. The Performance of LSTM and BiLSTM in Forecasting Time Series / S. Siami-Namini, N. Tavakoli, A. Siami Namin. // 2019 IEEE International Conference on Big Data (Big Data). – 2019. – P. 3285–3292. DOI: https://doi.org/10.1109/BigData47090.2019.9005997.




DOI: http://dx.doi.org/10.30970/eli.16.2

Посилання

  • Поки немає зовнішніх посилань.