Про розпiзнавання окремих ознак частин тіла людини з використанням обмежених обчислювальних ресурсів

Сергій Іванов, Анатолій Музичук

Анотація


Розглянуто загальний підхід до розпізнавання окремих частин людського тіла на відеозображеннях, які надходять з камер на різноманітних пристроях з обмеженими обчислювальними ресурсами. Зокрема, досліджується розпізнавання та аналіз жестів руки для розробки безконтактного графiчного iнтерфейсу користувача (GUI).
Друга задача стосується контролю стану сонливості людини в режимі реального часу. Відео у цьому випадку містить зображення голови, для прикладу, водія. Розроблено множину параметрів сонливості, які характеризують стан людини: тривалість та частота моргання очима, частота та тривалість нахилів голови,частота та глибина зівання.

Особливістю зазначених задач є вимога до можливості виконання їхньої програмної реалізації на малопотужних пристроях, які можуть працювати автономно без використання додаткових серверних ресурсів. Для кожної задачі побудовано моделі, в основі яких лежать множини, що складаються з малої кількості ключових точок. За рахунок цього вдалося розрозробити швидкі та високоефективні алгоритми детекції та аналізу.

Програмна реалізація алгоритмів першої задачі виконана з використанням нейронних мереж бібліотеки MediaPipe для операцій детекції та скелетонізації і SciKit для безпосереднього розпізнавання жестів. Завдяки малій кількості використаних ключових параметрів кисті руки на завершальному етапі виявилося ефективним використання простої повнозв'язної мережі. В роботі наведено множину жестів, яка є достатньою для розробки безконтактного GUI.

Для реалізації алгоритмів другої задачі використано бібліотеки OpenCV і Dlib, зокрема згорткова мережа ResNet-10 для розпізнавання обличчя, в якій останнім шаром також є повнозв'язна мережа. Подано порогові значення параметрів сонливості, які були отримані експериментально. Наведені результати демонструють високу точність розпізнавання досліджуваних характеристик.


Повний текст:

PDF

Посилання


Dlib C++ Library. -- Available from: http://dlib.net/.

Facebook app: An Update On Our Use of Face Recognition -- Available from: https://about.fb.com/news/2021/11/update-on-use-of-face-recognition/

Facebook AI: Ego4D -- Available from:
https://ai.facebook.com/research/publications/ego4d-unscripted-first-person-video-from-around-the-world-and-a-benchmark-suite-for-egocentric-perception.

Google AI Blog: MediaPipe Holistic — Simultaneous Face, Hand and Pose Prediction, on Device. -- Available from:
https://ai.googleblog.com/2020/12/mediapipe-holistic-simultaneous-face.html.

Google AI Blog: On-Device, Real-Time Hand Tracking with MediaPipe -- Available from:
https://ai.googleblog.com/2019/08/on-device-real-time-hand-tracking-with.html.

Ivanov S.A. Drowsiness Detection with CV and ML: demo.-- Available from: https://www.dropbox.com/s/b8fy2d8rjtac61h/2020-06-0118-41-55.mp4?dl=0.

Ivanov S.A. Touchless GUI with CV and ML: demo. -- Available from:
https://www.dropbox.com/s/vtfuwcssr0mlr7q/demo.mp4?dl=0

Jabbara R. {it Real-time Driver Drowsiness Detection for Android Application Using Deep Neural Networks Techniques}/ R.Jabbara, K. Al-Khalifaa, M. Kharbechea, W.Alhajyaseena, M. Jafaric, S. Jiangc// 2020 IEEE International Conference on Informatics, IoT, and Enabling Technologies (ICIoT), 2-5 Feb. 2020. -- DOI: 10.1109/ICIoT48696.2020.9089484.

Kazemi V. {it One millisecond face alignment with an ensemble of regression trees}/Vahid Kazemi, Josephine Sullivan. 2014 IEEE Conference on Computer Vision and Pattern Recognition. -- Available from: https://ieeexplore.ieee.org/document/6909637.

MediaPipe. Open Source Google Machine Learning Library. -- Available from: https://google.github.io/mediapipe/.

Ng A. {it Convolutional Neural Networks} /Andrew Ng-- Available from: https://www.coursera.org/learn/convolutional-neural-networks.

OpenCV: Open Source Computer Vision Library. –- Available from: https://docs.opencv.org/master/d9/df8 /tutorialroot.html.

Scikit-learn:
Machine Learning in Python. Classification. -- Available from: https://scikit-learn.org/stable/

Selenium IDE: Open source record and playback test automation for the web.
-- Available from:
https://www.selenium.dev/selenium-ide/

Soukupova T. {it Real-Time Eye Blink Detection using Facial Landmarks}/ T. Soukupova, J.Cech// 21-st Computer Vision Winter Workshop, Luka Cehovin, Rok Mandeljc, Vitomir Struc (eds.), Rimske Toplice, Slovenia, February 3–5, 2016.

Viola P. {it Rapid Object Detection using a Boosted Cascade of Simple Features} /Paul Viola, Michael Jeffrey Jones // CVPR, IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society Conference on Computer Vision and Pattern Recognition 1:I-511-I-518.-- Vol.1. -- DOI: 10.1109/CVPR.2001.990517 .

Zhong G. {it Towards Data Science: Drowsiness Detection with Machine Learning.}/Grant Zhong, Rui Ying, He Wang, Aurangzaib Siddiqui, Gaurav Choudhary.-- Available from: https://towardsdatascience.com/drowsiness-detection-with-machine-learning-765a16ca208a.




DOI: http://dx.doi.org/10.30970/vam.2021.29.11337

Посилання

  • Поки немає зовнішніх посилань.