ОПРАЦЮВАННЯ ТА ВІЗУАЛІЗАЦІЯ ДАНИХ ДЛЯ ВИЯВЛЕННЯ КОРОЗІЇ

Roman Mysiuk, Volodymyr Yuzevych, Iryna Mysiuk

Анотація


Україна - одна з країн, через які проходять підземні металеві трубопроводи з газом та нафтою. Під впливом зовнішніх і внутрішніх факторів метал піддається корозії і при цьому виникають дефекти. Однією з важливих проблем є виявлення дефектів у підземних трубопроводах дистанційними методами. Основною причиною, чому ми повинні досліджувати можливість швидкого виявлення таких дефектів, є можливість аварій, які можуть призвести до техногенних катастроф та небезпечних викидів вуглеводнів у повітря та в землю. Для виявлення корозійних дефектів пропонується використовувати результати обробки вимірювань струмів та потенціалів. Одним із сучасних підходів до опрацювання даних є використання хмарних технологій, які дозволяють не тільки надавати публічний доступ до ресурсів, а й використовувати інструменти для роботи з інформацією. У хмарному середовищі Amazon Web Service використовується підхід розробки клієнт-серверної архітектури програмного забезпечення з візуалізацією результатів у веб-додатку. Центральним елементом є REST веб сервіс, який з’єднує всі елементи системи. Оскільки ця архітектура базується на використанні HTTP протоколу передачі даних та роботи з JSON форматом даних, то нереляційну базу даних Elasticsearch використано для зберігання даних. Це сховище даних є гнучким для роботи з даними, бо дозволяє виконувати складні запити для повнотекстового, часткового та фільтрованого пошуку інформації. Обробка даних автоматизована і на їх основі можна виявляти локалізацію корозійних дефектів з урахуванням візуалізації результатів. Графіки можуть відображати результати обчислень в режимі реального часу. Процес візуалізації відбувається на основі використання динамічної бібліотеки для побудови графіків D3.js, яка дає змогу працювати з більшістю типів представленнями даних. У роботі розглянуто застосування звичайної лінійна та стовпчаста діаграми. Крім цього, приведено модель комплексного застосування системи від етапу збирання даних до їх візуалізації. Така система обробки даних може замінити ручну роботу, пов’язану з відбором, опрацюванням та візуалізацією даних в реальному часі.

Ключові слова: опрацювання даних, візуалізація даних, корозійні дефекти, підземні трубопроводи, система відбору даних, хмарні технології.


Повний текст:

PDF (English)

Посилання


[1] Lozovan V., Dzhala R., Skrynkovskyy R., Yuzevych V. Detection of specific features in the functioning of a system for the anti-corrosion protection of underground pipelines at oil and gas enterprises using neural networks // Eastern-European Journal of Enterprise Technologies. 2019. Vol. 1. No 5 (97). – P. 20–27. DOI: https://doi.org/10.15587/1729-4061.2019.154999.

[2] Юзевич В. М., Лозован В. П. Вплив механічних напружень на ріст корозійної тріщини у стінці трубопроводу // Фіз.-хім. механіка матеріалів. 2021. Т. 57, № 4. C. 96-103.

[3] Overview of Amazon Web Services. [Online]. URL: https://d1.awsstatic.com/whitepapers/aws-overview.pdf

[4] Running Elasticsearch on AWS. [Online]. URL: https://www.elastic.co/blog/running-elasticsearch-on-aws

[5] Aleksei Voit, Aleksei Stankus, Shamil Magomedov, and Irina Ivanova. Big data processing for full-text search and visualization with elasticsearch // International Journal of Advanced Computer Science and Applications, Vol. 8, No. 12, 2017. DOI: https://doi.org/10.14569/IJACSA.2017.081211

[6] Rogozinski M., Kuc R. ElasticSearch Server. Packt Publishing, Birmingham B3 2PB, UK, 2014.

[7] Thomas, Manoj A. and Redmond, Richard T. From the Client-Server Architecture to the Information Service Architecture, AMCIS 2009 Proceedings. 115.

[8] Stephen R. Midway Principles of Effective Data Visualization. Perspective, Vol. 1 (9), 2020. doi: https://doi.org/10.1016/j.patter.2020.100141

[9] Data visualization [Online]. URL: https://en.wikipedia.org/wiki/Data_visualization

[10] Data-Driven Documents [Online]. URL: https://d3js.org/

[11] Mahdi Bennara, Michael Mrissa, Youssef Amghar. An Approach for Composing RESTful Linked Services on the Web. World Wide Web, Apr 2014, Seoul, South Korea. doi: https://doi.org/10.1145/2567948.2579222

[12] Luburić N, Ivanović D. Comparing Apache Solr and Elasticsearch search servers 6th Int. Conf. Inf. Soc. Technol. ICIST 2016, P. 287–291

[13] R. Pienta, J. Abello, M. Kahng, and D. H. Chau. Scalable graph exploration and visualization: Sensemaking challenges and opportunities Big Data Smart Comput. (BigComp), IEEE, 2015.

[14] R. M. Tarawneh, P. Keller, and A. Ebert. A general introduction to graph visualization techniques // OASIcs-OpenAccess Ser. Informatics, vol. 27, 2012.

[15] В. Гошовський, В. Дзіковський, Р. Мисюк, В. Рабик, І. Сасовець. Система збирання інформації на основі мікрокомп’ютера Raspberry PI // Електроніка та інформаційні технології. 2017. Випуск 8. – С. 102 –110

[16] García, S., Ramírez-Gallego, S., Luengo, J. et al. Big data preprocessing: methods and prospects. Big Data Anal 1, 9 (2016). doi: https://doi.org/10.1186/s41044-016-0014-0

[17] Dashrath Mane, Ketaki Chitnis, Namrata Ojha. The Spring Framework: An Open Source Java Platform for Developing Robust Java Applications // International Journal of Innovative Technology and Exploring Engineering (IJITEE). 2013. Vol. 3 (2). – P. 137-143

[18] Ji Changqing & Li Yu & Qiu Daowen & Jin Yingwei & Xu Yujie & Awada Uchechukwu & Li Keqiu & Qu Wenyu. Big data processing: Big challenges. Journal of Interconnection Networks. 2013. DOI: https://doi.org/10.1142/S0219265912500090.

[19] Dutta, Pranay & Dutta, Prashant. Comparative Study of Cloud Services Offered by Amazon, Microsoft and Google. International Journal of Trend in Scientific Research and Development. 2019. Volume-3. 981-985. doi: https://doi.org/10.31142/ijtsrd23170.

[20] Eric Hehman, Sally Y. Xie. Doing Better Data Visualization. Advances in Methods and Practices in Psychological Science October-December 2021, Vol. 4, No. 4, pp. 1–18. DOI: https://doi.org/10.1177/25152459211045334.

[21] Peng, Dunlu & Cao, Lidong & Xu, Wenjie. Using JSON for Data Exchanging in Web Service Applications. 7. 2011




DOI: http://dx.doi.org/10.30970/eli.16.5

Посилання

  • Поки немає зовнішніх посилань.