ЦIНОВА ОПТИМIЗАЦIЯ ЗАМОВЛЕНЬ У ОНЛАЙН-КНИГАРНЯХ НА ОСНОВI ВЕБСКРАПIНГУ

Роман Григорович Селіверстов, Ірина Семчук

Анотація


У статтi розглядається вебскрапiнг як iнструмент збору iнформацiї про послуги онлайнових книгарень та подальший аналiз цiєї iнформацiї з метою формування оптимального за цiною замовлення. Виявлено недолiки вiтчизняних онлайнових сервiсiв
для купiвлi друкованої художньої лiтератури. Зокрема, вiдсутня можливiсть отримати найкращу за цiною пропозицiю на запит щодо купiвлi набору книг не в межах однiєї книгарнi. Описано розроблений на мовi Python з використанням бiблiотеки BeautifulSoup прототип вебскрапера для отримання цiн на книги та умови доставки з сайтiв онлайн-книгарень. Запропоновано два пiдходи до формування на основi цих даних замовлення списку книг за мiнiмально можливою цiною. Програмна реалiзацiя цих
пiдходiв додана до функцiональностi вебскрапера, що дало змогу усунути згаданий вище недолiк та забезпечити якiсно новий сервiс. Проаналiзовано часовi характеристики продуктивностi запропонованих пiдходiв за рiзних гiпотетичних обставин. Наведено результат роботи розробленого вебскрапера на прикладi тестового замовлення. Вказано можливi напрямки розширення функцiональностi програмного продукту та
його застосування.


Повний текст:

PDF

Посилання


1. Krotov V. Scraping Financial Data from the Web Using R Language / V. Krotov, M. Tennyson // Journal of Emerging Technologies in Accounting, 2018, vol. 15, no. 1, pp. 169–181.

2. Mitchell R. Web Scraping with Python / R. Mitchell. – O’Reilly Media, Inc., 2018, 2ed. – 306 p.


3. The A-Z of Web Scraping in 2020 [A How-To Guide] [Електронний ресурс] / Dmitry Narizhnykh // Hackernoon, 2020. – Режим доступу: https://hackernoon.com/the-a-z-of-web-
scraping-in-2020-a-how-to-guide-sg263y8d – Назва з екрану.

4. Государев И. Web scraping как программный процес извлечения и обработки данных в вебе / И. Государев, Н. Жуков, П. Бабарицкий // Современнон образование: традиции
и инновации, 2020, No 1, с. 146–152.

5. Boeing G. New Insights into Rental Housing Markets across the United States: Web Scraping and Analyzing Craigslist Rental Listings / G. Boeing, P. Waddell // Journal of Planning Education and Research, 2016, vol. 37, no. 4, pp. 457–476; doi:10.1177/0739456X16664789.


6. Glez-Pena D. Web scraping technologies in an API world / D. Glez-Pena, A. Lourenco, H. Lopez-Fernandez, M. Reboiro-Jato, F. Fdez-Riverola // Briefings in Bioinformatics, 2014, vol. 15, no. 5, pp. 788–797; doi:10.1093/bib/bbt026.


7. Haddaway N. The use of web-scraping software in searching for grey literature / N. Haddaway // Grey J, 2015, vol. 11, no. 3, pp. 186–190.


8. Hassanien, H. Web Scraping Scientific Repositories for Augmented Relevant Literature Search Using CRISP-DM / H. Hassanien // Appl. Syst. Innov., 2019, vol. 2, no 37; doi:10.3390/asi2040037.


9. Kumar P. Web Information Retrieval using JShop and Python / P. Kumar, P. Sharma. V. Singh // International Journal for Research in Applied Science & Engineering Technology, 2020, vol. 8, no. 6, pp. 1966–1969; doi:10.22214/ijraset.2020.6322.


10. Meschenmoser P. Scraping Scientific Web Repositories: Challenges and Solutions for Automated Content Extraction / P. Meschenmoser, N. Meuschke, M. Hotz, B. Gipp // D-Lib Magazine, 2016, vol. 22, no. 9-10; doi:10.1045/september2016-meschenmoser.


11. Vargiu E. Exploiting web scraping in a collaborative filtering-based approach to web advertising / E. Vargiu, M. Urru // Artificial Intelligence Research, 2013, vol. 2, no. 1, pp. 44–54; doi:10.5430/air.v2n1p44.


12. Басалаева А. Web-scraping и классификация текстов методом наивного Байеса / А. Басалаева, Г. Гареева, Д. Григорьева // Инновационная наука, 2018, том. 2, No 5, с. 11–14.


13. Москаленко А. Разработка приложения веб-скрапинга с возможностями обхода блокировок / А. Москаленко, О. Лапонина, В. Сухомлин // Современные информационные технологии и ИТ-образование, 2019, том. 15, No 2, с. 413–420;
doi:10.25559/SITITO.15.201902.413-420.


14. Вакуленко Ю. Застосування методу парсингу для ефективного пошуку iнформацiї у дослiдницькiй дiяльностi / Ю. Вакуленко, О. Щербiна // Вiсник студентського наукового товариства ДонНУ iменi Василя Стуса, 2019, том 2., No 11, с. 153–156.


15. Dryer A. Internet “Data Scraping”: A Primer for Counseling Clients / A. Dryer, J. Stockton // New York Law Journal, 2013, vol. 15, pp. 1–3.


16. Krotov V. Legality and Ethics of Web Scraping [Електронний
ресурс] / V. Krotov, L. Silva // Twenty-fourth Americas Conference
on Information Systems, New Orleans, 2018. – Режим
доступу: https://researchgate.net/publication/324907302_Legality_and_Ethics_of_Web_Scraping.


17. The Easy Way to Web Scrape Articles Online [Електронний ресурс] / Andrew Berry // Medium, 2020. – Режим доступу: https://towardsdatascience.com/the-easy-way-to-web-scrape-articles-online-d28947fc5979 – Назва з екрану.

18. Web Scraping Tutorial with Python: Tips and Tricks [Електронний ресурс] / Jekaterina Kokatjuhha // Hackernoon, 2017. – Режим доступу: https://hackernoon.com/web-scraping-tutorial-with-python-tips-and-tricks-db070e70e071 – Назва з екрану.


19. От парсера афиши театра на Python до Telegram-бота. Часть 1 [Електронний ресурс] / YuliyaCl // Хабр, 2019. – Режим доступу: https://habr.com/ru/post/444460 – Назва з екрану.

20. Beautiful Soup Documentation [Електронний ресурс]. – Режим доступу: https://crummy.com/software/BeautifulSoup/bs4/doc/


21. A Standard for Robot Exclusion [Електронний ресурс] / Martijn Koster. – Режим доступу: http://www.robotstxt.org/orig.html – Назва з екрану.




DOI: http://dx.doi.org/10.30970/vam.2020.28.10941

Посилання

  • Поки немає зовнішніх посилань.