Case study: data scraping, czyli robota dla bota

Jak skutecznie, szybko i sprawnie monitorować 340 różnych stron internetowych w poszukiwaniu konkretnych informacji? Firma szkoleniowa postawiła na innowacyjne pozyskiwanie danych. Z myślą o jej potrzebach opracowaliśmy efektywny proces gromadzenia informacji w ramach web scrapingu. Przedstawiamy korzyści z automatycznego pozyskiwania danych.

Z tego wpisu dowiesz się:

co to jest automatyczny web scraping,
jakie są techniki web scrapingu,
jak pomogliśmy klientowi usprawnić przeczesywanie kilkuset stron internetowych,
czemu automatyzacja pobierania danych to przyszłość.

O wsparcie poprosiła nas firma szkoleniowa, która monitoruje strony internetowe Powiatowych Urzędów Pracy w całym kraju. Gromadzi w ten sposób aktualne informacje o środkach dostępnych z Krajowego Funduszu Szkoleniowego. Dane uzyskane na stronach internetowych PUPów firma przekazuje potem swoim klientom, którzy zyskują wiedzę o możliwościach dofinansowania szkoleń we właściwym dla swojej działalności urzędzie. Proces jest żmudny, czasochłonny i narażony na błędy, co skłoniło firmę do poszukiwania nowych rozwiązań.

Web scraping czyli pozyskiwania danych ze stron internetowych

Web scraping to zautomatyzowany proces zbierania danych z publicznie dostępnych stron internetowych. Specjalne programy, zwane scraperami lub botami, przeglądają kod HTML stron i wyodrębniają z nich określone informacje. Pozyskane dane mogą być następnie zapisywane i analizowane na przykład w arkuszu kalkulacyjnym lub bazie danych.

Web scraping jest wykorzystywany w wielu dziedzinach, takich jak analiza konkurencji, badania rynku czy monitorowanie cen. Należy jednak pamiętać, że web scraping powinniśmy wykorzystywać TYLKO do legalnych celów a przy tym nie naruszać praw autorskich lub własności intelektualnej.

Techniki web scrapingu

Techniki web scrapingu obejmują różnorodne metody i narzędzia wykorzystywane do automatycznego pozyskiwania danych ze stron internetowych. Wybór odpowiedniej techniki zależy od struktury strony internetowej, ilości danych do pozyskania, dynamiki treści oraz etycznych i prawnych aspektów danego projektu.

Pozyskiwanie danych ze stron internetowych: codzienność firmy szkoleniowej

Każdego dnia do przejrzenia są 340 strony internetowe. Zadania odpowiedzialnej za ręczny web scraping osoby obejmują uzupełnianie w bazie danych informacji o naborach wniosków, budżecie oraz terminie na składanie dokumentów w danym PUP. To codzienne i żmudne pobieranie danych. Aktualny proces pozyskiwania danych wymaga ręcznego przeglądania witryn, uzupełniania arkusza kalkulacyjnego (Excela) oraz wysyłania e-maili do poszczególnych klientów. Ręczna technika pozyskiwania danych wiąże zasoby i oznacza poważne komplikacje w przypadku urlopów czy zdarzeń losowych.

Pozyskiwania danych nie ułatwia też sama struktura stron internetowych PUP. Uderza brak standaryzacji i jednolitej struktury informacji. Przeglądane strony internetowe nierzadko są mało intuicyjne, a konkretne dane są dostępne w różnych zakładkach. Czas pozyskiwania danych wydłuża się.Nasuwa się podobieństwo do sytuacji w płatnościach transgranicznych, gdzie standard ISO 20022 ma przynieść ujednolicenie formatu informacji i danych. Pisaliśmy o szansach z tym związanych w naszym tekście o ISO 20022.

Proponowane rozwiązanie: automatyczny proces web scrapingu

Zaproponowaliśmy firmie automatyzację web scrapingu i proces oparty na automatycznym pobieraniu danych. Etap pierwszy obejmował stworzenie zaawansowanej aplikacji w Javie z użyciem Springboot. Bot miał efektywnie przeglądać strony internetowe Urzędów Pracy. Celem było opracowanie narzędzia, które usprawni dostęp do informacji związanych z dofinansowanie szkoleń.

Etap drugi koncentrował się na wyszukiwaniu zmian na stronach. Wprowadzamy automatyczne monitorowanie zmian poprzez odpowiednie skonfigurowanie bota. Jego inteligentny mechanizm będzie analizować zawartość konkretnej stony i sprawdzać istotne informacje. Automatyczny web scraping umożliwia szybkie dotarcie do aktualnych danych o środkach dostępnych z Krajowego Funduszu Szkoleniowego. Naszym zdaniem podobne rozwiązanie można z powodzeniem wdrożyć do chociażby monitorowania cen konkurencji.

Web scraping, czyli przewaga automatyzacji

Co konkretnie składa się zatem na tak zorganizowany proces analizowania danych? Korzystamy z zaawansowanych technologii, takich jak GPT (Generative Pre-trained Transformer), w połączeniu z botem i crawlerem. Dzięki tej innowacyjnej kombinacji automatycznie logujemy się na 340 stronach, pobieramy minimum 10 informacji ze strony, a następnie analizujemy i identyfikujemy aktualne nabory do Krajowego Funduszu Szkoleniowego.

Automatycznie zebrane i pobrane dane wymagają standaryzacji i strukturyzacji. Wprowadzamy standaryzację danych zgodnie z normą ISO, co ułatwia porównywanie informacji z różnych źródeł. To kluczowy krok dla zwiększenia czytelności oraz efektywności procesu analizy ofert dofinansowania szkoleń. To również gwarancja wyeliminowania błędów związanych z niejednolicie podanymi danymi.

Przechodzimy od rozproszonych danych do centralnej bazy, co umożliwia skonsolidowane raportowanie z urzędów powiatowych do jednego źródła. Taka agregacja danych zapewnia spójność i kompleksowe podejście do ekstrakcji danych. Nasze działania mają na celu zautomatyzowanie procesu, eliminując konieczność manualnej ekstrakcji danych z każdego serwisu Urzędu Pracy. To nie tylko usprawni przeglądanie informacji, ale także pozwoli na szybką analizę i reakcję.

Web scraping: uzyskanie przewagi konkurencyjnej

Automatyzacja w połączeniu z GPT i standaryzacją danych pozwala na efektywne korzystanie z dofinansowania szkoleń ze środków z PUP. To także ukierunkowane podejście do wyzwań związanych z różnorodnością stron internetowych PUP. Web scraping przyspiesza i ułatwia proces informowania klientów. Pomaga im podejmować strategiczne decyzje.

Zachęcamy do kontaktu firmy usługowe, które poszukują możliwości optymalizacji ręcznych procesów pracy z danymi. Pomożemy znaleźć rozwiązanie dopasowane do Waszych potrzeb.