Przejdź do głównej zawartości

Dlaczego czyszczenie danych jest tak istotne?

 

Gdy dopiero zaczynałam naukę pracy z danymi, wielokrotnie trafiałam na informację o tym, że czyszczenie danych stanowi 80% tej pracy, a cała reszta to pozostałe 20%. Z jednej strony ciężko mi było uwierzyć, że całe wyciąganie wniosków i robienie raportu to taki mały odsetek procentowy, a z drugiej byłam w stanie uwierzyć w fakt, że czystość danych jest faktycznie tak istotna. Czy stosunek 80-20 faktycznie oddaje naturę problemu czystości danych? Kiedy właściwie można już uznać, że nasze dane są "czyste" i możemy zająć się kolejnymi etapami? 

Garbage in, garbage out - i cała robota na nic

Pierwsze co przychodzi mi na myśl, gdy chodzi o czyszczenie danych jest słynne powiedzenie, którego chyba nie sposób nie znać: "garbage in garbage out". Jeśli pierwsze etapy naszej pracy są źle wykonane, cała reszta (nawet wykonana od linijki) może nie mieć znaczenia, prowadząc nas do błędnych obserwacji i wniosków. A więc cała praca idzie na marne.

Co daje dobrze oczyszczony zbiór danych?

  1. Lepsza jakość decyzji. Dobre dane to dobre decyzje. Nawet najpiękniejszy dashboard na danych z błędami prowadzi nas donikąd - a dokładniej: do błędnych wniosków i kosztownych pomyłek.
  2. Mniejsze ryzyko błędów i kosztów. Brudne dane to ryzyko - nie tylko poznawcze, ale i finansowe. Można podjąć błędną decyzję inwestycyjną, źle zaplanować strategię, albo wyciągnąć zupełnie nietrafne wnioski.
  3. Bezpieczniejsze i stabilniejsze systemy. Czyste dane są mniej problematyczne technicznie - łatwiej się z nimi pracuje, rzadziej „psują się” w pipeline’ach, zmniejszają ryzyko wycieków danych wrażliwych czy dziur bezpieczeństwa.
  4. Nie da się dobrze wytrenować modelu na brudnych danych. A przynajmniej nie da się tego zrobić bez kompromisów. To czyszczenie danych jest tym etapem, który decyduje o tym, jak dobrze model uogólnia na przyszłość.

Gruntowne sprzątanie

80% czasu pracy na danym zbiorze spędzone na czyszczeniu go? Może nie są to dokładnie takie wartości, o jakich często się słyszy, czyli 80/20 - jest to raczej uproszczenie. Jednak te proporcje dość dobrze opisują realia pracy wielu badaczy danych. Nie wynikają one z braku umiejętności. Po prostu standardem są dość "brudne" dane i dobrze jest poświęcić im trochę więcej uwagi, by uniknąć nieprzyjemnych konsekwencji zaniedbania tego procesu.

Jakie techniki obejmuje czyszczenie danych?

Jest ich naprawdę sporo i dużo zależy od indywidualnych cech zbioru, który analizujemy. Nie sposób więc wymienić wszystkie dostępne możliwości. Takie, które najczęściej należy zastosować w praktyce to:

  • usuwanie duplikatów,
  • przekształcanie typów danych na odpowiednie,
  • zajęcie się outlierami,
  • uzupełnianie lub usuwanie brakujących wartości,
  • standaryzacja kategorii,
  • usuwanie oczywistych błędów, literówek itd.

Kiedy dane są wystarczająco czyste?

To trudne pytanie - i nie ma jednej dobrej odpowiedzi. Nie chodzi o to, by wyczyścić dane „do bólu” i perfekcyjnie każdą kolumnę, jeśli i tak jej nie użyjemy. Czyszczenie danych nie jest liniowe. Droga od czyszczenia datasetu do eksploracyjnej analizy danych, wyciągania wniosków i raportowania nie jest jednostronna. Czasem trzeba wrócić do poprzedniego etapu pracy i coś udoskonalić lub na przykład "doczyścić" bardziej. To się zdarza w pracy nawet bardzo doświadczonych analityków danych, więc zupełnie nie należy się tym przejmować i wyrzucać sobie, że czegoś nie zauważyliśmy i musimy się cofać. To nie powinno nas stresować. A zatem czyste dane to w każdym przypadku dane, na których da się bezbłędnie przeprowadzić analizę danych i w każdym przypadku będzie to inny "stopień doczyszczenia" naszego zbioru. 

I jeszcze coś: ja naprawdę lubię czyszczenie danych

Dotarły do mnie informacje, że czyszczenie danych to proces, za którym sporo osób nie przepada. Ja mam odwrotnie. Naprawdę sprawia mi przyjemność doprowadzanie datasetu do stanu, w którym można go poddać analizie. Takie szlifowanie grudki, która po dostatecznej obróbce może stać się diamentem. Przyznam szczerze, że czuję się trochę jakbym wygrała na loterii - skoro tak duża część pracy obejmuje prace porządkowe na danych, to tę większą część już bardzo polubiłam. 

Materiały dotyczące czyszczenia danych

W kolejnym wpisie również pozostanę przy temacie porządkowania zbiorów danych. Już wkrótce udostępnię przewodnik w formacie PDF, który krok po kroku przeprowadzi Was przez proces czyszczenia - tak, jak sama się tego uczyłam, korzystając z różnych źródeł i praktycznych doświadczeń. Mam nadzieję, że choć jednej osobie pomoże on lepiej zrozumieć ten niezwykle istotny etap pracy z danymi.


** Zdjęcie z początku posta: obraz Renkilde Copenhagen z Pixabay
Etykiety:

Komentarze

Prześlij komentarz

Popularne posty z tego bloga

SQL w 2 godziny dziennie - plan, motywacja, materiały

  Przyszedł czas na ustalenie nowych celów. Mój wybór padł na powtórki i rozszerzanie wiedzy z SQL. Opracowałam już prosty plan, którego zamierzam się trzymać, rozplanowałam sobie jaką część tego planu zamierzam wykonać w poszczególne dni. Jestem podekscytowana. Jak zawsze, gdy zaczynam coś nowego.  Małe sprostowanie: SQL nie jest dla mnie ZUPEŁNIE nowy, uczyłam się go już kiedyś, ale to było dawno i mam potrzebę go odświeżyć.  Dlaczego akurat SQL? Bo to narzędzie, które mimo upływu lat nie traci na aktualności. W świecie danych SQL wciąż jest podstawą  - niezależnie od tego, czy pracujesz w analizie danych, nauce o danych, czy w IT szerzej. Ja sama coraz częściej trafiam na sytuacje, w których jego znajomość bardzo by mi się przydała - przy analizie wyników, raportach, czy integracji danych z różnych źródeł. Poza tym lubię jego logiczność i strukturę - jest coś satysfakcjonującego w dobrze napisanym zapytaniu, które robi dokładnie to, co powinno. Czuję, że warto poś...
Prześlij komentarz
Czytaj więcej

Mój tydzień z nauką Excela i Pythona – projekty, powtórki i plan działania.

Obraz  StockSnap  z  Pixabay Podsumowanie tygodnia – systematyczność kluczem do sukcesu      To był intensywny tydzień – zarówno pod względem nauki, jak i pracy. Mimo wszystko najważniejsza jest systematyczność, dlatego jestem sobie wdzięczna, że nie odpuszczam, nawet gdy nie jest najłatwiej.      Udało mi się zamknąć temat kursów dotyczących Excela (oczywiście tylko tymczasowo). Osiągnęłam etap, który chcę podsumować osobistym projektem, a także poświęcić więcej czasu na swobodną pracę z poznanymi narzędziami. Teraz jest czas na utrwalanie wiedzy i rozpoczęcie nowego etapu – nauki Pythona. Nowe podejście do nauki – Excel i Python w równowadze      Zastanawiałam się, jak najlepiej zorganizować naukę, aby jednocześnie skupić się na nowym materiale (Python) i nie zapomnieć tego, czego nauczyłam się w Excelu. Ostatecznie wybrałam podejście, które łączy oba te aspekty: Skupienie się na Pythonie – rozwijanie umiejętności kodowania ...
Prześlij komentarz
Czytaj więcej

DataCamp Python Data Associate - relacja i wskazówki dla zdających

Dlaczego zdecydowałam się na ten certyfikat? Wspominałam już wcześniej nie raz i nie dwa, jak sądzę, że przymierzam się do certyfikatu DataCamp Python Data Associate . Od dłuższego czasu często zaglądam na DataCamp i w miarę mojej eksploracji tej platformy zachciałam skorzystać także z opcji przystąpienia do certyfikatu. Żeby się sprawdzić? Żeby coś sobie udowodnić? A może poczuć się lepiej z własną wiedzą? Myślę, że wszystko po trochu popchnęło mnie do tego działania. Długo wahałam się, czy to już ten moment, kiedy chcę się "testować". Nigdy nie byłam osobą, która wyrywała się do odpowiedzi. Wolałam milczeć, ale zapytana odpowiadać na pytania poprawnie. Tak samo teraz, nienaturalnym było dla mnie robić coś takiego z własnej inicjatywy i to w formie spędzania wolnego czasu. Dla przyjemności. Jak wygląda egzamin? Certyfikat składa się z dwóch części. Pierwsza jest teoretyczna i są na nią przeznaczone 2 godziny, kolejna część - praktyczna - trwa 4 godziny (lub krócej oczywiśc...
Prześlij komentarz
Czytaj więcej