Przejdź do głównej zawartości

5 błędów, które popełniasz podczas czyszczenia danych w Pythonie + jak ich uniknąć [+ PRAKTYCZNY PRZEWODNIK PO CZYSZCZENIU DANYCH W PDF]

 


Najczęstsze błędy podczas czyszczenia danych w Pythonie

Czy zdarzyło Ci się przypadkiem usunąć połowę danych, bo użyłaś dropna() bez namysłu? Jak wspominałam ostatnio, czyszczenie danych to etap często kluczowy do tego, by poprawnie przeanalizować dane, którymi dysponujemy. Dlatego warto poświęcić mu wystarczająco dużo uwagi i czasu, a wtedy unikniemy pracy być może zupełnie na marne.

Trzymając się tematyki, którą ostatnio poruszyłam poświęcam dzisiejszy wpis błędom, które zdarzają się w czyszczeniu danych najczęściej. Nie będzie to kompletna lista, bo pokryje zaledwie 5 aspektów, jednak ze swojej praktyki, a także informacji, które napotykam codziennie w Internecie- będzie to bardzo praktyczna lista rzeczy, których należy się wystrzegać zabierając się za porządkowanie datasetu.


1. Usuwanie brakujących wartości bez analizy przyczyny ich występowania

Błąd: automatyczne dropna() bez sprawdzenia przyczyny braków.

Może prowadzić do utraty dużej części danych.

Niektóre NaN-y są informacyjne (np. „brak zakupu” ≠ „brak danych”).

Zamiast tego: sprawdź .isna().sum() i zastanów się nad imputacją (fillna()), jeśli dane są przydatne.


2. Usuwanie duplikatów bez ich dogłębnej analizy

Błąd: drop_duplicates() bez analizy.

Możesz przypadkowo usunąć poprawne obserwacje, np. dwie osoby o tym samym nazwisku ale różnym wieku.

Zamiast tego: sprawdź najpierw .duplicated() z subset= i przeanalizuj dane kontekstowo.


3. Wykonywanie poleceń "w miejscu", bez przypisywania wyników do zmiennej

Błąd: zmieniasz dane bez przypisania z powrotem.

df.dropna()  # nie przypisano!

 Zamiast tego: używaj inplace=True


4. Nadpisywanie danych wejściowych bez wykonania kopii zapasowej

Błąd: Modyfikujesz oryginalny DataFrame bez kopii – potem nie możesz wrócić do stanu początkowego.

 Zamiast tego: na początku pracy:

df_original = df.copy()


5. Nieusuwanie białych znaków

Błąd: Dane kategoryczne niby wyglądają identycznie, ale mają np. spacje:

'Warszawa' != 'Warszawa '.

Zamiast tego: oczyść dane, usuwając białe znaki i zamieniając je na małe litery jak poniżej

df['miasto'] = df['miasto'].str.strip().str.lower()


Mam nadzieję, że w codziennej pracy uwzględniasz te błędy zważając na to, by analiza była ich pozbawiona. Jeśli nie... To koniecznie zacznij! 

Bonus- darmowy PDF

Przygotowałam dla Ciebie darmowy PDF z kompletnym przewodnikiem krok po kroku. Znajdziesz w nim:
  • checklistę błędów
  • kod źródłowy w Pythonie
  • schemat workflow czyszczenia danych

Przyjemnością było dla mnie to porządkowanie wiedzy z możliwością podzielenia się z tymi, którzy jeszcze są na etapie nauki. Poniżej znajdziesz link do PDFa. Jeśli uważasz, że coś jest niejasne: pisz śmiało. Na pewno wyjaśnię! Wszelkie pomysły na udoskonalenie tego materiału również chętnie przygarnę i zastosuję tak, by materiały, które publikuję były dopracowane na najwyższym poziomie.

PDF - Kompletny przewodnik po czyszczeniu danych w Pythonie


** Zdjęcie z początku posta zostało wygenerowane prze AI - żródło: Sora

Etykiety:

Komentarze

Prześlij komentarz

Popularne posty z tego bloga

Czego nauczyłam się o sobie w trakcie przebranżowienia?

  Czego nauczyłam się o sobie w trakcie przebranżowienia? W międzyczasie przygotowań do certyfikatu postanowiłam poruszyć nieco lżejszy temat. Taki bardziej osobisty- o tym, czego nauczyłam się o sobie podczas przebranżowienia i co się zmieniło w moim podejściu do nauki odkąd zaczęłam szykować się do nowej roli. Lepsze planowanie = mniej chaosu Pierwsza rzecz, która od razu przychodzi mi do głowy, to zdecydowanie lepsze planowanie nauki . Bez planu łatwo się pogubić albo przytłoczyć ilością materiału, który trzeba ogarnąć. Dlatego zawsze robię plan- najczęściej tygodniowy. Uwzględniam w nim obsunięcia czasowe, więc w większości przypadków udaje mi się go zrealizować. Nie spieszę się za bardzo, bo zależy mi na dogłębnym poznaniu każdego tematu (na poziomie, który sobie wcześniej ustaliłam – douczanie się to i tak temat na całe życie 😉 ). Staram się łączyć różne formy nauki: teoria i praktyka na DataCampie, webinary, filmy na YouTubie, książki, projekty „do szuflady”. I co najważ...
Prześlij komentarz
Czytaj więcej

10+ najczęstszych błędów w analizie danych (i jak ich uniknąć przed certyfikatem DataCamp)

  Gdy życie krzyżuje plany  (i co z tego wynika) Jestem na etapie kończenia zaplanowanych powtórek. Wszystko idzie trochę wolniej, niż zakładałam, bo życie (ech, znowu ono) pokrzyżowało mi plany. Mam teraz coś znacznie ważniejszego, z czym muszę się zmierzyć, niż jakikolwiek certyfikat. W tym krótkim poście chciałabym pochylić się nad częstymi błędami, które zdarzają się osobom przygotowującym się do certyfikatu, do którego ja też podchodzę. Pisałam o nim tutaj →  Certyfikat DataCamp: Python Data Associate- jak się do niego przygotowuję? . Skąd wzięłam te błędy? Najpierw przedstawię błędy wymieniane przez autorów materiałów na DataCampie. Potem przejdę przez takie, które często pojawiają się w innych źródłach (np. tu: laboratorium-mozliwosci.pl , dataconversion.ie ). Później dorzucę coś od siebie - czyli błędy, które sama popełniłam. A na koniec to, co podpowiedział mi jeszcze ChatGPT (jako uzupełnienie listy). Z mojej perspektywy - osoby, która przygotowuje się do egza...
Prześlij komentarz
Czytaj więcej

Jak efektywnie uczyć się Excela? Mój tydzień z nauką i projektem.

  Obraz  Markus Winkler  z  Pixabay Podsumowanie tygodnia – plan nauki (prawie) zrealizowany!      Ten tydzień oceniam jako niezwykle udany z perspektywy realizowania mojego planu nauki, który przedstawia łam wcześniej. Zrealizowałam prawie cały plan, nie licząc dwóch kursów ze „Skill Tracka” Data Analysis with Excel Power Tools (no, tak naprawdę zostało mi 1.5 kursu, jestem właśnie na Power Pivocie). To o wiele lepszy wynik, niż się spodziewałam. Szczególnie, że wszystko od razu sprawdzam w praktyce, upewniam się czy wiem jak zastosować, a jeśli trzeba- powtarzam. Robię też notatki- oczywiście na komputerze. Mimo, że się nie spieszyłam, bo zależało mi na solidnym opanowaniu przerabianego materiału, to mam do zaprezentowania kolejne etapy skreślone z listy zadań: Pierwszy projekt – nauka w praktyce      Projekt, który wykonałam, był próbny i realizowany razem z tutorialem. Sama idea zakończenia cyklu nauki projektem była genialna. Czuł...
Prześlij komentarz
Czytaj więcej