Przejdź do głównej zawartości

5 błędów, które popełniasz podczas czyszczenia danych w Pythonie + jak ich uniknąć [+ PRAKTYCZNY PRZEWODNIK PO CZYSZCZENIU DANYCH W PDF]

 


Najczęstsze błędy podczas czyszczenia danych w Pythonie

Czy zdarzyło Ci się przypadkiem usunąć połowę danych, bo użyłaś dropna() bez namysłu? Jak wspominałam ostatnio, czyszczenie danych to etap często kluczowy do tego, by poprawnie przeanalizować dane, którymi dysponujemy. Dlatego warto poświęcić mu wystarczająco dużo uwagi i czasu, a wtedy unikniemy pracy być może zupełnie na marne.

Trzymając się tematyki, którą ostatnio poruszyłam poświęcam dzisiejszy wpis błędom, które zdarzają się w czyszczeniu danych najczęściej. Nie będzie to kompletna lista, bo pokryje zaledwie 5 aspektów, jednak ze swojej praktyki, a także informacji, które napotykam codziennie w Internecie- będzie to bardzo praktyczna lista rzeczy, których należy się wystrzegać zabierając się za porządkowanie datasetu.


1. Usuwanie brakujących wartości bez analizy przyczyny ich występowania

Błąd: automatyczne dropna() bez sprawdzenia przyczyny braków.

Może prowadzić do utraty dużej części danych.

Niektóre NaN-y są informacyjne (np. „brak zakupu” ≠ „brak danych”).

Zamiast tego: sprawdź .isna().sum() i zastanów się nad imputacją (fillna()), jeśli dane są przydatne.


2. Usuwanie duplikatów bez ich dogłębnej analizy

Błąd: drop_duplicates() bez analizy.

Możesz przypadkowo usunąć poprawne obserwacje, np. dwie osoby o tym samym nazwisku ale różnym wieku.

Zamiast tego: sprawdź najpierw .duplicated() z subset= i przeanalizuj dane kontekstowo.


3. Wykonywanie poleceń "w miejscu", bez przypisywania wyników do zmiennej

Błąd: zmieniasz dane bez przypisania z powrotem.

df.dropna()  # nie przypisano!

 Zamiast tego: używaj inplace=True


4. Nadpisywanie danych wejściowych bez wykonania kopii zapasowej

Błąd: Modyfikujesz oryginalny DataFrame bez kopii – potem nie możesz wrócić do stanu początkowego.

 Zamiast tego: na początku pracy:

df_original = df.copy()


5. Nieusuwanie białych znaków

Błąd: Dane kategoryczne niby wyglądają identycznie, ale mają np. spacje:

'Warszawa' != 'Warszawa '.

Zamiast tego: oczyść dane, usuwając białe znaki i zamieniając je na małe litery jak poniżej

df['miasto'] = df['miasto'].str.strip().str.lower()


Mam nadzieję, że w codziennej pracy uwzględniasz te błędy zważając na to, by analiza była ich pozbawiona. Jeśli nie... To koniecznie zacznij! 

Bonus- darmowy PDF

Przygotowałam dla Ciebie darmowy PDF z kompletnym przewodnikiem krok po kroku. Znajdziesz w nim:
  • checklistę błędów
  • kod źródłowy w Pythonie
  • schemat workflow czyszczenia danych

Przyjemnością było dla mnie to porządkowanie wiedzy z możliwością podzielenia się z tymi, którzy jeszcze są na etapie nauki. Poniżej znajdziesz link do PDFa. Jeśli uważasz, że coś jest niejasne: pisz śmiało. Na pewno wyjaśnię! Wszelkie pomysły na udoskonalenie tego materiału również chętnie przygarnę i zastosuję tak, by materiały, które publikuję były dopracowane na najwyższym poziomie.

PDF - Kompletny przewodnik po czyszczeniu danych w Pythonie


** Zdjęcie z początku posta zostało wygenerowane prze AI - żródło: Sora

Etykiety:

Komentarze

Prześlij komentarz

Popularne posty z tego bloga

SQL w 2 godziny dziennie - plan, motywacja, materiały

  Przyszedł czas na ustalenie nowych celów. Mój wybór padł na powtórki i rozszerzanie wiedzy z SQL. Opracowałam już prosty plan, którego zamierzam się trzymać, rozplanowałam sobie jaką część tego planu zamierzam wykonać w poszczególne dni. Jestem podekscytowana. Jak zawsze, gdy zaczynam coś nowego.  Małe sprostowanie: SQL nie jest dla mnie ZUPEŁNIE nowy, uczyłam się go już kiedyś, ale to było dawno i mam potrzebę go odświeżyć.  Dlaczego akurat SQL? Bo to narzędzie, które mimo upływu lat nie traci na aktualności. W świecie danych SQL wciąż jest podstawą  - niezależnie od tego, czy pracujesz w analizie danych, nauce o danych, czy w IT szerzej. Ja sama coraz częściej trafiam na sytuacje, w których jego znajomość bardzo by mi się przydała - przy analizie wyników, raportach, czy integracji danych z różnych źródeł. Poza tym lubię jego logiczność i strukturę - jest coś satysfakcjonującego w dobrze napisanym zapytaniu, które robi dokładnie to, co powinno. Czuję, że warto poś...
Prześlij komentarz
Czytaj więcej

Mój tydzień z nauką Excela i Pythona – projekty, powtórki i plan działania.

Obraz  StockSnap  z  Pixabay Podsumowanie tygodnia – systematyczność kluczem do sukcesu      To był intensywny tydzień – zarówno pod względem nauki, jak i pracy. Mimo wszystko najważniejsza jest systematyczność, dlatego jestem sobie wdzięczna, że nie odpuszczam, nawet gdy nie jest najłatwiej.      Udało mi się zamknąć temat kursów dotyczących Excela (oczywiście tylko tymczasowo). Osiągnęłam etap, który chcę podsumować osobistym projektem, a także poświęcić więcej czasu na swobodną pracę z poznanymi narzędziami. Teraz jest czas na utrwalanie wiedzy i rozpoczęcie nowego etapu – nauki Pythona. Nowe podejście do nauki – Excel i Python w równowadze      Zastanawiałam się, jak najlepiej zorganizować naukę, aby jednocześnie skupić się na nowym materiale (Python) i nie zapomnieć tego, czego nauczyłam się w Excelu. Ostatecznie wybrałam podejście, które łączy oba te aspekty: Skupienie się na Pythonie – rozwijanie umiejętności kodowania ...
Prześlij komentarz
Czytaj więcej

DataCamp Python Data Associate - relacja i wskazówki dla zdających

Dlaczego zdecydowałam się na ten certyfikat? Wspominałam już wcześniej nie raz i nie dwa, jak sądzę, że przymierzam się do certyfikatu DataCamp Python Data Associate . Od dłuższego czasu często zaglądam na DataCamp i w miarę mojej eksploracji tej platformy zachciałam skorzystać także z opcji przystąpienia do certyfikatu. Żeby się sprawdzić? Żeby coś sobie udowodnić? A może poczuć się lepiej z własną wiedzą? Myślę, że wszystko po trochu popchnęło mnie do tego działania. Długo wahałam się, czy to już ten moment, kiedy chcę się "testować". Nigdy nie byłam osobą, która wyrywała się do odpowiedzi. Wolałam milczeć, ale zapytana odpowiadać na pytania poprawnie. Tak samo teraz, nienaturalnym było dla mnie robić coś takiego z własnej inicjatywy i to w formie spędzania wolnego czasu. Dla przyjemności. Jak wygląda egzamin? Certyfikat składa się z dwóch części. Pierwsza jest teoretyczna i są na nią przeznaczone 2 godziny, kolejna część - praktyczna - trwa 4 godziny (lub krócej oczywiśc...
Prześlij komentarz
Czytaj więcej