Анализ данных — обработка пропущенных значений

import numpy as np
import pandas as pd
__author__='莫叹'

#生成一个表格型的二维数组
df=pd.DataFrame({'a':[34,6,20,np.nan,56],
               'b':['juejin','number','one','good',np.nan]})

Результат выглядит следующим образом:

Определите, есть ли в данных пропущенные значения, и отфильтруйте непропущенные значения:

#判断二维数组df是否缺失
print(df.notnull(),'\n')
#通过索引判断a列是否缺失
print(df['a'].notnull(),'\n')
#筛选a列不存在缺失值数组
print(df[df['a'].notnull()])

Результат выглядит следующим образом:

       a      b
0   True   True
1   True   True
2   True   True
3  False   True
4   True  False 

0     True
1     True
2     True
3    False
4     True
Name: a, dtype: bool 

      a       b
0  34.0  juejin
1   6.0  number
2  20.0     one
4  56.0     NaN

Удаление пропущенного значения

Фильтрация по приведенному выше значению логической последовательности notnull также является методом удаления отсутствующего значения.

Удаление отсутствующих значений необходимо обрабатывать в соответствии с конкретными данными и условиями бизнеса.Иногда необходимо удалить все отсутствующие данные, иногда необходимо удалить часть отсутствующих данных, а иногда необходимо удалить только указанные отсутствующие данные. удален.

Метод удаления пропущенных значений: dropna(ось)

• Параметр по умолчанию = 0, чтобы удалить данные строки, когда параметр оси = 1 удаляет данные столбца (но обычно не выбирает ось = 1, если это 1, он напрямую удаляет все переменные данные)
• входящийкогда молот=nСохраняйте строки, содержащие не менее n данных, отличных от NaN.

#生成一个表格型二维数组
df2=pd.DataFrame([[1,2,3],['juejin',np.nan,np.nan],['a','b',np.nan],[np.nan,np.nan,np.nan],['d','j','h']],
                 columns=list('ABC'))
print(df2,'\n')
#删除所有存在缺失值的行
print(df2.dropna(),'\n')
#删除部分存在缺失值的行，保留至少有n个非NaN数据的行(比如保留至少有一个非NaN数据的行)
print(df2.dropna(thresh=1),'\n')
#删除某一列存在缺失值的行（删除A列里存在缺失值的所有的行，和上面的布尔值序列筛选相同）
print(df2[df2['A'].notnull()])

Результат выглядит следующим образом:

        A    B    C
0       1    2    3
1  juejin  NaN  NaN
2       a    b  NaN
3     NaN  NaN  NaN
4       d    j    h 

   A  B  C
0  1  2  3
4  d  j  h 

        A    B    C
0       1    2    3
1  juejin  NaN  NaN
2       a    b  NaN
4       d    j    h 

        A    B    C
0       1    2    3
1  juejin  NaN  NaN
2       a    b  NaN
4       d    j    h

Заполнение/замена отсутствующего значения

Метод заполнения: fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)

• параметр значения: значение заполнения
• параметры метода: pad/ffill → заполнить предыдущими данными, backfill/bfill → заполнить более поздними данными

Метод замены: replace(to_replace=None, value=None, inplace=False, limit=None, regex=False, method='pad', axis=None)

• Параметр to_replacec: значение для замены
• параметр значения: заменить значение
  

Примеры использования следующие:

import copy
df3=pd.DataFrame([[1,2,3],['juejin',np.nan,np.nan],['a','b',np.nan],['k',np.nan,np.nan],['d','j','h']],
                 columns=list('ABC'))
df4=copy.deepcopy(df3)
print(df3,'\n')
#缺失值全部用 0 填充
print(df3.fillna(0),'\n')
#method=‘pad’，使B列每一个缺失值用缺失值的前一个值填充
df3['B'].fillna(method='pad',inplace=True)
print(df3,'\n')
#用replace替换
print(df4,'\n')
df4.replace(np.nan,'juejin',inplace = True)
print('将缺失值替换为juejin\n',df4)

        A    B    C
0       1    2    3
1  juejin  NaN  NaN
2       a    b  NaN
3       k  NaN  NaN
4       d    j    h 

        A  B  C
0       1  2  3
1  juejin  0  0
2       a  b  0
3       k  0  0
4       d  j  h 

        A  B    C
0       1  2    3
1  juejin  2  NaN
2       a  b  NaN
3       k  b  NaN
4       d  j    h 

        A    B    C
0       1    2    3
1  juejin  NaN  NaN
2       a    b  NaN
3       k  NaN  NaN
4       d    j    h
将缺失值替换为juejin
         A       B       C
0       1       2       3
1  juejin  juejin  juejin
2       a       b  juejin
3       k  juejin  juejin
4       d       j       h

Интерполяция отсутствующих значений

Заполнение пропущенных значений упоминалось выше, но в реальном процессе обработки данных обработка пропущенных значений заключается не в случайном заполнении всех данных, а в интерполяции и целенаправленном заполнении каждого локального пропущенного значения. .

Вот несколько часто используемых репрезентативных методов интерполяции отсутствующих значений:

• Медиана/мода/средняя интерполяция
• Интерполяция соседей
• лагранжева интерполяция