NumPy Tips

машинное обучение искусственный интеллект глубокое обучение алгоритм NumPy
NumPy Tips

В области машинного обучения NumPy — это самая основная структура данных, используемая для хранения матриц и выполнения операций, связанных с матричными вычислениями. В этой статье приведены некоторые советы по использованию NumPy, чтобы избежать зацикливания логики при матричных вычислениях.

  • Матрица вероятности в матрицу OneHot
  • Доверительные интервалы для списков
  • список индексов интервалов сегментов
  • Обнаружение выбросов
  • Непрерывная дискретизация списка
  • 1-D Matrix Повышенное измерение

Матрица вероятности в матрицу OneHot

В процессе множественной классификации часто бывает необходимоматрица вероятностейпреобразовать вГорячая матрица, используемый для проверки эффекта модели.

  1. Вычислить максимальную позицию каждой строки в матрице вероятностей;
  2. Создайте диагональную матрицу того же размера, что и категории;
  3. По максимальному положению выбирается соответствующая строка диагональной матрицы, то есть матрица One-Hot.

Реализация исходного кода:

import numpy as np

def prp_2_oh_array(arr):
    """
    概率矩阵转换为OH矩阵
    arr = np.array([[0.1, 0.5, 0.4], [0.2, 0.1, 0.6]])
    :param arr: 概率矩阵
    :return: OH矩阵
    """
    arr_size = arr.shape[1]  # 类别数
    arr_max = np.argmax(arr, axis=1)  # 最大值位置
    oh_arr = np.eye(arr_size)[arr_max]  # OH矩阵
    return oh_arr

вывод:

[[0. 1. 0.]
 [0. 0. 1.]]

Доверительные интервалы для списков

Когда ведро кодирует список чисел, вам нужно использоватьдоверительный интервалОбработайте выбросы и разделите интервалы ведра.

import numpy as np
from scipy import stats

def mean_confidence_interval(data_list, confidence=0.95):
    """
    置信区间
    data_list = [1, 2, 3, 4, 5, 6, 10]
    (4.428571428571429, 1.6613839667258272, 7.19575889041703)
    :param data_list: 数字列表
    :param confidence: 置信度
    :return: 均值和置信区间
    """
    a = 1.0 * np.array(data_list)
    n = len(a)
    m, se = np.mean(a), stats.sem(a)
    h = se * stats.t.ppf((1 + confidence) / 2., n - 1)
    return m, m - h, m + h

список индексов интервалов сегментов

Используйте функцию **digitize()**, чтобы поместить разные числа в сегменты, т. е. дискретизировать непрерывный список. Примечание. Количество сегментов равно длине номера интервала плюс 1 как слева, так и справа, начиная с 0.

import numpy as np

x = np.array([0.1, 6.4, 3.0, 1.6, 25, 30])
bins = np.array([1.0, 2.5, 4.0, 10.0])  # 区间包含首位，即len+1
inds = np.digitize(x, bins)  # 转换为桶的值
print inds

вывод:

[0 3 2 1 4 4]

Обнаружение выбросов

Замените выбросы в данных максимальными и минимальными значениями, чтобы не нарушить форму распределения.

import numpy as np

def filter_outliers(data, m=1):
    """
    异常值检测
    data = np.array([-100, 0.1, 6.4, 3.0, 1.6, 25, 30, 100])
    [ 0.1  0.1  6.4  3.   1.6 25.  30.  30. ]
    :param data: 数据列表
    :param m: 偏离标准差的数量
    :return: 去除标准差的数据
    """
    std_arr = data[abs(data - np.mean(data)) < m * np.std(data)]
    max_ol = data - np.mean(data) > m * np.std(data)
    min_ol = data - np.mean(data) < -m * np.std(data)
    data[max_ol] = np.max(std_arr)
    data[min_ol] = np.min(std_arr)
    return data

Непрерывная дискретизация списка

Дискретизация непрерывных списков, удаление выбросов и разделение на основе достоверности. Среди них функцияfilter_outliersиmean_confidence_intervalОбратитесь к реализации выше.

import numpy as np

def continuous_list_to_discrete(cont_list, bc=32, confidence=0.95):
    """
    连续数据离散化，含有去除异常值
    x = np.array([-100, 0.1, 6.4, 3.0, 1.6, 25, 30, 100])
    [ 0  0  8  4  2 31 31 31]
    :param cont_list: 连续列表
    :param bc: 桶数量
    :param confidence: 置信度
    :return: 离散列表
    """
    cont_list = filter_outliers(cont_list)  # 去除异常值
    m, h = mean_confidence_interval(cont_list, confidence)
    bins = np.linspace(m - h, m + h, bc - 1)  # 桶数量减1为区间数
    dis_list = np.digitize(cont_list, bins)  # 转换为桶的值
    return dis_list

1-D Matrix Повышенное измерение

В алгоритме тестирования необходимо скорректировать размерность тестовых данных. Для тестового образца используйте одномерную матрицуexpand_dimsВыполните обновление измерения. Для обратной операции используйтеsqueezeСнижение размерности.

import numpy as np

print "一维矩阵: "
arr = np.array([1, 2, 3])
print arr
print arr.shape

print "\n升维: "
arr = np.expand_dims(arr, axis=0)
print arr
print arr.shape

print "\n降维: "
arr = np.squeeze(arr)
print arr
print arr.shape

вывод

一维矩阵: 
[1 2 3]
(3,)

升维: 
[[1 2 3]]
(1, 3)

降维: 
[1 2 3]
(3,)

Добро пожаловать в Следуй за мнойGitHub: https://GitHub.com/шип Кинг

C. L. Wang @ Meitu Cloud Business Unit

OK, that's all!

Категории