Эта статья участвовала в "Проект «Звезда раскопок»”, чтобы выиграть творческий подарочный пакет и бросить вызов творческим поощрительным деньгам.
Мало знаний, большой вызов! Эта статья участвует в "Необходимые знания для программистов«Творческая деятельность.

Оптимизация модели логистической регрессии

fullx = []
fsx = []
 
threshold = np.linspace(0,abs((LR_.fit(data.data,data.target).coef_)).max(),20)
 
k=0
for i in threshold:
    X_embedded = SelectFromModel(LR_,threshold=i).fit_transform(data.data,data.target)
    fullx.append(cross_val_score(LR_,data.data,data.target,cv=5).mean())
    fsx.append(cross_val_score(LR_,X_embedded,data.target,cv=5).mean())
    print((threshold[k],X_embedded.shape[1]))
    k+=1
    
plt.figure(figsize=(20,5))
plt.plot(threshold,fullx,label="full")
plt.plot(threshold,fsx,label="feature selection")
plt.xticks(threshold)
plt.legend()
plt.show()

Таким образом, мы можем поддерживать эффективность подбора модели в рамках предпосылки выбора признаков. Теперь, если врач может прийти, чтобы направить нас, посмотреть, какие из оставшихся признаков являются особенными для заболевания. Важно, может быть, мы можем продолжать уменьшать размерность. Разумеется, помимо метода встраивания можно использовать также метод накопления коэффициентов или метод упаковки.

Метод накопления двух коэффициентов

Принцип метода накопления коэффициентов очень прост. В PCA мы выбираем гиперпараметры, строя кривую совокупной объяснимой дисперсии, в логистической регрессии мы можем использовать для этого коэффициент coef_, и наша логика выбора количества признаков аналогична: найдите кривую, определяемую резкостью. сглаженный поворотный момент, нам нужны только признаки, накопленные до поворотного момента, и нам не нужны признаки после поворотного момента. Однако этот метод относительно сложен, потому что мы должны сортировать коэффициенты признаков от большего к меньшему и убедиться, что мы знаем положение исходного признака, соответствующего каждому коэффициенту после сортировки, чтобы мы могли правильно найти эти важные признаки. Если вы хотите использовать такой метод, удобнее использовать метод встраивания напрямую.

Три простых и быстрых способа упаковки

Напротив, метод упаковки может напрямую задавать количество необходимых нам функций.Когда в действительности используется логистическая регрессия, может потребоваться «5 ~ 8 переменных», и метод упаковки в настоящее время очень удобен. Однако использование метода упаковки логистической регрессии, как и других алгоритмов, не является чем-то особенным.

Четырехградиентный спуск

Важный параметр max_iter Математическая цель логистической регрессии состоит в том, чтобы найти значение параметра, которое может оптимизировать модель и лучше всего подходит, то есть найти значение, которое минимизирует функцию потерь. Для бинарной логистической регрессии существует множество методов, которые можно использовать для решения параметров, наиболее распространенными из которых являются градиентный спуск, координатный спуск, метод Ньютона-Рафсона и т. д. Самый известный метод — градиентный спуск. Каждый метод включает в себя сложную математику, но эти вычисления выполняют аналогичные задачи.

Концепция и путаница пяти шагов

Основное недоразумение: что такое размер шага? Во многих блогах и учебниках размер шага описывается как «длина каждого шага в градиентном спуске в направлении, противоположном градиенту», «длина шага по самому крутому и легкому спуску» или «градиент. функция потерь уменьшается на каждом шаге спуска», и даже говорят, что размер шага — это «гипотенуза» или «противоположная сторона» в известном треугольнике вывода двумерной плоскости.