Регуляризация L2 также является основой для гребневой регрессии.
По умолчанию вы освоили теорию наименьших квадратов/линейной регрессии.
Оригинал Википедии
Ридж-регрессия на IMDb
Для y=Xw, если X не имеет решения или имеет несколько решений, говорят, что проблема плохо обусловлена. В плохо обусловленных задачах использование метода наименьших квадратов для решения приведет к переоснащению или недообучению, и для его решения используется регуляризация.
Пусть X будет матрицей размером m на n:
- Переоснащение модели: m
- Подгонка модели: m >>n , переопределенное уравнение, может не иметь решения или иметь решение, но с низкой точностью