Справочник инженера по алгоритмам ИИ

машинное обучение алгоритм регулярное выражение Нейронные сети

Автор, Хуа Сюэчжуан, был старшим инженером по алгоритмам в Alibaba, в настоящее время главным исследователем алгоритмов в Zhiyi Technology и автором книги «Python vs. Machine Learning».

Это заметки, которые автор выучил и обобщил на протяжении многих лет. После завершения они доступны для всего мира. В настоящее время разбирается примерно половина контента, и отсортированный контент размещается здесь. Были издательства, запрашивающие рукописи, но, учитывая длительный период публикации и высокую стоимость покупки книг, что не способствует широкому распространению технологии, автор принимает форму с открытым исходным кодом. Содержание заметок предназначено только для личного изучения и не может быть использовано в коммерческих целях без моего согласия.

Примечаний много, и в некоторых местах резюме может быть не на месте. Добро пожаловать на обсуждение. Контактное лицо: huaxz1986@163.com

Математическая основа

  • 1. Основы линейной алгебры
    • 1. Базовые знания
    • 2. Векторная операция
    • 3. Матричные операции
  • 2. Основы теории вероятностей
    • 1. Вероятность и распределение
    • 2. Ожидания
    • 3. Дисперсия
    • 4. Закон больших чисел и центральная предельная теорема.
    • V. Источники неопределенности
    • 6. Распространенные распределения вероятностей
    • Семь, предварительное распределение и апостериорное распределение
    • 8. Теория измерения
    • 9. Теория информации
  • 3. Основа численного расчета
    • 1. Численная стабильность
    • 2. Кондиционирование
    • 3. Метод градиентного спуска
    • В-четвертых, матрица Гессе
    • 4. Метод Ньютона
    • 5. Квазиньютоновский метод.
    • 6. Ограниченная оптимизация
  • 4. Общие функции
    • 1. сигмовидная
    • 2. софтплюс
    • 3. Гамма-функция и бета-функция

Статистическое обучение

  • 0. Введение в машинное обучение
    • 1. Основные понятия
    • 2. Контролируемое обучение
    • Три элемента машинного обучения
  • 1. Основы линейной алгебры
    • 1. Линейная регрессия
    • 2. Обобщенная линейная модель.
    • 3. Логарифмическая регрессия вероятности
    • 4. Линейный дискриминантный анализ
    • 5. Персептрон
  • 2. Машины опорных векторов
    • 1. Линейно-сепарабельная машина опорных векторов.
    • 2. Линейные машины опорных векторов
    • 3. Нелинейные машины опорных векторов
    • В-четвертых, опорная векторная регрессия
    • 5. СВДД
    • В-шестых, метод минимальной оптимизации последовательности
    • 7. Другие обсуждения
  • 3. Наивный Байес
    • 1. Теорема Байеса
    • 2. Наивный метод Байеса
    • 3. Полунаивный байесовский классификатор
    • 4. Другие обсуждения
  • 4. Дерево решений
    • 1. Принцип
    • 2. Выбор функции
    • В-третьих, алгоритм генерации
    • В-четвертых, алгоритм обрезки
    • 5. Дерево ТЕЛЕЖКИ
    • Шесть, непрерывное значение, обработка пропущенного значения
    • Семь, многомерное дерево решений
  • 5.knn
    • 1. Алгоритм k-ближайших соседей
    • 2. дерево кд
  • 6. Интегрированное обучение
    • 1. Интегральная ошибка обучения
    • 2. Прокачка
    • 3. Упаковка
    • В-четвертых, стратегия интеграции
    • V. Анализ разнообразия
  • 7. Деревья, усиленные градиентом
    • 1. Дерево вознесения
    • 2. хгбуст
    • 3. СветГБМ
  • 8. Разработка функций
    • 1. Обработка пропущенных значений
    • 2. Кодирование функций
    • 3. Стандартизация и регуляризация данных
    • 4. Выбор функции
    • 5. Разреженное представление и изучение словаря
    • 6. Проблема многоклассовой классификации
    • 7. Дисбаланс категорий
  • 9. Оценка модели
    • 1. Способность к обобщению
    • 2. Переоснащение и недооснащение
    • 3. Разложение дисперсии смещения
    • 4. Критерии оценки параметров
    • V. Оценка способности к обобщению
    • Шесть, тренировочный набор, проверочный набор, тестовый набор
    • Семь, измерение производительности
    • Семь, настройка гиперпараметров
    • 8. Проблемы традиционного машинного обучения
  • 10. Снижение размерности
    • 1. Пространственная катастрофа
    • 2. Анализ основных компонентов PCA
    • 3. Ядерное уменьшение линейной размерности KPCA
    • 4. Многообразное обучение
    • 5. Метрическое обучение
    • 6. Вероятностный PCA
    • 7. Анализ независимых компонентов
    • 8. т-СНЭ
    • Девять, ЛарджВис
  • 11. Кластеризация
    • 1. Измерение производительности
    • 2. Кластеризация прототипа
    • 3. Плотность кластеризации
    • 4. Иерархическая кластеризация
    • 5. Спектральная кластеризация
  • 12. Полуконтролируемое обучение
    • полуконтролируемое обучение
    • 2. Полуконтролируемый SVM
    • 3. График обучения с полуучителем
    • Дивергентный подход
    • 5. Полууправляемая кластеризация
    • 6. Резюме

глубокое обучение

  • 0. Введение в глубокое обучение
    • 1. Введение
    • 2. История
  • 1. Основы машинного обучения
    • 1. Основные понятия
    • 2. Балльная оценка, дисперсия смещения
    • 3. Оценка максимального правдоподобия
    • 4. Байесовская оценка
    • 5. Стохастический градиентный спуск
    • 7. Проблемы традиционного машинного обучения
    • 8. Низкоразмерные многообразия
  • 2. Нейронные сети с глубокой прямой связью
    • 1. Основы
    • 2. Функция потерь
    • 3. Блок вывода
    • В-четвертых, скрытый блок
    • 5. Структурный дизайн
    • 6. Исторические заметки
  • 3. Алгоритм обратного распространения
    • Цепное правило
    • 2. Обратное распространение
    • 3. Глубокие нейронные сети с прямой связью
    • 4. Реализация
    • 5. Применение
    • 6. Автоматическое дифференцирование
  • 4. Регуляризация
    • 1. Основные понятия
    • 2. Регуляризация нормы параметра
    • 3. Регуляризация ограничений
    • 4. Расширение набора данных
    • 5. Шумоустойчивость
    • 6. Ранняя остановка
    • 7. Совместное использование параметров
    • Восемь, отсев
    • Девять, редкое выражение
    • 10. Полуконтролируемое обучение и многозадачное обучение
    • 11. Тренировка противостояния
    • 12. Алгоритм касательного распространения
    • 13. Регуляризация и недоопределенные проблемы
  • 5. Основа оптимизации
    • 1. Функция стоимости
    • 2. Проблемы оптимизации нейронной сети
    • 3. Мини-партия
    • В-четвертых, основной алгоритм оптимизации
    • 5. Адаптивный алгоритм скорости обучения
    • 6. Метод второго порядка аппроксимации
    • 7. Сопряженный градиент
    • 8. Стратегии оптимизации и мета-алгоритмы
    • Девять, стратегия инициализации параметров
  • 6. Сверточные нейронные сети
    • 1. Операция свертки
    • Второй, сверточный слой, объединяющий слой
    • 3. Варианты базовой свертки
    • В-четвертых, детали алгоритма
    • V. История и текущая ситуация
  • 7. Рекуррентные нейронные сети
    • 1. Схема расчета РНН
    • 2. Рекуррентная нейронная сеть
    • 3. Длительная зависимость
    • 4. Последовательная архитектура
    • 5. Рекуррентная нейронная сеть
    • 6. Эхо-сеть состояний
    • 7. LSTM и другие закрытые RNN
    • 8. Явная память
  • 8. Руководящие принципы инженерной практики
    • 1. Измерение производительности
    • 2. Эталонная модель по умолчанию
    • 3. Решите, собирать ли больше данных
    • 4. Выберите гиперпараметры
    • 5. Стратегия отладки
    • 6. Пример: цифровая система идентификации
    • Семь, предварительная обработка данных
    • Восемь, инициализация переменных
    • 9. Структурный дизайн

обработка естественного языка

  • тематическая модель
    • 1. Модель униграммы
    • 2. Модель PLSA
    • 3. Модель ЛДА
    • В-четвертых, обсуждение модели
  • слово вектор
    • 1. Векторная космическая модель ВСМ
    • 2. ЛСА
    • 3. Word2Vec
    • 4. ПЕРЧАТКА

компьютерное зрение

инструмент

CRF

  • CRF++
    • 1. Установка
    • 2. Используйте
    • 3. Интерфейс Python
    • 4. Распространенные ошибки

lightgbm

xgboost

  • руководство по использованию xgboost
    • 1. Установка
    • 2. Регулировка параметров
    • 3. Расчет внешней памяти
    • 4. Вычисления на графическом процессоре
    • 5. Монотонное ограничение
    • 6. Ускоритель ДАРТ
    • 7. API-интерфейс Python

scikit-learn

spark

numpy

scipy

  • Руководство пользователя Scipy
    • 1. Константы и специальные функции
    • 2. Подгонка и оптимизация
    • 3. Линейная алгебра
    • 4. Статистика
    • 5. Численное интегрирование
    • Шесть, разреженная матрица

matplotlib

  • руководство по использованию matplotlib
    • 1. конфигурация матплотлиба
    • 2. Художник matplotlib
    • 3. Основные понятия
    • 4. Макет
    • 5. Путь
    • 6. Эффект пути
    • Семь, преобразование координат
    • 8. 3D рисунок
    • Девять, навыки

pandas

  • руководство по использованию панд
    • 1. Базовая структура данных
    • 2. Внутренняя структура данных
    • 3. Доступ по подписке
    • 4. Операция
    • 5. Трансформация
    • 6. Очистка данных
    • Семь, строковые операции
    • 8. Агрегация и группировка
    • 9. Временные ряды
    • 10. Рисунок DataFrame
    • Одиннадцать, функция движущегося окна
    • 12. Загрузка и сохранение данных
Категории