[OTUS] Pазработчик BigData. Модуль 2 из 5

Хранитель Шервуда
Команда форума
Администратор
Модератор
Хранитель Шервуда
Разбойник
Регистрация
22 Фев 2018
Сообщения
11.292
Лайки
35.327
Баллы
245
Монетки
73582.5
Голосов: 0
0.0 5 0 0 https://sharewood.prohttps://sharewood.pro/threads/otus-p%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%87%D0%B8%D0%BA-bigdata-%D0%9C%D0%BE%D0%B4%D1%83%D0%BB%D1%8C-2-%D0%B8%D0%B7-5.33761/
#1
Автор: OTUS
Название: Pазработчик BigData. Модуль 2 из 5

Посмотреть вложение 17400

Описание:

Посмотреть вложение 17399
Посмотреть вложение 17401
Программа курса

От сгенерированных данных переходим к данным в табличном виде. Такие данные встречаются в конкурсах по анализу данных, а также могут быть собраны, например, напрямую из баз данных. Для применения алгоритмов машинного обучения обычно такие данные требуют дополнительных преобразований.Во втором модуле рассматриваются задачи преобразования и отбора признаков, вопросы подготовки данных для использования в машинном обучении.Также будут рассмотрены более сложные алгоритмы в анализе данных - понижение размерности, определение выбросов в данных, построение ансамблей моделей.

Занятие 9: Feature engineering
Feature engineering. Статистический анализ данных, выбор фич на основе корреляции.
ДЗ
Преобразование набора данных и подбор фич.

Занятие 10: Поиск выбросов в данных

Занятие 11: Уменьшение размерности

Principle component analysis, t-sne. Поиск подмножества фич (subset selection).
ДЗ
Применение снижения размерности для использования в модели.

Занятие 12: Методы оптимизации
SGD, модификации SGD

Занятие 13: Деревья решений
Ограничения и недостатки деревьев решений. Классификация и регрессия с помощью деревьев решений. Выбор оптимального сплита, суррогатный сплит.
ДЗ
Реализация алгоритма дерева решений на простых данных. Реализация некоторых эвристик в деревьях решений.

Занятие 14: Ансамбли моделей
Случайный лес. Обзор методов ансамблирования: бустинг, бэггинг, стекинг, случайные подпространства.

Занятие 15: Бустинг
Xgboost, catboost, lightgbm, Стекинг, блендинг
ДЗ
Применение бустинга для построения лучшей модели.

Занятие 16: SVM, Support vector machine
Разделяющая поверхность с максимальным зазором. Формулировка задачи оптимизации для случаев линейно-разделимых и линейно-неразделимых классов. Сопряженная задача. Опорные векторы. SVM для задач классификации и регрессии. Kernel trick. Теорема Мерсера. Примеры функций ядра.

Подробнее:
Для просмотра содержимого вам необходимо авторизоваться.


Скачать:
Для просмотра содержимого вам необходимо авторизоваться.
 

Похожие темы