Data Science: Анализ данных, визуализация и моделирование в R

Программа

 Тема 1. Основы методологии статистического анализа данных и моделирования – 2 ак.ч.

• ·         Виды первичных данных для анализа
• ·         Понятие генеральной совокупности и выборки
• ·         Виды выборок при изучении данных
• ·         Шкалы измерения переменных
• ·         Направления анализа статистических данных
• ·         Описательная и аналитическая статистика
• ·         Выбор методов описательного анализа
• ·         Выбор методов проверки гипотез
• ·         Выбор методов изучения взаимосвязи
• ·         Понятие точечной и интервальной оценки
• ·         Понятие статистической гипотезы
• ·         Виды статистических гипотез
• ·         Виды статистических ошибок
• ·         Принципы проверки статистических гипотез
• ·         Понятие Data Mining
• ·         Понятие машинного обучения
• ·         Основные классы задач моделирования
• ·         Инструменты для анализа данных и моделирования

Тема 2. Введение в работу в среде R – 2 ак.ч.

• ·         Особенности работы в пакете R
• ·         Установка программы R
• ·         Среда R
• ·         Правила задания команд
• ·         Задание рабочей директории
• ·         Пакеты R
• ·         Графические интерфейсы
• ·         R как калькулятор
• ·         Справочная система R
• ·         Сохранение результатов

Тема 3. Основы программирования в среде R – 2 ак.ч.

• ·         Виды объектов в R
• ·         Вектора
• ·         Основные операции над векторами
• ·         Списки
• ·         Матрицы
• ·         Факторы
• ·         Таблицы данных
• ·         Выражения
• ·         Операторы доступа к данным
• ·         Функции и аргументы
• ·         Циклы и условные операторы
• ·         Основные команды управления данными
• ·         Векторизация операций
• ·         Режим отладки

Тема 4. Ввод и организация данных для анализа в среде R – 1 ак.ч.

• ·         Способы загрузки данных
• ·         Непосредственный ввод данных
• ·         Ввод данных в таблице
• ·         Загрузка текстовых файлов с разделителем
• ·         Загрузка текстовых файлов фиксированной длины
• ·         Загрузка данных из MS Excel и других программ
• ·         Сохранение данных во внешних форматах
• ·         Представление количественных переменных
• ·         Представление номинальных и порядковых переменных
• ·         Задание пропущенных значений в данных
• ·         Поиск логических несоответствий и ошибок в данных
• ·         Работа с пропущенными данными

Тема 5. Графические возможности R – 1 ак.ч.

• ·         Графические команды
• ·         Команды рисования высокого уровня
• ·         Команды рисования низкого уровня
• ·         Интерактивная графика
• ·         Графические устройства вывода
• ·         Графические параметры

 Тема 6. Подготовка и исследование данных перед моделированием – 2 ак.ч.

• ·         Определение целевой переменной
• ·         Определение независимых переменных
• ·         Меры центральной тенденции для количественных данных
• ·         Меры разброса для количественных данных
• ·         Процентили и их анализ
• ·         Графический анализ распределения: гистограмма и ящичковая диаграмма
• ·         Нормальный закон распределения
• ·         Обзор основных распределений, отличных от нормального
• ·         Анализ выбросов в данных
• ·         Анализ категориальных данных
• ·         Категоризация количественных переменных
• ·         Стандартизация количественных данных
• ·         Нормализация количественных данных

Тема 7. Статистические тесты выявлений различий в выборках – 2 ак.ч.

• ·         Z-критерий для сравнения долей
• ·         Одновыборочный t-критерий
• ·         t-критерий для сравнения независимых выборок
• ·         t-критерий для сравнения зависимых выборок
• ·         Условия применения непараметрических критериев
• ·         Одновыборочный критерий знаковых рангов Вилкоксона
• ·         Критерий Манна-Уитни
• ·         Критерий знаков Вилкоксона для связанных выборок

Тема 8. Оценка взаимосвязи между переменными – 4 ак.ч.

• ·         Анализ взаимосвязи на основе таблиц сопряженности
• ·         Ожидаемые частоты и остатки в таблицах сопряженности
• ·         Критерий независимости хи-квадрат
• ·         Классификация видов взаимосвязи
• ·         Визуальный анализ наличия взаимосвязи: диаграммы рассеяния
• ·         Коэффициент корреляции Пирсона
• ·         Ранговые коэффициенты корреляции
• ·         Коэффициент корреляции Спирмена
• ·         Проверка значимости связи
• ·         Интервальная оценка коэффициента корреляции Пирсона
• ·         Частные коэффициенты корреляции

Тема 9. Моделирование связи с помощью дисперсионного анализа – 4 ак.ч.

• ·         Модели дисперсионного анализа
• ·         Предпосылки применения дисперсионного анализа
• ·         Модель однофакторного дисперсионного анализа
• ·         Таблица дисперсионного анализа
• ·         Оценка степени влияния фактора
• ·         Апостериорные критерии парных сравнений
• ·         Дисперсионный анализ с двумя и более факторами
• ·         Графическая интерпретация взаимодействия факторов
• ·         Непараметрический дисперсионный анализ Крускала-Уоллиса
• ·         Критерий Фридмана для зависимых выборок

Тема 10. Линейный и нелинейный регрессионный анализ – 4 ак.ч.

• ·         Основные понятия регрессионного анализа
• ·         Парная и множественная линейная модель регрессии
• ·         Предпосылки линейного регрессионного анализа
• ·         Проверка предпосылок регрессионного анализа
• ·         Оценка коэффициентов регрессии МНК
• ·         Проверка обоснованности модели регрессии
• ·         Значимость уравнения регрессии
• ·         Значимость коэффициентов регрессии
• ·         Отбор переменных в регрессионном анализе
• ·         Оценка точности уравнения регрессии: коэффициент детерминации
• ·         Оценка статистической устойчивости уравнения регрессии
• ·         Точечная и интервальная оценка зависимой переменной
• ·         Категориальные независимые переменные в линейной модели регрессии
• ·         Проблема мультиколлинеарности и способы ее устранения
• ·         Нелинейные регрессионные модели
• ·         Виды нелинейных регрессионных моделей
• ·         Преобразование нелинейных моделей к линейным

Тема 11. Бинарный классификатор на основе логистической регрессии – 4 ак.ч.

·         Понятие модели бинарного выбора

·         Модель логистической регрессии

·         Достоинства и недостатки логистической регрессии

·         Алгоритм построения логистической регрессии

·         Оценка коэффициентов логистической регрессии методом максимального правдоподобия

·         Проверка обоснованности модели логистической регрессии

·         Логарифм правдоподобия и проверка значимости уравнения

·         Оценки коэффициента детерминации

·         Критерий Хосмера-Лемешева

·         Проверка значимости коэффициентов и их интервальные оценки

·         Интерпретация коэффициентов при количественных и категориальных предикторах

·         Методы отбора предикторов

·         Прогноз зависимой переменной

·         Таблица классификации

·         Чувствительность и специфичность модели

·         ROC-анализ

·         Показатели качества классификации: AUC, Джини

Тема 12. Методы многомерной кластеризации –4 ак.ч.

·         Обзор методов многомерной кластеризации

·         Понятие и области применения кластерного анализа

·         Задачи и методы кластерного анализа

·         Преимущества и недостатки кластерного анализа

·         Этапы кластерного анализа

·         Исходные данные в многомерном анализе

·         Меры различия между количественными данными

·         Меры различия и сходства между количественными данными

·         Меры различия и сходства между бинарными данными и их оценка

·         Меры различия между частотными данными и их оценка

·         Анализ качества классификации

·         Особенности иерархического кластерного анализа

·         Алгоритм иерархических методов кластерного анализа

·         Меры расстояния между кластерами

·         Графическое представление результатов иерархического кластерного анализа

·         Сущность и особенности метода k-средних

·         Алгоритм метода k-средних

·         Графическое представление результатов

Тема 13. Изучение структуры данных методом факторного анализа – 4 ак.ч.

·         Понятие факторного и компонентного анализа

·         Цель и задачи факторного анализа

·         Этапы реализации методов снижения размерности

·         Алгоритм компонентного анализа

·         Алгоритм факторного анализа

·         Предпосылки применения факторного и компонентного анализа

·         Сравнение факторного и компонентного анализов

·         Правила отбора факторов

·         Выбор метода факторного анализа

·         Проблема вращения факторов

·         Матрица нагрузок и ее интерпретация

·         Диаграмма «каменистой осыпи» и отбор факторов на ее основе

·         Получение значений факторов на объекте и работа с ними

Тема 14. Классификация и предсказание на основе деревьев решений – 4 ак.ч.

·         Цель метода деревьев решений

·         Терминология деревьев решений

·         Задачи построения деревьев решения

·         Преимущества и недостатки метода деревьев решений

·         Методы деревьев решений

·         Описание метода CHAID

·         Особенности метода исчерпывающий CHAID

·         Особенности метода CRT

·         Проблемы построения деревьев решений

·         Бэггинг

·         Градиентный бустинг

·         Метод случайного леса