Курс. Экосистема Hadoop
- Принципы MPP-систем (в т.ч. основы map-reduce). Arenadata Hadoop целевая система - главное донести суть систем класса MPP.
- Распределенные файловые системы (на примере HDFS). Сделать акцент на том, что можно обрабатывать данные не только в реляционных базах, но и неструктурированные данные (картинки и т.д.). Кейс про обработку 5 млн. картинок.
- Колоночное хранение (на примере Parquette, ORC), отличие от строкового хранения. Select * - не всегда хорошо, целевая выборка - лучше (привести пример на базе Parquette)
- CRUD-операции на MPP-системе (почему Delete работает медленно и ресурсоёмко). Update 3-4-х строк - это ГБ данных. Упомянуть DataLake.
- Основы разделение ресурсами кластера (YARN). Рассказать про разделение ресурсов, получение. Очереди. Какую долю вычислительной мощности пользователь может получить от системы.
- Экосистема Hadoop. Подведение итогов предыдущих пунктов. Это набор сервисов (таск менеджер, …). Системное представление о том, что такое Hadoop (схема экосистемы). Можно упомянуть Hive. Упомянуть про ноды.
- Статистика, партиционирование (обработка файлов: подсчет строк). Кейс с распределенным обучением. Про индексы и скорость select и join, на что следует рассчитывать при работе с Hadoop.
- Высокоуровневые инструменты для работы с данными на Hadoop (Hive, основы Spark). Акцент больше на Spark, чем на Hive. По Spark у нас есть отдельный курс, поэтому можно не сильно углубляться. Spark SQL.
Формат обучения
- 3 недели, по 2 занятия в неделю, по 2 часа
- ДЗ по 2 часа на каждое занятие
- Контрольное задание: уточнить требования, проверить гипотезу. Предложить слушателям ключевые метрики. Ожидаем применения модели и выводы о результатах.
Мы готовим не дата аналитиков, а с помощью Hadoop проверяем гипотезы
В мае мы запускаем обновленную программу для студентов вузов технических и ИТ-специальностей.
Ждем заявки в школы по направлениям:
Прием заявок до 16 мая, старт обучения — 19 мая.
Остальные интенсивы для более опытных специалистов приостановлены: обновляем программу и формат, чтобы сделать Открытые школы ещё более полезными и эффективными.
Часто задаваемые вопросы
Мы ответим всем в течение недели после окончания приема заявок. Если ваш профиль подошел, расскажем о входном тестировании и дальнейших шагах. Если нам не хватило информации или опыта - уточним или поделимся карьерными возможностями развития в Т1 в рамках других программ.
4-6 недель
Да, удаленно. Мы предоставляем гибкий график, который не затронет основную деятельность.
У нас много масштабных и важных проектов, поэтому участие в интенсиве и работа в Т1 возможна только с территории России и Белоруссии.
Программы собраны на базе тех навыков, которых чаще всего не хватает начинающим специалистам при собеседовании. Таких скилов немного, у каждой роли они свои. Их освоение практически гарантирует успешное прохождение собеседования в Т1.
Достаточно выделить 4 часа в неделю на вебинары и еще 4 часа на самостоятельную практику. Вебинары проходят по вечерам по московскому времени, а записи доступны на учебной платформе.
Участие в Открытых школах бесплатное, на время прохождения не предусмотрено заключение договора и выплата зарплаты. Лучшие выпускники после собеседования смогут присоединиться к команде Т1 на оплачиваемую стажировку.
Лучшие выпускники после собеседования смогут присоединиться к команде Т1 на оплачиваемую стажировку.
При выполнении всех практических заданий и успешном завершении обучения предусмотрена выдача сертификата.
Да, лучшие выпускники будут общаться с разными командами, которые ищут специалистов по направлениям Открытых школ.
Обновленные программы Открытых школ разработаны для студентов вузов, обучающихся по техническим и ИТ-специальностям.
Команд и вариантов действительно много! Узнать больше о направлениях деятельности Т1 можно на карьерной странице сайта, а также в разделе про ИТ-продукты.