Курс. Экосистема Hadoop
- Принципы MPP-систем (в т.ч. основы map-reduce). Arenadata Hadoop целевая система - главное донести суть систем класса MPP.
- Распределенные файловые системы (на примере HDFS). Сделать акцент на том, что можно обрабатывать данные не только в реляционных базах, но и неструктурированные данные (картинки и т.д.). Кейс про обработку 5 млн. картинок.
- Колоночное хранение (на примере Parquette, ORC), отличие от строкового хранения. Select * - не всегда хорошо, целевая выборка - лучше (привести пример на базе Parquette)
- CRUD-операции на MPP-системе (почему Delete работает медленно и ресурсоёмко). Update 3-4-х строк - это ГБ данных. Упомянуть DataLake.
- Основы разделение ресурсами кластера (YARN). Рассказать про разделение ресурсов, получение. Очереди. Какую долю вычислительной мощности пользователь может получить от системы.
- Экосистема Hadoop. Подведение итогов предыдущих пунктов. Это набор сервисов (таск менеджер, …). Системное представление о том, что такое Hadoop (схема экосистемы). Можно упомянуть Hive. Упомянуть про ноды.
- Статистика, партиционирование (обработка файлов: подсчет строк). Кейс с распределенным обучением. Про индексы и скорость select и join, на что следует рассчитывать при работе с Hadoop.
- Высокоуровневые инструменты для работы с данными на Hadoop (Hive, основы Spark). Акцент больше на Spark, чем на Hive. По Spark у нас есть отдельный курс, поэтому можно не сильно углубляться. Spark SQL.
Формат обучения
- 3 недели, по 2 занятия в неделю, по 2 часа
- ДЗ по 2 часа на каждое занятие
- Контрольное задание: уточнить требования, проверить гипотезу. Предложить слушателям ключевые метрики. Ожидаем применения модели и выводы о результатах.
Мы готовим не дата аналитиков, а с помощью Hadoop проверяем гипотезы
Набор в школу по автотестированию — до 10 сентября. Старт обучения — 12 сентября.
В школы по системному анализу, Java, JS+React, ручному тестированию, а также в школы по разработке / анализу платформы данных (DWH) — до 13 сентября. Старт обучения — 16 сентября.
В школу по анализу 1С — до 20 сентября. Старт обучения — 23 сентября. В школы по прикладному администрированию и анализу данных (+DS) — до 27 сентября. Старт обучения — 30 сентября.
Часто задаваемые вопросы
Мы ответим всем в течение недели после окончания приема заявок. Если ваш профиль подошел, расскажем о входном тестировании и дальнейших шагах. Если нам не хватило информации или опыта - уточним или поделимся возможностями развития в Т1 в рамках других программ, например, стажировок.
4-6 недель
Да, удаленно. Мы предоставляем гибкий график, который не затронет основную деятельность.
У нас много масштабных и важных проектов, поэтому участие в интенсиве и работа в Т1 возможна только с территории России и Белоруссии.
Программы собраны на базе тех навыков, которых чаще всего не хватает кандидатам при собеседовании. Таких скилов немного, у каждой роли они свои. Их освоение практически гарантирует успешное прохождение собеседования в Т1.
Интенсив выстроен как «дообучение» специалистов, имеющих опыт в профессии, и направлен на найм лучших в нашу команду, а не обучение с нуля или выдачу сертификата.
Достаточно выделить 4 часа в неделю на вебинары и еще 4 часа на самостоятельную практику. Вебинары проходят по вечерам по московскому времени.
Участие в Открытых школах бесплатное, на время прохождения не предусмотрено заключение договора и выплата зарплаты от Т1. Лучшие выпускники, которые пройдут собеседование, попадут в команды по трудовому договору.
Лучшие выпускники после собеседования смогут присоединиться к команде Т1 на основании трудового договора.
Нет. Цель Открытых школ не сертификат, а трудоустройство. В группы интенсивов попадут лишь те, кто стремится присоединиться к команде Т1.
Да, лучшие выпускники будут общаться с разными командами, которые ищут специалистов по направлениям Открытых школ.
Важны навыки и опыт работы. В рамках Открытых школ мы не обучаем с нуля и рассматриваем ИТ-специалистов с опытом работы на аналогичной позиции от года, чтобы дообучить их при поддержке наших экспертов.
Тех, кому не хватает опыта, мы приглашаем на стажировку, старт программы запланирован на второй квартал 2024 года. Заявку на стажерские программы можно оставить в разделе Начало карьеры, вопросы направляйте на почту future@t1.ru
Команд и вариантов действительно много! Узнать больше о направлениях деятельности Т1 можно на карьерной странице сайта, а также в разделе про ИТ-продукты.