Открытая школа для Data Engineer (Hadoop)

Дата
декабрь 2021

Курс. Экосистема Hadoop

  • Принципы MPP-систем (в т.ч. основы map-reduce). Arenadata Hadoop целевая система - главное донести суть систем класса MPP.
  • Распределенные файловые системы (на примере HDFS). Сделать акцент на том, что можно обрабатывать данные не только в реляционных базах, но и неструктурированные данные (картинки и т.д.). Кейс про обработку 5 млн. картинок.
  • Колоночное хранение (на примере Parquette, ORC), отличие от строкового хранения. Select * - не всегда хорошо, целевая выборка - лучше (привести пример на базе Parquette)
  • CRUD-операции на MPP-системе (почему Delete работает медленно и ресурсоёмко). Update 3-4-х строк - это ГБ данных. Упомянуть DataLake.
  • Основы разделение ресурсами кластера (YARN). Рассказать про разделение ресурсов, получение. Очереди. Какую долю вычислительной мощности пользователь может получить от системы.
  • Экосистема Hadoop. Подведение итогов предыдущих пунктов. Это набор сервисов (таск менеджер, …). Системное представление о том, что такое Hadoop (схема экосистемы). Можно упомянуть Hive. Упомянуть про ноды.
  • Статистика, партиционирование (обработка файлов: подсчет строк). Кейс с распределенным обучением. Про индексы и скорость select и join, на что следует рассчитывать при работе с Hadoop.
  • Высокоуровневые инструменты для работы с данными на Hadoop (Hive, основы Spark). Акцент больше на Spark, чем на Hive. По Spark у нас есть отдельный курс, поэтому можно не сильно углубляться. Spark SQL.

Формат обучения

  • 3 недели, по 2 занятия в неделю, по 2 часа
  • ДЗ по 2 часа на каждое занятие
  • Контрольное задание: уточнить требования, проверить гипотезу. Предложить слушателям ключевые метрики. Ожидаем применения модели и выводы о результатах.

Мы готовим не дата аналитиков, а с помощью Hadoop проверяем гипотезы

Профиль кандидата
Дата
декабрь 2021
Подать заявку
В школу по нагрузочному тестированию принимаем заявки до 22.05. В школы по Java, системному анализу и ручному тестированию — до 23 мая. По JS+React — до 26 мая.

Если мест не хватит, предложим присоединиться к следующему потоку.
image Спасибо! Заявка принята. Письма будут приходить на указанный в заявке email. Вопросы об Открытых школах Т1 направляй на openschool@t1.ru
image Не удалось отправить форму.
Попробовать еще раз
image

Часто задаваемые вопросы

Я подал(а) заявку. Какие дальнейшие действия?

Мы ответим всем в течение недели после окончания приема заявок. Если ваш профиль подошел, расскажем о входном тестировании и дальнейших шагах. Если нам не хватило информации или опыта - уточним или поделимся возможностями развития в Т1 в рамках других программ, например, стажировок.

Сколько длится Открытая школа?

4-6 недель

Все этапы обучения проходят удаленно?

Да, удаленно. Мы предоставляем гибкий график, который не затронет основную деятельность.

Только из РФ?

У нас много масштабных и важных проектов, поэтому участие в интенсиве и работа в Т1 возможна только с территории России. Все юридические лица Холдинга Т1 имеют ИТ-аккредитацию и внесены в реестр Минцифры.

Что включает программа обучения и что даст ее прохождение?

Программы собраны на базе тех навыков, которых чаще всего не хватает кандидатам при собеседовании. Таких скилов немного, у каждой роли они свои. Их освоение практически гарантирует успешное прохождение собеседования в Т1.

Интенсив выстроен как «дообучение» специалистов, имеющих опыт в профессии, и направлен на найм лучших в нашу команду, а не обучение с нуля или выдачу сертификата.

А сколько времени нужно выделить? Можно совмещать с работой?

Достаточно выделить 4 часа в неделю на вебинары и еще 4 часа на самостоятельную практику. Вебинары проходят по вечерам по московскому времени.

Вы платите зарплату?

Участие в Открытых школах бесплатное, на время прохождения не предусмотрено заключение договора и выплата зарплаты от Т1. Лучшие выпускники, которые пройдут собеседование, попадут в команды по трудовому договору.

Меня возьмут на работу после Открытой школы?

Лучшие выпускники после собеседования смогут присоединиться к команде Т1 на основании трудового договора.

Я получу сертификат об окончании, если откажусь от трудоустройства?

Нет. Цель Открытых школ не сертификат, а трудоустройство. В группы интенсивов попадут лишь те, кто стремится присоединиться к команде Т1.

Могу ли я выбрать команду при переходе в штат?

Да, лучшие выпускники будут общаться с разными командами, которые ищут специалистов по направлениям Открытых школ.

Нужно ли иметь профильное образование или главное — мои навыки?

Важны навыки и опыт работы. В рамках Открытых школ мы не обучаем с нуля и рассматриваем ИТ-специалистов с опытом работы на аналогичной позиции от года, чтобы дообучить их при поддержке наших экспертов.

Тех, кому не хватает опыта, мы приглашаем на стажировку, старт программы запланирован на второй квартал 2024 года. Заявку на стажерские программы можно оставить в разделе Начало карьеры, вопросы направляйте на почту future@t1.ru

В какие команды Т1 ведется набор через Открытые школы?

Команд и вариантов действительно много! Узнать больше о направлениях деятельности Т1 можно на карьерной странице сайта, а также в разделе про ИТ-продукты.

Все открытые направления

Системный аналитик
Разработчик Java
Ручной тестировщик
Инженер по нагрузочному тестированию
Разработчик JS+React
Карьера
Работа в T1
Выбирайте подходящее направление и присоединяйтесь, чтобы вместе создавать технологии, определяя будущее!
Подробнее
Написать нам