Открытая школа для Data Engineer (Hadoop)

Дата
декабрь 2021

Курс. Экосистема Hadoop

  • Принципы MPP-систем (в т.ч. основы map-reduce). Arenadata Hadoop целевая система - главное донести суть систем класса MPP.
  • Распределенные файловые системы (на примере HDFS). Сделать акцент на том, что можно обрабатывать данные не только в реляционных базах, но и неструктурированные данные (картинки и т.д.). Кейс про обработку 5 млн. картинок.
  • Колоночное хранение (на примере Parquette, ORC), отличие от строкового хранения. Select * - не всегда хорошо, целевая выборка - лучше (привести пример на базе Parquette)
  • CRUD-операции на MPP-системе (почему Delete работает медленно и ресурсоёмко). Update 3-4-х строк - это ГБ данных. Упомянуть DataLake.
  • Основы разделение ресурсами кластера (YARN). Рассказать про разделение ресурсов, получение. Очереди. Какую долю вычислительной мощности пользователь может получить от системы.
  • Экосистема Hadoop. Подведение итогов предыдущих пунктов. Это набор сервисов (таск менеджер, …). Системное представление о том, что такое Hadoop (схема экосистемы). Можно упомянуть Hive. Упомянуть про ноды.
  • Статистика, партиционирование (обработка файлов: подсчет строк). Кейс с распределенным обучением. Про индексы и скорость select и join, на что следует рассчитывать при работе с Hadoop.
  • Высокоуровневые инструменты для работы с данными на Hadoop (Hive, основы Spark). Акцент больше на Spark, чем на Hive. По Spark у нас есть отдельный курс, поэтому можно не сильно углубляться. Spark SQL.

Формат обучения

  • 3 недели, по 2 занятия в неделю, по 2 часа
  • ДЗ по 2 часа на каждое занятие
  • Контрольное задание: уточнить требования, проверить гипотезу. Предложить слушателям ключевые метрики. Ожидаем применения модели и выводы о результатах.

Мы готовим не дата аналитиков, а с помощью Hadoop проверяем гипотезы

Профиль кандидата
Дата
декабрь 2021
Подать заявку

В мае мы запускаем обновленную программу для студентов вузов технических и ИТ-специальностей.
Ждем заявки в школы по направлениям:
  • системный анализ
  • ручное тестирование
  • java-разработка


  • Прием заявок до 16 мая, старт обучения — 19 мая.

    Остальные интенсивы для более опытных специалистов приостановлены: обновляем программу и формат, чтобы сделать Открытые школы ещё более полезными и эффективными.
    image Спасибо! Заявка принята. Письма будут приходить на указанный в заявке email. Вопросы об Открытых школах Т1 направляй на openschool@t1.ru
    image Не удалось отправить форму.
    Попробовать еще раз
    image

    Часто задаваемые вопросы

    Я подал(а) заявку. Какие дальнейшие действия?

    Мы ответим всем в течение недели после окончания приема заявок. Если ваш профиль подошел, расскажем о входном тестировании и дальнейших шагах. Если нам не хватило информации или опыта - уточним или поделимся карьерными возможностями развития в Т1 в рамках других программ.

    Сколько длится Открытая школа?

    4-6 недель

    Все этапы обучения проходят удаленно?

    Да, удаленно. Мы предоставляем гибкий график, который не затронет основную деятельность.

    География обучения

    У нас много масштабных и важных проектов, поэтому участие в интенсиве и работа в Т1 возможна только с территории России и Белоруссии.

    Что включает программа обучения и что даст ее прохождение?

    Программы собраны на базе тех навыков, которых чаще всего не хватает начинающим специалистам при собеседовании. Таких скилов немного, у каждой роли они свои. Их освоение практически гарантирует успешное прохождение собеседования в Т1.

    А сколько времени нужно выделить? Можно совмещать с основной учебой или работой?

    Достаточно выделить 4 часа в неделю на вебинары и еще 4 часа на самостоятельную практику. Вебинары проходят по вечерам по московскому времени, а записи доступны на учебной платформе.

    Вы платите зарплату?

    Участие в Открытых школах бесплатное, на время прохождения не предусмотрено заключение договора и выплата зарплаты. Лучшие выпускники после собеседования смогут присоединиться к команде Т1 на оплачиваемую стажировку.

    Меня возьмут на работу после Открытой школы?

    Лучшие выпускники после собеседования смогут присоединиться к команде Т1 на оплачиваемую стажировку.

    Я получу сертификат об окончании, если откажусь от трудоустройства?

    При выполнении всех практических заданий и успешном завершении обучения предусмотрена выдача сертификата.

    Могу ли я выбрать команду при переходе на стажировку?

    Да, лучшие выпускники будут общаться с разными командами, которые ищут специалистов по направлениям Открытых школ.

    Нужно ли профильное образование для участия в программе?

    Обновленные программы Открытых школ разработаны для студентов вузов, обучающихся по техническим и ИТ-специальностям.

    В какие команды Т1 ведется набор через Открытые школы?

    Команд и вариантов действительно много! Узнать больше о направлениях деятельности Т1 можно на карьерной странице сайта, а также в разделе про ИТ-продукты.

    Все открытые направления

    Системный аналитик
    Разработчик Java
    Ручной тестировщик
    Автотестировщик
    Инженер по нагрузочному тестированию
    Прикладной администратор
    Аналитик DWH
    Разработчик DWH
    Аналитик данных (Data scientist)
    Младший аналитик 1С
    Карьера
    Работа в T1
    Присоединяйся, чтобы вместе создавать нетривиальные продукты и решения для бизнеса в атмосфере открытости и поддержки
    Подробнее
    Написать нам