Мы используем куки, чтобы улучшить ваш пользовательский опыт. Нажимая на кнопку, вы соглашаетесь с нашей политикой куки.
Принять
Выбрать тариф
Выбрать тариф
Бесплатный курс по анализу данных для начинающих — 21 мая
Выбрать тариф
Ближайший старт: ноябрь 2024
Продолжительность: 14 ак. часов / 4 недели
Формат обучения: Лекция + семинар

kafka & spark

Ближайший старт:
2 мая 2024
Продолжительность:
24 ак. часа / 6 недель
Лекция + семинар
Формат обучения:
Готовый проект
В конце модуля получите готовый pet-проект, который можно презентовать работодателю
Обучение в удобное время
Изучите выбранную тему за короткий срок и присоединитесь к комьюнити программистов Mathshub
Поддержка
Во время обучения вас ждет ежедневная поддержка преподавателей и кураторов, которые помогут разобраться со сложными вопросами
Чему научим на KAFKA & SPARK
(✯◡✯)
На этом модуле вы научитесь работать с системами Apache Kafka&Spark — платформами для хранения и обработки данных.
Вы узнаете, как использовать VS Code для работы с кодом, настраивать Docker Compose и отслеживать изменения в базах данных с помощью Apache Kafka.
  • Изучите внутреннее устройство Kafka
    Вы освоите основные компоненты и принципы работы Kafka, познакомитесь с понятиями: брокеры сообщений, топики, партиции, потребители и продюсеры. Изучите интеграцию с потоковой обработкой данных и взаимодействие с другими системами.
  • Освоите концепт распределенных вычислений и Big Data
    Вы узнаете о принципах работы и управлении метаданными в распределенной файловой системе и научитесь обработке данных в Hadoop Distributed File System (HDFS).
    Поймёте преимущества Apache Spark, как технологии для обработки больших данных с использованием SparkSQL.
  • Познакомитесь с Spark Streaming
    Spark Streaming — это компонент системы Spark для анализа и обработки стриминговых данных в режиме реального времени. На модуле вы узнаете о структуре, различиях стриминга и батч-обработки, освоите различия Stateless и Statefull обработкой данных и как они применяются в разных сценариях.
  • Поймёте различия форматов данных
    Parquet, ORC, Avro — форматы, используемые в контексте SparkSQL. Вы изучите преимущества и недостатки каждого из них, научитесь использовать кластер Spark для обработки данных и эффективного обмена результатами с хранилищем.
ЧТО ВКЛЮЧЕНО В МОДУЛЬ
  • Основные методы работы с Apache Kafka и Apache Spark
  • Введение в PySpark, DataFrame API и операции над данными
  • Схемы работы Catalyst — оптимизатора запросов
  • Методика мониторинга и поиска ошибок в Apache Spark
  • Архитектура Hadoop
  • Общая теория Big Data
  • Итоговый проект по формированию пайплайна
ПРОГРАММА МОДУЛЯ

Продолжительность:

24 ак. часа / 6 недель

Формат обучения:

Лекция + семинар

[1]
Знакомство с Kafka
[2]
Producer и consumer в Kafka
[3]
Внутреннее устройство, администрирование Kafka
[4]
Введение в потоковую обработку данных с помощью Kafka
[5]
Введение в распределенные вычисления и Big Data
[6]
Введение в PySpark, DataFrame API
[7]
Введение в Hadoop
[8]
Погружение в SparkSQL
[9]
Знакомство с Spark Streaming
[10]
Оптимизация и производительность в PySpark
личная встреча с карьерным коучем
*только для тарифа профи
Забрать тариф Профи 🔥
  • Как поставить карьерные цели и составить резюме
  • Как проработать мотивацию
  • Особенности и этапы собеседований
  • Подготовка портфолио
  • Получение работы за рубежом
Что узнаете:
  • Сертифицированный коуч ICF
  • Руководитель карьерной программы mathshub
  • наташа солнечная
О коуче:
Дата и время встречи подбирается индивидуально
Когда встретитесь:
ТВОИ НАВЫКИ ПОСЛЕ ОБУЧЕНИЯ
  • Собеседование PySpark
  • Проект по формированию пайплайна
В ЧЕМ ПРЕИМУЩЕСТВА МОДУЛЕЙ?
Быстро и качественно изучите выбранную тему, не углубляясь в полноценную программу
Обучаетесь именно тем навыкам, которые вам необходимы
Дешевле, чем полноценная программа
Есть возможность выбрать подходящий формат обучения (в записи/вживую)
Выбери свой тариф
Kafka & Spark
Начало пути
10 399
р.
14 899
р.

  • Занятия модуля в записи
🤓 Проверка домашнего задания
В корзину
О тарифе
Kafka & Spark
Полное погружение
31 299
р.
44 799
р.

  • Online-занятия в Zoom
  • Проверка домашнего задания

🤩 Живое общение с преподавателем

🤩 Защита проекта
В корзину
О тарифе
Kafka & Spark
Профи 🔥🔥🔥
37 599
р.
53 699
р.
  • Online-занятия в Zoom
  • Проверка домашнего задания
  • Живое общение с преподавателем
  • Защита проекта
😎 Сессия с карьерным коучем
В корзину
О тарифе
Отзывы студентов и выпускников
Михаил Шоморов
Frontend-разработчик
«СТАНЬ FRONTEND-РАЗРАБОТЧИКОМ ЗА 6 МЕСЯЦЕВ»

Самое ценное, что вынес для себя из обучения - нужно учиться. Это то, что от тебя зависит. Вся программа тебе будет помогать, но без своих усилий ты сам ничего не сделаешь.

Самое яркое, что запомнилось — это последний проект. Когда я его писал - стало легло оперировать этими понятиями, абстракциями. Даже понравилось! Шло уже как-то в лёт!

Самым сложным на курсе показалось синхронность и event loop, потому что никогда не понимаешь, что там происходит параллельно.
Чтобы сказал себе в начале этого пути: тоже, что и сейчас – учись и старайся!

Спасибо Анне за то, что она мне помогала! Сергей, за то, что принимал участие в занятиях, в некоторых решениях! И преподавателем за то, что они мне помогли!
Михаил Шоморов
Frontend-разработчик
«СТАНЬ FRONTEND-РАЗРАБОТЧИКОМ ЗА 6 МЕСЯЦЕВ»

Самое ценное, что вынес для себя из обучения - нужно учиться. Это то, что от тебя зависит. Вся программа тебе будет помогать, но без своих усилий ты сам ничего не сделаешь.

Самое яркое, что запомнилось — это последний проект. Когда я его писал - стало легло оперировать этими понятиями, абстракциями. Даже понравилось! Шло уже как-то в лёт!

Самым сложным на курсе показалось синхронность и event loop, потому что никогда не понимаешь, что там происходит параллельно.
Чтобы сказал себе в начале этого пути: тоже, что и сейчас – учись и старайся!

Спасибо Анне за то, что она мне помогала! Сергей, за то, что принимал участие в занятиях, в некоторых решениях! И преподавателем за то, что они мне помогли!
Сергей Михальченко
Frontend-разработчик
«СТАНЬ FRONTEND-РАЗРАБОТЧИКОМ ЗА 6 МЕСЯЦЕВ»

Самым запоминающимся на курсе — был курс React. Манера преподавания и конечно практические задания! Это то, что реально способствует мозговой активности!

Это реально было полезно, по крайней мере для меня, в новой теме и просто даже, например, вспоминая себя 2-х месячной давности, даже то, что сдавалось в рамках промежуточных заданий — предположения не было, как это решать и что это вообще возможно!

В целом позитивное впечатление от учёбы! Даже пересмотрел две лекции, которые были летом и могу сказать, что много понятного на момент, когда был урок и на момент сейчас — чувствуется прогресс!
Анна Новикова
Системный аналитик
«СТАНЬ АНАЛИТИКОМ ДАННЫХ ЗА 8 МЕСЯЦЕВ»

Во время обучения получила и приняла оффер на стажировку системным аналитиком в крупнейшем интеграторе Digital-решений AGIMA

Научится любому ремеслу, легче всего у мастера! Именно это и привело меня в Mathshub. Учителя, которые имеют не только опыт преподавания в престижных ВУЗах России, но и «громкие проекты», заслуги в своей профессии.

Наверное самое ценное — это современность преподаваемых знаний, их легкое внедрение в реальную работу. А так же присутствие свободы индивидуальности в выборе своего проекта с учетом интересов и помощь преподавателей, наставников в его реализации.

Если говорить коротко, то есть возможность получить оригинальные проекты в портфолио, а не штамп, который работодатели видели уже по 1000 раз.
Чаяна Чаданма
Аналитик маркетинговых кампаний
«СТАНЬ ДАТА-САЙЕНТИСТОМ ЗА 9 МЕСЯЦЕВ»

После обучения получила оффер аналитиком данных.

— Понравилась учебная программа. Каждая тема изучается с нуля, но в процессе даже специалист с опытом может найти для себя что-то новое.

— Есть карьерные консультации. С начала курса ты уже начинаешь строить план, как найти работу. Карьерный коуч — для меня открытие! Это как психолог, который понимает специфику твоей работы, но в отличие от него может дать работающие советы, которые приблизят получение заветного оффера.

Приятно удивила вовлеченность всей команды в твой результат. Никогда не получала столько слов поддержки как на этом курсе от кураторов и других студентов. Сообщество открытое, всегда готовое прийти на помощь.
Александра Колчина
Стажировка техническим менеджером в Яндекс
«СТАНЬ ДАТА-САЙЕНТИСТОМ ЗА 9 МЕСЯЦЕВ»

Во время обучения устроилась на стажировку техническим менеджером в Яндекс.

Школа привлекла меня внимательностью к студентам. Формат обучения достаточно гибкий, не загоняет тебя в жесткие рамки и дедлайны. Команда преподавателей и кураторов всегда на высоте — поможет, подскажет, пойдет навстречу.
Наталья Журавлева
Студентка Mathshub
«СТАНЬ PYTHON-РАЗРАБОТЧИКОМ ЗА 8 МЕСЯЦЕВ»

Очень долгое время задумывалась о курсах, так как самостоятельно заниматься не хватало мотивации. На глаза попалось объявление о бесплатном интенсиве от Mathshub и решила сначала поучаствовать в нём. Очень понравились лекции, то что выдавали домашние задания и обратную связь, а так же сообщество участников. После этого решила поучаствовать и в платном курсе на питон разработчика, особенно после того как узнала о том что участникам интенсива будет скидка.


В курсе нравится большое количество не только лекций, но и гостевых программ. На семинарах впервые познакомилась с форматом парного программирования, много нового опыта. В конце модулей очень интересные проекты. Темп обучения быстрый, многое нужно изучать ещё самостоятельно, но учитывая количество тем это нормально. Плюс всегда есть поддержка одногруппников и куратора. Рада что выбрала именно этот курс :)
о школе
мы уже обучили:
4000+
студентов
Сертификат о прохождении
Партнерство с образовательными организациями
Образовательная лицензия
Небольшие группы
Персонализированная программа обучения

БЕСПЛАТНАЯ КОНСУЛЬТАЦИЯ

С КАРЬЕРНЫМ МЕНЕДЖЕРОМ

вопросы и ответы