Практический онлайн-курс
Практика по работе с Kafka для инженеров данных и разработчиков
Apache Kafka
Старт:
27 сентября
Длительность:
3 месяца
Время занятий:
Вт, Пт — 20:00
Формат:
Онлайн
- Для разработчиков, которые хотят научиться грамотно организовать работу микросервисов и повысить общую надежность системы
- Для инженеров данных, которые хотят научиться строить комплексные системы обработки данных
- Для DevOps, SRE Engineer, архитекторов, которые хотят использовать всю мощь Kafka в работе
Для кого этот курс?
Как Kafka упрощает жизнь разработчикам и инженерам данных
Kafka жизненно важна аналитикам в режиме реального времени, так как позволяет доставлять данные с очень низкими задержками.
При попытке использовать обычную СУБД в качестве промежуточного хранилища для потоков данных, вы очень быстро столкнетесь с высокой нагрузкой на базу и долгими задержками доставки данных.
Kafka же была изначально создана именно для поставки потоков данных в режиме реального времени и позволяет добиться задержек в несколько миллисекунд.
При попытке использовать обычную СУБД в качестве промежуточного хранилища для потоков данных, вы очень быстро столкнетесь с высокой нагрузкой на базу и долгими задержками доставки данных.
Kafka же была изначально создана именно для поставки потоков данных в режиме реального времени и позволяет добиться задержек в несколько миллисекунд.
- Умение работать в командной строке Unix/Linux
- Базовое знание Java или Scala
- Опыт работы с Docker
Необходимые знания
Подходит ли эта программа именно вам?
Kafka позволяет унифицировать протокол обмена данными между разными системами, выступает временным хранилищем между источником и приемником, а также выступает “буфером” для нагрузки. Если источник внезапно выдал большой объем данных, система-приемник может упасть под нагрузкой.
Kafka — это сервис, позволяющий в реальном времени и с высокой пропускной способностью передавать сообщения между различными системами. Его используют для различных целей — передача данных в хранилище, потоковая аналитика, взаимодействие между сервисами и т. д.
После обучения вы сможете:
Дополнительно на курсе вы:
Kafka — это сервис, позволяющий в реальном времени и с высокой пропускной способностью передавать сообщения между различными системами. Его используют для различных целей — передача данных в хранилище, потоковая аналитика, взаимодействие между сервисами и т. д.
После обучения вы сможете:
- Развернуть Kafka
- Настроить брокеры и темы
- Использовать базовые API
- Разрабатывать программы на высокоуровневых фреймворках Kafka Streams, Spring, Akka, ZIO
- Интегрировать Kafka с другими системами
- Настроить мониторинг и безопасность (аутентификация, авторизация)
Дополнительно на курсе вы:
- Познакомитесь с работой с топиками на SQL (ksqlDB)
- Научитесь работать со Schema Registry
- Познакомитесь с REST API для работы с Kafka
Что даст вам этот курс?
Зачем изучать Apache Kafka?
Если вы хотите работать в проектах обработки больших данных или проектах построения микросервисной архитектуры, то вам будет полезно освоить эту технологию.
Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.
Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.
В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.
После выполнения всех домашних заданий вы получите готовый выпускной проект.
Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.
В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.
После выполнения всех домашних заданий вы получите готовый выпускной проект.
Процесс обучения
Портфолио
Индивидуальная разработка итоговой проектной работы
Оптимальная нагрузка
Возможность совмещать учебу с работой
Перспективы
Сможете претендовать на позицию Data Scientist Junior + / Middle+ в зависимости от вашего базового уровня
Партнеры
Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
- Получите помощь с оформлением резюме, портфолио и сопроводительного письма
- Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров
4458 актуальных вакансий
Junior+ специалист
200 000 ₽
100 000 ₽
Средний уровень зарплат в Москве:
Middle+ специалист
350 000 ₽
Senior специалист
Data Engineer,
Kafka Developer
Kafka Developer
Обратная связь
Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии
Активное комьюнити
Чат в Telegram для общения преподавателей и студентов
Формат обучения
Интерактивные вебинары
2 занятия по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда.
Программа курса
Знакомство с брокерами сообщений. Знакомство с Kafka.
Тема 1: Брокеры сообщений. История появления и развития. Решаемые задачи
Тема 2: Знакомство с Apache Kafka. Основные компоненты, варианты развертывания, экосистема, сценарии использования
Тема 3: Введение в Scala
Тема 1: Брокеры сообщений. История появления и развития. Решаемые задачи
Тема 2: Знакомство с Apache Kafka. Основные компоненты, варианты развертывания, экосистема, сценарии использования
Тема 3: Введение в Scala
Развёртывание и администрирование кластера Kafka. Внутреннее устройство, мониторинг и безопасность.
Тема 1: Установка и настройка кластера. Zookeeper. Kraft. Настройка брокеров
Тема 2: Операции с топиками. Партиции (разделы), репликации. Свойства топиков
Тема 3: Мониторинг кластера Kafka
Тема 4: Безопасность. Аутентификация, авторизация, списки управления доступом (ACL)
Тема 1: Установка и настройка кластера. Zookeeper. Kraft. Настройка брокеров
Тема 2: Операции с топиками. Партиции (разделы), репликации. Свойства топиков
Тема 3: Мониторинг кластера Kafka
Тема 4: Безопасность. Аутентификация, авторизация, списки управления доступом (ACL)
Изучаем Kafka API: - Admin - Producer - Consumer - транзакции
Тема 1: Admin API и REST API
Тема 2: Producer - отправка сообщений. Producer API
Тема 3: Consumer - чтение сообщений. Consumer API
Тема 4: Транзакции
Тема 1: Admin API и REST API
Тема 2: Producer - отправка сообщений. Producer API
Тема 3: Consumer - чтение сообщений. Consumer API
Тема 4: Транзакции
Рассмотрим потоковую обработку данных - работу с потоками на высоком уровне.
Тема 1: Что такое потоковая обработка данных. Обзор
Тема 2: Kafka Streams. Основные понятия
Тема 3: Kafka Streams. DSL
Тема 4: Kafka Streams. Processor API
Тема 1: Что такое потоковая обработка данных. Обзор
Тема 2: Kafka Streams. Основные понятия
Тема 3: Kafka Streams. DSL
Тема 4: Kafka Streams. Processor API
Изучим основные фреймворки обработки потоковых данных.
Тема 1: Akka Streams
Тема 2: Akka Streams. Alpakka Kafka
Тема 3: ZIO Streams. ZIO Kafka
Тема 4: Spring for Apache Kafka
Тема 5: Spark Streaming
Тема 1: Akka Streams
Тема 2: Akka Streams. Alpakka Kafka
Тема 3: ZIO Streams. ZIO Kafka
Тема 4: Spring for Apache Kafka
Тема 5: Spark Streaming
Рассмотрим интеграцию Kafka с другими системами и дополнительные возможности.
Тема 1: Kafka Connect
Тема 2: ksqlDB
Тема 3: Schema Registry
Тема 4: Геораспределённая Kafka
Тема 1: Kafka Connect
Тема 2: ksqlDB
Тема 3: Schema Registry
Тема 4: Геораспределённая Kafka
Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.
Тема 1: Выбор темы и организация проектной работы
Тема 2: Консультация по проектам и домашним заданиям
Тема 3: Защита проектных работ. Подведение итогов курса
Тема 1: Выбор темы и организация проектной работы
Тема 2: Консультация по проектам и домашним заданиям
Тема 3: Защита проектных работ. Подведение итогов курса
Получить полную программу курса
Последний месяц отводится для проектной работы, которая станет частью вашего портфолио.
В проектной работе Вы сможете реализовать различные системы, в центре которых находится Kafka.
В проектной работе Вы сможете реализовать различные системы, в центре которых находится Kafka.
Проектная работа
Преподаватели
Прошедшие мероприятия
Евгений Непомнящий
Открытый вебинар
Открытый вебинар
Знакомство с Apache Kafka
Вадим Заигрин
Открытый вебинар
Открытый вебинар
Kafka и Clickhouse - как организовать взаимодействие
Для доступа ко всем прошедшим мероприятиям необходимо пройти входное тестирование
Возможность пройти вступительное тестирование повторно появится только через 3 дня
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!
Возможность пройти вступительное тестирование повторно появится только через 3 дня
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!
Отзывы
Сертификат о прохождении курса
OTUS осуществляет лицензированную образовательную деятельность. В конце курса вы получите сертификат OTUS.
После обучения вы:
- Получите материалы по пройденным занятиям (видеозаписи курса, дoполнительные материалы, финальный проект для добавления в портфолио)
- Создадите своё портфолио проектов, которое поможет при прохождении собеседований
- Повысите свою ценность и конкурентоспособность как IT-специалист
- Получите сертификат об окончании курса
Стоимость обучения
Старт: 27 сентября
Нужна рассрочка?
Оставьте заявку и менеджер расскажет вам об условиях
Записаться и получить консультацию
Длительность: 3 месяцев
79 380 ₽
Часто задаваемые вопросы:
Программа курса Apache Kafka даст Вам самое глубокое понимание этого инструмента. Образовательная экспертиза Otus доказана более 6 лет успешной специализации на обучении в IT. Наша фишка — продвинутые программы для специалистов с опытом и быстрый запуск курсов по новым набирающим популярность технологиям. Мы уже обучили более 20 000 студентов, и будем рады помочь освоить Вам новые навыки.
Для получения сертификата OTUS и УПК (удостоверение повышения квалификации государственного образца) необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем. Для получения УПК также понадобится предъявить документ об образовании.
Нет, не обязательно. Но выполнение домашних заданий поможет вам разобраться в материале курса, поэтому хотя бы часть домашних заданий стоит выполнить. При выполнении или сдаче домашнего задания, вы можете задать вопрос преподавателям, если где-то возник вопрос.
В Otus Club проводятся вебинары на тему трудоустройства, разбор резюме, прохождения собеседований, особенности реферальных программ при найме. Также обратим Ваше внимание, что преподаватели курса занимают ведущие позиции в разных компаниях. Будьте активны, выполняйте домашние задания, стройте network с сокурсниками и преподавателями и Вам будет проще найти работу, расширив свои контакты.
Да, программа курса рассчитана на то, что студент имеет ограниченный временной ресурс. 1 раз в модуль будут выдаваться домашние задания, а лекции 2 раза в неделю, которые вы всегда можете посмотреть в записи.
У вас есть право одного бесплатного трансфера в другую группу. И лекции курса в любом случае у вас останутся в личном кабинете навсегда. Также есть отдельные опции по сдаче домашних заданий даже после окончания программы курса.
Да, вы можете сделать возврат средств пропорционально оставшимся месяцам обучения.
Конечно, мы работаем с юр. лицами. При общении с менеджером уточните, что оплачивать будет Ваш работодатель.
Оставляйте заявку и задавайте вопросы менеджеру, команда курса с ним на связи и постарается дать Вам дать исчерпывающую информацию.
© 2024 OTUS
Информация
Об Otus
Контакты
По всем вопросам
help@otus.ru
help@otus.ru
Оставьте заявку
и наш менеджер свяжется с Вами