Максим Подлесный и Павлов Дмитрий

Apache Kafka production experience

Тема доклада – Apache Kafka production experience

Содержание:

• What is Apache Kafka

• Why Kafka? Data Streaming

• Main difference from Rabbitmq, Apache ActiveMQ and other brokers

• Basic concepts of Apache Kafka APIs – Producer, Consumer, Connector, Streams

• Apache Kafka abstractions – topics, partitions, logs and what you should know before using them

• Our production use cases of Apache Kafka

• Quick start with Apache Kafka

• What software do you need to start own Apache Kafka cluster

• Cluster structure and node roles

• High availability and cluster maintenance

• Apache Kafka monitoring

• Ways of monitoring Apache Kafka cluster

• Overview of important metrics

• Example of production monitoring dashboard

• Apache Kafka’s pitfalls

• Issues related to unstable zookeeper cluster

• Mistakes with topic/partitions settings

• Ways of tracking consumers’ offsets (zookeeper, internal topic _consumers_offset, Storm’s low level kafka driver and writing to zookeeper’s root)

• Deleting messages from Apache Kafka topic

• Topic auto creation

• Client settings for leaders re-election and delivery retries.

Двойной доклад!

Спикеры:

Максим Подлесный

Должность – ITOps инженер
Компания – Smartling/Archer
О себе:
Серверный системный администратор, DevOps инженер
7 лет опыта работы, опыт в проектирование и внедрение систем обработки больших массивов данных, системное и веб программирование. Увлекаюсь пулевой стрельбой.

www.linkedin.com/in/mpidlisnyi

Павлов Дмитрий
Должность – Senior Network Operations Engineer
Компания – Smartling/Archer
О себе:
Operations Engineer / DevOps – 7+ лет опыта работы с различными серверными системами, SAN инфраструктурой, создание cloud хостинга, автоматизация процессов, системное программирование, etc
Увлекаюсь катанием на сноуборде

www.linkedin.com/in/dmitriy-pavlov-ops/

Стать Участником