Managed Service для Apache Kafka

Apache Kafka - распределенный горизонтально масштабируемый программный брокер сообщений, предназначенный для организации сбора и хранения потоковой информации, ее обработки в реальном времени с высокой пропускной способностью и минимальными задержками.

Под потоковыми данными понимаются данные, которые непрерывно генерируются большим количеством источников, которые обычно отправляют записи данных небольшими объемами. Потоковыми данными могут быть, например, файлы журналов, сформированных клиентами при использовании приложений, информация о покупках в интернет-магазинах, действия пользователей в играх, информация из социальных сетей, данные торговых площадок и геопространственных сервисов, телеметрические данные. Для получения, обработки и реагирования на подобные данные и был разработан Apache Kafka.

Kafka это распределенная система с открытым исходным кодом, построенная на клиент-серверной архитектуре. Обмен данных в кластере Kafka производится с использованием своего собственного двоичного протокола передачи данных, предназначенного для снижения накладных расходов при пересылке данных.

Кластер Apache Kafka состоит из серверов и клиентов. Часть серверов образуют уровень хранения и называются брокерами, на других серверах  работает механизм Kafka Connect, они непрерывно импортируют и экспортируют данные в виде потоков событий. На клиентах размещаются распределенные приложения и микросервисы, которые работая параллельно получают, обрабатывают, и генерируют потоки событий.

Кластер Kafka отказоустойчив, в случае выхода из строя сервера, другие серверы возьмут на себя его работу, чтобы обеспечить непрерывную работу без потери данных.

Apache Kafka может применяться везде, где требуется получение и  обработка потока событий. Kafka используется в самых разных случаях, во множестве отраслей, но чаще всего Apache Kafka применяется для следующих задач:

• Обработка финансовых транзакций и платежной информации в режиме реального времени, например, на фондовых биржах, в банках и страховых компаниях. Kafka используется такими  организациями: Сбербанк, Тинькофф, Альфа-Банк, ING Bank.
• Отслеживание и мониторинг местонахождения пользователя, транспорта и грузов в режиме реального времени с использованием систем геопозиционирования. Например, Foursquare использует Kafka для передачи сообщений между системами и для интеграции мониторинга в свою инфраструктуру Big Data.
• Непрерывный сбор и анализ данных от датчиков, телеметрии, устройств, контроллеров или другого оборудования. Kafka используется для реализации IoT/IIoT-систем, например, его используют телекоммуникационные операторы: ВымпелКом, МТС, Ростелеком. С помощью Kafka могут быть организованы системы мониторинга и прогнозирования состояния тех. процессов или пациентов.
• Сбор событий для систем аналитики. Kafka позволяет построить конвейер данных, чтобы с помощью алгоритмов машинного обучения извлекать из сырой информации полезные сведения. Например, Kafka используется IBM и DataSift для сбора данных потоков событий от пользователей в режиме реального времени. В Twitter Kafka реализует потоковой обработку, а в LinkedIn потоковую передачу данных о показателях приложений.
• Сбор и немедленное реагирование на события взаимодействия с клиентами, онлайн-игроками или реагирование на события заказа, например, в розничной торговле, гостиничном бизнесе, в мобильных приложениях и онлайн-играх.
• В качестве основы для организации любых управляемых событиями платформ данных, архитектур и микросервисов.

Managed Service for Apache Kafka (управляемый сервис для Apache Kafka) - это услуга по предоставлению готового для применения брокера сообщений Apache Kafka, кластер которого использует для размещения облачную архитектуру.

Вы можете сосредоточиться на работе с Apache Kafka, пользоваться всеми его преимуществами, а технические вопросы по организации кластера базы данных и его эксплуатации мы возьмем на себя.

В нашей зоне ответственности находятся:

• развёртывание кластера и его предварительная настройка;
• мониторинг состояния кластера и управление им;
• масштабирование кластера;
• обеспечение высокой доступности и отказоустойчивости кластера;
• резервное копирование данных;
• обеспечение безопасности данных и ограничение доступа с помощью авторизации и шифрования;
• обслуживание и ремонт инфраструктуры, на которой размещен кластер;
• осуществление технической поддержки и предоставление доступа к технической документации по работе с сервисом.

В настоящий момент наш сервис поддерживает Apache Kafka версий 2.8.1 и 3.1.0.

Пользователь может обновить кластер самостоятельно до любой поддерживаемой версии, выбрав нужную версию в свойствах кластера. Однако обновление кластера возможно только в сторону увеличения версии и после проведения обновления вернуть кластер к предыдущей версии невозможно.

Перед обновление версии убедитесь, что клиентское программное обеспечение позволит использовать функции новой версии кластера Apache Kafka. В рамках обновления версии кластера будет обновлено только серверное программное обеспечение, а не клиентское.

Рекомендуется последовательно обновлять кластер на следующую версию относительно текущей, например, чтобы обновить Apache Kafka с версии 2.8 до 3.1 вам нужно выполнять обновление в следующей последовательности: обновить приложение с версии 2.8 до версии 3.0, а уже затем обновить с версии  3.0 до 3.1.

Ошибка вызвана тем, что сегменты логов топиков занимают больше места, чем доступно в хранилище брокеров. Для решения этой проблемы можно увеличить размер дискового хранилища или уменьшить размер сегмента для топиков или всего кластера.