Managed Service 
для ClickHouse

ClickHouse - это столбцовая система управления базами данных, оптимизированная для онлайн-обработки аналитических запросов (OLAP).

Изначально ClickHouse разрабатывалась для обеспечения работы платформы веб-аналитики Яндекс.Метрики, а затем была выделена в отдельный проект с открытым исходным кодом.  Оценить возможности ClickHouse можно по утверждениям компании Яндекс, судя по которым, их база данных успешно справляется с 13 триллионами записей и 20 миллиардами событий в сутки, генерируя на лету индивидуальные отчёты.

Данные в ClickHouse имеют столбцовую (колоночную) организацию, при которой группируются значения одного атрибута. Это позволяет эффективно получать массы значений конкретных атрибутов, анализировать их взаимное влияние и закономерности. Запросы, которые требуют доступа только к определенным столбцам (атрибутам), могут выполняться очень быстро и эффективно при столбцовой организации данных.

С другой стороны, в традиционной строковой организации базы данных данные хранятся построчно, где каждая запись группирует все значения атрибутов для конкретного объекта. Такая организация данных эффективна для операций, требующих доступа сразу ко всем атрибутам конкретного объекта, но менее эффективна при выполнении аналитических запросов, которые оперируют массами данных по отдельным атрибутам.

Наряду со столбцовой организацией данных, в ClickHouse реализован ряд мер, направленных на повышение производительности:

• Отсутствие лишних данных
  В ClickHouse поддерживаются значения постоянной длины, чтобы не хранить рядом со значениями типа «число» их длины.
• Поддержка сжатия данных
  Сжатие данных, реализованное в ClickHouse, играет важную роль в обеспечении хорошей производительности.
• Хранение данных на обычном жестком диске
  Многие столбцовые СУБД могут работать только в оперативной памяти. ClickHouse позволяет использовать жесткие диски для хранения данных.
• Параллельная обработка запроса
  В ClickHouse реализовано эффективное распараллеливание запросов, максимально используя доступные на сервере ресурсы.
• Распределенная обработка запроса
  В ClickHouse запрос может быть выполнен на всех распределенных шардах (сегментах базы данных)  параллельно.
• Поддержка SQL
  ClickHouse имеет свой язык запросов на основе SQL и во многих случаях его синтаксис совпадает с SQL.
• Векторный движок
  Данные в ClickHouse могут быть обработаны по векторам, фрагментам столбца. За счёт этого достигается высокая эффективность обработки.
• Обновление данных в реальном времени
  ClickHouse поддерживает таблицы с первичным ключом, чтобы ускорить выполнение запросов по диапазону первичного ключа. Доступно постоянное добавление данных в таблицу без блокировки.
• Наличие индекса
  Физическая сортировка данных по первичному ключу позволяет получать данные для конкретных его значений или их диапазонов с низкими задержками.
• Подходит для онлайн запросов
  Низкие задержки позволяют не откладывать выполнение запроса, а  отвечать в режиме онлайн.
• Поддержка приближённых вычислений
  ClickHouse даёт различные способы понижения точности вычислений, когда она не нужна, взамен получая повышение производительности.

К недостаткам ClickHouse или его особенностям можно отнести:

• Отсутствие реализации полноценных транзакций.
• Удаление и изменение конкретных данных имеет высокие задержки, но есть эффективные средства массового удаления и изменение данных.
• Разреженный индекс делает ClickHouse плохо пригодным для точечных чтений одиночных строк.
• Не поддерживает ANSI SQL 2008 и PostgreSQL.
• Не умеет делать локальные и распределённые JOIN.

ClickHouse не подходит для операций над данными вида "ключ-значение", такие операции в ClickHouse могут быть выполнены, но с высокими задержками и низкой производительностью. Однако ClickHouse будет хорошим вариантом для баз данных временных рядов, обеспечивая высокую скорость выполнения запросов. Предназначение ClickHouse прежде всего это - аналитика, а для других целей, скорее всего, лучше использовать иные СУБД.

Типичными задачами, для решения которых применяется ClickHouse, является:

• Онлайн-аналитика в реальном времени
  ClickHouse позволяет выполнять аналитические запросы в режиме реального времени, обеспечивая низкую задержку при ответе на запросы. При этом ClickHouse предлагает мощные агрегирующие функции, возможность группировки, фильтрации и сортировки данных, что делает его эффективным для выполнения сложных аналитических запросов, включая многомерный анализ, сегментацию данных, вычисление статистических показателей, аналитику веб-трафика, финансовый анализ  и т.д.
• Аналитика больших данных
  ClickHouse способен обрабатывать и анализировать огромные объемы данных. Он эффективно работает с наборами данных размером в терабайты и предоставляет высокую производительность для запросов, требующих доступа к огромным объемам данных.
• Выявление трендов и прогнозирование поведения
  ClickHouse широко используется для обработки журналов событий, логов, аудита и других данных событийного характера. Он позволяет проводить анализ этих данных в реальном времени, выявлять тренды и системные проблемы,  прогнозировать поведение систем и т.д.
• Аналитика IIoT (Industrial Internet of Things)
  ClickHouse используется для обработки и анализа данных, сгенерированных различными устройствами IIoT, датчиками и контроллерами. Он способен обрабатывать потоковые данные, выполнять агрегацию и аналитику в реальном времени, а также хранить исторические данные для последующего анализа. Например, применяться для планирования производства, оценки эффективности работы оборудования, выявления узких мест и прогнозирования появления неисправностей.
• Анализ  маркетинговых показателей
  ClickHouse может быть полезным инструментом для анализа маркетинговой эффективности. С помощью него можно отслеживать показы, клики, конверсии и т.д., сегментировать данные, вычислять на их основе маркетинговые показатели эффективности и создавать отчеты.

Managed Service for ClickHouse (управляемый сервис для ClickHouse) - это услуга по предоставлению готовой для применения системы управления базами данных ClickHouse, кластер которой использует для размещения облачную архитектуру.

Вы можете сосредоточиться на работе с базой данных, пользоваться всеми её преимуществами, а технические вопросы по организации кластера базы данных и его эксплуатации мы возьмем на себя.

В нашей зоне ответственности находятся:

• развёртывание кластера базы данных и его предварительная настройка;
• мониторинг состояния кластера и управление им;
• масштабирование кластера;
• обеспечение высокой доступности и отказоустойчивости базы данных;
• резервное копирование данных;
• обеспечение безопасности данных и ограничение доступа с помощью авторизации и шифрования;
• обслуживание и ремонт инфраструктуры, на которой размещен кластер;
• осуществление технической поддержки и предоставление доступа к технической документации по работе с сервисом.

По умолчанию автоматическое резервное копирование кластера производится каждые сутки с 01:00 до 05:00 по московскому времени. Во время резервного копирования доступ к кластерам сохраняется. Резервные копии хранятся 7 суток после создания.

Восстановить данные можно до любой сохраненной резервной копии.

В ClickHouse доступны следующие версии релизов:

• Stable - это стабильная версия продукта, выпускаемая примерно раз в месяц и открывающая доступ к новым функциям. Разработчик поддерживает три последних стабильных релиза, в них исправляются ошибки и вносятся доработки.
• LTS - это версия продукта с долговременной поддержкой, выпускаемая дважды в год. LTS релизы находятся на поддержке в течение года с момента выхода. В этой версии используются только многократно проверенные на практике решения. LTS предпочтителен в случае, если вы задействуете сложные инструменты и механизмы ClickHouse, или у вас нет ресурсов для частого обновления своих продуктов, использующих ClickHouse.

Если используемая версия СУБД перестаёт поддерживаться разработчиком, то вы сохраните доступ к вашим данным. Однако в этом случае создание новых узлов кластера будет недоступным, также иные функции могут быть ограничены. Вы будете уведомлены по электронной почте и в личный кабинет о проведении автоматического обновления до ближайшей поддерживаемой версии, о сроках проведения работ и доступности баз данных. Такое обновление будет проведено даже, если вы отключили автоматическое  обновление.

Об обновлении Stable версии клиент оповещается не менее чем за 7 дней, об обновлении LTS версии не менее чем за 1 месяц до проведения автоматического обновления. После получения такого уведомления клиенту следует проверить программное обеспечение, взаимодействующее с ClickHouse, на совместимость с новой версией. При необходимости клиент должен принять меры для обеспечения совместимости с новой версией.

Это означает, что система управления базами данных имеет функционал   интерактивной аналитической обработки данных (OLAP - online analytical processing). Это говорит от том, что СУБД имеет архитектуру и инструменты оптимизированные для аналитических операций над данными, которые хранятся в базе данных. Как правило, такие СУБД могут эффективно применяться лишь для аналитических задач и имеют ограниченную эффективность для традиционных транзакционных задач OLTP.

Наш сервис совместим с любыми приложениями и инструментами, которые были разработаны для СУБД ClickHouse. Для работы с базой данных существует веб-клиент, консольный клиент, HTTP-интерфейс, ODBC- и JDBC-драйверы, а также готовые библиотеки интеграции с популярными языками программирования и библиотеками.

 Шардирование - стратегия горизонтального масштабирования кластера, при которой база данных ClickHouse разбивается на части и размещаются в разных сегментах, иначе называемых шардами. Каждый шард размещается на отдельном хосте или может иметь нескольких хостов-реплик. Запрос на чтение или запись в шард может быть отправлен на любую из его реплик. Данные, записанные на один из хостов-реплик, будут реплицированы и на остальные хосты-реплики шарда.

Шардирование решает следующие задачи при использовании:

• Повышает отказоустойчивость базы данных
  Так как база данных разбивается на сегменты, то отказ одного сегмента не приведет к отказу всей базы данных, а лишь той части данных, которые размещены в отказавшем сегменте (шарде). Если шард имеет несколько реплик, то отказ одной из его реплик лишь снизит производительность системы и не приведет к потери доступности данных.
• Повышает скорость выполнения запросов
  Шардирование позволяет снизить конкуренцию за вычислительные ресурсы при обработке  запроса. В шардированной базе данных запросы к одной и той же таблице могут выполняться одновременно.
• Повышает масштаб системы
  Шардирование позволяет преодолеть физические ограничения вычислительной инфраструктуры, разбить базу данных на несколько серверов и разместить ее в нескольких ЦОД.
• Осуществляет балансировку нагрузки
  Шардирование распределяет нагрузку между шардами так и между их репликами.

Шардирование обычно используется в случае, когда ожидается высокая частота запросов к базе данных, быстрый рост количества данных, когда база данных превысила такой размер, что не может быть размещена на одном хосте.