Работа с базами данных Managed Service for ClickHouse®

В этом разделе описана основная информация про работу с Managed Service for ClickHouse®.

Для работы с базой данных Managed Service for ClickHouse® необходимо выполнить следующие шаги:

1. Создать соединение, содержащее реквизиты для подключения к базе данных.
2. Выполнить запрос к базе данных.

Пример запроса, выполняющего чтение данных из Managed Service for ClickHouse®:

SELECT * FROM clickhouse_mdb_connection.my_table

где:

• clickhouse_mdb_connection — название созданного соединения с базой данных.
• my_table — имя таблицы в базе данных.

Настройка соединенияНастройка соединения

Чтобы создать соединение с Managed Service for ClickHouse®:

1. В консоли управления выберите каталог, в котором нужно создать соединение.

2. В списке сервисов выберите Yandex Query.

3. На панели слева перейдите на вкладку Соединения.

4. Нажмите кнопку Создать.

5. Укажите параметры соединения:

   1. В блоке Общие параметры:

      • Имя — название соединения с Managed Service for ClickHouse®.
      • Тип — Managed Service for ClickHouse.

   2. В блоке Параметры типа соединения:

      • Кластер — выберите существующий кластер Managed Service for ClickHouse® или создайте новый.

      • Сервисный аккаунт — выберите существующий сервисный аккаунт Managed Service for ClickHouse® или создайте новый с ролью managed-clickhouse.viewer, от имени которого будет выполняться подключение к кластерам Managed Service for ClickHouse®.

        Чтобы использовать сервисный аккаунт, пользователю нужна роль iam.serviceAccounts.user.

      • База данных — выберите базу данных, которая будет использоваться при работе с кластером ClickHouse®.

      • Логин — имя пользователя, которое будет использоваться для подключения к базам данных ClickHouse®.

      • Пароль — пароль пользователя, который будет использоваться для подключения к базам данных ClickHouse®.

6. Нажмите кнопку Создать.

Сервисный аккаунт необходим для обнаружения точек подключения к кластерам Managed Service for ClickHouse® внутри Yandex Cloud, для работы с данными логин и пароль пользователя задаются отдельно.

Синтаксис запросовСинтаксис запросов

Для работы с ClickHouse® используется следующая форма SQL-запроса:

SELECT * FROM <соединение>.<имя_таблицы>

где:

• <соединение> — название созданного соединения с базой данных.
• <имя_таблицы> — имя таблицы в базе данных.

ОграниченияОграничения

При работе с кластерами ClickHouse® существует ряд ограничений.

Ограничения:

1. Внешние источники доступны только для чтения данных через запросы SELECT. Запросы, модифицирующие таблицы во внешних источниках, сервисом Yandex Query в настоящее время не поддерживаются.

2. В YQ используется система типов Yandex Managed Service for YDB. Однако диапазоны допустимых значений для типов, использующихся в YDB при работе с датой и временем (Date, Datetime, Timestamp), зачастую оказываются недостаточно широкими для того, чтобы вместить значения соответствующих типов ClickHouse® (Date, Date32, Datetime, Datetime64).
   В связи с этим значения даты и времени, прочитанные из ClickHouse®, возвращаются YQ как обычные строки (тип Utf8 для обычных колонок или тип Optional<Utf8> для nullable колонок) в формате ISO-8601.

Пушдаун фильтровПушдаун фильтров

Yandex Query умеет передавать обработку частей запросов в систему-источник данных. Это означает, что фильтрующие выражения передаются сквозь Yandex Query непосредственно в базу данных для обработки, обычно это условия запросов, указанных в WHERE. Такой способ обработки называется пушдаун фильтров.

Пушдаун фильтров возможен при использовании:

При использовании других видов фильтров пушдаун на источник не выполняется: фильтрация строк внешней таблицы будет выполнена на стороне федеративной Yandex Query, что означает, что Yandex Query выполнит полное чтение (full scan) внешней таблицы в момент обработки запроса.

Поддерживаемые типы данных для пушдауна фильтров:

Поддерживаемые типы данныхПоддерживаемые типы данных

По умолчанию в ClickHouse® колонки физически не могут содержать значение NULL, однако пользователь имеет возможность создать таблицу с колонками опциональных, или nullable типов. Типы колонок, отображаемые Yandex Query при извлечении данных из внешнего источника ClickHouse®, будут зависеть от того, используются ли в таблице ClickHouse® примитивные или опциональные типы.

Ниже приведены таблицы соответствия типов ClickHouse® и Yandex Query. Все остальные типы данных, за исключением перечисленных, не поддерживаются.

Примитивные типы данныхПримитивные типы данных

Опциональные типы данныхОпциональные типы данных

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.