Миграция данных из Yandex Managed Service for MySQL® в Yandex MPP Analytics for PostgreSQL

Вы можете настроить перенос данных из базы Managed Service for MySQL® в базу Greenplum® в сервисе Yandex MPP Analytics for PostgreSQL с помощью Data Transfer. Для этого:

1. Подготовьте тестовые данные.
2. Создайте базу данных в кластере-приемнике.
3. Подготовьте и активируйте трансфер.
4. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Кластер Managed Service for MySQL®: выделенные хостам вычислительные ресурсы, объем хранилища и резервных копий (см. тарифы Managed Service for MySQL®).
• Кластер Greenplum®: выделенные хостам вычислительные ресурсы, объем хранилища и резервных копий (см. тарифы Yandex MPP Analytics for PostgreSQL).
• Публичные IP-адреса, если для хостов кластеров включен публичный доступ (см. тарифы Virtual Private Cloud).
• Каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Подготовьте тестовые данныеПодготовьте тестовые данные

1. Подключитесь к базе данных mmy_db в кластере-источнике Managed Service for MySQL®.

2. Создайте простую таблицу table1:

   CREATE TABLE table1 (
   id int NOT NULL,
   name varchar (10),
   PRIMARY KEY (id)
   );
   

3. Наполните таблицу данными:

   INSERT INTO table1 VALUES
   (1, 'Name1'),
   (2, 'Name2'),
   (3, 'Name3');
   

Создайте базу данных в кластере-приемникеСоздайте базу данных в кластере-приемнике

1. Подключитесь к служебной базе данных postgres в кластере-приемнике Greenplum® от имени пользователя mgp_user.

2. Создайте базу данных mgp_db:

   CREATE DATABASE mgp_db;
   

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт-приемник типа Greenplum® и укажите в нем параметры подключения к кластеру:

   • Тип подключения — Кластер Managed Service for Greenplum.
   • Кластер Managed Service for Greenplum — <имя_кластера_приемника_Greenplum®> из выпадающего списка.
   • База данных — mgp_db.
   • Пользователь — mgp_user.
   • Пароль — <пароль_пользователя>.

2. Создайте эндпоинт-источник и трансфер:

   Вручную

   С помощью Terraform

   1. Создайте эндпоинт-источник типа MySQL® и укажите в нем параметры подключения к кластеру:

      • Тип подключения — Кластер Managed Service for MySQL.
      • Кластер Managed Service for MySQL — <имя_кластера_источника_MySQL®> из выпадающего списка.
      • База данных — mmy_db.
      • Пользователь — mmy_user.
      • Пароль — <пароль_пользователя>.

   2. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.

   3. Активируйте трансфер и дождитесь его перехода в статус Реплицируется.

   1. Укажите в файле mmy-to-mgp.tf значения параметров:

      • target_endpoint_id — идентификатор эндпоинта для приемника.
      • transfer_enabled — значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

   4. Трансфер активируется автоматически. Дождитесь его перехода в статус Реплицируется.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

Чтобы убедиться в работоспособности трансфера, проверьте работу копирования и репликации.

Проверьте работу копированияПроверьте работу копирования

1. Подключитесь к базе данных mgp_db в кластере-приемнике Greenplum®.

2. Выполните запрос:

   SELECT * FROM mmy_db.table1;
   

Проверьте работу репликацииПроверьте работу репликации

1. Подключитесь к базе данных mmy_db в кластере-источнике Managed Service for MySQL®.

2. Добавьте данные в таблицу table1:

   INSERT INTO table1 VALUES
   (4, 'Name4');
   

3. Убедитесь, что добавленная строка появилась в базе данных приемника:

   1. Подключитесь к базе данных mgp_db в кластере-приемнике Greenplum®.

   2. Выполните запрос:

      SELECT * FROM mmy_db.table1;
      

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать: