Управление трансфером

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы получить список трансферов в каталоге, выполните команду:

yc datatransfer transfer list

Воспользуйтесь методом API list.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы получить информацию о трансфере, выполните команду:

yc datatransfer transfer get <идентификатор_трансфера>

Идентификатор трансфера можно получить со списком трансферов в каталоге.

Воспользуйтесь методом API get и передайте значение идентификатора трансфера в параметре transferId запроса.

Чтобы узнать идентификатор трансфера, получите список трансферов в каталоге.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы создать трансфер:

1. Посмотрите описание команды CLI для создания трансфера:

   yc datatransfer transfer create --help
   

2. Укажите параметры трансфера в команде создания:

   yc datatransfer transfer create <имя_трансфера> \
      --source-id=<идентификатор_эндпоинта-источника> \
      --target-id=<идентификатор_эндпоинта-приемника> \
      --type=<тип_трансфера>
   

   Где:

   • --source-id — идентификатор эндпоинта-источника.
   • --target-id — идентификатор эндпоинта-приемника.
   • --type — тип трансфера:
     • snapshot-only — копирование.
     • increment-only — репликация.
     • snapshot-and-increment — копирование и репликация.

   Примечание

   Имя трансфера должно быть уникальным в каталоге. Оно может содержать латинские буквы, цифры и дефис. Максимальная длина имени 63 символа.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы создать трансфер:

1. Создайте конфигурационный файл с описанием трансфера.

   Пример структуры конфигурационного файла:

   resource "yandex_datatransfer_transfer" "<имя_трансфера_в_Terraform>" {
     folder_id   = "<идентификатор_каталога>"
     name        = "<имя_трансфера>"
     description = "<описание_трансфера>"
     source_id   = "<идентификатор_эндпоинта-источника>"
     target_id   = "<идентификатор_эндпоинта-приемника>"
     type        = "<тип_трансфера>"
   }
   

   Где:

   • type — тип трансфера. Возможные значения:

     • SNAPSHOT_ONLY — копирование;
     • INCREMENT_ONLY — репликация;
     • SNAPSHOT_AND_INCREMENT — копирование и репликация.

     Трансферы INCREMENT_ONLY и SNAPSHOT_AND_INCREMENT активируются и запускаются при создании автоматически.

   • Чтобы активировать трансфер SNAPSHOT_ONLY в момент его создания:

     1. Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

        По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

     2. Добавьте в конфигурационный файл секцию provisioner "local-exec" с командой активации трансфера:

        provisioner "local-exec" {
          command = "yc --profile <профиль> datatransfer transfer activate ${yandex_datatransfer_transfer.<имя_Terraform-ресурса_трансфера>.id}"
        }
        

        В этом случае копирование выполнится только один раз в момент создания трансфера.

   • Чтобы задать параметры среды выполнения трансфера SNAPSHOT_ONLY, добавьте в описание ресурса блок runtime:

     resource "yandex_datatransfer_transfer" "<имя_трансфера_в_Terraform>" {
       ...
       runtime {
         yc_runtime {
           job_count = <количество_воркеров>
           upload_shard_params {
             job_count     = <количество_воркеров>
             process_count = <количество_потоков>
           }
         }
       }
       ...
     }
     

     Где:

     • job_count — количество воркеров, запущенных параллельно.

     • upload_shard_params — параметры параллельного копирования:

       • job_count — количество воркеров;
       • process_count — количество потоков внутри каждого воркера.

   • Чтобы задать параметры среды выполнения трансфера INCREMENT_ONLY, добавьте в описание ресурса блок replication_runtime:

     resource "yandex_datatransfer_transfer" "<имя_трансфера_в_Terraform>" {
       ...
       replication_runtime {
         yc_runtime {
           job_count = <количество_воркеров>
           upload_shard_params {
             job_count     = <количество_воркеров>
             process_count = <количество_потоков>
           }
         }
       }
       ...
     }
     

   • Чтобы задать параметры среды выполнения трансфера SNAPSHOT_AND_INCREMENT, добавьте в описание ресурса блоки runtime и replication_runtime:

     resource "yandex_datatransfer_transfer" "<имя_трансфера_в_Terraform>" {
       ...
       runtime {
         yc_runtime {
           job_count = <количество_воркеров>
           upload_shard_params {
             job_count     = <количество_воркеров>
             process_count = <количество_потоков>
           }
         }
       }
     
       replication_runtime {
         yc_runtime {
           job_count = <количество_воркеров>
           upload_shard_params {
             job_count     = <количество_воркеров>
             process_count = <количество_потоков>
           }
         }
       }
       ...
     }
     

     Где:

     • runtime — параметры среды выполнения трансфера для копирования;
     • replication_runtime — параметры среды выполнения трансфера для репликации.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом REST API Transfer.Create и передайте в запросе:

• Идентификатор каталога, в котором должен быть размещен трансфер, в параметре folderId.

• Имя трансфера в параметре name.

• Идентификатор эндпоинта-источника в параметре sourceId.

• Идентификатор эндпоинта-приемника в параметре targetId.

• Тип трансфера в параметре type. Возможные значения:

  • SNAPSHOT_ONLY — копирование;
  • INCREMENT_ONLY — репликация;
  • SNAPSHOT_AND_INCREMENT — копирование и репликация.

• Параметры среды выполнения:

  • Для типа трансфера SNAPSHOT_ONLY — в объекте runtime.

  • Для типа трансфера INCREMENT_ONLY — в объекте replicationRuntime.

  • Для типа трансфера SNAPSHOT_AND_INCREMENT:

    • в объекте runtime — для копирования;
    • в объекте replicationRuntime — для репликации.

Воспользуйтесь методом gRPC API TransferService.Create и передайте в запросе:

• Идентификатор каталога, в котором должен быть размещен трансфер, в параметре folder_id.

• Имя трансфера в параметре name.

• Идентификатор эндпоинта-источника в параметре source_id.

• Идентификатор эндпоинта-приемника в параметре target_id.

• Тип трансфера в параметре type. Возможные значения:

  • SNAPSHOT_ONLY — копирование;
  • INCREMENT_ONLY — репликация;
  • SNAPSHOT_AND_INCREMENT — копирование и репликация.

• Параметры среды выполнения:

  • Для типа трансфера SNAPSHOT_ONLY — в объекте runtime.

  • Для типа трансфера INCREMENT_ONLY — в объекте replication_runtime.

  • Для типа трансфера SNAPSHOT_AND_INCREMENT:

    • в объекте runtime — для копирования;
    • в объекте replication_runtime — для репликации.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы изменить настройки трансфера:

1. Посмотрите описание команды CLI для изменения трансфера:

   yc datatransfer transfer update --help
   

2. Выполните команду, передав список настроек, которые хотите изменить:

   yc datatransfer transfer update <идентификатор_трансфера> \
      --name=<имя_трансфера> \
      --description=<описание_трансфера>
   

   Идентификатор трансфера можно получить со списком трансферов в каталоге.

1. Откройте актуальный конфигурационный файл Terraform с описанием трансфера.

   О том, как создать такой файл, см. в подразделе Создать трансфер.

2. Измените значение полей name и description (имя и описание трансфера).

3. Измените параметры среды выполнения:

   • Для типа трансфера SNAPSHOT_ONLY — в блоке runtime.

   • Для типа трансфера INCREMENT_ONLY — в блоке replication_runtime.

     Если параметры среды выполнения уже заданы в блоке runtime, то добавлять блок replication_runtime не требуется.

   • Для типа трансфера SNAPSHOT_AND_INCREMENT:

     • в блоке runtime — для копирования;
     • в блоке replication_runtime — для репликации.

     Если задан только блок runtime, то параметры среды выполнения для копирования и для репликации будут одинаковыми.

4. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

5. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом REST API Transfer.Update и передайте в запросе:

• Идентификатор трансфера в параметре transferId. Чтобы узнать идентификатор, получите список трансферов в каталоге.

• Имя трансфера в параметре name.

• Описание трансфера в параметре description.

• Параметры среды выполнения:

  • Для типа трансфера SNAPSHOT_ONLY — в объекте runtime.

  • Для типа трансфера INCREMENT_ONLY — в объекте replicationRuntime.

    Если параметры среды выполнения уже заданы в объекте runtime, то передавать replicationRuntime не требуется.

  • Для типа трансфера SNAPSHOT_AND_INCREMENT:

    • в объекте runtime — для копирования;
    • в объекте replicationRuntime — для репликации.

    Если задан только объект runtime, то параметры среды выполнения для копирования и для репликации будут одинаковыми.

• Список изменяемых полей конфигурации трансфера в параметре updateMask.

  Важно

  При изменении трансфера все параметры изменяемого объекта, которые не были явно переданы в запросе, будут переопределены на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask.

Воспользуйтесь методом gRPC API TransferService.Update и передайте в запросе:

• Идентификатор трансфера в параметре transfer_id. Чтобы узнать идентификатор, получите список трансферов в каталоге.

• Имя трансфера в параметре name.

• Описание трансфера в параметре description.

• Параметры среды выполнения:

  • Для типа трансфера SNAPSHOT_ONLY — в объекте runtime.

  • Для типа трансфера INCREMENT_ONLY — в объекте replication_runtime.

    Если параметры среды выполнения уже заданы в объекте runtime, то передавать replication_runtime не требуется.

  • Для типа трансфера SNAPSHOT_AND_INCREMENT:

    • в объекте runtime — для копирования;
    • в объекте replication_runtime — для репликации.

    Если задан только объект runtime, то параметры среды выполнения для копирования и для репликации будут одинаковыми.

• Список изменяемых полей конфигурации трансфера в параметре update_mask.

  Важно

  При изменении трансфера все параметры изменяемого объекта, которые не были явно переданы в запросе, будут переопределены на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре update_mask.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы активировать трансфер, выполните команду:

yc datatransfer transfer activate <идентификатор_трансфера>

Идентификатор трансфера можно получить со списком трансферов в каталоге.

Воспользуйтесь методом API activate и передайте значение идентификатора трансфера в параметре transferId запроса.

Чтобы узнать идентификатор трансфера, получите список трансферов в каталоге.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы деактивировать трансфер, выполните команду:

yc datatransfer transfer deactivate <идентификатор_трансфера>

Идентификатор трансфера можно получить со списком трансферов в каталоге.

Воспользуйтесь методом API deactivate и передайте значение идентификатора трансфера в параметре transferId запроса.

Чтобы узнать идентификатор трансфера, получите список трансферов в каталоге.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы удалить трансфер, выполните команду:

yc datatransfer transfer delete <идентификатор_трансфера>

Идентификатор трансфера можно получить со списком трансферов в каталоге.

Чтобы удалить трансфер, созданный с помощью Terraform:

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создать трансфер.

2. Удалите описание трансфера.

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Введите слово yes и нажмите Enter.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом API delete и передайте значение идентификатора трансфера в параметре transferId запроса.

Чтобы узнать идентификатор трансфера, получите список трансферов в каталоге.