Логи в Yandex Data Processing

Сервис Yandex Cloud Logging собирает и отображает логи кластера Yandex Data Processing. Они автоматически сохраняются в лог-группу, привязанную к кластеру при его создании или изменении. Это может быть лог-группа, которая действует по умолчанию в каталоге, или заранее подготовленная лог-группа пользователя.

Чтобы посмотреть логи кластера Yandex Data Processing, с его страницы перейдите в лог-группу кластера. Затем в поле Запрос введите фильтр:

• Стандартные параметры фильтрации:

  • resource_type — всегда принимает значение dataproc.cluster;
  • resource_id — идентификатор кластера.

• Дополнительные параметры фильтрации:

  • hostname — FQDN хоста;
  • log_type — тип записи логов кластера.

В результате на странице лог-группы отобразится гистограмма логов и записи из них.

Типы записей логов Yandex Data ProcessingТипы записей логов Yandex Data Processing

Логи компонентов кластераЛоги компонентов кластера

В зависимости от роли подкластера, для логов компонентов используются перечисленные типы записей:

• Все хосты кластера:

  • cloud-init — кластеры Yandex Data Processing с версией образа 2.0 или выше;
  • salt-minion — лог сервисной инициализации кластера Yandex Data Processing;
  • syslog — системный лог;
  • telegraf — лог отправки метрик кластера Yandex Data Processing в сервис Monitoring.

• Хост-мастер:

  • flume — кластеры Yandex Data Processing с версией образа ниже 2.0;
  • hadoop-hdfs-namenode;
  • hadoop-hdfs-secondarynamenode;
  • hadoop-mapreduce;
  • hadoop-yarn-resourcemanager;
  • hadoop-yarn-timelineserver;
  • hbase-master;
  • hbase-rest;
  • hbase-thrift;
  • hive-metastore;
  • hiveserver2;
  • hive-webhcat-console — кластеры Yandex Data Processing с версией образа ниже 2.0;
  • hive-webhcat-console-error — кластеры Yandex Data Processing с версией образа ниже 2.0;
  • hive-webhcat — кластеры Yandex Data Processing с версией образа ниже 2.0;
  • knox — кластеры Yandex Data Processing с версией образа ниже 2.0;
  • livy-out;
  • livy-request;
  • oozie;
  • oozie-audit;
  • oozie-error;
  • oozie-instrumentation;
  • oozie-jetty;
  • oozie-jpa;
  • oozie-ops;
  • postgres;
  • sqoop — кластеры Yandex Data Processing с версией образа ниже 2.0;
  • supervisor — кластеры Yandex Data Processing с версией образа ниже 2.0;
  • yandex-dataproc-agent;
  • zeppelin;
  • zookeeper.

• Хосты подкластеров для хранения данных:

  • hadoop-hdfs-datanode;
  • hadoop-yarn-nodemanager.

• Хосты подкластеров для обработки данных содержат логи hadoop-yarn-nodemanager.

Логи заданийЛоги заданий

В логах заданий отражаются следующие типы записей:

• Записи логов YARN-контейнеров.

  Для типа записи указывается containers.

  Записи дополняются тегами:

  • yarn_log_type — имя файла лога, который YARN сохраняет в качестве лога контейнера.

    Примеры:

    • stdout
    • stderr
    • launch_container.sh
    • prelaunch.out
    • directory.info

  • container_id — идентификатор YARN контейнера. Пример: container_1638976919626_0002_01_000001.

  • application_id — идентификатор YARN приложения. Пример: application_1638976919626_0002.

• Записи лога вывода запускающего процесса. Сохраняются в случае запуска задания через API Yandex Data Processing, а не на хостах кластера.

  Для типа записи указывается job_output.

  Записи содержат тег job_id с идентификатором задания, созданного через API Yandex Data Processing. Если задание начало исполняться и не было завершено на этапе валидации, то записи содержат тег application_id.