Расширьте ядро ​​с помощью eBPF

Extended Berkeley Packet Filter (eBPF) — это виртуальная машина в ядре, которая запускает пользовательские программы eBPF для расширения функциональности ядра. Эти программы можно подключать к зондам или событиям в ядре и использовать для сбора полезной статистики ядра, мониторинга и отладки. Программа загружается в ядро ​​с помощью системного вызова bpf(2) и предоставляется пользователем в виде двоичного блока машинных инструкций eBPF. Система сборки Android поддерживает компиляцию программ на языке C в eBPF с использованием простого синтаксиса файла сборки, описанного в этом документе.

Более подробную информацию о внутреннем устройстве и архитектуре eBPF можно найти на странице Брендана Грегга eBPF .

Android включает в себя загрузчик eBPF и библиотеку, которая загружает программы eBPF во время загрузки.

Загрузчик Android BPF

Во время загрузки Android загружаются все программы eBPF, расположенные в /system/etc/bpf/ . Эти программы представляют собой двоичные объекты, созданные системой сборки Android из программ на языке C и сопровождаемые файлами Android.bp в исходном дереве Android. Система сборки сохраняет сгенерированные объекты в /system/etc/bpf , и эти объекты становятся частью образа системы.

Формат программы Android eBPF C

Программа eBPF C должна иметь следующий формат:

#include <bpf_helpers.h>

/* Define one or more maps in the maps section, for example
 * define a map of type array int -> uint32_t, with 10 entries
 */
DEFINE_BPF_MAP(name_of_my_map, ARRAY, int, uint32_t, 10);

/* this also defines type-safe accessors:
 *   value * bpf_name_of_my_map_lookup_elem(&key);
 *   int bpf_name_of_my_map_update_elem(&key, &value, flags);
 *   int bpf_name_of_my_map_delete_elem(&key);
 * as such it is heavily suggested to use lowercase *_map names.
 * Also note that due to compiler deficiencies you cannot use a type
 * of 'struct foo' but must instead use just 'foo'.  As such structs
 * must not be defined as 'struct foo {}' and must instead be
 * 'typedef struct {} foo'.
 */

DEFINE_BPF_PROG("PROGTYPE/PROGNAME", AID_*, AID_*, PROGFUNC)(..args..) {
   <body-of-code
    ... read or write to MY_MAPNAME
    ... do other things
   >
}

LICENSE("GPL"); // or other license

Где:

• name_of_my_map — имя переменной вашей карты. Это имя сообщает загрузчику BPF тип создаваемой карты и параметры. Это определение структуры предоставляется включенным заголовком bpf_helpers.h .

• PROGTYPE/PROGNAME представляет тип программы и имя программы. Тип программы может быть любым из перечисленных в следующей таблице. Если тип программы не указан, для программы нет строгого соглашения об именовании; имя должно быть известно только процессу, который присоединяет программу.

• PROGFUNC — это функция, которая при компиляции помещается в раздел результирующего файла.

Дополнительные типы можно найти в исходном коде загрузчика .

Например, следующая программа myschedtp.c добавляет информацию о последнем PID задачи, которая была запущена на определенном ЦП. Эта программа достигает своей цели, создавая карту и определяя функцию tp_sched_switch , которая может быть присоединена к событию трассировки sched:sched_switch . Для получения дополнительной информации см. раздел Присоединение программ к точкам трассировки .

#include <linux/bpf.h>
#include <stdbool.h>
#include <stdint.h>
#include <bpf_helpers.h>

DEFINE_BPF_MAP(cpu_pid_map, ARRAY, int, uint32_t, 1024);

struct switch_args {
    unsigned long long ignore;
    char prev_comm[16];
    int prev_pid;
    int prev_prio;
    long long prev_state;
    char next_comm[16];
    int next_pid;
    int next_prio;
};

DEFINE_BPF_PROG("tracepoint/sched/sched_switch", AID_ROOT, AID_SYSTEM, tp_sched_switch)
(struct switch_args *args) {
    int key;
    uint32_t val;

    key = bpf_get_smp_processor_id();
    val = args->next_pid;

    bpf_cpu_pid_map_update_elem(&key, &val, BPF_ANY);
    return 1; // return 1 to avoid blocking simpleperf from receiving events
}

LICENSE("GPL");

Макрос LICENSE используется для проверки совместимости программы с лицензией ядра, когда программа использует вспомогательные функции BPF, предоставляемые ядром. Укажите имя лицензии вашей программы в строковой форме, например LICENSE("GPL") или LICENSE("Apache 2.0") .

Формат файла Android.bp

Чтобы система сборки Android построила программу eBPF .c , необходимо создать запись в файле Android.bp проекта. Например, чтобы построить программу eBPF C с именем bpf_test.c , сделайте следующую запись в файле Android.bp вашего проекта:

bpf {
    name: "bpf_test.o",
    srcs: ["bpf_test.c"],
    cflags: [
        "-Wall",
        "-Werror",
    ],
}

Эта запись компилирует программу C, в результате чего получается объект /system/etc/bpf/bpf_test.o . При загрузке система Android автоматически загружает программу bpf_test.o в ядро.

Файлы доступны в sysfs

Во время загрузки система Android автоматически загружает все объекты eBPF из /system/etc/bpf/ , создает карты, необходимые программе, и закрепляет загруженную программу с ее картами в файловой системе BPF. Затем эти файлы можно использовать для дальнейшего взаимодействия с программой eBPF или чтения карт. В этом разделе описываются соглашения, используемые для именования этих файлов, и их расположение в sysfs.

Создаются и закрепляются следующие файлы:

• Для всех загруженных программ, предполагая, что PROGNAME — это имя программы, а FILENAME — это имя файла eBPF C, загрузчик Android создает и закрепляет каждую программу в /sys/fs/bpf/prog_FILENAME_PROGTYPE_PROGNAME .

  Например, для предыдущего примера точки трассировки sched_switch в myschedtp.c создается файл программы и закрепляется в /sys/fs/bpf/prog_myschedtp_tracepoint_sched_sched_switch .

• Для любых созданных карт, предполагая, что MAPNAME — это имя карты, а FILENAME — это имя файла eBPF C, загрузчик Android создает и закрепляет каждую карту в /sys/fs/bpf/map_FILENAME_MAPNAME .

  Например, для предыдущего примера точки трассировки sched_switch в myschedtp.c создается файл карты и закрепляется в /sys/fs/bpf/map_myschedtp_cpu_pid_map .

• bpf_obj_get() в библиотеке Android BPF возвращает дескриптор файла из закрепленного файла /sys/fs/bpf . Этот дескриптор файла может использоваться для дальнейших операций, таких как чтение карт или присоединение программы к точке трассировки.

Библиотека Android BPF

Библиотека Android BPF называется libbpf_android.so и является частью образа системы. Эта библиотека предоставляет пользователю низкоуровневые возможности eBPF, необходимые для создания и чтения карт, создания зондов, точек трассировки и буферов perf.

Прикрепите программы к точкам трассировки

Программы трассировки загружаются автоматически при загрузке. После загрузки программу трассировки необходимо активировать, выполнив следующие шаги:

1. Вызовите bpf_obj_get() , чтобы получить программу fd из расположения закрепленного файла. Для получения дополнительной информации обратитесь к Файлам, доступным в sysfs .
2. Вызовите bpf_attach_tracepoint() в библиотеке BPF, передав ей программный fd и имя точки трассировки.

В следующем примере кода показано, как присоединить точку трассировки sched_switch , определенную в предыдущем исходном файле myschedtp.c (проверка ошибок не показана):

  char *tp_prog_path = "/sys/fs/bpf/prog_myschedtp_tracepoint_sched_sched_switch";
  char *tp_map_path = "/sys/fs/bpf/map_myschedtp_cpu_pid";

  // Attach tracepoint and wait for 4 seconds
  int mProgFd = bpf_obj_get(tp_prog_path);
  int mMapFd = bpf_obj_get(tp_map_path);
  int ret = bpf_attach_tracepoint(mProgFd, "sched", "sched_switch");
  sleep(4);

  // Read the map to find the last PID that ran on CPU 0
  android::bpf::BpfMap<int, int> myMap(mMapFd);
  printf("last PID running on CPU %d is %d\n", 0, myMap.readValue(0));

Читайте карты

Карты BPF поддерживают произвольные сложные структуры или типы ключей и значений. Библиотека Android BPF включает класс android::BpfMap , который использует шаблоны C++ для создания экземпляра BpfMap на основе типа ключа и значения для рассматриваемой карты. Предыдущий пример кода демонстрирует использование BpfMap с ключом и значением в качестве целых чисел. Целые числа также могут быть произвольными структурами.

Таким образом, шаблонизированный класс BpfMap позволяет вам определить пользовательский объект BpfMap , подходящий для конкретной карты. Затем к карте можно получить доступ с помощью специально сгенерированных функций, которые распознают типы, что приводит к более чистому коду.

Более подробную информацию о BpfMap можно найти в исходниках Android .

Проблемы отладки

Во время загрузки регистрируется несколько сообщений, связанных с загрузкой BPF. Если процесс загрузки по какой-либо причине не удается, в logcat предоставляется подробное сообщение журнала. Фильтрация журналов logcat по bpf выводит все сообщения и любые подробные ошибки во время загрузки, такие как ошибки верификатора eBPF.

Примеры eBPF в Android

Следующие программы в AOSP предоставляют дополнительные примеры использования eBPF:

• Программа netd eBPF C используется сетевым демоном (netd) в Android для различных целей, таких как фильтрация сокетов и сбор статистики. Чтобы увидеть, как используется эта программа, проверьте источники монитора трафика eBPF .

• Программа time_in_state eBPF на языке C вычисляет количество времени, которое приложение Android проводит на разных частотах процессора, что используется для расчета мощности.

• В Android 12 программа gpu_mem eBPF C отслеживает общее использование памяти GPU для каждого процесса и для всей системы. Эта программа используется для профилирования памяти GPU.