Таблицы метаданных Iceberg

Этот раздел описывает, как проверять информацию о метаданных таблиц Iceberg в Selena.

Обзор

Начиная с v1.5.2, Selena поддерживает таблицы метаданных Iceberg. Эти таблицы метаданных содержат различную информацию о таблицах Iceberg, такую как история изменений таблицы, snapshots и manifests. Вы можете запросить каждую таблицу метаданных, добавив имя таблицы метаданных к исходному имени таблицы.

В настоящее время Selena поддерживает следующие таблицы метаданных Iceberg:

Таблица метаданных	Описание
history	Показывает журнал изменений метаданных, внесенных в таблицу.
metadata_log_entries	Показывает записи журнала метаданных для таблицы.
snapshots	Показывает сведения о snapshots таблицы.
manifests	Показывает обзор manifests, связанных со snapshots в журнале таблицы.
partitions	Показывает сведения о partition в таблице.
files	Показывает сведения о файлах данных и файлах удаления в текущем snapshot таблицы.
refs	Показывает сведения о ссылках Iceberg, включая branches и tags.

Таблица history

Использование:

SELECT * FROM [<catalog>.][<database>.]table$history;

Вывод:

Поле	Описание
made_current_at	Время, когда snapshot стал текущим snapshot.
snapshot_id	ID snapshot.
parent_id	ID родительского snapshot.
is_current_ancestor	Является ли этот snapshot предком текущего snapshot.

Таблица metadata_log_entries

Использование:

SELECT * FROM [<catalog>.][<database>.]table$metadata_log_entries;

Вывод:

Поле	Описание
timestamp	Время, когда были записаны метаданные.
file	Местоположение файла метаданных.
latest_snapshot_id	ID последнего snapshot, когда метаданные были обновлены.
latest_schema_id	ID последней схемы, когда метаданные были обновлены.
latest_sequence_number	Порядковый номер данных файла метаданных.

Таблица snapshots

Использование:

SELECT * FROM [<catalog>.][<database>.]table$snapshots;

Вывод:

Поле	Описание
committed_at	Время, когда snapshot был зафиксирован.
snapshot_id	ID для snapshot.
parent_id	ID для родительского snapshot.
operation	Тип операции, выполненной на таблице Iceberg. Допустимые значения: append: Новые данные добавлены. replace: Файлы удалены и заменены без изменения данных в таблице. overwrite: Старые данные перезаписаны новыми данными. delete: Данные удалены из таблицы.
manifest_list	Список файлов manifest Avro, которые содержат подробную информацию об изменениях snapshot.
summary	Сводка изменений, внесенных из предыдущего snapshot в текущий snapshot.

Таблица manifests

Использование:

SELECT * FROM [<catalog>.][<database>.]table$manifests;

Вывод:

Поле	Описание
path	Местоположение файла manifest.
length	Длина файла manifest.
partition_spec_id	ID спецификации partition, которая используется для записи файла manifest.
added_snapshot_id	ID snapshot, во время которого эта запись manifest была добавлена.
added_data_files_count	Количество файлов данных со статусом ADDED в файле manifest.
added_rows_count	Общее количество строк во всех файлах данных со статусом ADDED в файле manifest.
existing_data_files_count	Количество файлов данных со статусом EXISTING в файле manifest.
existing_rows_count	Общее количество строк во всех файлах данных со статусом EXISTING в файле manifest.
deleted_data_files_count	Количество файлов данных со статусом DELETED в файле manifest.
deleted_rows_count	Общее количество строк во всех файлах данных со статусом DELETED в файле manifest.
partition_summaries	Метаданные диапазона partition.

Таблица partitions

Использование:

SELECT * FROM [<catalog>.][<database>.]table$partitions;

Вывод:

Поле	Описание
partition_value	Сопоставление имен столбцов partition со значениями столбцов partition.
spec_id	Spec ID partition файлов.
record_count	Количество записей в partition.
file_count	Количество файлов, сопоставленных в partition.
total_data_file_size_in_bytes	Размер всех файлов данных в partition.
position_delete_record_count	Общее количество строк файлов Position Delete в partition.
position_delete_file_count	Количество файлов Position Delete в partition.
equality_delete_record_count	Общее количество строк файлов Equality Delete в partition.
equality_delete_file_count	Количество файлов Position Equality в partition.
last_updated_at	Время, когда partition был обновлен в последний раз.

Таблица files

Использование:

SELECT * FROM [<catalog>.][<database>.]table$files;

Вывод:

Поле	Описание
content	Тип содержимого, хранящегося в файле. Допустимые значения: DATA(0), POSITION_DELETES(1) и EQUALITY_DELETES(2).
file_path	Местоположение файла данных.
file_format	Формат файла данных.
spec_id	Spec ID, который используется для отслеживания файла, содержащего строку.
record_count	Количество записей, содержащихся в файле данных.
file_size_in_bytes	Размер файла данных.
column_sizes	Сопоставление между ID столбца Iceberg и его соответствующим размером в файле.
value_counts	Сопоставление между ID столбца Iceberg и его соответствующим количеством записей в файле.
null_value_counts	Сопоставление между ID столбца Iceberg и его соответствующим количеством значений NULL в файле.
nan_value_counts	Сопоставление между ID столбца Iceberg и его соответствующим количеством нечисловых значений в файле.
lower_bounds	Сопоставление между ID столбца Iceberg и его соответствующей нижней границей в файле.
upper_bounds	Сопоставление между ID столбца Iceberg и его соответствующей верхней границей в файле.
split_offsets	Список рекомендуемых местоположений для разделения.
sort_id	ID, представляющий порядок сортировки для этого файла.
equality_ids	Набор ID полей, используемых для сравнения равенства в файлах equality delete.
key_metadata	Метаданные о ключе шифрования, который используется для шифрования этого файла, если применимо.

Таблица refs

Использование:

SELECT * FROM [<catalog>.][<database>.]table$refs;

Вывод:

Поле	Описание
name	Имя ссылки.
type	Тип ссылки. Допустимые значения: BRANCH или TAG.
snapshot_id	Snapshot ID ссылки.
max_reference_age_in_ms	Максимальный возраст ссылки до того, как она может истечь.
min_snapshots_to_keep	Только для branch, минимальное количество snapshots для сохранения в branch.
max_snapshot_age_in_ms	Только для branch, максимальный возраст snapshot, разрешенный в branch. Более старые snapshots в branch истекут.