Какую проблему решает открытый каталог
Без общей модели метаданных каждый движок создаёт собственные таблицы, права и процедуры обслуживания. Данные дублируются, пользователи не понимают, какая версия актуальна, а смена вычислительной платформы превращается в миграцию хранилища.
Iceberg хранит состояние таблицы через снимки и метаданные, поддерживает эволюцию схемы и разбиения, а также атомарные изменения. REST Catalog позволяет клиентам работать с каталогом через согласованный API, не встраивая реализацию конкретного поставщика.
Разделите четыре слоя
Объектное хранилище содержит файлы данных и метаданные. Каталог знает таблицы, пространства имён и текущие ссылки на метаданные. Вычислительные движки планируют и исполняют запросы. Контур управления отвечает за идентичность, политики, наблюдаемость и жизненный цикл.
Такое разделение позволяет менять движок независимо, но не отменяет совместимость версий и тестирование операций записи.
Спроектируйте доступ до подключения пользователей
Определите, кто может перечислять пространства имён, читать метаданные, получать доступ к файлам и фиксировать новое состояние. Предпочтительны короткоживущие учётные данные, выдаваемые для конкретного запроса или таблицы. Каталог не должен возвращать широкие постоянные ключи к хранилищу.
Политики строк и столбцов, маскирование и аудит часто находятся выше формата таблицы; заранее решите, какой компонент их обеспечивает одинаково для всех движков.
Проверьте сценарии нескольких движков
Матрица испытаний включает чтение, append, overwrite, изменение схемы, изменение разбиения, конкурентную запись, откат снимка, истечение учётных данных и недоступность каталога. Отдельно проверяются типы данных, регистр имён, часовые пояса и поведение удаления.
Не объявляйте платформу открытой только потому, что два продукта видят одну таблицу. Они должны одинаково понимать изменения и не повреждать состояние при конкуренции.
Управляйте обслуживанием и стоимостью
Нужны правила уплотнения малых файлов, удаления старых снимков, поиска потерянных файлов, хранения журналов и квот. Каждая операция имеет окно, владельца и защиту от удаления данных, на которые ещё ссылается другой процесс.
Метрики включают число файлов на таблицу, размер манифестов, время планирования, частоту конфликтов, возраст снимков, объём мусора и стоимость запросов.
Мигрируйте по продуктам данных
Начните с одного набора с понятным владельцем и потребителями. Сравните результаты запросов, время, стоимость, права и восстановление. Затем переносите домены волнами, сохраняя период чтения из старого контура и чёткую точку переключения. Открытый формат снижает связанность, но управляемость появляется только вместе с контрактами данных и эксплуатацией.