المشكلة التي يحلها الكتالوج المفتوح
من دون نموذج موحد للبيانات الوصفية، ينشئ كل محرك جداول وصلاحيات وصيانة خاصة به. تتكرر البيانات ويضيع الإصدار المعتمد، ويصبح تغيير منصة الحوسبة مشروع ترحيل تخزين.
يمثل Iceberg حالة الجدول باللقطات والبيانات الوصفية ويدعم تطور المخطط والتقسيم والتغييرات الذرية. ويسمح REST Catalog باستخدام API موحد من دون تضمين تنفيذ مورد بعينه.
افصل أربع طبقات
يحفظ التخزين الكائني ملفات البيانات والبيانات الوصفية. يعرف الكتالوج المجالات والجداول والمؤشرات الحالية. تخطط محركات الحوسبة العمل وتنفذه. وتوفر طبقة التحكم الهوية والسياسات والمراقبة ودورة الحياة.
يسمح الفصل بتغيير المحرك، لكنه لا يلغي توافق الإصدارات واختبارات الكتابة.
صمم الوصول قبل إضافة المستخدمين
حدد من يستطيع عرض المجالات وقراءة البيانات الوصفية والحصول على الملفات وتثبيت حالة جديدة. استخدم بيانات اعتماد قصيرة العمر ومقيدة بطلب أو جدول. ولا ينبغي للكتالوج إعادة مفاتيح دائمة واسعة للتخزين.
غالباً ما تقع سياسات الصفوف والأعمدة والإخفاء والتدقيق فوق تنسيق الجدول؛ اختر مكوناً يطبقها بالتساوي على كل المحركات.
اختبر عدة محركات
تشمل المصفوفة القراءة والإضافة والاستبدال وتطور المخطط والتقسيم والكتابة المتزامنة واسترجاع لقطة وانتهاء الاعتماد وتعطل الكتالوج. واختبر الأنواع وحالة الأحرف والمناطق الزمنية والحذف منفصلة.
لا تسم المنصة مفتوحة لمجرد أن منتجين يعرضان الجدول نفسه؛ يجب أن يفهما التغييرات بالتساوي ويحافظا على الحالة عند التزامن.
أدر الصيانة والكلفة
ضع قواعد لدمج الملفات الصغيرة وانتهاء اللقطات وكشف الملفات اليتيمة وحفظ السجلات والحصص. لكل عملية نافذة ومالك وحماية من حذف بيانات ما زالت عملية أخرى تشير إليها.
راقب عدد الملفات وحجم البيانات الوصفية وزمن التخطيط وتعارض التثبيت وعمر اللقطات والحجم غير المرجعي وكلفة الاستعلام.
رحّل حسب منتج البيانات
ابدأ بمجموعة ذات مالك ومستهلكين واضحين. قارن النتائج والأداء والكلفة والصلاحيات والتعافي. ثم انقل المجالات على موجات مع فترة قراءة من المنصة القديمة ونقطة تحويل واضحة. يقلل التنسيق المفتوح الترابط، لكن عقود البيانات والتشغيل تجعله محكوماً.