دسته‌ها
خاطرات کاری محمد حسین ابراهیم زاده

روش سرعت داده به ETL جداول بزرگ

یکی از بزرگترین دغدغه‌های ETL اینه که بتونی یک جدول خیلی خیلی بزرگ رو هر چه سریع تر منتقل کنی. دیدم همکارا یک راه زیبا برای اسن کار دارن. که البته لازمش سخت افزار قویه که بتونه به صورت موازی کار کنه.

جدول منظور رو به ۴ قسمت تقسیم کردن. مثلا آی دیش رو تقسیم بر ۴ کردن و در هر بار مثلا باقیمانده ۱ ها رو گرفتن که میشه آی دی ۱ و ۵ و ۹ و … . به همین ترتیب جدول اصلا به ۴ تا جدول تقسیم شده که به صورت موازی لود میشن و بعد از اون با هم یونیون میشن.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *