Menu

روش سرعت داده به ETL جداول بزرگ

فروردین ۸, ۱۳۹۷ - خاطرات کاری, محمد حسین ابراهیم زاده

یکی از بزرگترین دغدغه‌های ETL اینه که بتونی یک جدول خیلی خیلی بزرگ رو هر چه سریع تر منتقل کنی. دیدم همکارا یک راه زیبا برای اسن کار دارن. که البته لازمش سخت افزار قویه که بتونه به صورت موازی کار کنه.

جدول منظور رو به ۴ قسمت تقسیم کردن. مثلا آی دیش رو تقسیم بر ۴ کردن و در هر بار مثلا باقیمانده ۱ ها رو گرفتن که میشه آی دی ۱ و ۵ و ۹ و … . به همین ترتیب جدول اصلا به ۴ تا جدول تقسیم شده که به صورت موازی لود میشن و بعد از اون با هم یونیون میشن.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

Time limit is exhausted. Please reload CAPTCHA.