روش سرعت داده به ETL جداول بزرگ

Categories

یکی از بزرگترین دغدغه‌های ETL اینه که بتونی یک جدول خیلی خیلی بزرگ رو هر چه سریع تر منتقل کنی. دیدم همکارا یک راه زیبا برای اسن کار دارن. که البته لازمش سخت افزار قویه که بتونه به صورت موازی کار کنه.

جدول منظور رو به ۴ قسمت تقسیم کردن. مثلا آی دیش رو تقسیم بر ۴ کردن و در هر بار مثلا باقیمانده ۱ ها رو گرفتن که میشه آی دی ۱ و ۵ و ۹ و … . به همین ترتیب جدول اصلا به ۴ تا جدول تقسیم شده که به صورت موازی لود میشن و بعد از اون با هم یونیون میشن.

Leave a comment

Your email address will not be published. Required fields are marked *


The reCAPTCHA verification period has expired. Please reload the page.