ನಾನು ನಿಮ್ಮ ಸಿಸ್ಟಮ್‌ಗಳ ನಡುವೆ ಡೇಟಾವನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಸರಿಸುವ ETL ಡೇಟಾ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ನಿರ್ಮಿಸುತ್ತೇನೆ

ಇದು ಏನು

ನೀವು ಈಗಾಗಲೇ ಚಲಾಯಿಸುತ್ತಿರುವ ಸಿಸ್ಟಮ್‌ಗಳ ನಡುವೆ ವಿಶ್ವಾಸಾರ್ಹ ಪೈಪ್‌ಲೈನ್: ಡೇಟಾಬೇಸ್‌ನಿಂದ ಗೋದಾಮಿಗೆ, CRM ನಿಂದ ವರದಿ ಮಾಡುವಿಕೆಗೆ, API ನಿಂದ ಸ್ಪ್ರೆಡ್‌ಶೀಟ್‌ಗೆ, ಅಥವಾ ಈ ಮೂರೂ. ಕೆಲಸವು ಸಂತೋಷದ ಮಾರ್ಗವಲ್ಲ - ಪ್ರತಿ ಉಪಕರಣವು ಒಮ್ಮೆ ಸಾಲುಗಳನ್ನು ನಕಲಿಸಬಹುದು. ಟೋಕನ್ ಬೆಳಿಗ್ಗೆ 2 ಗಂಟೆಗೆ ಅವಧಿ ಮೀರಿದಾಗ, ಮೂಲವು ಶೂನ್ಯ ಕಾಲಮ್ ಅನ್ನು ಸೇರಿಸಿದಾಗ, ಅಥವಾ ಬ್ಯಾಚ್‌ನ ಮಧ್ಯದಲ್ಲಿ ನೆಟ್‌ವರ್ಕ್ ಡ್ರಾಪ್ ಆದಾಗ ನಲವತ್ತನೇ ದಿನ ಏನಾಗುತ್ತದೆ ಎಂಬುದು ಕೆಲಸ.

ನಾನು ಅದನ್ನು ಹೇಗೆ ನಿರ್ಮಿಸುತ್ತೇನೆ

ಹೊರತೆಗೆಯುವಿಕೆ, ಲೋಡ್ ಮತ್ತು ರೂಪಾಂತರವು ಪ್ರತ್ಯೇಕ ಹಂತಗಳಾಗಿವೆ, ಏಕೆಂದರೆ ಅವು ವಿಭಿನ್ನ ಕಾರಣಗಳಿಗಾಗಿ ವಿಫಲಗೊಳ್ಳುತ್ತವೆ ಮತ್ತು ವಿಭಿನ್ನವಾಗಿ ಮರುಪ್ರಯತ್ನಿಸಬೇಕು. ಹೊರತೆಗೆಯುವಿಕೆಯು ಕರ್ಸರ್ ಅಥವಾ ವಾಟರ್‌ಮಾರ್ಕ್ ಅನ್ನು ದಾಖಲಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಮರುಪ್ರಾರಂಭವು ನಕಲು ಮಾಡುವ ಬದಲು ಪುನರಾರಂಭಗೊಳ್ಳುತ್ತದೆ. ಪ್ರತಿ ಬ್ಯಾಚ್‌ಗೆ ವಹಿವಾಟಿನೊಳಗೆ ಲೋಡಿಂಗ್ ನಡೆಯುತ್ತದೆ, ಆದ್ದರಿಂದ ಕ್ರ್ಯಾಶ್ ಗಮ್ಯಸ್ಥಾನವನ್ನು ಅರ್ಧ-ಬರೆದ ಬದಲು ಸ್ಥಿರವಾಗಿ ಬಿಡುತ್ತದೆ. ರೂಪಾಂತರವು ಆವೃತ್ತಿಯ SQL ಅಥವಾ ಪೈಥಾನ್‌ನಲ್ಲಿ ವಾಸಿಸುತ್ತದೆ, ಯಾರೂ ಆರು ತಿಂಗಳ ನಂತರ ಅದನ್ನು ಓದಲು ಸಾಧ್ಯವಾಗದ ದೃಶ್ಯ ಬಿಲ್ಡರ್‌ನಲ್ಲಿ ಅಲ್ಲ.

ಪ್ರತಿ ರನ್ ಒಂದು ಮ್ಯಾನಿಫೆಸ್ಟ್ ಅನ್ನು ಬರೆಯುತ್ತದೆ: ಓದಿದ ಸಾಲುಗಳು, ಬರೆದ ಸಾಲುಗಳು, ತಿರಸ್ಕರಿಸಿದ ಸಾಲುಗಳು ಮತ್ತು ಪ್ರತಿ ತಿರಸ್ಕರಣೆಗೆ ಕಾರಣ. ನೈಸರ್ಗಿಕ ಕೀ ಜೊತೆಗೆ ಹ್ಯಾಶ್‌ನೊಂದಿಗೆ ಐಡೆಂಪೊಟೆನ್ಸಿಯನ್ನು ಜಾರಿಗೊಳಿಸಲಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ ನಿನ್ನೆಯ ಕೆಲಸವನ್ನು ಮರು-ಚಲಾಯಿಸುವುದು ಹಾನಿಕರವಲ್ಲ. ಸ್ಕೀಮಾ ಬದಲಾವಣೆಗಳನ್ನು ಲೋಡ್ ಅನ್ನು ಮುರಿಯುವ ಮೊದಲು ಪತ್ತೆ ಮಾಡಲಾಗುತ್ತದೆ, ಮತ್ತು ಅವು ಮೌನವಾಗಿ ವಿಫಲಗೊಳ್ಳುವ ಬದಲು ಎಚ್ಚರಿಸುತ್ತವೆ.

ನೀವು ಏನು ಪಡೆಯುತ್ತೀರಿ

• ನಿಮ್ಮ ರೆಪೊಸಿಟರಿಯಲ್ಲಿ ಪೈಪ್‌ಲೈನ್ ಕೋಡ್, ನೈಜ ಡೇಟಾದ ಮಾದರಿಯ ವಿರುದ್ಧ ಪರೀಕ್ಷೆಗಳೊಂದಿಗೆ.
• ಒಂದು ವೇಳಾಪಟ್ಟಿ: ಕ್ರೋನ್, ಸಿಸ್ಟಮ್‌ಡಿ ಟೈಮರ್, ಏರ್‌ಫ್ಲೋ ಅಥವಾ ಪ್ರಿಫೆಕ್ಟ್ ನಿಮ್ಮ ಸ್ಟಾಕ್ ಅನ್ನು ಅವಲಂಬಿಸಿ.
• ಸಾಲುಗಳ ಎಣಿಕೆಗಳು, ವೈಫಲ್ಯಗಳು ಮತ್ತು ಲೇಟೆನ್ಸಿ ಡ್ರಿಫ್ಟ್‌ಗಳ ಮೇಲೆ ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ಎಚ್ಚರಿಕೆ.
• ಮರುಪ್ಲೇ, ಬ್ಯಾಕ್‌ಫಿಲ್ ಮತ್ತು ಹೊಸ ಮೂಲವನ್ನು ಹೇಗೆ ಸೇರಿಸುವುದು ಎಂಬುದನ್ನು ಒಳಗೊಂಡ ರನ್‌ಬುಕ್.

ನನಗೆ ನಿಮ್ಮಿಂದ ಬೇಕಾಗಿರುವುದು

ಓದುವ ರುಜುವಾತುಗಳೊಂದಿಗೆ ಮೂಲ ಮತ್ತು ಗಮ್ಯಸ್ಥಾನ ವ್ಯವಸ್ಥೆಗಳು, ಡೇಟಾದ ಒಂದು ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಉದಾಹರಣೆ, ಮತ್ತು ಪ್ರಭಾವಶಾಲಿಯಾಗಿ ಕಾಣುವ ವೇಳಾಪಟ್ಟಿಯ ಬದಲು ನಿಮಗೆ ನಿಜವಾಗಿ ಅಗತ್ಯವಿರುವ ವೇಳಾಪಟ್ಟಿ.

ತಿರುವು ಮತ್ತು ಸಂವಹನ

ಮೊದಲ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಪೈಪ್‌ಲೈನ್ ಸಾಮಾನ್ಯವಾಗಿ ಐದು ದಿನಗಳಲ್ಲಿ, ಉತ್ಪಾದನೆಯನ್ನು ಸ್ಪರ್ಶಿಸುವ ಮೊದಲು ನೀವು ಪರಿಶೀಲಿಸಬಹುದಾದ ಸ್ಟೇಜಿಂಗ್ ರನ್‌ನೊಂದಿಗೆ. ನಾನು ಸಭೆಗಳ ಸರಣಿಯ ಬದಲು ಪ್ರತಿ ಮೈಲಿಗಲ್ಲಿನಲ್ಲಿ ಸಣ್ಣ ಲಿಖಿತ ನವೀಕರಣವನ್ನು ಕಳುಹಿಸುತ್ತೇನೆ, ಮತ್ತು ನಿಮ್ಮ ಡೇಟಾವನ್ನು ಪರಿಣಾಮ ಬೀರುವ ಪ್ರತಿಯೊಂದು ನಿರ್ಧಾರ - ಧಾರಣ, ಬ್ಯಾಕ್‌ಫಿಲ್ ವಿಂಡೋ, ತಿರಸ್ಕರಿಸಿದ ಸಾಲುಗಳಿಗೆ ಏನಾಗುತ್ತದೆ - ನೀವು ನಂತರ ಅದನ್ನು ಹುಡುಕಬಹುದಾದಲ್ಲಿ ಬರೆಯಲಾಗುತ್ತದೆ. ಲಭ್ಯವಿರುವ ಸಮಯದಲ್ಲಿ ಏನನ್ನಾದರೂ ವಿಶ್ವಾಸಾರ್ಹವಾಗಿಸಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೆ, ಪ್ರಾರಂಭದಲ್ಲಿ ಅದನ್ನು ಕಂಡುಹಿಡಿಯುವ ಬದಲು ಯೋಜನೆಯನ್ನು ಬದಲಾಯಿಸಲು ಸಾಕಷ್ಟು ಮುಂಚಿತವಾಗಿ ನೀವು ಅದನ್ನು ಕೇಳುತ್ತೀರಿ.