আমি অ্যান্টি-বট হ্যান্ডলিং এবং পরিষ্কার CSV বা JSON আউটপুট সহ একটি পাইথন বা Node.js ওয়েব স্ক্র্যাপার তৈরি করব

SCRAPEHUB — ওয়েব স্ক্র্যাপার যা আসলে ডেটা বের করে

পাইথন বা Node.js-এ তৈরি প্রোডাকশন-গ্রেড ওয়েব স্ক্র্যাপার — বাস্তব-বিশ্বের সাইটগুলি পরিচালনা করার জন্য ডিজাইন করা হয়েছে, কেবল পরিপাটি HTML ডেমো নয়। লক্ষ্যটি একটি পণ্য ক্যাটালগ, একটি ডিরেক্টরি, একটি মার্কেটপ্লেস, বা একটি JS-ভারী একক-পৃষ্ঠার অ্যাপ হোক না কেন, SCRAPEHUB CSV, JSON, বা সরাসরি আপনার ডেটাবেসে পরিষ্কার কাঠামোগত ডেটা সরবরাহ করে।

যা তৈরি করা হয়:

· একক-পৃষ্ঠা নিষ্কাশন — আপনার স্পেক-এর সাথে ম্যাপ করা ক্ষেত্রগুলি সহ একটি URL থেকে কাঠামোগত ডেটা টানুন

· বহু-পৃষ্ঠা ক্রল — পৃষ্ঠা সংখ্যা, বিভাগ অতিক্রম, সাইটম্যাপ-চালিত আবিষ্কার

· জাভাস্ক্রিপ্ট-রেন্ডার করা পৃষ্ঠাগুলি — SPA এবং গতিশীল বিষয়বস্তুর জন্য Puppeteer, Playwright, অথবা Selenium

· লগইন-গেটেড বিষয়বস্তু — সেশন হ্যান্ডলিং, কুকি ব্যবস্থাপনা, ফর্ম জমা দেওয়া

· অ্যান্টি-বট হ্যান্ডলিং — ঘূর্ণায়মান ব্যবহারকারী এজেন্ট, প্রক্সি ঘূর্ণন, অনুরোধ থ্রটলিং, হেডার স্পুফিং

· CAPTCHA-সচেতন প্রবাহ — যেখানে প্রয়োজন সেখানে ম্যানুয়াল-সমাধান ইন্টিগ্রেশন, অথবা তৃতীয় পক্ষের সমাধানকারী API

· রেট-সীমা সম্মতি — ক্রল-বিলম্ব সম্মান, 429/503-এ ব্যাকঅফ, সমান্তরালতা টিউনিং

· ডেটা পরিষ্কার করা — ডিডুপ্লিকেশন, স্বাভাবিকীকরণ, ক্ষেত্র ম্যাপিং, তারিখ এবং মূল্য পার্সিং

· আউটপুট ফরম্যাট — CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, Airtable

· নির্ধারিত রান — ক্রন জব, GitHub Actions, অথবা পুনরাবৃত্ত স্ক্র্যাপের জন্য ক্লাউড ফাংশন

· পরিবর্তন সনাক্তকরণ — রানগুলির মধ্যে নতুন, আপডেট করা, অথবা সরানো রেকর্ডগুলি ফ্ল্যাগ করুন

· ত্রুটি লগিং — কাঠামোগত লগ, রিট্রাই কিউ, ডেড-লেটার হ্যান্ডলিং

SCRAPEHUB-কে কী আলাদা করে তোলে:

বেশিরভাগ স্ক্র্যাপার একটি ডেমোতে কাজ করে এবং একটি সাইট তার DOM আপডেট করলে, একটি ব্যবহারকারী এজেন্ট ব্লক করলে, অথবা Cloudflare যোগ করলে ভেঙে যায়। SCRAPEHUB বিশৃঙ্খল বাস্তব বিশ্বের জন্য তৈরি করে — স্থিতিস্থাপক নির্বাচক, রিট্রাই লজিক, প্রক্সি ফলব্যাক, কাঠামোগত লগিং, এবং স্পষ্ট ব্যর্থতার মোড যাতে আপনি সর্বদা জানেন কী ঘটেছে।

সাইটগুলি খুব কমই পরিষ্কারভাবে ভেঙে যায়। একটি নির্বাচক পরিবর্তিত হয়, একটি ক্ষেত্র অদৃশ্য হয়ে যায়, একটি পৃষ্ঠা ডেটার পরিবর্তে 403 ফেরত দেয়। SCRAPEHUB এই ক্ষেত্রেগুলি স্পষ্টভাবে পরিচালনা করে — কোন রেকর্ডগুলি ব্যর্থ হয়েছে এবং কেন, তা লগ করে, নীরবে খালি সারি ফেরত না দিয়ে।

ব্যবহৃত প্রযুক্তি স্ট্যাক:

· ভাষা: Python (BeautifulSoup, Scrapy, Playwright, Selenium, Requests), Node.js (Puppeteer, Cheerio, Playwright, Axios)

· অ্যান্টি-বট: ঘূর্ণায়মান প্রক্সি, User-Agent ঘূর্ণন, হেডলেস ব্রাউজার ফিঙ্গারপ্রিন্টিং

· স্টোরেজ: CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite, Airtable

· সময়সূচী: cron, GitHub Actions, AWS Lambda, Vercel Cron, Railway

· ইনফ্রা: Docker, VPS (Hetzner, DigitalOcean), AWS, Render

পরীক্ষা ও QA কভারেজ:

প্রতিটি স্ক্র্যাপার একটি ছোট নমুনার উপর একটি ড্রাই-রান সহ পাঠানো হয়, তারপর সাফল্য/ব্যর্থতার সারাংশ সহ একটি সম্পূর্ণ রান। আউটপুট প্রত্যাশিত স্কিমার বিরুদ্ধে যাচাই করা হয় — অনুপস্থিত ক্ষেত্র, সদৃশ সারি, এবং পার্স ত্রুটিগুলি বিতরণের আগে ফ্ল্যাগ করা হয়।

মালিকানা ও NDA:

চূড়ান্ত বিতরণে সম্পূর্ণ সোর্স কোড এবং স্ক্র্যাপার শংসাপত্র ক্রেতার কাছে স্থানান্তরিত হয়। সংবেদনশীল বা প্রতিযোগিতামূলক ডেটা সংগ্রহ জড়িত প্রকল্পগুলির জন্য অনুরোধে NDA উপলব্ধ।

ডেলিভারি সময়রেখা:

বেসিক: 2–3 দিন · স্ট্যান্ডার্ড: 5–7 দিন · প্রিমিয়াম: 10 দিন

শুরু করার জন্য ক্রেতার কাছ থেকে যা প্রয়োজন:

1. স্ক্র্যাপ করার জন্য টার্গেট URL(গুলি) বা সাইট(গুলি)

2. আপনার প্রয়োজনীয় সঠিক ক্ষেত্রগুলি নিষ্কাশন করা দরকার — নাম, দাম, URL, ছবি ইত্যাদি।

3. কাঙ্ক্ষিত আউটপুট বিন্যাস — CSV, JSON, Google Sheets, ডেটাবেস

4. এটি এককালীন স্ক্র্যাপ নাকি একটি পুনরাবৃত্ত রান

চলুন এটি তৈরি করি।

টার্গেট সাইট এবং ক্ষেত্রগুলি পাঠান, এবং একটি কার্যকরী স্ক্র্যাপার প্রিভিউ 48 ঘন্টার মধ্যে পাঠানো হবে — কোনো অগ্রিম অর্থপ্রদান নেই, কোনো ঝুঁকি নেই। কোনো অর্থপ্রদান বকেয়া হওয়ার আগে আপনি আপনার টার্গেট সাইট থেকে নিষ্কাশিত আসল ডেটা দেখতে পাবেন।