Python သို့မဟုတ် Node.js တွင် စိတ်ကြိုက်ဝဘ်စကရက်ပါများ — ဆိုက်တစ်ခုတည်း၊ စာမျက်နှာများစွာ တွားသွားခြင်း၊ JS-အလေးချိန်များသော စာမျက်နှာများ၊ anti-bot ကိုင်တွယ်မှုနှင့် သန့်ရှင်းသော CSV/JSON/DB အထွက်။ 2–10 ရက်အတွင်း ပေးပို့သည်။
ကျွန်ုပ်သည် Python သို့မဟုတ် Node.js ဝဘ်စကရက်ပါကို anti-bot ကိုင်တွယ်မှုနှင့် သန့်ရှင်းသော CSV သို့မဟုတ် JSON အထွက်ဖြင့် တည်ဆောက်ပါမည်။
သန့်ရှင်းသော CSV သို့မဟုတ် JSON အထွက်ပါရှိသော ဆိုက်တစ်ခုတည်း၊ စာမျက်နှာတစ်ခုတည်း စကရက်ပါ။
- ရင်းမြစ်ကုဒ်အပြည့်အစုံ + စနစ်ထည့်သွင်းခြင်း
- ပစ်မှတ် URL တစ်ခုကို ခြစ်ထုတ်ထားသည်
- ပစ္စည်းတစ်ခုလျှင် အများဆုံး 10 အကွက်များကို ထုတ်ယူထားသည်
- Static HTML ခွဲခြမ်းစိတ်ဖြာခြင်း (JS rendering မရှိပါ)
- CSV သို့မဟုတ် JSON အထွက်
- ထပ်နေခြင်းကို ဖယ်ရှားခြင်း + အကွက်ပုံမှန်ဖြစ်အောင် ပြုလုပ်ခြင်း
- အခြေခံ အမှားကိုင်တွယ်မှုနှင့် မှတ်တမ်းတင်ခြင်း
- README
စာမျက်နှာခွဲခြင်း၊ JS rendering နှင့် anti-bot ကိုင်တွယ်မှုတို့ပါရှိသော စာမျက်နှာများစွာ တွားသွားခြင်း။
- ရင်းမြစ်ကုဒ်အပြည့်အစုံ + စနစ်ထည့်သွင်းခြင်း
- ပစ်မှတ် URL တစ်ခုကို ခြစ်ထုတ်ထားသည်
- Static HTML ခွဲခြမ်းစိတ်ဖြာခြင်း (JS rendering မရှိပါ)
- ထပ်နေခြင်းကို ဖယ်ရှားခြင်း + အကွက်ပုံမှန်ဖြစ်အောင် ပြုလုပ်ခြင်း
- အခြေခံ အမှားကိုင်တွယ်မှုနှင့် မှတ်တမ်းတင်ခြင်း
- README
- ဖွဲ့စည်းထားသော အမှားမှတ်တမ်း + ပြန်လည်ကြိုးစားရန် တန်းစီခြင်း
- စာမျက်နှာခွဲခြင်း ပံ့ပိုးမှုပါရှိသော စာမျက်နှာများစွာ တွားသွားခြင်း
- JavaScript-rendered စာမျက်နှာများ (Puppeteer သို့မဟုတ် Playwright)
- Anti-bot ကိုင်တွယ်မှု — UA လှည့်ခြင်း၊ ခေါင်းစီးများ၊ တောင်းဆိုမှု နှေးကွေးခြင်း
- Proxy လှည့်ခြင်း ပံ့ပိုးမှု
- 429/503 တွင် နောက်ပြန်ဆုတ်ခြင်းဖြင့် နှုန်းကန့်သတ်ချက် လိုက်နာမှု
- ပစ္စည်းတစ်ခုလျှင် အများဆုံး 25 အကွက်
- အကန့်အသတ်မရှိ မှတ်တမ်းများ
- CSV၊ JSON သို့မဟုတ် Google Sheets သို့ ထုတ်ပေးခြင်း
အချိန်ဇယားဆွဲခြင်း၊ ဒေတာဘေ့စ်အထွက်၊ စောင့်ကြည့်ခြင်းနှင့် ဒက်ရှ်ဘုတ်တို့ပါရှိသော ဒေတာပိုက်လိုင်းအပြည့်အစုံ။
- ရင်းမြစ်ကုဒ်အပြည့်အစုံ + စနစ်ထည့်သွင်းခြင်း
- ပစ်မှတ် URL တစ်ခုကို ခြစ်ထုတ်ထားသည်
- Static HTML ခွဲခြမ်းစိတ်ဖြာခြင်း (JS rendering မရှိပါ)
- ထပ်နေခြင်းကို ဖယ်ရှားခြင်း + အကွက်ပုံမှန်ဖြစ်အောင် ပြုလုပ်ခြင်း
- အခြေခံ အမှားကိုင်တွယ်မှုနှင့် မှတ်တမ်းတင်ခြင်း
- README
- ဖွဲ့စည်းထားသော အမှားမှတ်တမ်း + ပြန်လည်ကြိုးစားရန် တန်းစီခြင်း
- စာမျက်နှာခွဲခြင်း ပံ့ပိုးမှုပါရှိသော စာမျက်နှာများစွာ တွားသွားခြင်း
- JavaScript-rendered စာမျက်နှာများ (Puppeteer သို့မဟုတ် Playwright)
- Anti-bot ကိုင်တွယ်မှု — UA လှည့်ခြင်း၊ ခေါင်းစီးများ၊ တောင်းဆိုမှု နှေးကွေးခြင်း
- Proxy လှည့်ခြင်း ပံ့ပိုးမှု
- 429/503 တွင် နောက်ပြန်ဆုတ်ခြင်းဖြင့် နှုန်းကန့်သတ်ချက် လိုက်နာမှု
- ပစ္စည်းတစ်ခုလျှင် အများဆုံး 25 အကွက်
- အကန့်အသတ်မရှိ မှတ်တမ်းများ
- CSV၊ JSON သို့မဟုတ် Google Sheets သို့ ထုတ်ပေးခြင်း
- ဦးစားပေး ပေးပို့မှုနေရာ
- အကန့်အသတ်မရှိ အကွက်များ + စိတ်ကြိုက် schema မြေပုံဆွဲခြင်း
- ဒေတာဘေ့စ်အထွက် — PostgreSQL၊ MySQL၊ MongoDB သို့မဟုတ် SQLite
- အချိန်ဇယားဆွဲထားသော လုပ်ဆောင်မှုများ — cron၊ GitHub Actions၊ AWS Lambda သို့မဟုတ် Vercel
- လုပ်ဆောင်မှုများကြား Cron ပြောင်းလဲမှု ထောက်လှမ်းခြင်း (အသစ် / အပ်ဒိတ်လုပ်ထားသော / ဖယ်ရှားထားသော မှတ်တမ်းများ)
- ဝင်ရောက်မှု-ကန့်သတ်ထားသော အကြောင်းအရာ ပံ့ပိုးမှု (session ကိုင်တွယ်မှု၊ ဖောင်တင်သွင်းခြင်း)
- CAPTCHA-သိရှိသော စီးဆင်းမှု (လက်ဖြင့်ဖြေရှင်းခြင်း ပေါင်းစပ်မှု သို့မဟုတ် ပြင်ပအဖွဲ့အစည်း ဖြေရှင်းသူ)
- Docker-အခြေခံ ဖြန့်ကျက်မှု
- စောင့်ကြည့်ရေး ဒက်ရှ်ဘုတ် သို့မဟုတ် ချို့ယွင်းမှုဖြစ်ပါက Slack/အီးမေးလ် သတိပေးချက်များ
- ပိုက်လိုင်းအပြည့်အစုံ၏ Loom လမ်းညွှန်ချက်
- 30 ရက် ပို့ဆောင်ပြီးနောက် ပံ့ပိုးမှု
စိတ်ကြိုက်ကမ်းလှမ်းချက် တောင်းဆိုပါ
စိတ်ကြိုက်ကမ်းလှမ်းချက် တောင်းဆိုရန် ဝင်ရောက်ပါ
ဤ Zinner ထံမှ စိတ်ကြိုက်ကမ်းလှမ်းချက် တောင်းဆိုရန် အခမဲ့အကောင့်တစ်ခု ဖန်တီးပါ သို့မဟုတ် ဝင်ရောက်ပါ။
ဝင်ရောက်ရန် / မှတ်ပုံတင်ရန်ရောင်းချမှုမတိုင်မီ မေးခွန်းမေးပါ
မေးခွန်းမေးရန် ဝင်ရောက်ပါ
ပလက်ဖောင်းပေါ်ရှိ spam များကို လျှော့ချရန်အတွက် ရောင်းချမှုမတိုင်မီ မက်ဆေ့ချ်များကို ဝင်ရောက်ထားသော အသုံးပြုသူများသာ ပေးပို့နိုင်ပါသည်။
ဤ Zinner ကို တိုက်ရိုက်မက်ဆေ့ချ်ပို့ရန် အခမဲ့အကောင့်တစ်ခု ဖန်တီးပါ သို့မဟုတ် ဝင်ရောက်ပါ။
ဝင်ရောက်ရန် / မှတ်ပုံတင်ရန်ဝင်ရောက်ရန် လိုအပ်သည်
Zinner ကို မက်ဆေ့ချ်ပို့ရန် အခမဲ့အကောင့်တစ်ခု ဖန်တီးပါ သို့မဟုတ် ဝင်ရောက်ပါ။
ဝင်ရောက်ရန် / မှတ်ပုံတင်ရန်ဝင်ရောက်ရန် လိုအပ်သည်
ကိုယ်ပိုင်ကမ်းလှမ်းချက်တစ်ခု တောင်းဆိုရန် အခမဲ့အကောင့်တစ်ခု ဖန်တီးပါ သို့မဟုတ် ဝင်ရောက်ပါ။
ဝင်ရောက်ရန် / မှတ်ပုံတင်ရန်အကျဉ်းချုပ်
သင့်ဆုံးဖြတ်ချက်ချရာတွင် အထောက်အကူဖြစ်စေရန် ဤဝန်ဆောင်မှုနှင့်ပတ်သက်သော အဓိကအချက်အလက်များ။ Zinn Hub မှ ထုတ်ပေးသည်၊ ရောင်းသူမှ မဟုတ်ပါ။
တန်ဖိုးနေရာ
နည်းပညာ Stack
Anti-Bot ကိုင်တွယ်ခြင်း
အထွက်ပုံစံများ
အချိန်ဇယားဆွဲခြင်းနှင့် စောင့်ကြည့်ခြင်း
သင်ရရှိမည့်အရာ
အပြည့်အစုံဖော်ပြချက်
SCRAPEHUB — ဒေတာကို အမှန်တကယ် ထုတ်ယူပေးသော ဝဘ်စကရက်ပါများ
Python သို့မဟုတ် Node.js တွင် တည်ဆောက်ထားသော ထုတ်လုပ်မှုအဆင့် ဝဘ်စကရက်ပါများ — သပ်ရပ်သော HTML demo များသာမက လက်တွေ့ကမ္ဘာရှိ ဆိုက်များကို ကိုင်တွယ်ရန် ဒီဇိုင်းထုတ်ထားသည်။ ပစ်မှတ်သည် ထုတ်ကုန်ကတ်တလောက်၊ လမ်းညွှန်၊ စျေးကွက် သို့မဟုတ် JS-အလေးချိန်များသော single-page အက်ပ်ဖြစ်စေ SCRAPEHUB သည် သန့်ရှင်းသော ဖွဲ့စည်းထားသော ဒေတာကို CSV၊ JSON သို့မဟုတ် သင်၏ဒေတာဘေ့စ်သို့ တိုက်ရိုက်ပေးပို့သည်။
ဘာတွေတည်ဆောက်ထားလဲ-
· စာမျက်နှာတစ်ခုတည်းမှ ထုတ်ယူခြင်း — သင်၏ သတ်မှတ်ချက်နှင့် ကိုက်ညီသော အကွက်များဖြင့် ဖွဲ့စည်းထားသော ဒေတာများကို URL တစ်ခုမှ ရယူခြင်း
· စာမျက်နှာများစွာကို တွားသွားခြင်း — စာမျက်နှာခွဲခြင်း၊ အမျိုးအစားများ ဖြတ်သန်းခြင်း၊ sitemap-driven ရှာဖွေတွေ့ရှိမှု
· JavaScript-rendered စာမျက်နှာများ — SPAs နှင့် dynamic content များအတွက် Puppeteer, Playwright, သို့မဟုတ် Selenium
· Login-gated content — session ကို ကိုင်တွယ်ခြင်း၊ cookie စီမံခန့်ခွဲခြင်း၊ form တင်သွင်းခြင်း
· Anti-bot ကို ကိုင်တွယ်ခြင်း — user agent များ လှည့်ပတ်ခြင်း၊ proxy လှည့်ပတ်ခြင်း၊ request throttling၊ header spoofing
· CAPTCHA-aware flows — လိုအပ်ပါက manual-solve ပေါင်းစပ်ခြင်း၊ သို့မဟုတ် third-party solver APIs
· Rate-limit လိုက်နာခြင်း — crawl-delay ကို လေးစားခြင်း၊ 429/503 တွင် backoff၊ concurrency tuning
· ဒေတာ သန့်ရှင်းရေး — deduplication၊ normalization၊ field mapping၊ date နှင့် price parsing
· Output ပုံစံများ — CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, Airtable
· အချိန်ဇယားဖြင့် လုပ်ဆောင်ခြင်း — cron jobs, GitHub Actions, သို့မဟုတ် cloud functions များဖြင့် ထပ်ခါတလဲလဲ scrape လုပ်ခြင်း
· ပြောင်းလဲမှု ထောက်လှမ်းခြင်း — လုပ်ဆောင်မှုများကြားတွင် အသစ်၊ အပ်ဒိတ်လုပ်ထားသော သို့မဟုတ် ဖယ်ရှားထားသော မှတ်တမ်းများကို အလံပြခြင်း
· အမှား မှတ်တမ်းတင်ခြင်း — ဖွဲ့စည်းထားသော မှတ်တမ်းများ၊ retry queues၊ dead-letter ကို ကိုင်တွယ်ခြင်း
SCRAPEHUB ကို ဘာက ကွဲပြားစေသလဲ-
Scraper အများစုသည် demo တွင် အလုပ်လုပ်ပြီး site က ၎င်း၏ DOM ကို အပ်ဒိတ်လုပ်ခြင်း၊ user agent ကို ပိတ်ဆို့ခြင်း သို့မဟုတ် Cloudflare ထည့်သွင်းလိုက်သည်နှင့် ချက်ချင်း ပျက်စီးသွားသည်။ SCRAPEHUB သည် ရှုပ်ထွေးသော လက်တွေ့ကမ္ဘာအတွက် တည်ဆောက်ထားသည် — ခံနိုင်ရည်ရှိသော selectors များ၊ retry logic၊ proxy fallback၊ ဖွဲ့စည်းထားသော မှတ်တမ်းတင်ခြင်းနှင့် ရှင်းလင်းသော ပျက်ကွက်မှုပုံစံများဖြင့် သင် ဘာဖြစ်ခဲ့သည်ကို အမြဲသိရှိနိုင်သည်။
ဆိုဒ်များသည် သန့်ရှင်းစွာ ပျက်စီးခဲသည်။ selector တစ်ခု ပြောင်းလဲသွားခြင်း၊ field တစ်ခု ပျောက်ကွယ်သွားခြင်း၊ စာမျက်နှာတစ်ခုက ဒေတာအစား 403 ကို ပြန်ပေးခြင်း။ SCRAPEHUB သည် ထိုကိစ္စများကို ရှင်းရှင်းလင်းလင်း ကိုင်တွယ်သည် — မည်သည့်မှတ်တမ်းများ ပျက်ကွက်ခဲ့သည်နှင့် အဘယ်ကြောင့်ဆိုသည်ကို မှတ်တမ်းတင်ခြင်း၊ အချည်းနှီးသော အတန်းများကို တိတ်တဆိတ် ပြန်ပေးခြင်းထက်။
အသုံးပြုထားသော နည်းပညာ stack-
· ဘာသာစကားများ- Python (BeautifulSoup, Scrapy, Playwright, Selenium, Requests), Node.js (Puppeteer, Cheerio, Playwright, Axios)
· Anti-bot: rotating proxies, User-Agent rotation, headless browser fingerprinting
· သိုလှောင်မှု- CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite, Airtable
· အချိန်ဇယား- cron, GitHub Actions, AWS Lambda, Vercel Cron, Railway
· အခြေခံအဆောက်အအုံ- Docker, VPS (Hetzner, DigitalOcean), AWS, Render
စမ်းသပ်ခြင်း & QA လွှမ်းခြုံမှု-
Scraper တိုင်းသည် နမူနာအသေးစားတစ်ခုပေါ်တွင် dry-run ဖြင့် စတင်ပြီးနောက် အောင်မြင်မှု/ပျက်ကွက်မှု အကျဉ်းချုပ်ဖြင့် အပြည့်အဝ လုပ်ဆောင်သည်။ ထုတ်လုပ်မှုကို မျှော်မှန်းထားသော schema နှင့် ကိုက်ညီမှုရှိမရှိ စစ်ဆေးသည် — ပျောက်ဆုံးနေသော fields များ၊ ထပ်နေသော အတန်းများနှင့် parse အမှားများကို ပေးပို့ခြင်းမပြုမီ အလံပြသည်။
ပိုင်ဆိုင်မှု & NDA-
နောက်ဆုံး ပေးပို့ပြီးပါက source code အပြည့်အစုံနှင့် scraper credentials များကို ဝယ်ယူသူထံ လွှဲပြောင်းပေးသည်။ အရေးကြီးသော သို့မဟုတ် ပြိုင်ဆိုင်မှုရှိသော ဒေတာစုဆောင်းမှု ပါဝင်သည့် ပရောဂျက်များအတွက် NDA ကို တောင်းဆိုနိုင်ပါသည်။
ပေးပို့ချိန်-
အခြေခံ- 2–3 ရက် · စံ- 5–7 ရက် · ပရီမီယံ- 10 ရက်
စတင်ရန် ဝယ်သူထံမှ လိုအပ်သည်များ-
1. scrape လုပ်ရန် ပစ်မှတ် URL(များ) သို့မဟုတ် site(များ)
2. သင် ထုတ်ယူရန် လိုအပ်သော အတိအကျ fields များ — အမည်များ၊ စျေးနှုန်းများ၊ URL များ၊ ပုံများ စသည်တို့။
3. လိုချင်သော output ပုံစံ — CSV, JSON, Google Sheets, database
4. ၎င်းသည် တစ်ကြိမ်တည်း scrape လုပ်ခြင်းလား သို့မဟုတ် ထပ်ခါတလဲလဲ လုပ်ဆောင်ခြင်းလား။
တည်ဆောက်ကြစို့။
ပစ်မှတ် site နှင့် fields များကို ပေးပို့ပါ၊ လုပ်ဆောင်နေသော scraper preview သည် 48 နာရီအတွင်း ရောက်ရှိလာမည် — ကြိုတင်ငွေပေးရန်မလို၊ အန္တရာယ်မရှိပါ။ မည်သည့်ငွေပေးချေမှုမပြုမီ သင်၏ပစ်မှတ် site မှ ထုတ်ယူထားသော တကယ့်ဒေတာများကို သင် မြင်တွေ့ရမည်။
Zinner အရည်အသွေး အာမခံချက်
တစ်ခုချင်းစီ Zinner သည် ပလက်ဖောင်းသို့ ပေါင်းစည်းမီ သုံးသပ်ခြင်းနှင့် အတည်ပြုခြင်းခံရသည်။
အားလုံးသော ဝန်ဆောင်မှုများသည် ကျွန်ုပ်တို့၏ အရည်အသွေး အာမခံ ကတိဖြင့် ကျောင်းဆောင်ထားသည်။
သင်၏ ငွေပေးချေမှုသည် သင် ပို့ဆောင်ထားသော အလုပ်ကို အတည်ပြုသည်အထိ ကာကွယ်ထားသည်။
ပက်ကေ့ချ်များ နှိုင်းယှဉ်ကြည့်ပါ
| အင်္ဂါရပ် | အခြေခံ | စံ | ပရီမီယံ |
|---|---|---|---|
| ပေးပို့ချိန် | 3 ရက် | 7 ရက် | 10 ရက် |
| ပြန်လည်ပြင်ဆင်မှုများ | 2 | 3 | 5 |
| Source code အပြည့်အစုံ + တပ်ဆင်မှု | ✓ | ✓ | ✓ |
| ပစ်မှတ် URL တစ်ခုကို scrape လုပ်ထားသည် | ✓ | ✓ | ✓ |
| ပစ္စည်းတစ်ခုလျှင် 10 fields အထိ ထုတ်ယူထားသည် | ✓ | ✕ | ✕ |
| Static HTML parsing (JS rendering မပါဝင်ပါ) | ✓ | ✓ | ✓ |
| CSV သို့မဟုတ် JSON output | ✓ | ✕ | ✕ |
| Deduplication + field normalization | ✓ | ✓ | ✓ |
| အခြေခံ အမှားကိုင်တွယ်မှုနှင့် မှတ်တမ်းတင်ခြင်း | ✓ | ✓ | ✓ |
| README | ✓ | ✓ | ✓ |
| ဖွဲ့စည်းထားသော အမှားမှတ်တမ်း + retry queue | ✕ | ✓ | ✓ |
| စာမျက်နှာခွဲခြင်း ပံ့ပိုးမှုဖြင့် စာမျက်နှာများစွာကို တွားသွားခြင်း | ✕ | ✓ | ✓ |
| JavaScript-rendered စာမျက်နှာများ (Puppeteer သို့မဟုတ် Playwright) | ✕ | ✓ | ✓ |
| Anti-bot ကို ကိုင်တွယ်ခြင်း — UA rotation, headers, request throttling | ✕ | ✓ | ✓ |
| Proxy rotation ပံ့ပိုးမှု | ✕ | ✓ | ✓ |
| 429/503 တွင် backoff ဖြင့် နှုန်းကန့်သတ်ချက် လိုက်နာမှု | ✕ | ✓ | ✓ |
| တစ်ပစ္စည်းလျှင် 25 အထိ အကွက်များ | ✕ | ✓ | ✓ |
| အကန့်အသတ်မရှိ မှတ်တမ်းများ | ✕ | ✓ | ✓ |
| CSV၊ JSON သို့မဟုတ် Google Sheets သို့ ထုတ်ပေးခြင်း | ✕ | ✓ | ✓ |
| ဦးစားပေး ပေးပို့မှုနေရာ | ✕ | ✕ | ✓ |
| အကန့်အသတ်မရှိ အကွက်များ + စိတ်ကြိုက် schema မြေပုံဆွဲခြင်း | ✕ | ✕ | ✓ |
| ဒေတာဘေ့စ် ထုတ်ပေးခြင်း — PostgreSQL၊ MySQL၊ MongoDB သို့မဟုတ် SQLite | ✕ | ✕ | ✓ |
| အချိန်ဇယားဖြင့် လုပ်ဆောင်ခြင်း — cron၊ GitHub Actions၊ AWS Lambda သို့မဟုတ် Vercel | ✕ | ✕ | ✓ |
| လုပ်ဆောင်မှုများကြား Cron ပြောင်းလဲမှု ထောက်လှမ်းခြင်း (အသစ် / အပ်ဒိတ်လုပ်ထားသော / ဖယ်ရှားထားသော မှတ်တမ်းများ) | ✕ | ✕ | ✓ |
| ဝင်ရောက်မှုဖြင့် ကန့်သတ်ထားသော အကြောင်းအရာ ပံ့ပိုးမှု (session ကိုင်တွယ်မှု၊ ဖောင်တင်သွင်းမှု) | ✕ | ✕ | ✓ |
| CAPTCHA-သိရှိသော စီးဆင်းမှု (လက်ဖြင့်ဖြေရှင်းခြင်း ပေါင်းစပ်မှု သို့မဟုတ် ပြင်ပအဖွဲ့အစည်း ဖြေရှင်းသူ) | ✕ | ✕ | ✓ |
| Docker-အခြေခံ ဖြန့်ကျက်မှု | ✕ | ✕ | ✓ |
| စောင့်ကြည့်ရေး ဒက်ရှ်ဘုတ် သို့မဟုတ် ချို့ယွင်းမှုဖြစ်ပါက Slack/အီးမေးလ် သတိပေးချက်များ | ✕ | ✕ | ✓ |
| ပြည့်စုံသော ပိုက်လိုင်း၏ Loom လမ်းညွှန်ချက် | ✕ | ✕ | ✓ |
| 30ရက် ပို့ဆောင်ပြီးနောက် ပံ့ပိုးမှု | ✕ | ✕ | ✓ |
အစုစု
ဤ Zinn နှင့် သက်ဆိုင်သည့် ရောင်းချသူ၏ လုပ်ငန်းဆောင်ရွက်မှု ဥပမာများ
SCRAPEHUB — ဝဘ်ခြစ်ထုတ်ခြင်း Script များ
Python နှင့် Node.js ဖြင့် တည်ဆောက်ထားသော ထုတ်လုပ်မှုအဆင့် ဝဘ်ခြစ်ထုတ်စက်များ — တစ်မျက်နှာ ထုတ်ယူခြင်း၊ စာမျက်နှာများစွာ တွားသွားခြင်း၊ JS-ပြသထားသော ဆိုက်များ၊ anti-bot ကိုင်တွယ်မှုနှင့် သန့်ရှင်းသော CSV၊ JSON သို့မဟုတ် ဒေတာဘေ့စ် ထုတ်ပေးခြင်း။ ခံနိုင်ရည်ရှိသော ရွေးချယ်မှုများ၊ ပြန်လည်ကြိုးစားခြင်း ယုတ္တိဗေဒနှင့် ဖွဲ့စည်းထားသော အမှားမှတ်တမ်းတင်ခြင်းတို့ဖြင့် အချိန်နှင့်တစ်ပြေးညီ ဒေတာထုတ်ယူခြင်း။
SCRAPEHUB — ပစ်မှတ်ဆိုက်မှ သန့်ရှင်းသောဒေတာသို့
အစမှအဆုံး ခြစ်ထုတ်ခြင်း ပိုက်လိုင်း — ပစ်မှတ် URL ကို ရယူခြင်း၊ လှည့်ပတ်နေသော အသုံးပြုသူ အေးဂျင့်များနှင့် ပရောက်စီ ပူးလ်များ၊ ရွေးချယ်မှု ခွဲခြမ်းစိတ်ဖြာခြင်း၊ ဒေတာ သန့်ရှင်းရေးနှင့် အတည်ပြုခြင်း၊ CSV၊ JSON သို့မဟုတ် PostgreSQL သို့ ထုတ်ပေးခြင်း။ ဖွဲ့စည်းထားသော မှတ်တမ်းများသည် တောင်းဆိုမှုတိုင်း၊ ပြန်လည်ကြိုးစားမှုနှင့် ပြီးစီးမှုကို ခြေရာခံသည်။
SCRAPEHUB — လက်တွေ့ကမ္ဘာ ဆိုက်များအတွက် တည်ဆောက်ထားသည်
429 backoff၊ 403 ပရောက်စီ လှည့်ပတ်မှု၊ နှုန်းကန့်သတ်ချက် လိုက်နာမှုနှင့် dead-letter queues တို့ဖြင့် ခံနိုင်ရည်ရှိသော ခြစ်ထုတ်စက်များ။ Cloudflare၊ throttling နှင့် တွားသွားနေစဉ် ချို့ယွင်းမှုများကို ဒေတာမဆုံးရှုံးဘဲ သို့မဟုတ် တိတ်ဆိတ်သော အမှားများမပြန်ဘဲ ရှင်သန်နိုင်ရန် တည်ဆောက်ထားသည်။ ထုတ်လုပ်မှု တွားသွားမှုများတွင် 99.6% အောင်မြင်မှုနှုန်း။
SCRAPEHUB — သန့်ရှင်းသော ထုတ်ပေးမှု ပုံစံများ
CSV၊ JSON၊ Excel၊ Google Sheets၊ PostgreSQL၊ MySQL၊ MongoDB၊ SQLite သို့မဟုတ် Airtable သို့ ဖွဲ့စည်းထားသော ထုတ်ပေးမှု။ လုပ်ဆောင်မှုတိုင်းတွင် ပုံတူပွားခြင်း၊ အကွက် ပုံမှန်ဖြစ်အောင် ပြုလုပ်ခြင်းနှင့် schema အတည်ပြုခြင်း — အချိန်နှင့်တစ်ပြေးညီ ထပ်တူပြုခြင်း၊ အချိန်ဇယားဖြင့် လုပ်ဆောင်ခြင်းနှင့် ပြောင်းလဲမှု ထောက်လှမ်းခြင်း။
SCRAPEHUB — အချိန်ဇယားဖြင့် လုပ်ဆောင်ခြင်းနှင့် စောင့်ကြည့်ခြင်း
cron၊ GitHub Actions၊ AWS Lambda သို့မဟုတ် Vercel Cron မှတစ်ဆင့် ထပ်တလဲလဲ ခြစ်ထုတ်ခြင်း။ ပြောင်းလဲမှု ထောက်လှမ်းခြင်းသည် လုပ်ဆောင်မှုများကြား အသစ်၊ အပ်ဒိတ်လုပ်ထားသော သို့မဟုတ် ဖယ်ရှားထားသော မှတ်တမ်းများကို အလံပြပြီး ချို့ယွင်းမှုဖြစ်ပါက Slack သို့မဟုတ် အီးမေးလ် သတိပေးချက်များဖြင့် မည်သည့်အရာမျှ တိတ်ဆိတ်စွာ မပျက်စီးစေရန်။ ပြည့်စုံသော ပိုက်လိုင်း ကျန်းမာရေး စောင့်ကြည့်ခြင်း။
SCRAPEHUB — ပြည့်စုံသော ခြစ်ထုတ်ခြင်း Stack
ပြည့်စုံသော ခြစ်ထုတ်ခြင်း ဗိသုကာ — BeautifulSoup၊ Scrapy၊ Cheerio၊ Playwright၊ Puppeteer နှင့် Selenium တို့ဖြင့် Python နှင့် Node.js; pandas နှင့် SQLAlchemy မှတစ်ဆင့် PostgreSQL၊ MongoDB၊ CSV သို့မဟုတ် JSON သို့ ဒေတာ ပိုက်လိုင်းများ; Docker၊ GitHub Actions နှင့် cloud cron ဖြင့် ဖြန့်ကျက်ထားသည်။
အပိုအချက်အလက်
နည်းပညာ Stack
ပါဝင်သောအရာများ
ကျွန်ုပ်၏ လုပ်ငန်းစဉ်
ဝန်ဆောင်မှု အသေးစိတ်
မကြေးမုံရဲ့ မေးခွန်းများ
များသောအားဖြင့် ဟုတ်ကဲ့ — လှည့်ပတ်နေသော ပရောက်စီများ၊ User-Agent အတုလုပ်ခြင်း၊ ထိန်းချုပ်ခြင်းနှင့် ခေါင်းမဲ့ဘရောက်ဆာ ရုပ်ထွက်တို့ဖြင့် ဖြစ်သည်။ အချို့သောဆိုက်များသည် အဆင့်မြင့်ဘော့ကာကွယ်မှု (Cloudflare Enterprise, Akamai, PerimeterX) ကို အသုံးပြုကြပြီး ၎င်းသည် ကုန်ကျစရိတ်ကို သိသိသာသာ မြင့်တက်စေသည်။ ကျွန်ုပ်သည် ပစ်မှတ်ကို အကဲဖြတ်ပြီး စံစျေးနှုန်းဖြင့် ဖြစ်နိုင်ခြေရှိမရှိ သို့မဟုတ် ပရီမီယံစျေးနှုန်းလိုအပ်ခြင်းရှိမရှိကို ကြိုတင်ပြောပြပါမည်။
အများပြည်သူဆိုင်ရာဒေတာများကို စကင်ဖတ်စစ်ဆေးခြင်းသည် တရားစီရင်ပိုင်ခွင့်အများစုတွင် ယေဘုယျအားဖြင့် တရားဝင်သော်လည်း ၎င်းသည် ဆိုက်၏စည်းကမ်းချက်များ၊ သင်စကင်ဖတ်စစ်ဆေးနေသည့်အရာနှင့် ဒေတာကို သင်မည်သို့အသုံးပြုသည်အပေါ် မူတည်သည်။ ကျွန်ုပ်သည် အများပြည်သူဆိုင်ရာစာမျက်နှာများကိုသာ စကင်ဖတ်စစ်ဆေးပါသည်။ ကျွန်ုပ်သည် ငွေပေးချေမှုစနစ်များကို ကျော်လွှားခြင်း၊ ကိုယ်ရေးကိုယ်တာဒေတာ (PII) ကို စကင်ဖတ်စစ်ဆေးခြင်း သို့မဟုတ် သင်၏ရေးသားခွင့်ပြုချက်နှင့် ဥပဒေရေးရာခွင့်ပြုချက်မရှိဘဲ ရှင်းလင်းပြတ်သားသော စကင်ဖတ်စစ်ဆေးမှုဆန့်ကျင်ရေးစည်းကမ်းချက်များကို ချိုးဖောက်ခြင်းမရှိပါ။
ဆိုက်များ အပ်ဒိတ်လုပ်သောအခါ ရွေးချယ်သူများ ပျက်စီးနိုင်သည်။ စကင်ဖတ်စစ်ဆေးသူသည် ဖွဲ့စည်းထားသော အမှားမှတ်တမ်းတင်ခြင်းဖြင့် ပေးပို့သောကြောင့် အကွက်တစ်ခု ထုတ်ယူခြင်းရပ်သွားပါက ချက်ချင်းသိရှိနိုင်မည်ဖြစ်သည်။ Standard နှင့် Premium တွင် ပျက်စီးမှုကို လျှော့ချပေးသည့် ခံနိုင်ရည်ရှိသော ပုံစံများ (အရန်ရွေးချယ်သူများ၊ သတိပေးချက်များ) ပါဝင်သည်။ ပို့ဆောင်ပြီးနောက် ပုံစံပြောင်းလဲမှုများကို 14 ရက် အခမဲ့ ပြင်ဆင်ပေးပါသည်။
ဟုတ်ကဲ့ — Puppeteer, Playwright, သို့မဟုတ် Selenium သည် SPAs, lazy-loaded content နှင့် infinite scroll တို့ကို ကိုင်တွယ်ပါသည်။ ၎င်းကို Standard နှင့် Premium ပက်ကေ့ဂျ်များတွင် ပါဝင်ပါသည်။ Basic သည် static HTML ကိုသာ အကျုံးဝင်ပါသည်။
ဟုတ်ကဲ့၊ သင်ပိုင်ဆိုင်သော သို့မဟုတ် ဝင်ရောက်ခွင့်ရှိသော အကောင့်များအတွက် ဖြစ်သည်။ Session ကိုင်တွယ်မှု၊ ကွတ်ကီးစီမံခန့်ခွဲမှုနှင့် ဖောင်တင်သွင်းမှုတို့ကို Premium တွင် ပါဝင်ပါသည်။ လုံခြုံသောနည်းလမ်းဖြင့် အထောက်အထားများကို ပေးပို့ပါ — ကျွန်ုပ်သည် ပရောဂျက်နယ်ပယ်ထက် ကျော်လွန်၍ ၎င်းတို့ကို ဘယ်တော့မှ သိမ်းဆည်းထားမည်မဟုတ်ပါ။
ရွေးချယ်စရာနှစ်ခု — ကျွန်ုပ်ရပ်ပြီး သင်ဖြေရှင်းသည့် လက်ဖြင့်ဖြေရှင်းခြင်း ပေါင်းစပ်မှု သို့မဟုတ် သင်၏ကုန်ကျစရိတ်ဖြင့် ပြင်ပအဖွဲ့အစည်း CAPTCHA ဖြေရှင်းသူ API (2Captcha, Anti-Captcha)။ Premium တွင် ပါဝင်ပြီး Standard အတွက် add-on အဖြစ် ရရှိနိုင်ပါသည်။
ဟုတ်ကဲ့ — Premium တွင် cron, GitHub Actions, AWS Lambda, သို့မဟုတ် Vercel Cron မှတစ်ဆင့် အချိန်ဇယားဆွဲထားသော လုပ်ဆောင်မှုများ ပါဝင်ပါသည်။ ကြိမ်နှုန်းသည် သင့်အပေါ် မူတည်သည် — နေ့စဉ်၊ အပတ်စဉ်၊ လစဉ် သို့မဟုတ် စိတ်ကြိုက်။ လုပ်ဆောင်မှုတိုင်းသည် ရလဒ်များကို မှတ်တမ်းတင်ပြီး ပျက်ကွက်ပါက သင့်အား သတိပေးနိုင်သည်။
နှုန်းကန့်သတ်ချက်ကို ကိုင်တွယ်ခြင်းကို ထည့်သွင်းထားသည် — တောင်းဆိုမှု ထိန်းချုပ်ခြင်း၊ 429/503 တုံ့ပြန်မှုများတွင် exponential backoff နှင့် ကန့်သတ်ချက်အောက်တွင် ရှိနေစေရန် concurrency tuning တို့ဖြစ်သည်။ Standard နှင့် Premium ပက်ကေ့ဂျ်များတွင် နှုန်းကန့်သတ်ချက် ယုတ္တိဗေဒ အပြည့်အစုံ ပါဝင်ပါသည်။
ဟုတ်ကဲ့ — PostgreSQL, MySQL, MongoDB, SQLite, သို့မဟုတ် Airtable တိုက်ရိုက်ထည့်သွင်းမှုများကို ပံ့ပိုးပေးပါသည်။ Premium တွင် ဒေတာဘေ့စ် အထွက်ပါဝင်ပြီး Standard သည် CSV, JSON နှင့် Google Sheets တို့ကို ပံ့ပိုးပေးပါသည်။
ခက်ခဲသော ကန့်သတ်ချက်မရှိပါ — ဆိုက်နှုန်းကန့်သတ်ချက်များနှင့် ပရောက်စီပူးလ်အရွယ်အစားပေါ် မူတည်သည်။ ကျွန်ုပ်သည် ရက်ပေါင်းများစွာ 100,000+ မှတ်တမ်းများကို ဆွဲထုတ်သည့် စကင်ဖတ်စစ်ဆေးသူများကို လုပ်ဆောင်ခဲ့ပါသည်။ အလွန်ကြီးမားသော တွားသွားမှုများအတွက်၊ ထောက်လှမ်းမှု ကန့်သတ်ချက်များအောက်တွင် ရှိနေစေရန် ပရောက်စီလှည့်ပတ်မှုနှင့် အချိန်ဇယားဆွဲခြင်းကို အကြံပြုပါမည်။
နောက်ဆုံးပေးပို့ပြီးပါက ဝယ်သူထံသို့ ပိုင်ဆိုင်မှုအပြည့်အစုံ လွှဲပြောင်းပေးပါသည်။ ရင်းမြစ်ကုဒ်၊ အထောက်အထားများ၊ ဖြန့်ကျက်မှုဖွဲ့စည်းပုံများနှင့် ခြစ်ထုတ်ထားသောဒေတာအားလုံးကို နောက်ဆုံးငွေပေးချေမှုနှင့်အတူ လွှဲပြောင်းပေးပါသည်။ လိုင်စင်ကန့်သတ်ချက်များမရှိပါ၊ ဆက်လက်ဖြစ်ပေါ်နေသောအခကြေးငွေများမရှိပါ၊ ရောင်းချသူကို ချုပ်ကိုင်ထားခြင်းမရှိပါ။
စကရက်ပါတိုင်းသည် ဦးစွာ နမူနာအနည်းငယ်ဖြင့် စတင်ပြီးနောက် အပြည့်အစုံလည်ပတ်ပါသည်။ ထုတ်လုပ်မှုကို မျှော်မှန်းထားသော စကီးမားနှင့်အညီ အတည်ပြုသည် — ပျောက်ဆုံးနေသော အကွက်များ၊ ထပ်နေသောအတန်းများနှင့် ပါစ်အမှားများကို ပေးပို့ခြင်းမပြုမီ အလံပြထားပါသည်။ အမှားမှတ်တမ်းနှင့် အောင်မြင်မှု/ကျရှုံးမှု အကျဉ်းချုပ်ကို ရရှိသောကြောင့် မည်သည့်အရာမှ ဖုံးကွယ်ထားခြင်းမရှိပါ။
ဟုတ်ကဲ့။ တောင်းဆိုပါက NDA ကို ရရှိနိုင်သည် — အရေးကြီးသော သို့မဟုတ် ပြိုင်ဆိုင်မှုရှိသော ဒေတာစုဆောင်းမှုပါဝင်သည့် ပရောဂျက်များအတွက် အကောင်းဆုံးဖြစ်သည်။ သင်၏ NDA ပုံစံကို မျှဝေပါ သို့မဟုတ် အပြန်အလှန်ပုံစံကို တောင်းဆိုပါ။ မည်သည့်ကုဒ် သို့မဟုတ် ပစ်မှတ်ဆိုက်အသေးစိတ်အချက်အလက်များကိုမဆို ဖလှယ်ခြင်းမပြုမီ လက်မှတ်ရေးထိုးပါ။
ဖောက်သည်များ၏ သုံးသပ်ချက်များ
ကျွန်ုပ်တို့၏ ဖောက်သည်များက Zinn အကြောင်း ဘာတွေ ပြောတွေ့ကြည့်ပါ
အမျိုးအစားများ
Zinner မူဝါဒများ
ဆက်စပ်သော Zinns
စိတ်ကြိုက် ဝဘ်စကရက်ပါကို တည်ဆောက်ပြီး ဒေတာထုတ်ယူခြင်းကို အလိုအလျောက်လုပ်ဆောင်ပေးပါမည်။
python web scraping, data extraction နှင့် data mining တို့ကို လုပ်ဆောင်ပေးခြင်း
python web scraping, data scraping, data mining, web scraper တို့ကို လုပ်ဆောင်ပေးခြင်း
