Vivuna wavuti maalum katika Python au Node.js — tovuti moja, vivinjari vya kurasa nyingi, kurasa zenye JS nyingi, ulinzi dhidi ya roboti, na matokeo safi ya CSV/JSON/DB. Hutolewa ndani ya siku 2–10.
Nitaunda kikusanya data cha wavuti cha Python au Node.js chenye ulinzi dhidi ya boti na kutoa matokeo safi ya CSV au JSON
Kivuna cha ukurasa mmoja, tovuti moja chenye matokeo safi ya CSV au JSON.
- Msimbo kamili wa chanzo + usanidi
- URL moja inayolengwa imevunwa
- Hadi sehemu 10 zimetolewa kwa kila kipengee
- Uchambuzi wa HTML tuli (hakuna uwasilishaji wa JS)
- Matokeo ya CSV au JSON
- Kuondoa marudio + urekebishaji wa sehemu
- Ushughulikiaji wa makosa ya msingi na ukataji miti
- README
Uvunaji wa kurasa nyingi na upaginaji, uwasilishaji wa JS na ushughulikiaji wa kuzuia roboti.
- Msimbo kamili wa chanzo + usanidi
- URL moja inayolengwa imevunwa
- Uchambuzi wa HTML tuli (hakuna uwasilishaji wa JS)
- Kuondoa marudio + urekebishaji wa sehemu
- Ushughulikiaji wa makosa ya msingi na ukataji miti
- README
- Logi ya makosa yenye muundo + foleni ya kujaribu tena
- Uvunaji wa kurasa nyingi na usaidizi wa upaginaji
- Kurasa zilizowasilishwa na JavaScript (Puppeteer au Playwright)
- Ushughulikiaji wa kuzuia roboti — mzunguko wa UA, vichwa, udhibiti wa ombi
- Usaidizi wa mzunguko wa proksi
- Uzingatiaji wa kikomo cha kiwango na kurudi nyuma kwa 429/503
- Hadi sehemu 25 kwa kila kipengee
- Rekodi zisizo na kikomo
- Pato kwa CSV, JSON, au Google Sheets
Mchakato kamili wa data na ratiba, pato la hifadhidata, ufuatiliaji na dashibodi.
- Msimbo kamili wa chanzo + usanidi
- URL moja inayolengwa imevunwa
- Uchambuzi wa HTML tuli (hakuna uwasilishaji wa JS)
- Kuondoa marudio + urekebishaji wa sehemu
- Ushughulikiaji wa makosa ya msingi na ukataji miti
- README
- Logi ya makosa yenye muundo + foleni ya kujaribu tena
- Uvunaji wa kurasa nyingi na usaidizi wa upaginaji
- Kurasa zilizowasilishwa na JavaScript (Puppeteer au Playwright)
- Ushughulikiaji wa kuzuia roboti — mzunguko wa UA, vichwa, udhibiti wa ombi
- Usaidizi wa mzunguko wa proksi
- Uzingatiaji wa kikomo cha kiwango na kurudi nyuma kwa 429/503
- Hadi sehemu 25 kwa kila kipengee
- Rekodi zisizo na kikomo
- Pato kwa CSV, JSON, au Google Sheets
- Nafasi ya utoaji wa kipaumbele
- Sehemu zisizo na kikomo + ramani maalum ya schema
- Pato la hifadhidata — PostgreSQL, MySQL, MongoDB, au SQLite
- Uendeshaji uliopangwa — cron, GitHub Actions, AWS Lambda au Vercel
- Ugunduzi wa mabadiliko ya Cron kati ya uendeshaji (rekodi mpya / zilizosasishwa / zilizofutwa)
- Usaidizi wa maudhui yaliyolindwa na kuingia (ushughulikiaji wa kikao, uwasilishaji wa fomu)
- Mtiririko unaojua CAPTCHA (ujumuishaji wa utatuzi wa mikono au kitatuzi cha wahusika wengine)
- Utekelezaji unaotegemea Docker
- Dashibodi ya ufuatiliaji au arifa za Slack/barua pepe juu ya kushindwa
- Loom walkthrough ya bomba kamili
- Msaada wa baada ya utoaji wa siku 30
Omba Ofa Maalum
Ingia ili Uombe Ofa Maalum
Fungua akaunti ya bure au ingia ili kuomba ofa maalum kutoka kwa Zinner huyu.
Ingia / JisajiliUliza Swali Kabla ya Kuuza
Ingia ili Ulize Swali
Ili kupunguza barua taka kwenye jukwaa, jumbe za mauzo ya awali zinaweza kutumwa tu na watumiaji walioingia.
Fungua akaunti ya bure au ingia ili kumtumia ujumbe Zinner huyu moja kwa moja.
Ingia / JisajiliKuingia kunahitajika
Fungua akaunti ya bure au ingia ili kumtumia ujumbe Zinner huyu.
Ingia / JisajiliKuingia kunahitajika
Fungua akaunti ya bure au ingia ili kuomba ofa iliyobinafsishwa.
Ingia / JisajiliKwa Mtazamo
Maelezo muhimu kuhusu huduma hii kukusaidia kuamua. Imetolewa na Zinn Hub, si muuzaji.
Nafasi ya Thamani
Mrundikano wa Teknolojia
Uendeshaji wa Kuzuia Boti
Fomati za Pato
Kupanga na Kufuatilia
Utakachopokea
Maelezo Kamili
SCRAPEHUB — Vivuna Wavuti Vinavyotoa Data Kweli
Vivuna wavuti vya kiwango cha uzalishaji vilivyojengwa kwa Python au Node.js — vilivyoundwa kushughulikia tovuti halisi, sio tu demos za HTML safi. Iwe lengo ni katalogi ya bidhaa, saraka, soko, au programu ya ukurasa mmoja yenye JS nyingi, SCRAPEHUB hutoa data safi iliyopangwa katika CSV, JSON, au moja kwa moja kwenye hifadhidata yako.
Kinachojengwa:
· Uchimbaji wa ukurasa mmoja — toa data iliyopangwa kutoka URL moja na sehemu zilizopangwa kwa vipimo vyako
· Utambazaji wa kurasa nyingi — upagination, upitaji wa kategoria, ugunduzi unaoendeshwa na ramani ya tovuti
· Kurasa zilizotolewa na JavaScript — Puppeteer, Playwright, au Selenium kwa SPAs na maudhui yanayobadilika
· Maudhui yaliyolindwa na kuingia — ushughulikiaji wa kikao, usimamizi wa kuki, uwasilishaji wa fomu
· Ushughulikiaji wa kuzuia boti — mawakala wa mtumiaji wanaozunguka, mzunguko wa proksi, kuzuia maombi, udanganyifu wa kichwa
· Mtiririko unaozingatia CAPTCHA — ujumuishaji wa utatuzi wa mikono inapohitajika, au API za utatuzi wa wahusika wengine
· Uzingatiaji wa kikomo cha kiwango — heshima ya kuchelewesha utambazaji, kurudi nyuma kwa 429/503, upangaji wa usawa
· Usafishaji wa data — kuondoa marudio, kurekebisha, kupanga sehemu, kuchambua tarehe na bei
· Fomati za pato — CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, Airtable
· Uendeshaji uliopangwa — kazi za cron, GitHub Actions, au kazi za wingu kwa utambazaji unaorudiwa
· Kugundua mabadiliko — weka alama rekodi mpya, zilizosasishwa, au zilizofutwa kati ya uendeshaji
· Ukataji wa makosa — kumbukumbu zilizopangwa, foleni za kujaribu tena, ushughulikiaji wa barua zilizokufa
Kinachofanya SCRAPEHUB kuwa tofauti:
Watafuta data wengi hufanya kazi katika onyesho na huvunjika mara tu tovuti inaposasisha DOM yake, kuzuia wakala wa mtumiaji, au kuongeza Cloudflare. SCRAPEHUB hujenga kwa ulimwengu halisi wenye fujo — vichaguzi vinavyostahimili, mantiki ya kujaribu tena, kurudi nyuma kwa proksi, ukataji wa kumbukumbu uliopangwa, na njia wazi za kushindwa ili ujue kila wakati kilichotokea.
Tovuti mara chache hazivunjiki vizuri. Kichaguzi hubadilika, sehemu hupotea, ukurasa unarudisha 403 badala ya data. SCRAPEHUB hushughulikia kesi hizo waziwazi — kuweka kumbukumbu ni rekodi gani zilishindwa na kwa nini, badala ya kurudisha kimya kimya safu tupu.
Safu ya teknolojia iliyotumika:
· Lugha: Python (BeautifulSoup, Scrapy, Playwright, Selenium, Requests), Node.js (Puppeteer, Cheerio, Playwright, Axios)
· Kuzuia boti: proksi zinazozunguka, mzunguko wa User-Agent, alama za vidole vya kivinjari kisicho na kichwa
· Hifadhi: CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite, Airtable
· Ratiba: cron, GitHub Actions, AWS Lambda, Vercel Cron, Railway
· Miundombinu: Docker, VPS (Hetzner, DigitalOcean), AWS, Render
Upimaji na chanjo ya QA:
Kila kifaa cha kutafuta data huja na jaribio kavu kwenye sampuli ndogo, kisha uendeshaji kamili na muhtasari wa mafanikio/kushindwa. Pato linathibitishwa dhidi ya mpango unaotarajiwa — sehemu zinazokosekana, safu rudufu, na makosa ya uchambuzi huwekwa alama kabla ya kuwasilishwa.
Umiliki na NDA:
Msimbo kamili wa chanzo na vitambulisho vya kifaa cha kutafuta data huhamishiwa kwa mnunuzi wakati wa utoaji wa mwisho. NDA inapatikana kwa ombi kwa miradi inayohusisha ukusanyaji wa data nyeti au ya ushindani.
Muda wa utoaji:
Msingi: siku 2–3 · Kawaida: siku 5–7 · Premium: siku 10
Kinachohitajika kutoka kwa mnunuzi ili kuanza:
1. URL lengwa au tovuti za kutafuta data
2. Sehemu halisi unazohitaji kutolewa — majina, bei, URL, picha, n.k.
3. Fomati ya pato unayotaka — CSV, JSON, Google Sheets, hifadhidata
4. Kama ni utafutaji wa data wa mara moja au uendeshaji unaorudiwa
Hebu tujenge.
Tuma tovuti lengwa na sehemu, na hakiki ya kifaa cha kutafuta data kinachofanya kazi itatumwa ndani ya saa 48 — hakuna malipo ya awali, hakuna hatari. Unaona data halisi iliyotolewa kutoka tovuti yako lengwa kabla ya malipo yoyote kutakiwa.
Dhamana ya Ubora wa Zinner
Kila Zinner hukaguliwa na kuidhinishwa kabla ya kujiunga na jukwaa.
Huduma zote zinaungwa mkono na ahadi yetu ya uhakikisho wa ubora.
Malipo yako yanalindwa hadi uidhinishe kazi iliyokamilishwa.
Linganisha Vifurushi
| Kipengele | Msingi | Kawaida | Premium |
|---|---|---|---|
| Muda wa Uwasilishaji | 3 siku | 7 siku | 10 siku |
| Marekebisho | 2 | 3 | 5 |
| Msimbo kamili wa chanzo + usanidi | ✓ | ✓ | ✓ |
| URL moja lengwa imetafutwa data | ✓ | ✓ | ✓ |
| Hadi sehemu 10 zimetolewa kwa kila kipengee | ✓ | ✕ | ✕ |
| Uchambuzi wa HTML tuli (hakuna utoaji wa JS) | ✓ | ✓ | ✓ |
| Pato la CSV au JSON | ✓ | ✕ | ✕ |
| Kuondoa marudio + kurekebisha sehemu | ✓ | ✓ | ✓ |
| Ushughulikiaji wa makosa ya msingi na ukataji wa kumbukumbu | ✓ | ✓ | ✓ |
| README | ✓ | ✓ | ✓ |
| Kumbukumbu ya makosa iliyopangwa + foleni ya kujaribu tena | ✕ | ✓ | ✓ |
| Utambazaji wa kurasa nyingi na usaidizi wa upagination | ✕ | ✓ | ✓ |
| Kurasa zilizotolewa na JavaScript (Puppeteer au Playwright) | ✕ | ✓ | ✓ |
| Ushughulikiaji wa kuzuia boti — mzunguko wa UA, vichwa, kuzuia maombi | ✕ | ✓ | ✓ |
| Usaidizi wa mzunguko wa proksi | ✕ | ✓ | ✓ |
| Uzingatiaji wa kikomo cha kiwango na kurudi nyuma kwenye 429/503 | ✕ | ✓ | ✓ |
| Hadi sehemu 25 kwa kila kipengee | ✕ | ✓ | ✓ |
| Rekodi zisizo na kikomo | ✕ | ✓ | ✓ |
| Pato kwa CSV, JSON, au Google Sheets | ✕ | ✓ | ✓ |
| Nafasi ya utoaji wa kipaumbele | ✕ | ✕ | ✓ |
| Sehemu zisizo na kikomo + ramani maalum ya schema | ✕ | ✕ | ✓ |
| Pato la hifadhidata — PostgreSQL, MySQL, MongoDB, au SQLite | ✕ | ✕ | ✓ |
| Mbio zilizopangwa — cron, GitHub Actions, AWS Lambda au Vercel | ✕ | ✕ | ✓ |
| Ugunduzi wa mabadiliko ya Cron kati ya mbio (rekodi mpya / zilizosasishwa / zilizofutwa) | ✕ | ✕ | ✓ |
| Usaidizi wa maudhui yaliyolindwa na kuingia (ushughulikiaji wa kikao, uwasilishaji wa fomu) | ✕ | ✕ | ✓ |
| Mtiririko unaojua CAPTCHA (ujumuishaji wa utatuzi wa mikono au kisuluhishi cha wahusika wengine) | ✕ | ✕ | ✓ |
| Usambazaji unaotegemea Docker | ✕ | ✕ | ✓ |
| Dashibodi ya ufuatiliaji au arifa za Slack/barua pepe juu ya kushindwa | ✕ | ✕ | ✓ |
| Loom walkthrough ya bomba kamili | ✕ | ✕ | ✓ |
| Usaidizi wa baada ya kujifungua wa siku 30 | ✕ | ✕ | ✓ |
Kwingineko
Mifano ya kazi ya muuzaji inayohusiana na Zinn hii.
SCRAPEHUB — Hati za Kukwangua Wavuti
Vifaa vya kukwangua wavuti vya kiwango cha uzalishaji vilivyojengwa kwa Python na Node.js — uchimbaji wa ukurasa mmoja, ukwanguaji wa kurasa nyingi, tovuti zinazotolewa na JS, ushughulikiaji wa kuzuia roboti, na pato safi la CSV, JSON, au hifadhidata. Uchimbaji wa data wa wakati halisi na vichaguzi thabiti, mantiki ya kujaribu tena, na ukataji wa makosa uliopangwa.
SCRAPEHUB — Kutoka Tovuti Lengwa hadi Data Safi
Bomba la kukwangua la mwisho hadi mwisho — upatikanaji wa URL lengwa, mawakala wa mtumiaji wanaozunguka na mabwawa ya proksi, uchambuzi wa vichaguzi, usafishaji na uthibitishaji wa data, na pato kwa CSV, JSON, au PostgreSQL. Kumbukumbu zilizopangwa hufuatilia kila ombi, kujaribu tena, na kukamilika.
SCRAPEHUB — Imejengwa kwa Tovuti za Ulimwengu Halisi
Vifaa vya kukwangua thabiti na kurudi nyuma kwa 429, mzunguko wa proksi wa 403, uzingatiaji wa kikomo cha kiwango, na foleni za barua zilizokufa. Imejengwa ili kuishi Cloudflare, kupunguza kasi, na kushindwa kwa katikati ya ukwanguaji bila kupoteza data au kurudisha makosa ya kimya. Kiwango cha mafanikio cha 99.6% kwenye ukwanguaji wa uzalishaji.
SCRAPEHUB — Fomati Safi za Pato
Pato lililopangwa kwa CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite, au Airtable. Kuondoa marudio, urekebishaji wa sehemu, na uthibitishaji wa schema kwenye kila mbio — usawazishaji wa wakati halisi, mbio zilizopangwa, na ugunduzi wa mabadiliko.
SCRAPEHUB — Mbio Zilizopangwa na Ufuatiliaji
Ukwanguaji unaorudiwa kupitia cron, GitHub Actions, AWS Lambda, au Vercel Cron. Ugunduzi wa mabadiliko huweka alama rekodi mpya, zilizosasishwa, au zilizofutwa kati ya mbio, na arifa za Slack au barua pepe juu ya kushindwa ili hakuna kinachovunjika kimya kimya. Ufuatiliaji kamili wa afya ya bomba.
SCRAPEHUB — Stack Kamili ya Kukwangua
Usanifu kamili wa kukwangua — Python na Node.js na BeautifulSoup, Scrapy, Cheerio, Playwright, Puppeteer na Selenium; mabomba ya data kupitia pandas na SQLAlchemy ndani ya PostgreSQL, MongoDB, CSV, au JSON; yaliyosambazwa na Docker, GitHub Actions na cloud cron.
Taarifa za Ziada
Mrundikano wa Teknolojia
Kilichojumuishwa
Mchakato Wangu
Maelezo ya Huduma
Maswali Yanayoulizwa Mara kwa Mara
Mara nyingi, ndiyo — na proksi zinazozunguka, User-Agent spoofing, kupunguza kasi, na utoaji wa kivinjari kisicho na kichwa. Baadhi ya tovuti hutumia ulinzi wa hali ya juu wa roboti (Cloudflare Enterprise, Akamai, PerimeterX) unaoongeza gharama kwa kiasi kikubwa. Nitapima lengo na kukuambia mapema ikiwa inawezekana kwa bei za kawaida au inahitaji nukuu ya malipo.
Kukusanya data ya umma kwa ujumla ni halali katika mamlaka nyingi, lakini inategemea masharti ya tovuti, unachokusanya, na jinsi unavyotumia data. Mimi hukusanya kurasa za umma pekee. Sipiti malipo, sikusanyi data ya kibinafsi (PII), au kukiuka masharti ya wazi ya kuzuia ukusanyaji bila idhini yako iliyoandikwa na idhini ya kisheria.
Vichagua vinaweza kuvunjika wakati tovuti zinaposasishwa. Kikwangua kinakuja na ukataji wa makosa uliopangwa ili ujue mara moja ikiwa sehemu itaacha kutoa. Standard na Premium hujumuisha mifumo ya ustahimilivu (vichagua mbadala, arifa) zinazopunguza uharibifu. Siku 14 za marekebisho ya bure hufunika mabadiliko yoyote ya mpangilio baada ya utoaji.
Ndiyo — Puppeteer, Playwright, au Selenium hushughulikia SPAs, maudhui yaliyopakiwa polepole, na kusogeza bila kikomo. Hii imejumuishwa katika vifurushi vya Standard na Premium. Basic inashughulikia HTML tuli pekee.
Ndiyo, kwa akaunti unazomiliki au unazo idhini ya kuzifikia. Kushughulikia vipindi, usimamizi wa vidakuzi, na uwasilishaji wa fomu vimejumuishwa katika Premium. Tuma vitambulisho kupitia njia salama — sizihifadhi kamwe zaidi ya upeo wa mradi.
Chaguzi mbili — ujumuishaji wa kutatua mwenyewe ambapo mimi husitisha na wewe kutatua, au API ya kutatua CAPTCHA ya wahusika wengine (2Captcha, Anti-Captcha) kwa gharama yako. Imejumuishwa katika Premium; inapatikana kama nyongeza kwa Standard.
Ndiyo — Premium inajumuisha uendeshaji uliopangwa kupitia cron, GitHub Actions, AWS Lambda, au Vercel Cron. Marudio ni juu yako — kila siku, kila wiki, kila mwezi, au maalum. Kila uendeshaji hurekodi matokeo na inaweza kukuarifu juu ya kushindwa.
Kushughulikia kikomo cha kiwango kumejengwa ndani — kupunguza maombi, kurudi nyuma kwa kasi kwenye majibu ya 429/503, na kurekebisha usawa ili kubaki chini ya kikomo. Vifurushi vya Standard na Premium hujumuisha mantiki kamili ya kikomo cha kiwango.
Ndiyo — PostgreSQL, MySQL, MongoDB, SQLite, au Airtable uingizaji wa moja kwa moja unatumika. Premium inajumuisha pato la hifadhidata; Standard inasaidia CSV, JSON, na Google Sheets.
Hakuna kikomo kigumu — inategemea vikomo vya kiwango cha tovuti na ukubwa wa hifadhi ya proksi. Nimeendesha vikwangua vinavyovuta rekodi 100,000+ kwa siku nyingi. Kwa ukusanyaji mkubwa sana, nitapendekeza mzunguko wa proksi na upangaji ili kubaki chini ya vizingiti vya kugundua.
Umiliki kamili huhamishiwa kwa mnunuzi baada ya utoaji wa mwisho. Msimbo wa chanzo, vitambulisho, usanidi wa usambazaji, na data zote zilizokusanywa hukabidhiwa na malipo ya mwisho. Hakuna vikwazo vya leseni, hakuna ada zinazoendelea, hakuna kufungiwa na muuzaji.
Kila kikwangua huendeshwa kwenye sampuli ndogo kwanza, kisha uendeshaji kamili. Pato linathibitishwa dhidi ya mpango unaotarajiwa — sehemu zinazokosekana, safu rudufu, na makosa ya uchambuzi huwekwa alama kabla ya utoaji. Unapata logi ya makosa na muhtasari wa mafanikio/kushindwa ili hakuna kinachofichwa.
Ndiyo. NDA inapatikana kwa ombi — bora kwa miradi inayohusisha ukusanyaji wa data nyeti au ya ushindani. Shiriki kiolezo chako cha NDA au omba kimoja cha pande zote. Imesainiwa kabla ya msimbo wowote au maelezo ya tovuti lengwa kubadilishana.
Maoni ya Wateja
Angalia wateja wetu wanasema nini kuhusu Zinn hii
Kategoria
Sera za Zinner
Zinns Zinazohusiana
kufanya kwa ustadi ukusanyaji wa data kutoka mtandaoni, uchimbaji wa data, otomatiki ya API na selenium puppeteer
