Zinn Hub
0
Ձեր զամբյուղը
0

Մի հայացքից

Այս ծառայության հիմնական մանրամասները, որոնք կօգնեն ձեզ որոշում կայացնել: Ստեղծվել է Zinn Hub-ի կողմից, ոչ թե վաճառողի:

Տեխնոլոգիական փաթեթ

Python & Node.js
Կառուցված է BeautifulSoup-ով, Scrapy-ով, Playwright-ով, Puppeteer-ով, Cheerio-ով՝ ընդգրկելով ստատիկ և JS-ով ծանրաբեռնված կայքերը երկու լեզուներով։

Հակաբոտային մշակում

Ներառված է (Ստանդարտ+)
Ներկառուցված են պրոքսիների ռոտացիա, User-Agent-ի կեղծում, հարցումների սահմանափակում, անգլուխ բրաուզերի մատնահետքեր և 429/503 հետաձգման տրամաբանություն։

Ելքային ձևաչափեր

CSV, JSON, DB, Sheets
Առաքում է CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite կամ Airtable՝ կախված ձեր փաթեթի մակարդակից։

Պլանավորում և մոնիտորինգ

Պրեմիում մակարդակ
Կրկնվող գործարկումներ cron-ի, GitHub Actions-ի կամ AWS Lambda-ի միջոցով՝ փոփոխությունների հայտնաբերմամբ, ձախողման ծանուցումներով և Loom խողովակաշարի քայլ առ քայլ ուղեցույցով։

Ինչ կստանաք

Ձևաչափեր:
Թվային ֆայլեր
Ամպային հղում
Գրավոր հաշվետվություն
Աղյուսակ
Աղբյուրի ֆայլեր
Պատվերով կոդ
Առաքման եղանակը:
Պատվերների կառավարիչ
Նշումներ. Այս Zinn-ը ներառում է սքրեյփինգի սկրիպտը, տվյալների խողովակաշարը և ելքի առաքումը։ Եթե ձեզ անհրաժեշտ է սքրեյփինգի տվյալները պատկերացնել հատուկ վահանակում կամ վեբ հավելվածում, գրեք ինձ. ես դա առանձին եմ գնահատում՝ սկսած 300 դոլարից։

Ամբողջական նկարագրություն

SCRAPEHUB — Վեբ սքրեյփերներ, որոնք իրականում ստանում են տվյալները

 

Արտադրական մակարդակի վեբ սքրեյփերներ, որոնք կառուցված են Python-ով կամ Node.js-ով՝ նախատեսված իրական կայքերի հետ աշխատելու համար, ոչ թե պարզապես կոկիկ HTML դեմոների։ Անկախ նրանից, թե թիրախը ապրանքների կատալոգ է, տեղեկատու, շուկա կամ JS-ով ծանրաբեռնված մեկ էջանոց հավելված, SCRAPEHUB-ը մատուցում է մաքուր կառուցվածքային տվյալներ CSV, JSON ձևաչափերով կամ անմիջապես ձեր տվյալների բազա։

 

Ինչ է կառուցվում.

 

· Միաէջանի արդյունահանում — կառուցվածքային տվյալների քաշում մեկ URL-ից՝ ձեր բնութագրին համապատասխանեցված դաշտերով

· Բազմաէջանի սողացումներ — էջադրում, կատեգորիաների անցում, կայքի քարտեզով պայմանավորված հայտնաբերում

· JavaScript-ով մատուցվող էջեր — Puppeteer, Playwright կամ Selenium SPAs-ի և դինամիկ բովանդակության համար

· Մուտքով պաշտպանված բովանդակություն — նիստի կառավարում, քուքիների կառավարում, ձևաթղթի ներկայացում

· Հակաբոտային մշակում — օգտատերերի գործակալների ռոտացիա, պրոքսիի ռոտացիա, հարցումների սահմանափակում, վերնագրի կեղծում

· CAPTCHA-ի մասին տեղյակ հոսքեր — անհրաժեշտության դեպքում ձեռքով լուծման ինտեգրում կամ երրորդ կողմի լուծող API-ներ

· Սահմանափակումների պահպանում — սողացման ուշացման պահպանում, 429/503-ի դեպքում հետաձգում, միաժամանակյա կատարման կարգավորում

· Տվյալների մաքրում — կրկնօրինակների հեռացում, նորմալացում, դաշտերի համապատասխանեցում, ամսաթվի և գնի վերլուծություն

· Արդյունքի ձևաչափեր — CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, Airtable

· Պլանավորված գործարկումներ — cron jobs, GitHub Actions կամ ամպային ֆունկցիաներ պարբերական քերծվածքների համար

· Փոփոխությունների հայտնաբերում — նշել նոր, թարմացված կամ հեռացված գրառումները գործարկումների միջև

· Սխալների գրանցում — կառուցվածքային գրանցամատյաններ, կրկնակի փորձերի հերթեր, անհասցե նամակների մշակում

 

Ինչն է SCRAPEHUB-ը տարբերվող դարձնում.

 

Շատ քերծողներ աշխատում են դեմո ռեժիմում և կոտրվում են այն պահին, երբ կայքը թարմացնում է իր DOM-ը, արգելափակում է օգտատիրոջ գործակալին կամ ավելացնում է Cloudflare: SCRAPEHUB-ը կառուցված է խառնաշփոթ իրական աշխարհի համար՝ ճկուն ընտրիչներ, կրկնակի փորձերի տրամաբանություն, պրոքսիի պահեստային տարբերակ, կառուցվածքային գրանցում և հստակ ձախողման ռեժիմներ, որպեսզի դուք միշտ իմանաք, թե ինչ է տեղի ունեցել:

 

Կայքերը հազվադեպ են մաքուր կոտրվում: Ընտրիչը փոխվում է, դաշտը անհետանում է, էջը տվյալների փոխարեն վերադարձնում է 403: SCRAPEHUB-ը հստակորեն մշակում է այդ դեպքերը՝ գրանցելով, թե որ գրառումները ձախողվեցին և ինչու, այլ ոչ թե լուռ վերադարձնելով դատարկ տողեր:

 

Օգտագործված տեխնոլոգիական ստեկ.

 

· Լեզուներ՝ Python (BeautifulSoup, Scrapy, Playwright, Selenium, Requests), Node.js (Puppeteer, Cheerio, Playwright, Axios)

· Հակաբոտային՝ պրոքսիների ռոտացիա, User-Agent-ի ռոտացիա, անգլուխ բրաուզերի մատնահետք

· Պահեստավորում՝ CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite, Airtable

· Պլանավորում՝ cron, GitHub Actions, AWS Lambda, Vercel Cron, Railway

· Ենթակառուցվածք՝ Docker, VPS (Hetzner, DigitalOcean), AWS, Render

 

Թեստավորում և որակի ապահովման ծածկույթ.

 

Յուրաքանչյուր քերծող առաքվում է փոքր նմուշի վրա չոր գործարկմամբ, այնուհետև ամբողջական գործարկմամբ՝ հաջողության/ձախողման ամփոփագրով: Արդյունքը վավերացվում է սպասվող սխեմայի դեմ՝ բացակայող դաշտերը, կրկնօրինակ տողերը և վերլուծության սխալները նշվում են մինչև առաքումը:

 

Սեփականություն և NDA.

 

Ամբողջական ելակետային կոդը և քերծողի հավատարմագրերը փոխանցվում են գնորդին վերջնական առաքման ժամանակ: NDA-ն հասանելի է ըստ պահանջի՝ զգայուն կամ մրցակցային տվյալների հավաքագրում պարունակող նախագծերի համար:

 

Առաքման ժամկետ.

Հիմնական՝ 2–3 օր · Ստանդարտ՝ 5–7 օր · Պրեմիում՝ 10 օր

 

Ինչ է անհրաժեշտ գնորդից սկսելու համար.

 

1. Նպատակային URL(ներ) կամ կայք(եր) քերծելու համար

2. Ձեզ անհրաժեշտ ճշգրիտ դաշտերը՝ անուններ, գներ, URL-ներ, պատկերներ և այլն:

3. Ցանկալի ելքային ձևաչափ՝ CSV, JSON, Google Sheets, տվյալների բազա

4. Արդյոք դա միանվագ քերծվածք է, թե պարբերական գործարկում

 

Եկեք կառուցենք այն։

 

Ուղարկեք նպատակային կայքը և դաշտերը, և աշխատող քերծողի նախադիտումը կառաքվի 48 ժամվա ընթացքում՝ զրո կանխավճար, առանց ռիսկի: Դուք կտեսնեք ձեր նպատակային կայքից քաշված իրական տվյալներ մինչև որևէ վճարման ժամկետը:

Zinner Որակի Երաշխիք

✓
Ստուգված մասնագետ
Յուրաքանչյուր Zinner վերանայվում և հաստատվում է հարթակին միանալուց առաջ:
✓
Որակյալ աշխատանքը երաշխավորված է
Բոլոր ծառայություններն ապահովված են մեր որակի ապահովման պարտավորությամբ:
✓
Ապահով վճարում
Ձեր վճարումը պաշտպանված է մինչև առաքված աշխատանքը հաստատելը:

Համեմատել փաթեթները

ԱռանձնահատկությունՀիմնականՍտանդարտՊրեմիում
Առաքման ժամանակը3 օր7 օր10 օր
Վերանայումներ235
Ամբողջական ելակետային կոդ + կարգավորում✓✓✓
Մեկ նպատակային URL քերծված✓✓✓
Մինչև 10 դաշտեր քաշված յուրաքանչյուր տարրի համար✓✕✕
Ստատիկ HTML վերլուծություն (առանց JS մատուցման)✓✓✓
CSV կամ JSON ելք✓✕✕
Կրկնօրինակների հեռացում + դաշտերի նորմալացում✓✓✓
Հիմնական սխալների մշակում և գրանցում✓✓✓
README✓✓✓
Կառուցվածքային սխալների գրանցամատյան + կրկնակի փորձերի հերթ✕✓✓
Բազմաէջանի սողացում՝ էջադրման աջակցությամբ✕✓✓
JavaScript-ով մատուցվող էջեր (Puppeteer կամ Playwright)✕✓✓
Հակաբոտային մշակում — UA ռոտացիա, վերնագրեր, հարցումների սահմանափակում✕✓✓
Պրոքսիի ռոտացիայի աջակցություն✕✓✓
Արագության սահմանափակման համապատասխանություն 429/503-ի դեպքում հետաձգմամբ✕✓✓
Մինչև 25 դաշտ մեկ տարրի համար✕✓✓
Անսահմանափակ գրառումներ✕✓✓
Արդյունքը՝ CSV, JSON կամ Google Sheets✕✓✓
Առաջնահերթ առաքման ժամանակահատված✕✕✓
Անսահմանափակ դաշտեր + մաքսային սխեմայի քարտեզագրում✕✕✓
Տվյալների բազայի արդյունք — PostgreSQL, MySQL, MongoDB կամ SQLite✕✕✓
Նախատեսված գործարկումներ — cron, GitHub Actions, AWS Lambda կամ Vercel✕✕✓
Cron Փոփոխությունների հայտնաբերում գործարկումների միջև (նոր / թարմացված / հեռացված գրառումներ)✕✕✓
Մուտքի միջոցով պաշտպանված բովանդակության աջակցություն (սեսիայի կառավարում, ձևի ներկայացում)✕✕✓
CAPTCHA-ի մասին տեղյակ հոսք (ձեռքով լուծման ինտեգրում կամ երրորդ կողմի լուծիչ)✕✕✓
Docker-ի վրա հիմնված տեղակայում✕✕✓
Մոնիտորինգի վահանակ կամ Slack/էլ. փոստի ծանուցումներ ձախողման դեպքում✕✕✓
Ամբողջական խողովակաշարի Loom ուղեցույց✕✕✓
30 օր առաքումից հետո աջակցություն✕✕✓

Պորտֆոլիո

Վաճառողի աշխատանքի օրինակներ՝ կապված այս Zinn-ի հետ։

SCRAPEHUB — Վեբ քերման սկրիպտներ

Արտադրական մակարդակի վեբ քերիչներ, որոնք ստեղծվել են Python-ով և Node.js-ով — մեկ էջի արդյունահանում, բազմաէջանոց սողացումներ, JS-ով մշակված կայքեր, հակաբոտային մշակում և մաքուր CSV, JSON կամ տվյալների բազայի արդյունք: Իրական ժամանակի տվյալների արդյունահանում՝ ճկուն ընտրիչներով, կրկնակի փորձի տրամաբանությամբ և կառուցվածքային սխալների գրանցմամբ։

SCRAPEHUB — Նպատակային կայքից մինչև մաքուր տվյալներ

Ամբողջական քերման խողովակաշար — նպատակային URL-ի ստացում, օգտատերերի գործակալների և պրոքսի պուլերի ռոտացիա, ընտրիչների վերլուծություն, տվյալների մաքրում և վավերացում, և արդյունքը՝ CSV, JSON կամ PostgreSQL: Կառուցվածքային գրառումները հետևում են յուրաքանչյուր հարցմանը, կրկնակի փորձին և ավարտին։

SCRAPEHUB — Ստեղծված իրական աշխարհի կայքերի համար

Ճկուն քերիչներ՝ 429 հետաձգմամբ, 403 պրոքսի ռոտացիայով, արագության սահմանափակման համապատասխանությամբ և մեռած նամակների հերթերով: Ստեղծված է Cloudflare-ին, սահմանափակումներին և քերման ընթացքում առաջացած խափանումներին դիմակայելու համար՝ առանց տվյալներ կորցնելու կամ լուռ սխալներ վերադարձնելու: 99.6% հաջողության մակարդակ արտադրական քերումների վրա։

SCRAPEHUB — Մաքուր արդյունքի ձևաչափեր

Կառուցվածքային արդյունքը՝ CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite կամ Airtable: Կրկնօրինակման հեռացում, դաշտերի նորմալացում և սխեմայի վավերացում յուրաքանչյուր գործարկման ժամանակ — իրական ժամանակի համաժամացում, նախատեսված գործարկումներ և փոփոխությունների հայտնաբերում։

SCRAPEHUB — Նախատեսված գործարկումներ և մոնիտորինգ

Կրկնվող քերումներ cron-ի, GitHub Actions-ի, AWS Lambda-ի կամ Vercel Cron-ի միջոցով: Փոփոխությունների հայտնաբերումը նշում է նոր, թարմացված կամ հեռացված գրառումները գործարկումների միջև, Slack կամ էլ. փոստի ծանուցումներով ձախողման դեպքում, որպեսզի ոչինչ լուռ չխափանվի: Խողովակաշարի ամբողջական առողջության մոնիտորինգ։

SCRAPEHUB — Ամբողջական քերման ստեկ

Ամբողջական քերման ճարտարապետություն — Python և Node.js՝ BeautifulSoup-ով, Scrapy-ով, Cheerio-ով, Playwright-ով, Puppeteer-ով և Selenium-ով; տվյալների խողովակաշարեր pandas-ի և SQLAlchemy-ի միջոցով PostgreSQL, MongoDB, CSV կամ JSON; տեղակայված Docker-ով, GitHub Actions-ով և cloud cron-ով։

Լրացուցիչ տեղեկություններ

Տեխնոլոգիական փաթեթ

Լեզուներ:Python (BeautifulSoup, Scrapy, Selenium, Playwright, Requests, httpx), Node.js (Puppeteer, Cheerio, Playwright, Axios)
Հակաբոտ:Պրոքսիների ռոտացիա, User-Agent-ի ռոտացիա, անգլուխ բրաուզերի մատնահետք, սահմանափակում, 429 հետաձգում
Տվյալներ:pandas, SQLAlchemy, psycopg2, PyMongo, gspread, csv, json
Ժամանակացույց:cron, GitHub Actions, AWS Lambda, Vercel Cron, Railway
Ենթակառուցվածք:Docker, VPS (Hetzner, DigitalOcean), AWS, Render

Ինչ է ներառված

Ամբողջական սկզբնական կոդ:Առաքվում է GitHub repo-ի կամ zip-ի միջոցով, տիպավորված և մեկնաբանված
Կարգավորման ուղեցույց:Միջավայրի կարգավորում, կախվածությունների տեղադրում, գործարկման հրահանգներ
Փորձնական գործարկման նմուշ:Առաջին գործարկման արդյունքի նմուշ, որպեսզի կարողանաք ստուգել դաշտերը մինչև ամբողջական արդյունահանումը
Սխալների մատյան:Ձախողումների, կրկնակի փորձերի և բաց թողնված գրառումների կառուցվածքային մատյան
Վերանայումներ:2 փուլ Հիմնական · 3 փուլ Ստանդարտ · 5 փուլ Պրեմիում · 14 օր անվճար առաքումից հետո շտկումներ

Իմ գործընթացը

Քայլ 1:Մեկնարկ — գնորդը ուղարկում է նպատակային URL-ները, պահանջվող դաշտերը, արդյունքի ձևաչափը և մեկանգամյա կամ կրկնվող
Քայլ 2:48-ժամյա կենդանի քերիչի նախադիտում նպատակային կայքի նմուշի վրա — իրական տվյալներ, իրական դաշտեր
Քայլ 3:Վերանայում, շրջանակի կողպում, ավանդ (50%)
Քայլ 5:Հանձնում — սկզբնական կոդ, արդյունքի ֆայլ, կարգավորման ուղեցույց, սխալների մատյան, վերջնական վճարում (50%)

Ծառայության մանրամասներ

Ծառայության տեսակը
Ստանդարտ
Zinner-ի տեսակը
Ֆրիլանսեր
Մատչելիություն
24/7
Վաճառողի երկիրը
Նիգերիա
Ընդունված լեզուներ
Բոլոր լեզուները ընդունվում են
Անգլերեն
Գաղտնիության համաձայնագիրը հասանելի է
Այո
Կատարված նախագծերի չափերը
Ցանկացած չափ
Արձագանքման ժամանակը
12 ժամվա ընթացքում
Փորձի տարիներ
5+

Հաճախ տրվող հարցեր

Հաճախ, այո — պրոքսիների ռոտացիայով, User-Agent-ի կեղծմամբ, սահմանափակումներով և անգլուխ բրաուզերի մատուցմամբ: Որոշ կայքեր օգտագործում են բոտերի պաշտպանության առաջադեմ միջոցներ (Cloudflare Enterprise, Akamai, PerimeterX), որոնք զգալիորեն բարձրացնում են արժեքը: Ես կգնահատեմ նպատակը և նախապես կասեմ ձեզ, թե արդյոք դա հնարավոր է ստանդարտ գնով, թե պահանջում է պրեմիում գնանշում:

Հանրային տվյալների քերումը, ընդհանուր առմամբ, օրինական է իրավասությունների մեծ մասում, բայց դա կախված է կայքի պայմաններից, թե ինչ եք քերում և ինչպես եք օգտագործում տվյալները: Ես քերում եմ միայն հանրային էջերը: Ես չեմ շրջանցում վճարովի բաժանորդագրությունները, չեմ քերում անձնական տվյալներ (PII) կամ չեմ խախտում հստակ հակաքերման պայմանները՝ առանց ձեր գրավոր հաստատման և իրավական թույլտվության:

Ընտրիչները կարող են խափանվել, երբ կայքերը թարմացվում են: Քերիչը տրամադրվում է կառուցվածքային սխալների գրանցմամբ, որպեսզի անմիջապես իմանաք, եթե դաշտը դադարում է արդյունահանվել: Ստանդարտ և Պրեմիում փաթեթները ներառում են կայունության օրինաչափություններ (պահեստային ընտրիչներ, ծանուցումներ), որոնք նվազեցնում են խափանումները: Առաքումից հետո դասավորության ցանկացած փոփոխություն ծածկվում է 14 օր անվճար շտկումներով:

Այո — Puppeteer-ը, Playwright-ը կամ Selenium-ը մշակում են SPA-ներ, ծույլ բեռնված բովանդակություն և անվերջ ոլորում: Սա ներառված է Ստանդարտ և Պրեմիում փաթեթներում: Հիմնականը ծածկում է միայն ստատիկ HTML-ը:

Այո, այն հաշիվների համար, որոնք դուք ունեք կամ մուտքի թույլտվություն ունեք: Սեսիայի կառավարումը, քուքիների կառավարումը և ձևաթղթերի ներկայացումը ներառված են Պրեմիում փաթեթում: Ուղարկեք հավատարմագրերը անվտանգ մեթոդով. ես դրանք երբեք չեմ պահում նախագծի շրջանակներից դուրս:

Երկու տարբերակ՝ ձեռքով լուծման ինտեգրում, որտեղ ես դադար եմ տալիս, և դուք եք լուծում, կամ երրորդ կողմի CAPTCHA լուծող API (2Captcha, Anti-Captcha)՝ ձեր հաշվին: Ներառված է Պրեմիում փաթեթում. հասանելի է որպես հավելում Ստանդարտ փաթեթի համար:

Այո — Պրեմիում փաթեթը ներառում է պլանավորված գործարկումներ cron-ի, GitHub Actions-ի, AWS Lambda-ի կամ Vercel Cron-ի միջոցով: Հաճախականությունը կախված է ձեզանից՝ ամենօրյա, շաբաթական, ամսական կամ անհատական: Յուրաքանչյուր գործարկում գրանցում է արդյունքները և կարող է ծանուցել ձեզ ձախողման դեպքում:

Սահմանափակումների մշակումը ներկառուցված է՝ հարցումների սահմանափակում, էքսպոնենցիալ հետընթաց 429/503 պատասխանների դեպքում և միաժամանակյա կարգավորում՝ սահմանաչափից ցածր մնալու համար: Ստանդարտ և Պրեմիում փաթեթները ներառում են սահմանափակումների ամբողջական տրամաբանություն:

Այո — աջակցվում են PostgreSQL, MySQL, MongoDB, SQLite կամ Airtable ուղղակի ներդրումները: Պրեմիում փաթեթը ներառում է տվյալների բազայի արտածում. Ստանդարտը աջակցում է CSV, JSON և Google Sheets:

Հստակ սահմանափակում չկա. կախված է կայքի սահմանափակումներից և պրոքսի պահեստի չափից: Ես գործարկել եմ քերիչներ, որոնք քաշում են 100,000+ գրառումներ մի քանի օրվա ընթացքում: Շատ մեծ սողացումների համար ես խորհուրդ կտամ պրոքսիի ռոտացիա և պլանավորում՝ հայտնաբերման շեմերից ցածր մնալու համար:

Ամբողջական սեփականությունը փոխանցվում է գնորդին վերջնական առաքման ժամանակ: Սկզբնական կոդը, հավատարմագրերը, տեղակայման կոնֆիգուրացիաները և բոլոր քերված տվյալները հանձնվում են վերջնական վճարման հետ միասին: Ոչ մի լիցենզավորման սահմանափակում, ոչ մի շարունակական վճար, ոչ մի վաճառողի կողմից կախվածություն:

Յուրաքանչյուր քերիչ նախ գործարկվում է փոքր նմուշի վրա, այնուհետև ամբողջական գործարկում: Արդյունքը վավերացվում է սպասվող սխեմայի համաձայն՝ բացակայող դաշտերը, կրկնօրինակ տողերը և վերլուծության սխալները նշվում են մինչև առաքումը: Դուք ստանում եք սխալների մատյանը և հաջողության/ձախողման ամփոփագիրը, որպեսզի ոչինչ թաքնված չլինի:

Այո: NDA-ն հասանելի է ըստ պահանջի՝ իդեալական է զգայուն կամ մրցակցային տվյալների հավաքագրման հետ կապված նախագծերի համար: Կիսվեք ձեր NDA ձևանմուշով կամ խնդրեք փոխադարձ մեկը: Ստորագրվում է մինչև որևէ կոդի կամ թիրախային կայքի մանրամասների փոխանակումը:

Հաճախորդների ակնարկներ

Տեսեք, թե ինչ են ասում մեր հաճախորդները այս Zinn-ի մասին

Կատեգորիաներ

Zinner Քաղաքականություն

 Zinn Hub

Միայն մուտք գործած հաճախորդները, ովքեր գնել են այս ապրանքը, կարող են ակնարկ թողնել:

Ընտրանքներ և պատվեր

Ստացեք Zinn Hub հավելվածը

Ծանուցումներ · Ավելի արագ մուտք · Ամբողջ էկրան

Հպեք Կիսվել ձեր բրաուզերում

➜ Այնուհետև հպեք "Ավելացնել հիմնական էկրանին"