Ստացեք ձեր Hugging Face մոդելը՝ Llama, Mistral, Gemma կամ BERT՝ տեղակայված Google Cloud-ի անվտանգ, մասշտաբային, արտադրության համար պատրաստի վերջնակետում, ամբողջությամբ կոնտեյներացված և API-ի համար պատրաստ։
Ես կտեղակայեմ Hugging Face LLM-ները GCP Vertex AI կամ Cloud Run-ում
Կենտրոնացված 45 րոպեանոց փորձագիտական խորհրդատվություն՝ ձեր մոդելը գնահատելու, ձեր GCP տեղակայման ռազմավարությունը մշակելու և ձեր ճարտարապետական հարցերին պատասխանելու համար։
- 45 րոպեանոց GCP Vertex AI / Cloud Run ռազմավարության խորհրդատվություն
- Մոդելի գնահատում. RAM/VRAM պահանջներ և GPU մակարդակի առաջարկություն
- Ճարտարապետություն և ծախսերի գնահատման ուղեցույց
- Առաջարկվող տեղակայման մոտեցումը փաստաթղթավորված է գրավոր
- Ինտեգրման ուղու խորհրդատվություն՝ մոդելը ձեր առկա հավելվածին միացնելու համար
Ձեր Hugging Face մոդելի ամբողջական տեղակայումը անվտանգ GCP վերջնակետում, գումարած աղբյուրի կոդը, որպեսզի ձեր թիմը կարողանա տիրապետել և ընդլայնել այն։
- Ամեն ինչ Խորհրդատվության մակարդակում
- Ամբողջական Dockerised մոդելի կոնտեյներացում և տեղակայում Vertex AI կամ Cloud Run-ում
- GPU տրամադրում (T4, L4 կամ A100՝ ըստ անհրաժեշտության)
- Ապահով, VPC-native մասնավոր API վերջնակետի կոնֆիգուրացիա
- Python թեստային սկրիպտ՝ կենդանի վերջնակետը ստուգելու համար
- Ամբողջական տեղակայման ելակետային կոդը առաքվում է ձեզ
Ամբողջական տեղակայման փաթեթը՝ մանրամասն ներքին կոդի մեկնաբանություններով, ինչը կոդի բազան լիովին պահպանելի է դարձնում ձեր ինժեներական թիմի կողմից։
- Ամեն ինչ Տեղակայման մակարդակում
- Մանրամասն ներքին կոդի մեկնաբանություններ բոլոր սկրիպտներում և կոնֆիգուրացիոն ֆայլերում
- Փաստաթղթավորված ճարտարապետական որոշումներ՝ բացատրելով GPU-ի ընտրությունը և անվտանգության ընտրությունները
- Հանձնման համար պատրաստ կոդերի բազա, որը ձեր թիմը կարող է վստահորեն պահպանել և ընդլայնել
- Հարմար է ավելի մեծ կամ բարդ LLM-ների համար (օրինակ՝ Llama 3, Mistral մեծ տարբերակներ)
- Առաջնահերթ պատվերների կառավարում և ավելի սերտ համագործակցություն պատվերի չաթի միջոցով
Հարցնել անհատական առաջարկ
Մուտք գործեք՝ անհատական առաջարկ հարցնելու համար
Ստեղծեք անվճար հաշիվ կամ մուտք գործեք՝ այս Zinner-ից անհատական առաջարկ հարցնելու համար։
Մուտք / ԳրանցումՀարց տալ մինչև վաճառքը
Մուտք գործեք՝ հարց տալու համար
Հարթակի սպամը նվազեցնելու համար մինչև վաճառքի հաղորդագրությունները կարող են ուղարկվել միայն մուտք գործած օգտատերերի կողմից։
Ստեղծեք անվճար հաշիվ կամ մուտք գործեք՝ անմիջապես այս Zinner-ին հաղորդագրություն ուղարկելու համար։
Մուտք / ԳրանցումՊահանջվում է մուտք
Ստեղծեք անվճար հաշիվ կամ մուտք գործեք՝ այս Zinner-ին հաղորդագրություն ուղարկելու համար։
Մուտք / ԳրանցումՊահանջվում է մուտք
Ստեղծեք անվճար հաշիվ կամ մուտք գործեք՝ անհատականացված առաջարկ խնդրելու համար։
Մուտք / ԳրանցումՄի հայացքից
Այս ծառայության հիմնական մանրամասները, որոնք կօգնեն ձեզ որոշում կայացնել: Ստեղծվել է Zinn Hub-ի կողմից, ոչ թե վաճառողի:
Արժեքային դիրք
Տեղակայման թիրախ
GPU տարբերակներ
Անվտանգության մոտեցում
Լավագույնը՝
Ինչ կստանաք
Ամբողջական նկարագրություն
Դուք գտել եք ճիշտ մոդելը։ Այժմ ձեզ անհրաժեշտ է, որ այն հուսալիորեն աշխատի արտադրության մեջ՝ ոչ միայն տեղական մակարդակում, ոչ թե նոթբուքում, այլ անվտանգ, մասշտաբային API-ի հետևում, որը ձեր հավելվածը կարող է իրականում կանչել։
Այս ծառայությունը հենց դա է ապահովում։
Zinn Digital-ը Google Cloud-ի փորձագետներ են Լոնդոնում: Մենք վերցնում ենք ձեր ընտրած Hugging Face մոդելը և տեղակայում այն արտադրության համար պատրաստ միջավայրում Vertex AI-ում կամ Cloud Run-ում՝ ամբողջությամբ կոնտեյներացված, GPU-ով ապահովված և պաշտպանված անվտանգ, VPC-native վերջնակետի հետևում: Երբ աշխատանքն ավարտվում է, դուք ստանում եք կենդանի API, որը կարող եք անմիջապես ինտեգրել ձեր արտադրանքին:
**Ինչո՞վ է սա տարբերվում պարզապես սկրիպտ գործարկելուց**
Ցանկացած մարդ կարող է GPU ինստանս ստեղծել և հույս դնել լավագույնի վրա: Մենք գնահատում ենք ձեր մոդելի իրական RAM և VRAM պահանջները՝ նախքան կոդի մեկ տող գրելը, ընտրում ենք ճիշտ GPU մակարդակը (T4, L4 կամ A100)՝ հավասարակշռելու ծախսերն ու ուշացումը, և կառուցում ենք ենթակառուցվածք, որը մասշտաբվում է ձեր աշխատանքային ծանրաբեռնվածության հետ՝ առանց դրա տակ ընկնելու: Յուրաքանչյուր տեղակայում ապահովված է ըստ դիզայնի՝ առանց բաց թողնված հանրային կետերի, առանց կոդավորված հավատարմագրերի:
**Ինչպես է այն աշխատում**
Նախ, ուղարկեք մեզ մոդելի հղումը և ձեր օգտագործման դեպքի համառոտ նկարագրությունը: Մենք գնահատում ենք մոդելի ռեսուրսների պահանջները և հաստատում տեղակայման մոտեցումը: Այնուհետև մենք մոդելը կոնտեյներացնում ենք Docker-ի միջոցով, տեղակայում ենք այն Vertex AI կամ Cloud Run-ում, կազմաձևում ենք GPU-ի տրամադրումը և API անվտանգությունը, և վերջապես ձեզ ենք հանձնում աշխատող Python թեստային սկրիպտ, որպեսզի դուք ինքներդ կարողանաք ստուգել վերջնակետը:
**Ինչ է ներառված**
Կախված ձեր ընտրած մակարդակից, դուք կստանաք հետևյալներից մի քանիսը կամ բոլորը՝ փորձագիտական խորհրդատվություն և ճարտարապետության գնահատում, մոդելի ամբողջական տեղակայում անվտանգ GCP կետում, աղբյուրի կոդը կոնտեյներացման և տեղակայման խողովակաշարի համար, և մանրամասն ներքին կոդի մեկնաբանություններ, որպեսզի ձեր թիմը վստահորեն կարողանա պահպանել և ընդլայնել աշխատանքը։
**Ում համար է սա**
Այս ծառայությունը հարմար է մշակողների և ինժեներական թիմերի համար, ովքեր հայտնաբերել են Hugging Face մոդել, որը ցանկանում են օգտագործել արտադրության մեջ, բայց չունեն GCP ենթակառուցվածքի փորձ՝ այն անվտանգ և արդյունավետ տեղակայելու համար: Այն հավասարապես հարմար է տեխնիկական հիմնադիրների համար, ովքեր կարիք ունեն աշխատող AI backend-ի՝ առանց ամբողջական ամպային թիմ վարձելու, և կազմակերպությունների համար, ովքեր արդեն օգտագործում են Google Cloud և ցանկանում են փորձագետների օգնություն կոնկրետ տեղակայման մարտահրավերի համար:
**Նախքան պատվիրելը**
Յուրաքանչյուր նախագիծ յուրահատուկ է: Մոդելի չափը, GPU-ի պահանջները, առկա GCP ճարտարապետությունը և անվտանգության սահմանափակումները տարբեր են: Խնդրում ենք հաղորդագրություն ուղարկել նախքան ձեր պատվերը տեղադրելը, որպեսզի մենք կարողանանք հաստատել, որ մոտեցումը ճիշտ է ձեր իրավիճակի համար և համաձայնեցնել շրջանակը: Սա ապահովում է, որ աշխատանքը սկսվում է ճիշտ հիմքերից և անակնկալներ չեն լինի:
Zinner Որակի Երաշխիք
Յուրաքանչյուր Zinner վերանայվում և հաստատվում է հարթակին միանալուց առաջ:
Բոլոր ծառայություններն ապահովված են մեր որակի ապահովման պարտավորությամբ:
Ձեր վճարումը պաշտպանված է մինչև առաքված աշխատանքը հաստատելը:
Համեմատել փաթեթները
| Առանձնահատկություն | Խորհրդատվություն | Տեղակայում | Տեղակայում + Մեկնաբանություններ |
|---|---|---|---|
| Առաքման ժամանակը | 2 օր | 5 օր | 10 օր |
| Վերանայումներ | 0 | 0 | 0 |
| 45 րոպեանոց GCP Vertex AI / Cloud Run ռազմավարության խորհրդատվություն | ✓ | ✕ | ✕ |
| Մոդելի գնահատում. RAM/VRAM պահանջներ և GPU մակարդակի առաջարկություն | ✓ | ✕ | ✕ |
| Ճարտարապետության և ծախսերի գնահատման ուղեցույց | ✓ | ✕ | ✕ |
| Առաջարկվող տեղակայման մոտեցումը փաստաթղթավորված է գրավոր | ✓ | ✕ | ✕ |
| Ինտեգրման ուղու խորհրդատվություն՝ մոդելը ձեր առկա հավելվածին միացնելու համար | ✓ | ✕ | ✕ |
| Ամեն ինչ Խորհրդատվության մակարդակում | ✕ | ✓ | ✕ |
| Ամբողջական Dockerised մոդելի կոնտեյներացում և տեղակայում Vertex AI կամ Cloud Run-ում | ✕ | ✓ | ✕ |
| GPU-ի տրամադրում (T4, L4 կամ A100՝ ըստ անհրաժեշտության) | ✕ | ✓ | ✕ |
| Անվտանգ, VPC-native մասնավոր API վերջնակետի կոնֆիգուրացիա | ✕ | ✓ | ✕ |
| Python թեստային սկրիպտ՝ կենդանի վերջնակետը ստուգելու համար | ✕ | ✓ | ✕ |
| Ամբողջական տեղակայման աղբյուրի կոդը առաքվում է ձեզ | ✕ | ✓ | ✕ |
| Ամեն ինչ Deployment մակարդակում | ✕ | ✕ | ✓ |
| Մանրամասն ներքին կոդի մեկնաբանություններ բոլոր սկրիպտների և կոնֆիգուրացիոն ֆայլերի ողջ ընթացքում | ✕ | ✕ | ✓ |
| Փաստաթղթավորված ճարտարապետական որոշումներ՝ բացատրելով GPU-ի ընտրությունը և անվտանգության ընտրությունները | ✕ | ✕ | ✓ |
| Հանձնման համար պատրաստ կոդերի բազա, որը ձեր թիմը կարող է վստահորեն պահպանել և ընդլայնել | ✕ | ✕ | ✓ |
| Հարմար է ավելի մեծ կամ բարդ LLM-ների համար (օրինակ՝ Llama 3, Mistral մեծ տարբերակներ) | ✕ | ✕ | ✓ |
| Առաջնահերթ պատվերների կառավարում և ավելի սերտ համագործակցություն պատվերի չաթի միջոցով | ✕ | ✕ | ✓ |
Պորտֆոլիո
Վաճառողի աշխատանքի օրինակներ՝ կապված այս Zinn-ի հետ։
Տեղակայել Hugging Face LLM-ները GCP Vertex AI կամ Cloud Run-ում
Տեղակայել Hugging Face LLM-ները GCP Vertex AI կամ Cloud Run-ում
Լրացուցիչ տեղեկություններ
Ինչու ընտրել ինձ
Գործիքներ, որոնք ես օգտագործում եմ
Կատարյալ է
Հաճախ տրվող հարցեր
Մենք աշխատում ենք մոդելների լայն շրջանակի հետ, ներառյալ Llama 3, Mistral, Gemma, BERT և Hugging Face-ում տեղակայված այլ տրանսֆորմատորային մոդելներ: Մոդելի չափը և GPU-ի պահանջները տարբերվում են, ուստի խնդրում ենք պատվիրելուց առաջ հաղորդագրություն ուղարկել մեզ ձեր մոդելի հղումով և օգտագործման դեպքով, որպեսզի մենք կարողանանք հաստատել համատեղելիությունը և առաջարկել ճիշտ մակարդակը:
Այո։ Ձեզ անհրաժեշտ կլինի ակտիվ GCP հաշիվ՝ միացված վճարումներով։ Մենք աշխատում ենք ձեր միջավայրում, որպեսզի դուք պահպանեք տեղակայված բոլոր ենթակառուցվածքների ամբողջական սեփականությունը և ուղղակիորեն կրեք GCP ծախսերը։ Եթե վստահ չեք, թե ինչպես դա կարգավորել, Խորհրդատվության մակարդակը հիանալի մեկնարկային կետ է։
Նվազագույնը, մեզ անհրաժեշտ է Hugging Face մոդելի հղումը և հակիրճ նկարագրություն, թե ինչի համար եք պատրաստվում օգտագործել այն։ Տեղակայման մակարդակների համար մեզ անհրաժեշտ կլինեն նաև մուտքի հավատարմագրեր ձեր GCP նախագծի համար։ Մենք ձեզ կառաջնորդենք, թե ինչպես ճշգրիտ կիսվել ապահով կերպով պատվերի չաթի միջոցով։
Ավելի մեծ մոդելները պահանջում են ռեսուրսների ավելի մանրակրկիտ գնահատում, կոնտեյներների կառուցման ավելի երկար ժամանակ և կենդանի վերջնակետի ավելի մանրակրկիտ փորձարկում: Լրացուցիչ ժամանակն ապահովում է, որ տեղակայումը կայուն է, անվտանգ և պատշաճ կերպով փաստաթղթավորված է հանձնումից առաջ:
VPC-native (Virtual Private Cloud) տեղակայումը նշանակում է, որ ձեր մոդելի վերջնակետը բաց չէ ինտերնետի համար: Մուտքը սահմանափակված է ցանցային մակարդակով, ինչը կարևոր է արտադրական միջավայրում սեփական տվյալների և մոդելի կշիռների անվտանգությունը պահպանելու համար:
Տեղակայման մակարդակը ներառում է ամբողջական ելակետային կոդը, որպեսզի ձեր թիմն ունենա այն ամենը, ինչ անհրաժեշտ է: Տեղակայում + Մեկնաբանություններ մակարդակը լրացուցիչ տրամադրում է մանրամասն ներքին ծանոթագրություններ՝ բացատրելով յուրաքանչյուր նշանակալի որոշում, ինչը կոդի բազան պարզ է դարձնում ձեր ինժեներների համար ժամանակի ընթացքում պահպանելու և ընդլայնելու համար:
Յուրաքանչյուր մոդել և յուրաքանչյուր GCP միջավայր տարբեր է։ Արագ զրույցը երաշխավորում է, որ մենք հասկանում ենք ձեր պահանջները, հաստատում ենք ճիշտ մակարդակը և խուսափում ենք ցանկացած հետադարձ կապից պատվերի մեկնարկից հետո։ Սա նաև նշանակում է, որ մենք կարող ենք նախապես նշել ցանկացած անսովոր GPU կամ ծախսերի նկատառումներ, որոնք հատուկ են ձեր ընտրած մոդելին։
Հաճախորդների ակնարկներ
Տեսեք, թե ինչ են ասում մեր հաճախորդները այս Zinn-ի մասին
Շատ գիտակ VertexAI փորձագետ, ով պատասխանեց իմ բոլոր հարցերին և նույնիսկ տվեց ինձ այնպիսի պատկերացումներ, որոնք օգտակար էին ինձ համար, բայց ես հատուկ չէի հարցրել դրանց մասին։
Ումաիրը Zinn Hub-ում մեր աշխատած լավագույն մարդն է: Նա բացառիկ էր մեր նախագծի յուրահատուկ պահանջները հասկանալու հարցում: Նա գերազանցեց սպասելիքները: Ես նրան կառաջարկեի ցանկացած AI նախագծի համար:
Միայն մուտք գործած հաճախորդները, ովքեր գնել են այս ապրանքը, կարող են ակնարկ թողնել:
