Pata modeli yako ya Hugging Face — Llama, Mistral, Gemma, au BERT — iliyotumwa kwenye sehemu salama, inayoweza kupanuka, tayari kwa uzalishaji kwenye Google Cloud, ikiwa na kontena kamili na tayari kwa API.
Nitatumia Hugging Face LLMs kwa GCP Vertex AI au Cloud Run
Ushauri wa kitaalamu wa dakika 45 unaolenga kutathmini mfumo wako, kupanga mkakati wako wa uwekaji wa GCP, na kujibu maswali yako ya usanifu.
- Ushauri wa mkakati wa dakika 45 wa GCP Vertex AI / Cloud Run
- Tathmini ya mfano: Mahitaji ya RAM/VRAM na mapendekezo ya kiwango cha GPU
- Mwongozo wa usanifu na makadirio ya gharama
- Mbinu ya utekelezaji inayopendekezwa iliyoandikwa
- Ushauri wa njia ya kuunganisha mfano kwenye programu yako iliyopo
Usambazaji kamili wa mwanzo hadi mwisho wa modeli yako ya Hugging Face kwenye kituo salama cha GCP, pamoja na msimbo wa chanzo ili timu yako iweze kuimiliki na kuipanua.
- Kila kitu katika kiwango cha Ushauri
- Uwekaji wa kontena kamili wa modeli ya Dockerised na usambazaji kwa Vertex AI au Cloud Run
- Utoaji wa GPU (T4, L4, au A100 inapofaa)
- Usanidi salama wa mwisho wa API ya faragha ya VPC-native
- Hati ya majaribio ya Python ili kuthibitisha sehemu ya mwisho ya moja kwa moja
- Msimbo kamili wa chanzo cha usambazaji uliotolewa kwako
Kifurushi kamili cha usambazaji chenye maoni ya kina ya msimbo ndani yake, na kufanya msimbo uweze kudumishwa kikamilifu na timu yako ya uhandisi.
- Kila kitu katika kiwango cha Usambazaji
- Maoni ya kina ya msimbo wa ndani katika hati zote na faili za usanidi
- Maamuzi ya usanifu yaliyoandikwa yakieleza uteuzi wa GPU na chaguzi za usalama
- Msimbo tayari wa kukabidhiwa ambao timu yako inaweza kudumisha na kupanua kwa ujasiri
- Inafaa kwa LLM kubwa au ngumu zaidi (k.m. Llama 3, lahaja kubwa za Mistral)
- Usimamizi wa agizo la kipaumbele na ushirikiano wa karibu kupitia gumzo la agizo
Omba Ofa Maalum
Ingia ili Uombe Ofa Maalum
Fungua akaunti ya bure au ingia ili kuomba ofa maalum kutoka kwa Zinner huyu.
Ingia / JisajiliUliza Swali Kabla ya Kuuza
Ingia ili Ulize Swali
Ili kupunguza barua taka kwenye jukwaa, jumbe za mauzo ya awali zinaweza kutumwa tu na watumiaji walioingia.
Fungua akaunti ya bure au ingia ili kumtumia ujumbe Zinner huyu moja kwa moja.
Ingia / JisajiliKuingia kunahitajika
Fungua akaunti ya bure au ingia ili kumtumia ujumbe Zinner huyu.
Ingia / JisajiliKuingia kunahitajika
Fungua akaunti ya bure au ingia ili kuomba ofa iliyobinafsishwa.
Ingia / JisajiliKwa Mtazamo
Maelezo muhimu kuhusu huduma hii kukusaidia kuamua. Imetolewa na Zinn Hub, si muuzaji.
Nafasi ya Thamani
Lengo la Usambazaji
Chaguzi za GPU
Mbinu ya Usalama
Bora Kwa
Utakachopokea
Maelezo Kamili
Umeipata modeli sahihi. Sasa unahitaji iendeshe kwa uhakika katika uzalishaji — si tu ndani, si katika daftari, bali nyuma ya API salama, inayoweza kupanuka ambayo programu yako inaweza kuiita.
Hiyo ndiyo hasa huduma hii inatoa.
Zinn Digital ni wataalamu wa Google Cloud walio London. Tunachukua modeli yako uliyochagua ya Hugging Face na kuipeleka kwenye mazingira tayari kwa uzalishaji kwenye Vertex AI au Cloud Run — ikiwa na kontena kamili, GPU-iliyotolewa, na kulindwa nyuma ya sehemu salama, ya asili ya VPC. Kazi inapokamilika, unapokea API hai unayoweza kuiunganisha mara moja kwenye bidhaa yako.
**Ni nini kinachofanya hii kuwa tofauti na "kuendesha tu hati"**
Mtu yeyote anaweza kuwasha mfumo wa GPU na kutumaini yaliyo bora. Tunatathmini mahitaji halisi ya RAM na VRAM ya modeli yako kabla ya mstari mmoja wa msimbo kuandikwa, tunachagua kiwango sahihi cha GPU (T4, L4, au A100) ili kusawazisha gharama na muda wa kusubiri, na kujenga miundombinu inayoongezeka kulingana na mzigo wako wa kazi badala ya kuanguka chini yake. Kila usambazaji umelindwa kwa muundo — hakuna sehemu za umma zilizoachwa wazi, hakuna vitambulisho vilivyowekwa kwa nguvu.
**Jinsi inavyofanya kazi**
Kwanza, tutumie kiungo cha mfano na maelezo mafupi ya kesi yako ya matumizi. Tunatathmini mahitaji ya rasilimali ya mfano na kuthibitisha mbinu ya kupeleka. Kisha tunahifadhi mfano kwa kutumia Docker, tunaupeleka kwenye Vertex AI au Cloud Run, tunasanidi utoaji wa GPU na usalama wa API, na hatimaye tunakupa hati ya majaribio ya Python inayofanya kazi ili uweze kuthibitisha sehemu ya mwisho mwenyewe.
**Kilichojumuishwa**
Kulingana na kiwango unachochagua, utapokea baadhi au yote yafuatayo: ushauri wa kitaalamu na tathmini ya usanifu, usambazaji kamili wa modeli kwenye kituo salama cha GCP, msimbo chanzo wa uwekaji wa kontena na bomba la usambazaji, na maoni ya kina ya msimbo ili timu yako iweze kudumisha na kupanua kazi kwa ujasiri.
**Hii ni kwa ajili ya nani**
Huduma hii inafaa kwa watengenezaji na timu za uhandisi ambao wametambua mfano wa Hugging Face wanaotaka kutumia katika uzalishaji lakini hawana uzoefu wa miundombinu ya GCP kuupeleka kwa usalama na kwa ufanisi. Inafaa vile vile kwa waanzilishi wa kiufundi wanaohitaji backend ya AI inayofanya kazi bila kuajiri timu kamili ya wingu, na kwa mashirika ambayo tayari yanatumia Google Cloud na wanataka mikono ya wataalamu kwenye changamoto maalum ya upelekaji.
**Kabla ya kuagiza**
Kila mradi ni wa kipekee. Ukubwa wa modeli, mahitaji ya GPU, usanifu uliopo wa GCP, na vikwazo vya usalama vyote hutofautiana. Tafadhali tuma ujumbe kabla ya kuweka agizo lako ili tuweze kuthibitisha mbinu inafaa kwa hali yako na kukubaliana juu ya upeo. Hii inahakikisha kazi inaanza kwa mguu sahihi na hakuna mshangao.
Dhamana ya Ubora wa Zinner
Kila Zinner hukaguliwa na kuidhinishwa kabla ya kujiunga na jukwaa.
Huduma zote zinaungwa mkono na ahadi yetu ya uhakikisho wa ubora.
Malipo yako yanalindwa hadi uidhinishe kazi iliyokamilishwa.
Linganisha Vifurushi
| Kipengele | Ushauri | Usambazaji | Utekelezaji + Maoni |
|---|---|---|---|
| Muda wa Uwasilishaji | 2 siku | 5 siku | 10 siku |
| Marekebisho | 0 | 0 | 0 |
| Ushauri wa mkakati wa dakika 45 wa GCP Vertex AI / Cloud Run | ✓ | ✕ | ✕ |
| Tathmini ya mfano: Mahitaji ya RAM/VRAM na mapendekezo ya kiwango cha GPU | ✓ | ✕ | ✕ |
| Mwongozo wa usanifu na makadirio ya gharama | ✓ | ✕ | ✕ |
| Mbinu ya kupeleka iliyopendekezwa imeandikwa | ✓ | ✕ | ✕ |
| Ushauri wa njia ya ujumuishaji kwa kuunganisha mfano kwenye programu yako iliyopo | ✓ | ✕ | ✕ |
| Kila kitu katika kiwango cha Ushauri | ✕ | ✓ | ✕ |
| Uwekaji wa kontena kamili ya modeli ya Dockerised na usambazaji kwa Vertex AI au Cloud Run | ✕ | ✓ | ✕ |
| Utoaji wa GPU (T4, L4, au A100 inapofaa) | ✕ | ✓ | ✕ |
| Usanidi salama wa mwisho wa API ya faragha asili ya VPC | ✕ | ✓ | ✕ |
| Hati ya jaribio la Python ili kuthibitisha sehemu ya mwisho ya moja kwa moja | ✕ | ✓ | ✕ |
| Msimbo kamili wa chanzo cha usambazaji uliotolewa kwako | ✕ | ✓ | ✕ |
| Kila kitu katika kiwango cha Usambazaji | ✕ | ✕ | ✓ |
| Maoni ya kina ya msimbo wa ndani katika hati zote na faili za usanidi | ✕ | ✕ | ✓ |
| Maamuzi ya usanifu yaliyoandikwa yakielezea uteuzi wa GPU na chaguzi za usalama | ✕ | ✕ | ✓ |
| Msimbo tayari wa kukabidhiwa ambao timu yako inaweza kudumisha na kupanua kwa ujasiri | ✕ | ✕ | ✓ |
| Inafaa kwa LLM kubwa au ngumu zaidi (k.m. Llama 3, lahaja kubwa za Mistral) | ✕ | ✕ | ✓ |
| Usimamizi wa agizo la kipaumbele na ushirikiano wa karibu kupitia gumzo la agizo | ✕ | ✕ | ✓ |
Kwingineko
Mifano ya kazi ya muuzaji inayohusiana na Zinn hii.
Tumia Hugging Face LLMs kwa GCP Vertex AI au Cloud Run
Tumia Hugging Face LLMs kwa GCP Vertex AI au Cloud Run
Taarifa za Ziada
Kwa Nini Unichague
Zana Ninazotumia
Inafaa Kwa
Maswali Yanayoulizwa Mara kwa Mara
Tunafanya kazi na anuwai ya mifano ikiwemo Llama 3, Mistral, Gemma, BERT, na mifano mingine inayotegemea transformer iliyohifadhiwa kwenye Hugging Face. Ukubwa wa mfano na mahitaji ya GPU hutofautiana, kwa hivyo tafadhali tutumie ujumbe kabla ya kuagiza na kiungo chako cha mfano na kesi ya matumizi ili tuweze kuthibitisha utangamano na kupendekeza kiwango sahihi.
Ndio. Utahitaji akaunti hai ya GCP na bili imewashwa. Tunafanya kazi ndani ya mazingira yako ili ubaki na umiliki kamili wa miundombinu yote iliyotumwa na upate gharama za GCP moja kwa moja. Ikiwa huna uhakika jinsi ya kusanidi hii, kiwango cha Ushauri ni mahali pazuri pa kuanzia.
Kwa uchache, tunahitaji kiungo cha mfano cha Hugging Face na maelezo mafupi ya kile unachokusudia kukitumia. Kwa viwango vya utumiaji, pia tutahitaji vitambulisho vya ufikiaji kwa mradi wako wa GCP. Tutakuelekeza jinsi ya kushiriki kwa usalama kupitia gumzo la agizo.
Miundo mikubwa inahitaji tathmini makini zaidi ya rasilimali, muda mrefu wa ujenzi wa kontena, na majaribio kamili zaidi ya sehemu ya mwisho ya moja kwa moja. Muda wa ziada unahakikisha uwekaji ni thabiti, salama, na umeandikwa ipasavyo kabla ya kukabidhiwa.
Utekelezaji asilia wa VPC (Virtual Private Cloud) unamaanisha kuwa sehemu ya mwisho ya mfano wako haijawekwa wazi kwa intaneti. Ufikiaji umewekewa vikwazo katika kiwango cha mtandao, jambo ambalo ni muhimu kwa kuweka data ya umiliki na uzito wa mfano salama katika mazingira ya uzalishaji.
Kiwango cha Usambazaji kinajumuisha msimbo kamili wa chanzo ili timu yako iwe na kila kitu wanachohitaji. Kiwango cha Usambazaji + Maoni huongeza maelezo ya kina ya ndani yanayoelezea kila uamuzi muhimu, na kufanya msimbo kuwa rahisi kwa wahandisi wako kudumisha na kupanua kwa muda.
Kila modeli na kila mazingira ya GCP ni tofauti. Mazungumzo ya haraka yanahakikisha tunaelewa mahitaji yako, tunathibitisha kiwango sahihi, na kuepuka kurudiana baada ya agizo kuanza. Pia inamaanisha tunaweza kuashiria mapema masuala yoyote yasiyo ya kawaida ya GPU au gharama maalum kwa modeli uliyochagua.
Maoni ya Wateja
Angalia wateja wetu wanasema nini kuhusu Zinn hii
Mtaalamu mwenye ujuzi sana wa VertexAI ambaye alijibu maswali yangu yote na hata kunipa ufahamu ambao ulikuwa muhimu kwangu lakini sikuwa nimeuliza hasa.
Umair ndiye mtu bora zaidi ambaye tumewahi kufanya naye kazi kwenye Zinn Hub. Alikuwa mahiri sana katika kuelewa mahitaji ya kipekee ya mradi wetu. Alifanya zaidi ya ilivyotarajiwa. Ningempendekeza kwa mradi wowote wa AI.
Wateja walioingia pekee ambao wamenunua bidhaa hii ndio wanaweza kuacha ukaguzi.
