ඔබේ Hugging Face model — Llama, Mistral, Gemma, හෝ BERT — Google Cloud මත ආරක්ෂිත, පරිමාණය කළ හැකි, නිෂ්පාදනයට සූදානම් අවසාන ලක්ෂ්යයකට යොදවන්න, සම්පූර්ණයෙන්ම කන්ටේනරගත කර API-සූදානම්.
මම Hugging Face LLM GCP Vertex AI හෝ Cloud Run වෙත යොදවන්නෙමි
ඔබගේ ආකෘතිය තක්සේරු කිරීමට, ඔබගේ GCP යෙදවීමේ උපාය මාර්ගය සකස් කිරීමට සහ ඔබගේ ගෘහ නිර්මාණ ප්රශ්නවලට පිළිතුරු දීමට මිනිත්තු 45ක විශේෂඥ උපදේශනයක්.
- විනාඩි 45ක GCP Vertex AI / Cloud Run උපාය මාර්ග උපදේශනය
- මාදිලි තක්සේරුව: RAM/VRAM අවශ්යතා සහ GPU ස්ථර නිර්දේශය
- ගෘහ නිර්මාණ ශිල්පය සහ පිරිවැය ඇස්තමේන්තු මාර්ගෝපදේශය
- නිර්දේශිත යෙදවීමේ ප්රවේශය ලිඛිතව ලේඛනගත කර ඇත
- ඔබේ පවතින යෙදුමට ආකෘතිය සම්බන්ධ කිරීම සඳහා ඒකාබද්ධ කිරීමේ මාර්ග උපදෙස්
ඔබගේ Hugging Face ආකෘතිය ආරක්ෂිත GCP අවසාන ලක්ෂ්යයකට සම්පූර්ණ අවසාන-සිට-අවසාන යෙදවීම, සහ මූලාශ්ර කේතය, එවිට ඔබේ කණ්ඩායමට එය හිමිකර ගැනීමට සහ පුළුල් කිරීමට හැකිය.
- උපදේශන ස්ථරයේ ඇති සියල්ල
- සම්පූර්ණ Dockerised මාදිලි කන්ටේනරීකරණය සහ Vertex AI හෝ Cloud Run වෙත යෙදවීම
- GPU සැපයීම (T4, L4, හෝ A100 සුදුසු පරිදි)
- ආරක්ෂිත, VPC-ස්වදේශීය පුද්ගලික API අවසන් ලක්ෂ්ය වින්යාසය
- සජීවී අවසාන ලක්ෂ්යය සත්යාපනය කිරීමට Python පරීක්ෂණ ස්ක්රිප්ට්
- සම්පූර්ණ යෙදවීමේ මූලාශ්ර කේතය ඔබට ලබා දෙන ලදී
සවිස්තරාත්මක කේත අදහස් සමඟ සම්පූර්ණ යෙදවීමේ පැකේජය, එමඟින් කේත පදනම ඔබේ ඉංජිනේරු කණ්ඩායම විසින් සම්පූර්ණයෙන්ම නඩත්තු කළ හැකිය.
- Deployment ස්ථරයේ ඇති සියල්ල
- සියලුම ස්ක්රිප්ට් සහ වින්යාස ගොනු හරහා සවිස්තරාත්මක කේත අදහස්
- GPU තේරීම සහ ආරක්ෂක තේරීම් පැහැදිලි කරන ලේඛනගත ගෘහ නිර්මාණ ශිල්පීය තීරණ
- ඔබේ කණ්ඩායමට විශ්වාසයෙන් යුතුව නඩත්තු කිරීමට සහ පුළුල් කිරීමට හැකි භාරදීමට සූදානම් කේත පදනම
- විශාල හෝ වඩාත් සංකීර්ණ LLM සඳහා සුදුසුයි (උදා: Llama 3, Mistral විශාල ප්රභේද)
- ඇණවුම් කතාබස් හරහා ප්රමුඛතා ඇණවුම් කළමනාකරණය සහ සමීප සහයෝගීතාව
අභිරුචි දීමනාවක් ඉල්ලන්න
අභිරුචි දීමනාවක් ඉල්ලීමට පිවිසෙන්න
මෙම Zinner වෙතින් පුද්ගලීකරණය කළ දීමනාවක් ඉල්ලීමට නොමිලේ ගිණුමක් සාදන්න හෝ පිවිසෙන්න.
පිවිසෙන්න / ලියාපදිංචි වන්නපෙර-විකුණුම් ප්රශ්නයක් අසන්න
ප්රශ්නයක් ඇසීමට පිවිසෙන්න
වේදිකා ස්පෑම් අඩු කිරීම සඳහා, පෙර-විකුණුම් පණිවිඩ යැවිය හැක්කේ පිවිසී සිටින පරිශීලකයින්ට පමණි.
මෙම Zinner වෙත සෘජුවම පණිවිඩ යැවීමට නොමිලේ ගිණුමක් සාදන්න හෝ පිවිසෙන්න.
පිවිසෙන්න / ලියාපදිංචි වන්නපිවිසීම අවශ්යයි
මෙම Zinner වෙත පණිවිඩයක් යැවීමට නොමිලේ ගිණුමක් සාදන්න හෝ ලොග් වන්න.
පිවිසෙන්න / ලියාපදිංචි වන්නපිවිසීම අවශ්යයි
පුද්ගලීකරණය කළ පිරිනැමීමක් ඉල්ලීමට නොමිලේ ගිණුමක් සාදන්න හෝ ලොග් වන්න.
පිවිසෙන්න / ලියාපදිංචි වන්නඑක් බැල්මකින්
ඔබට තීරණය කිරීමට උපකාර වන මෙම සේවාව පිළිබඳ ප්රධාන විස්තර. Zinn Hub විසින් ජනනය කරන ලදී, විකුණුම්කරු විසින් නොවේ.
අගය පිහිටීම
බෙදාහැරීමේ ඉලක්කය
GPU විකල්ප
ආරක්ෂක ප්රවේශය
හොඳම දේ
ඔබට ලැබෙන දේ
සම්පූර්ණ විස්තරය
ඔබ නිවැරදි ආකෘතිය සොයාගෙන ඇත. දැන් ඔබට එය නිෂ්පාදනයේ විශ්වාසනීයව ක්රියාත්මක වීමට අවශ්යයි - දේශීයව පමණක් නොව, සටහන් පොතක නොව, ඔබේ යෙදුමට ඇත්ත වශයෙන්ම ඇමතීමට හැකි ආරක්ෂිත, පරිමාණය කළ හැකි API පිටුපස.
මෙම සේවාව සපයන්නේ එයයි.
Zinn Digital යනු ලන්ඩනයේ පිහිටි Google Cloud විශේෂඥයින් වේ. අපි ඔබ තෝරාගත් Hugging Face ආකෘතිය ගෙන Vertex AI හෝ Cloud Run මත නිෂ්පාදනයට සූදානම් පරිසරයකට යොදවන්නෙමු — සම්පූර්ණයෙන්ම කන්ටේනර්ගත කර, GPU-සපයා ඇති අතර, ආරක්ෂිත, VPC-ස්වදේශීය අවසාන ලක්ෂ්යයක් පිටුපසින් ආරක්ෂා කර ඇත. වැඩ අවසන් වූ විට, ඔබට ඔබේ නිෂ්පාදනයට වහාම ඒකාබද්ධ කළ හැකි සජීවී API එකක් ලැබේ.
**මෙය "ස්ක්රිප්ට් එකක් ධාවනය කිරීමෙන්" වෙනස් වන්නේ කුමක් ද?**
ඕනෑම කෙනෙකුට GPU අවස්ථාවක් කරකවා හොඳම දේ බලාපොරොත්තු විය හැක. කේත පේළියක් ලිවීමට පෙර අපි ඔබේ ආකෘතියේ සත්ය RAM සහ VRAM අවශ්යතා තක්සේරු කරමු, පිරිවැය සහ ප්රමාදය සමතුලිත කිරීමට නිවැරදි GPU ස්ථරය (T4, L4, හෝ A100) තෝරා ගනිමු, සහ ඔබේ වැඩ බර සමඟ පරිමාණය වන යටිතල පහසුකම් ගොඩනඟමු. සෑම යෙදවීමක්ම සැලසුම අනුව සුරක්ෂිත කර ඇත — පොදු අවසන් ලක්ෂ්ය විවෘතව නොමැත, අක්තපත්ර දෘඪ කේත කර නොමැත.
**එය ක්රියා කරන ආකාරය**
පළමුව, අපට ආකෘති සබැඳිය සහ ඔබේ භාවිත අවස්ථාව පිළිබඳ කෙටි විස්තරයක් එවන්න. අපි ආකෘතියේ සම්පත් අවශ්යතා තක්සේරු කර යෙදවීමේ ප්රවේශය තහවුරු කරමු. ඉන්පසු අපි Docker භාවිතයෙන් ආකෘතිය කන්ටේනරීකරණය කර, එය Vertex AI හෝ Cloud Run වෙත යොදවා, GPU සැපයීම සහ API ආරක්ෂාව වින්යාස කර, අවසානයේ ඔබට ක්රියාකාරී Python පරීක්ෂණ ස්ක්රිප්ට් එකක් ලබා දෙන්නෙමු, එවිට ඔබට අවසාන ලක්ෂ්යය ඔබම සත්යාපනය කළ හැක.
**ඇතුළත් දේ**
ඔබ තෝරා ගන්නා ස්ථරය අනුව, ඔබට මේවායින් සමහරක් හෝ සියල්ලම ලැබෙනු ඇත: විශේෂඥ උපදේශනයක් සහ ගෘහ නිර්මාණ තක්සේරුවක්, ආරක්ෂිත GCP අවසාන ලක්ෂ්යයකට සම්පූර්ණ ආකෘති යෙදවීමක්, කන්ටේනරීකරණය සහ යෙදවීමේ නල මාර්ගය සඳහා මූලාශ්ර කේතය, සහ සවිස්තරාත්මක කේත අදහස්, එවිට ඔබේ කණ්ඩායමට විශ්වාසයෙන් යුතුව කාර්යය නඩත්තු කිරීමට සහ පුළුල් කිරීමට හැකිය.
**මෙය කා සඳහාද**
මෙම සේවාව නිෂ්පාදනයේදී භාවිතා කිරීමට අවශ්ය Hugging Face මාදිලියක් හඳුනාගෙන ඇති නමුත් එය ආරක්ෂිතව හා කාර්යක්ෂමව යෙදවීමට GCP යටිතල පහසුකම් අත්දැකීම් නොමැති සංවර්ධකයින්ට සහ ඉංජිනේරු කණ්ඩායම්වලට ගැලපේ. සම්පූර්ණ ක්ලවුඩ් කණ්ඩායමක් බඳවා ගැනීමකින් තොරව ක්රියාකාරී AI පසුබිමක් අවශ්ය තාක්ෂණික නිර්මාතෘවරුන්ට සහ නිශ්චිත යෙදවීමේ අභියෝගයක් සඳහා විශේෂඥ දෑත් අවශ්ය Google Cloud දැනටමත් භාවිතා කරන සංවිධානවලට ද එය හොඳින් ගැලපේ.
**ඔබ ඇණවුම් කිරීමට පෙර**
සෑම ව්යාපෘතියක්ම අද්විතීයයි. ආකෘති ප්රමාණය, GPU අවශ්යතා, පවතින GCP ගෘහ නිර්මාණ ශිල්පය සහ ආරක්ෂක සීමාවන් සියල්ල වෙනස් වේ. කරුණාකර ඔබගේ ඇණවුම ලබා දීමට පෙර පණිවිඩයක් එවන්න, එවිට අපට ඔබගේ තත්ත්වය සඳහා ප්රවේශය නිවැරදි බව තහවුරු කර ගැනීමට සහ විෂය පථය පිළිබඳව එකඟ විය හැක. මෙය කාර්යය නිවැරදි පදනමකින් ආරම්භ වන බවට සහතික වන අතර පුදුමයක් නොමැත.
Zinner තත්ත්ව සහතිකය
සෑම Zinner කෙනෙකුම වේදිකාවට සම්බන්ධ වීමට පෙර සමාලෝචනය කර අනුමත කරනු ලැබේ.
සියලුම සේවාවන් අපගේ තත්ත්ව සහතික කිරීමේ කැපවීම මගින් සහාය වේ.
ඔබ භාර දුන් කාර්යය අනුමත කරන තෙක් ඔබේ ගෙවීම ආරක්ෂා කර ඇත.
පැකේජ සසඳන්න
| විශේෂාංගය | උපදේශනය | යෙදවීම | යෙදවීම + අදහස් |
|---|---|---|---|
| භාරදීමේ වේලාව | 2 දින | 5 දින | 10 දින |
| සංශෝධන | 0 | 0 | 0 |
| විනාඩි 45ක GCP Vertex AI / Cloud Run උපාය මාර්ග උපදේශනය | ✓ | ✕ | ✕ |
| ආකෘති තක්සේරුව: RAM/VRAM අවශ්යතා සහ GPU ස්ථර නිර්දේශය | ✓ | ✕ | ✕ |
| ගෘහ නිර්මාණ ශිල්පය සහ පිරිවැය ඇස්තමේන්තු මාර්ගෝපදේශය | ✓ | ✕ | ✕ |
| නිර්දේශිත යෙදවීමේ ප්රවේශය ලිඛිතව ලේඛනගත කර ඇත | ✓ | ✕ | ✕ |
| ඔබේ පවතින යෙදුමට ආකෘතිය සම්බන්ධ කිරීම සඳහා ඒකාබද්ධ කිරීමේ මාර්ග උපදෙස් | ✓ | ✕ | ✕ |
| උපදේශන ස්ථරයේ ඇති සියල්ල | ✕ | ✓ | ✕ |
| සම්පූර්ණ Dockerised මාදිලි කන්ටේනරීකරණය සහ Vertex AI හෝ Cloud Run වෙත යෙදවීම | ✕ | ✓ | ✕ |
| GPU සැපයීම (අවශ්ය පරිදි T4, L4, හෝ A100) | ✕ | ✓ | ✕ |
| ආරක්ෂිත, VPC-ස්වදේශීය පුද්ගලික API අවසන් ලක්ෂ්ය වින්යාසය | ✕ | ✓ | ✕ |
| සජීවී අවසාන ලක්ෂ්යය සත්යාපනය කිරීමට Python පරීක්ෂණ ස්ක්රිප්ට් | ✕ | ✓ | ✕ |
| සම්පූර්ණ යෙදවුම් මූලාශ්ර කේතය ඔබට ලබා දෙනු ඇත | ✕ | ✓ | ✕ |
| Deployment ස්ථරයේ ඇති සියල්ල | ✕ | ✕ | ✓ |
| සියලුම ස්ක්රිප්ට් සහ වින්යාස ගොනු හරහා සවිස්තරාත්මක ඉන්ලයින් කේත අදහස් | ✕ | ✕ | ✓ |
| GPU තේරීම සහ ආරක්ෂක තේරීම් පැහැදිලි කරන ලේඛනගත ගෘහ නිර්මාණ තීරණ | ✕ | ✕ | ✓ |
| ඔබේ කණ්ඩායමට විශ්වාසයෙන් යුතුව නඩත්තු කිරීමට සහ පුළුල් කිරීමට හැකි, භාරදීමට සූදානම් කේත පදනම | ✕ | ✕ | ✓ |
| විශාල හෝ වඩාත් සංකීර්ණ LLM සඳහා සුදුසු වේ (උදා: Llama 3, Mistral විශාල ප්රභේද) | ✕ | ✕ | ✓ |
| ඇණවුම් කතාබස් හරහා ප්රමුඛතා ඇණවුම් කළමනාකරණය සහ සමීප සහයෝගීතාව | ✕ | ✕ | ✓ |
පෝට්ෆෝලියෝ
මෙම Zinn ට අදාළ විකුණුම්කරුගේ වැඩ පිළිබඳ උදාහරණ.
Hugging Face LLM GCP Vertex AI හෝ Cloud Run වෙත යොදවන්න
Hugging Face LLM GCP Vertex AI හෝ Cloud Run වෙත යොදවන්න
අමතර තොරතුරු
මා තෝරාගත යුත්තේ ඇයි
මා භාවිතා කරන මෙවලම්
සඳහා පරිපූර්ණයි
නිතර අසන ප්රශ්න
අපි Llama 3, Mistral, Gemma, BERT, සහ Hugging Face හි සත්කාරකත්වය දරන අනෙකුත් ට්රාන්ස්ෆෝමර් මත පදනම් වූ මාදිලි ඇතුළු පුළුල් පරාසයක මාදිලි සමඟ වැඩ කරන්නෙමු. මාදිලි ප්රමාණය සහ GPU අවශ්යතා වෙනස් වේ, එබැවින් කරුණාකර ඇණවුම් කිරීමට පෙර ඔබේ මාදිලි සබැඳිය සහ භාවිත අවස්ථාව සමඟ අපට පණිවිඩයක් එවන්න, එවිට අපට ගැළපුම තහවුරු කර නිවැරදි ස්ථරය නිර්දේශ කළ හැක.
ඔව්. ඔබට බිල්පත් සක්රීය කර ඇති සක්රීය GCP ගිණුමක් අවශ්ය වනු ඇත. අපි ඔබේ පරිසරය තුළ ක්රියා කරන්නෙමු, එවිට ඔබ යොදවා ඇති සියලුම යටිතල පහසුකම්වල පූර්ණ හිමිකාරිත්වය රඳවා තබා ගන්නා අතර GCP පිරිවැය සෘජුවම දරනු ඇත. මෙය සකසන්නේ කෙසේදැයි ඔබට විශ්වාස නැත්නම්, උපදේශන ස්ථරය විශිෂ්ට ආරම්භක ලක්ෂ්යයකි.
අවම වශයෙන්, අපට Hugging Face මාදිලියේ සබැඳියක් සහ ඔබ එය භාවිතා කිරීමට අදහස් කරන දේ පිළිබඳ කෙටි විස්තරයක් අවශ්ය වේ. යෙදවීමේ ස්ථර සඳහා, අපට ඔබේ GCP ව්යාපෘතියට ප්රවේශ අක්තපත්ර ද අවශ්ය වනු ඇත. ඇණවුම් කතාබස් හරහා ආරක්ෂිතව බෙදා ගත යුතු දේ හරියටම අපි ඔබට මඟ පෙන්වන්නෙමු.
විශාල මාදිලි සඳහා වඩාත් ප්රවේශමෙන් සම්පත් තක්සේරු කිරීම, දිගු කන්ටේනර් ගොඩනැගීමේ වේලාවන් සහ සජීවී අවසාන ලක්ෂ්යය වඩාත් හොඳින් පරීක්ෂා කිරීම අවශ්ය වේ. අමතර කාලය මඟින් භාරදීමට පෙර යෙදවීම ස්ථාවර, ආරක්ෂිත සහ නිසි ලෙස ලේඛනගත කර ඇති බව සහතික කරයි.
VPC-native (Virtual Private Cloud) යෙදවීමක් යනු ඔබේ ආකෘති අවසාන ලක්ෂ්යය විවෘත අන්තර්ජාලයට නිරාවරණය නොවන බවයි. ජාල මට්ටමින් ප්රවේශය සීමා කර ඇති අතර, නිෂ්පාදන පරිසරයක හිමිකාර දත්ත සහ ආකෘති බර සුරක්ෂිතව තබා ගැනීම සඳහා මෙය වැදගත් වේ.
Deployment ස්ථරයට සම්පූර්ණ මූලාශ්ර කේතය ඇතුළත් වන අතර එමඟින් ඔබේ කණ්ඩායමට අවශ්ය සියල්ල ඇත. Deployment + Comments ස්ථරය සෑම වැදගත් තීරණයක්ම පැහැදිලි කරන සවිස්තරාත්මක අන්තර්ගත සටහන් සපයයි, එමඟින් ඔබේ ඉංජිනේරුවන්ට කාලයත් සමඟ කේත පදනම නඩත්තු කිරීම සහ පුළුල් කිරීම සරල කරයි.
සෑම ආකෘතියක්ම සහ සෑම GCP පරිසරයක්ම වෙනස් වේ. ඉක්මන් සංවාදයක් මඟින් ඔබගේ අවශ්යතා අපට අවබෝධ වන බව සහතික කරයි, නිවැරදි ස්ථරය තහවුරු කරයි, සහ ඇණවුම ආරම්භ වූ පසු කිසිදු එහා මෙහා යාමක් වළක්වයි. එයින් අදහස් වන්නේ ඔබ තෝරාගත් ආකෘතියට විශේෂිත වූ අසාමාන්ය GPU හෝ පිරිවැය සලකා බැලීම් කල්තියා අපට සලකුණු කළ හැකි බවයි.
පාරිභෝගික සමාලෝචන
මෙම Zinn ගැන අපගේ පාරිභෝගිකයින් පවසන දේ බලන්න
ඉතා දැනුමැති VertexAI විශේෂඥයෙක් මගේ සියලු ප්රශ්නවලට පිළිතුරු දුන් අතර මට ප්රයෝජනවත් වූ නමුත් මා විශේෂයෙන් විමසා නොතිබූ තොරතුරු පවා ලබා දුන්නේය.
Umair යනු Zinn Hub හි අප වැඩ කළ හොඳම පුද්ගලයා වේ. අපගේ ව්යාපෘතියේ අද්විතීය අවශ්යතා තේරුම් ගැනීමට ඔහු අසාමාන්ය විය. ඔහු අපේක්ෂාවන් ඉක්මවා ගියේය. ඕනෑම AI ව්යාපෘතියක් සඳහා මම ඔහුව නිර්දේශ කරමි.
මෙම නිෂ්පාදනය මිලදී ගත් ලොග් වූ පාරිභෝගිකයින්ට පමණක් සමාලෝචනයක් තැබිය හැක.
