දේශීය LLM සහ RAG නල මාර්ග ධාවනය කිරීම සඳහා දෘඪාංග සම්පත්වල නිශ්චිත සමතුලිතතාවයක් අවශ්‍ය වේ. ඔබේ ආකෘති පරාමිතීන් ඔබේ පවතින GPU VRAM හෝ පද්ධති RAM ඉක්මවා ගියහොත්, ඔබේ OS පද්ධති ගබඩාව භාවිතා කිරීමට බල කරන බැවින් ක්‍රියාත්මක කිරීමේ වේගය ශුන්‍යයට ආසන්නව පහත වැටේ. මෙය…
මම දේශීය දෘඪාංග සහ මාදිලි ගැළපුම් විගණනයක් සිදු කරමි
අභිරුචි දීමනාවක් ඉල්ලන්න
අභිරුචි දීමනාවක් ඉල්ලීමට පිවිසෙන්න
මෙම Zinner වෙතින් පුද්ගලීකරණය කළ දීමනාවක් ඉල්ලීමට නොමිලේ ගිණුමක් සාදන්න හෝ පිවිසෙන්න.
පිවිසෙන්න / ලියාපදිංචි වන්නපෙර-විකුණුම් ප්‍රශ්නයක් අසන්න
ප්‍රශ්නයක් ඇසීමට පිවිසෙන්න
වේදිකා ස්පෑම් අඩු කිරීම සඳහා, පෙර-විකුණුම් පණිවිඩ යැවිය හැක්කේ පිවිසී සිටින පරිශීලකයින්ට පමණි.
මෙම Zinner වෙත සෘජුවම පණිවිඩ යැවීමට නොමිලේ ගිණුමක් සාදන්න හෝ පිවිසෙන්න.
පිවිසෙන්න / ලියාපදිංචි වන්නපිවිසීම අවශ්යයි
මෙම Zinner වෙත පණිවිඩයක් යැවීමට නොමිලේ ගිණුමක් සාදන්න හෝ ලොග් වන්න.
පිවිසෙන්න / ලියාපදිංචි වන්නපිවිසීම අවශ්යයි
පුද්ගලීකරණය කළ පිරිනැමීමක් ඉල්ලීමට නොමිලේ ගිණුමක් සාදන්න හෝ ලොග් වන්න.
පිවිසෙන්න / ලියාපදිංචි වන්නඑක් බැල්මකින්
ඔබට තීරණය කිරීමට උපකාර වන මෙම සේවාව පිළිබඳ ප්‍රධාන විස්තර. Zinn Hub විසින් ජනනය කරන ලදී, විකුණුම්කරු විසින් නොවේ.
අගය පිහිටීම
ඔබට ලැබෙන දේ
වේගවත් හැරවුම් කාලය
ඔබ සැපයිය යුතු දේ
හොඳම දේ
සම්පූර්ණ විස්තරය
දේශීය LLM සහ RAG නල මාර්ග ධාවනය කිරීම සඳහා දෘඪාංග සම්පත්වල නිශ්චිත සමතුලිතතාවයක් අවශ්‍ය වේ. ඔබේ ආකෘති පරාමිතීන් ඔබේ පවතින GPU VRAM හෝ පද්ධති RAM ඉක්මවා ගියහොත්, ඔබේ OS හට පද්ධති ගබඩාව භාවිතා කිරීමට බල කෙරෙන බැවින් ක්‍රියාත්මක වීමේ වේගය ශුන්‍යයට ආසන්නව පහත වැටේ.
මෙම Micro Zinn මඟින් ඔබට කිසියම් මෘදුකාංගයක් මිලදී ගැනීමට හෝ ස්ථාපනය කිරීමට පෙර ඔබේ දෘඪාංගවල සම්පූර්ණ ගැළපුම් විගණනයක් සපයයි. ප්‍රශස්ත දේශීය කාර්ය සාධනයක් ලබා ගන්නේ කෙසේදැයි ඔබට නිශ්චිතවම පැවසීමට අපි ඔබේ භෞතික පද්ධතිය—එය Apple Silicon Mac එකක්, NVIDIA CUDA වැඩපොළක් හෝ සම්මත Windows/Linux සේවාදායකයක් වේවා—ඇගයීමට ලක් කරන්නෙමු.
අප විශ්ලේෂණය කරන දේ:
1. GPU VRAM සීමාවන්: ඔබගේ උපරිම මාදිලි පරාමිති සීමාව (උදා, 7B, 13B, හෝ 34B මාදිලි) සොයා ගැනීමට අපි ඔබගේ කැපවූ ග්‍රැෆික් මතකය සිතියම්ගත කරමු.
2. පද්ධති RAM වෙන් කිරීම: ඔබට කැපවූ GPU එකක් නොමැති නම් හෝ බෙදාගත් පද්ධති මතකයක් මත ධාවනය කරන්නේ නම්, අපි ඔබගේ CPU-අනුමාන සීමාවන් සහ අක්‍රිය කිරීමේ සීමාවන් තීරණය කරමු.
3. ප්‍රමාණකරණ සිතියම්කරණය: සැකසුම් වේගය සහ මාදිලි බුද්ධිය සමතුලිත කිරීමට අපි නිශ්චිත ප්‍රමාණකරණ මට්ටම (Q4_K_M, Q5_K_M, හෝ Q8_0 වැනි) නිර්දේශ කරමු.
4. සන්දර්භ කවුළු සීමාවන්: අධික ලේඛන ලබා ගැනීමේදී පද්ධති මතකයෙන් බැහැරවීම් වළක්වා ගැනීම සඳහා අපි ඔබගේ ආරක්ෂිත උපරිම ටෝකන් සීමාවන් ගණනය කරමු.
බාගත කළ යුතු විවෘත මූලාශ්‍ර බර හෝ ඔබේ දේශීය සැකසුම මන්දගාමී වන්නේ මන්දැයි අනුමාන කිරීම නවත්වන්න. මෙම පද්ධති දිනපතා භෞතික ලෝහ මත ගොඩනඟන ක්‍රියාකරුවන්ගෙන් ඔබේ දේශීය AI පරිසරය සඳහා ඉංජිනේරුගත, දෘඪාංග-විශේෂිත සිතියමක් ලබා ගන්න.
Ollama මාදිලි පරාමිති සීමාවන්, සන්දර්භ කවුළු පරිමාණයන්, සහ 128GB RAM සඳහා ප්‍රශස්ත Q4/Q5 ප්‍රමාණකරණයන් සිතියම්ගත කරමින් දෘඪාංග අනුකූලතා විගණනය සම්පූර්ණ කරන ලදී.
උදාහරණය බලන්න ↗Micro Zinn යනු කුඩා, ස්ථාවර මිලකට රස බැලීමේ හෝ ක්ෂුද්‍ර සේවාවකි. CAVOK_Designs මෙය පිරිනමන්නේ:
නිපුණතා ප්‍රදර්ශනයපෝට්ෆෝලියෝ සාදන්නානව ගනුදෙනුකරුවන් සඳහා විවෘතයිZinner තත්ත්ව සහතිකය
සෑම Zinner කෙනෙකුම වේදිකාවට සම්බන්ධ වීමට පෙර සමාලෝචනය කර අනුමත කරනු ලැබේ.
සියලුම සේවාවන් අපගේ තත්ත්ව සහතික කිරීමේ කැපවීම මගින් සහාය වේ.
ඔබ භාර දුන් කාර්යය අනුමත කරන තෙක් ඔබේ ගෙවීම ආරක්ෂා කර ඇත.
පාරිභෝගික සමාලෝචන
මෙම Zinn ගැන අපගේ පාරිභෝගිකයින් පවසන දේ බලන්න
