ဒေသတွင်း ဟာ့ဒ်ဝဲနှင့် မော်ဒယ်လိုက်ဖက်မှု စစ်ဆေးခြင်းကို ကျွန်ုပ်လုပ်ဆောင်ပေးပါမည်။

local LLM များနှင့် RAG ပိုက်လိုင်းများကို လုပ်ဆောင်ခြင်းသည် ဟာ့ဒ်ဝဲအရင်းအမြစ်များ၏ တိကျသော ဟန်ချက်ညီမှု လိုအပ်ပါသည်။ သင်၏ မော်ဒယ် ကန့်သတ်ချက်များသည် သင်၏ ရရှိနိုင်သော GPU VRAM သို့မဟုတ် စနစ် RAM ထက် ကျော်လွန်ပါက သင်၏ OS သည် စနစ်သိုလှောင်မှုကို အသုံးပြုရန် တွန်းအားပေးခံရသောကြောင့် လုပ်ဆောင်မှု အမြန်နှုန်းသည် သုညနီးပါးအထိ ကျဆင်းသွားပါသည်။

ဤ Micro Zinn သည် မည်သည့်ဆော့ဖ်ဝဲလ်ကိုမဆို မဝယ်မီ သို့မဟုတ် မတပ်ဆင်မီ သင့်ဟာ့ဒ်ဝဲ၏ ပြီးပြည့်စုံသော တွဲဖက်အသုံးပြုနိုင်မှု စစ်ဆေးမှုကို ပေးပါသည်။ သင်၏ ရုပ်ပိုင်းဆိုင်ရာစနစ်—Apple Silicon Mac၊ NVIDIA CUDA workstation သို့မဟုတ် စံ Windows/Linux ဆာဗာဖြစ်စေ—ကို အကောင်းဆုံး ဒေသတွင်းစွမ်းဆောင်ရည်ကို မည်သို့ရရှိနိုင်ကြောင်း အတိအကျပြောပြရန် ကျွန်ုပ်တို့ အကဲဖြတ်ပါသည်။

ကျွန်ုပ်တို့ ခွဲခြမ်းစိတ်ဖြာသည်-
၁။ GPU VRAM ကန့်သတ်ချက်များ- သင်၏ အများဆုံး မော်ဒယ် ကန့်သတ်ချက် (ဥပမာ၊ 7B, 13B, သို့မဟုတ် 34B မော်ဒယ်များ) ကို ရှာဖွေရန် သင်၏ သီးသန့် ဂရပ်ဖစ် မမ်မိုရီကို မြေပုံဆွဲပါသည်။
၂။ စနစ် RAM ခွဲဝေမှု- သင်၌ သီးသန့် GPU မရှိပါက သို့မဟုတ် မျှဝေထားသော စနစ် မမ်မိုရီတွင် လုပ်ဆောင်ပါက သင်၏ CPU-inference ကန့်သတ်ချက်များနှင့် offloading ကန့်သတ်ချက်များကို ဆုံးဖြတ်ပါသည်။
၃။ Quantization မြေပုံဆွဲခြင်း- လုပ်ဆောင်မှု မြန်နှုန်းနှင့် မော်ဒယ် ဉာဏ်ရည်ကို ချိန်ညှိရန် တိကျသော quantization အဆင့် (ဥပမာ Q4_K_M, Q5_K_M, သို့မဟုတ် Q8_0) ကို အကြံပြုပါသည်။
၄။ Context window ကန့်သတ်ချက်များ- လေးလံသော စာရွက်စာတမ်း ပြန်လည်ရယူခြင်း ကာလအတွင်း စနစ် မမ်မိုရီ ပြည့်လျှံမှုများကို ကာကွယ်ရန် သင်၏ ဘေးကင်းသော အများဆုံး token ကန့်သတ်ချက်များကို တွက်ချက်ပါသည်။

မည်သည့် open-source weights များကို ဒေါင်းလုဒ်လုပ်ရမည် သို့မဟုတ် သင့် local setup အဘယ်ကြောင့် နှေးကွေးနေသည်ကို ခန့်မှန်းခြင်းကို ရပ်တန့်ပါ။ ဤစနစ်များကို ရုပ်ပိုင်းဆိုင်ရာ hardware ပေါ်တွင် နေ့စဉ်တည်ဆောက်နေသော operator များထံမှ သင့် local AI environment အတွက် အင်ဂျင်နီယာဆန်သော၊ hardware-specific မြေပုံကို ရယူပါ။