Yerli avadanlıq və model uyğunluğu auditini aparacağam

Yerli LLM-ləri və RAG boru kəmərlərini işə salmaq aparat resurslarının dəqiq balansını tələb edir. Əgər model parametrləriniz mövcud GPU VRAM və ya sistem RAM-ınızı aşarsa, əməliyyat sisteminiz sistem yaddaşından istifadə etməyə məcbur olduğundan icra sürəti sıfıra yaxın düşür.

Bu Micro Zinn, hər hansı bir proqram təminatı almadan və ya quraşdırmadan əvvəl avadanlığınızın tam uyğunluq auditini təmin edir. Biz fiziki sisteminizi – istər Apple Silicon Mac, istər NVIDIA CUDA iş stansiyası, istərsə də standart Windows/Linux server olsun – optimal yerli performans əldə etmək üçün sizə tam olaraq nə etməli olduğunuzu söyləmək üçün qiymətləndiririk.

Nəyi təhlil edirik:
1. GPU VRAM məhdudiyyətləri: Maksimum model parametr tavanınızı (məsələn, 7B, 13B və ya 34B modelləri) tapmaq üçün xüsusi qrafik yaddaşınızı xəritələyirik.
2. Sistem RAM ayırması: Xüsusi GPU-nuz yoxdursa və ya paylaşılan sistem yaddaşında işləyirsinizsə, CPU-çıxarış həddinizi və boşaltma limitlərinizi müəyyənləşdiririk.
3. Kvantlaşdırma xəritəsi: Emal sürəti və model intellektini tarazlaşdırmaq üçün dəqiq kvantlaşdırma səviyyəsini (məsələn, Q4_K_M, Q5_K_M və ya Q8_0) tövsiyə edirik.
4. Kontekst pəncərəsi limitləri: Ağır sənəd əldə etmə zamanı sistemin yaddaşdan kənar çökmələrinin qarşısını almaq üçün təhlükəsiz maksimum token limitlərinizi hesablayırıq.

Hansı açıq mənbə çəkilərini yükləyəcəyinizi və ya yerli quraşdırmanızın niyə yavaş olduğunu təxmin etməyi dayandırın. Bu sistemləri gündəlik fiziki metal üzərində quran operatorlardan yerli AI mühitiniz üçün mühəndislik edilmiş, avadanlığa xas xəritə əldə edin.