ಸ್ಥಳೀಯ LLM ಗಳು ಮತ್ತು RAG ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಚಲಾಯಿಸಲು ಹಾರ್ಡ್‌ವೇರ್ ಸಂಪನ್ಮೂಲಗಳ ನಿಖರ ಸಮತೋಲನ ಅಗತ್ಯವಿದೆ. ನಿಮ್ಮ ಮಾದರಿ ನಿಯತಾಂಕಗಳು ನಿಮ್ಮ ಲಭ್ಯವಿರುವ GPU VRAM ಅಥವಾ ಸಿಸ್ಟಮ್ RAM ಅನ್ನು ಮೀರಿದರೆ, ನಿಮ್ಮ OS ಸಿಸ್ಟಮ್ ಸಂಗ್ರಹಣೆಯನ್ನು ಬಳಸಲು ಒತ್ತಾಯಿಸಲ್ಪಡುವುದರಿಂದ ಕಾರ್ಯಗತಗೊಳಿಸುವ ವೇಗವು ಶೂನ್ಯಕ್ಕೆ ಇಳಿಯುತ್ತದೆ. ಇದು…
ನಾನು ಸ್ಥಳೀಯ ಹಾರ್ಡ್‌ವೇರ್ ಮತ್ತು ಮಾದರಿ ಹೊಂದಾಣಿಕೆ ಲೆಕ್ಕಪರಿಶೋಧನೆಯನ್ನು ನಡೆಸುತ್ತೇನೆ
ಕಸ್ಟಮ್ ಆಫರ್‌ಗಾಗಿ ವಿನಂತಿಸಿ
ಕಸ್ಟಮ್ ಆಫರ್ ವಿನಂತಿಸಲು ಲಾಗಿನ್ ಮಾಡಿ
ಈ Zinner ನಿಂದ ವೈಯಕ್ತಿಕಗೊಳಿಸಿದ ಕೊಡುಗೆಯನ್ನು ವಿನಂತಿಸಲು ಉಚಿತ ಖಾತೆಯನ್ನು ರಚಿಸಿ ಅಥವಾ ಲಾಗ್ ಇನ್ ಮಾಡಿ.
ಲಾಗ್ ಇನ್ / ನೋಂದಾಯಿಸಿಮಾರಾಟ ಪೂರ್ವ ಪ್ರಶ್ನೆ ಕೇಳಿ
ಪ್ರಶ್ನೆ ಕೇಳಲು ಲಾಗ್ ಇನ್ ಮಾಡಿ
ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಸ್ಪ್ಯಾಮ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡಲು, ಪೂರ್ವ-ಮಾರಾಟ ಸಂದೇಶಗಳನ್ನು ಲಾಗ್-ಇನ್ ಮಾಡಿದ ಬಳಕೆದಾರರು ಮಾತ್ರ ಕಳುಹಿಸಬಹುದು.
ಈ Zinner ಗೆ ನೇರವಾಗಿ ಸಂದೇಶ ಕಳುಹಿಸಲು ಉಚಿತ ಖಾತೆಯನ್ನು ರಚಿಸಿ ಅಥವಾ ಲಾಗ್ ಇನ್ ಮಾಡಿ.
ಲಾಗ್ ಇನ್ / ನೋಂದಾಯಿಸಿಲಾಗಿನ್ ಅಗತ್ಯವಿದೆ
ಈ Zinner ಗೆ ಸಂದೇಶ ಕಳುಹಿಸಲು ಉಚಿತ ಖಾತೆಯನ್ನು ರಚಿಸಿ ಅಥವಾ ಲಾಗ್ ಇನ್ ಮಾಡಿ.
ಲಾಗ್ ಇನ್ / ನೋಂದಾಯಿಸಿಲಾಗಿನ್ ಅಗತ್ಯವಿದೆ
ವೈಯಕ್ತಿಕಗೊಳಿಸಿದ ಕೊಡುಗೆಯನ್ನು ವಿನಂತಿಸಲು ಉಚಿತ ಖಾತೆಯನ್ನು ರಚಿಸಿ ಅಥವಾ ಲಾಗ್ ಇನ್ ಮಾಡಿ.
ಲಾಗ್ ಇನ್ / ನೋಂದಾಯಿಸಿಒಂದು ನೋಟದಲ್ಲಿ
ನೀವು ನಿರ್ಧರಿಸಲು ಸಹಾಯ ಮಾಡಲು ಈ ಸೇವೆಯ ಬಗ್ಗೆ ಪ್ರಮುಖ ವಿವರಗಳು. Zinn Hub ನಿಂದ ರಚಿಸಲಾಗಿದೆ, ಮಾರಾಟಗಾರರಿಂದಲ್ಲ.
ಮೌಲ್ಯ ಸ್ಥಾನ
ನೀವು ಏನನ್ನು ಸ್ವೀಕರಿಸುತ್ತೀರಿ
ವೇಗದ ತಿರುವು
ನೀವು ಒದಗಿಸಬೇಕಾದದ್ದು
ಇದಕ್ಕೆ ಉತ್ತಮವಾಗಿದೆ
ಪೂರ್ಣ ವಿವರಣೆ
ಸ್ಥಳೀಯ LLM ಗಳು ಮತ್ತು RAG ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಚಲಾಯಿಸಲು ಹಾರ್ಡ್‌ವೇರ್ ಸಂಪನ್ಮೂಲಗಳ ನಿಖರವಾದ ಸಮತೋಲನ ಅಗತ್ಯವಿದೆ. ನಿಮ್ಮ ಮಾದರಿ ನಿಯತಾಂಕಗಳು ನಿಮ್ಮ ಲಭ್ಯವಿರುವ GPU VRAM ಅಥವಾ ಸಿಸ್ಟಮ್ RAM ಅನ್ನು ಮೀರಿದರೆ, ನಿಮ್ಮ OS ಸಿಸ್ಟಮ್ ಸಂಗ್ರಹಣೆಯನ್ನು ಬಳಸಲು ಒತ್ತಾಯಿಸಲ್ಪಡುವುದರಿಂದ ಕಾರ್ಯಗತಗೊಳಿಸುವ ವೇಗವು ಶೂನ್ಯಕ್ಕೆ ಇಳಿಯುತ್ತದೆ.
ಈ ಮೈಕ್ರೋ Zinn ನೀವು ಯಾವುದೇ ಸಾಫ್ಟ್‌ವೇರ್ ಅನ್ನು ಖರೀದಿಸುವ ಅಥವಾ ಸ್ಥಾಪಿಸುವ ಮೊದಲು ನಿಮ್ಮ ಹಾರ್ಡ್‌ವೇರ್‌ನ ಸಂಪೂರ್ಣ ಹೊಂದಾಣಿಕೆ ಆಡಿಟ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ. ನಾವು ನಿಮ್ಮ ಭೌತಿಕ ವ್ಯವಸ್ಥೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ—ಅದು Apple Silicon Mac, NVIDIA CUDA ವರ್ಕ್‌ಸ್ಟೇಷನ್, ಅಥವಾ ಪ್ರಮಾಣಿತ Windows/Linux ಸರ್ವರ್ ಆಗಿರಲಿ—ಅತ್ಯುತ್ತಮ ಸ್ಥಳೀಯ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಹೇಗೆ ಸಾಧಿಸುವುದು ಎಂದು ನಿಮಗೆ ನಿಖರವಾಗಿ ಹೇಳಲು.
ನಾವು ಏನು ವಿಶ್ಲೇಷಿಸುತ್ತೇವೆ:
1. GPU VRAM ನಿರ್ಬಂಧಗಳು: ನಿಮ್ಮ ಗರಿಷ್ಠ ಮಾದರಿ ಪ್ಯಾರಾಮೀಟರ್ ಸೀಲಿಂಗ್ (ಉದಾಹರಣೆಗೆ, 7B, 13B, ಅಥವಾ 34B ಮಾದರಿಗಳು) ಕಂಡುಹಿಡಿಯಲು ನಿಮ್ಮ ಮೀಸಲಾದ ಗ್ರಾಫಿಕ್ಸ್ ಮೆಮೊರಿಯನ್ನು ನಾವು ಮ್ಯಾಪ್ ಮಾಡುತ್ತೇವೆ.
2. ಸಿಸ್ಟಮ್ RAM ಹಂಚಿಕೆ: ನೀವು ಮೀಸಲಾದ GPU ಹೊಂದಿಲ್ಲದಿದ್ದರೆ ಅಥವಾ ಹಂಚಿದ ಸಿಸ್ಟಮ್ ಮೆಮೊರಿಯಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದ್ದರೆ ನಿಮ್ಮ CPU-ಅನುಮಾನದ ಮಿತಿಗಳು ಮತ್ತು ಆಫ್‌ಲೋಡಿಂಗ್ ಮಿತಿಗಳನ್ನು ನಾವು ನಿರ್ಧರಿಸುತ್ತೇವೆ.
3. ಕ್ವಾಂಟೈಸೇಶನ್ ಮ್ಯಾಪಿಂಗ್: ಪ್ರಕ್ರಿಯೆಯ ವೇಗ ಮತ್ತು ಮಾದರಿ ಬುದ್ಧಿಮತ್ತೆಯನ್ನು ಸಮತೋಲನಗೊಳಿಸಲು ನಾವು ನಿಖರವಾದ ಕ್ವಾಂಟೈಸೇಶನ್ ಮಟ್ಟವನ್ನು (Q4_K_M, Q5_K_M, ಅಥವಾ Q8_0 ನಂತಹ) ಶಿಫಾರಸು ಮಾಡುತ್ತೇವೆ.
4. ಸಂದರ್ಭ ವಿಂಡೋ ಮಿತಿಗಳು: ಭಾರೀ ಡಾಕ್ಯುಮೆಂಟ್ ಮರುಪಡೆಯುವಿಕೆಯ ಸಮಯದಲ್ಲಿ ಸಿಸ್ಟಮ್ ಮೆಮೊರಿ-ಔಟ್ ಕ್ರ್ಯಾಶ್‌ಗಳನ್ನು ತಡೆಯಲು ನಿಮ್ಮ ಸುರಕ್ಷಿತ ಗರಿಷ್ಠ ಟೋಕನ್ ಮಿತಿಗಳನ್ನು ನಾವು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತೇವೆ.
ಯಾವ ಓಪನ್-ಸೋರ್ಸ್ ತೂಕವನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಬೇಕು ಅಥವಾ ನಿಮ್ಮ ಸ್ಥಳೀಯ ಸೆಟಪ್ ಏಕೆ ನಿಧಾನವಾಗಿದೆ ಎಂದು ಊಹಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಈ ಸಿಸ್ಟಮ್‌ಗಳನ್ನು ಪ್ರತಿದಿನ ಭೌತಿಕ ಲೋಹದ ಮೇಲೆ ನಿರ್ಮಿಸುವ ಆಪರೇಟರ್‌ಗಳಿಂದ ನಿಮ್ಮ ಸ್ಥಳೀಯ AI ಪರಿಸರಕ್ಕಾಗಿ ಎಂಜಿನಿಯರಿಂಗ್ ಮಾಡಿದ, ಹಾರ್ಡ್‌ವೇರ್-ನಿರ್ದಿಷ್ಟ ನಕ್ಷೆಯನ್ನು ಪಡೆಯಿರಿ.
128GB RAM ಗಾಗಿ Ollama ಮಾದರಿ ಪ್ಯಾರಾಮೀಟರ್ ಮಿತಿಗಳು, ಸಂದರ್ಭ ವಿಂಡೋ ಸ್ಕೇಲ್‌ಗಳು ಮತ್ತು ಅತ್ಯುತ್ತಮ Q4/Q5 ಕ್ವಾಂಟೈಸೇಶನ್‌ಗಳನ್ನು ಮ್ಯಾಪಿಂಗ್ ಮಾಡುವ ಹಾರ್ಡ್‌ವೇರ್ ಹೊಂದಾಣಿಕೆ ಆಡಿಟ್ ಪೂರ್ಣಗೊಂಡಿದೆ.
ಉದಾಹರಣೆ ವೀಕ್ಷಿಸಿ ↗ಮೈಕ್ರೋ Zinn ಒಂದು ಸಣ್ಣ, ನಿಗದಿತ ಬೆಲೆಯ ಟೇಸ್ಟರ್ ಅಥವಾ ಮೈಕ್ರೋ ಸೇವೆಯಾಗಿದೆ. CAVOK_Designs ಇದನ್ನು ಇದಕ್ಕಾಗಿ ನೀಡುತ್ತಿದೆ:
ಕೌಶಲ್ಯಗಳ ಪ್ರದರ್ಶನಪೋರ್ಟ್‌ಫೋಲಿಯೋ ಬಿಲ್ಡರ್ಹೊಸ ಗ್ರಾಹಕರಿಗೆ ಮುಕ್ತವಾಗಿದೆZinner ಗುಣಮಟ್ಟದ ಗ್ಯಾರಂಟಿ
ಪ್ರತಿಯೊಬ್ಬ Zinner ಅನ್ನು ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗೆ ಸೇರುವ ಮೊದಲು ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಅನುಮೋದಿಸಲಾಗುತ್ತದೆ.
ಎಲ್ಲಾ ಸೇವೆಗಳು ನಮ್ಮ ಗುಣಮಟ್ಟದ ಭರವಸೆಯ ಬದ್ಧತೆಯಿಂದ ಬೆಂಬಲಿತವಾಗಿವೆ.
ನೀವು ವಿತರಿಸಿದ ಕೆಲಸವನ್ನು ಅನುಮೋದಿಸುವವರೆಗೆ ನಿಮ್ಮ ಪಾವತಿಯನ್ನು ರಕ್ಷಿಸಲಾಗಿದೆ.
ಗ್ರಾಹಕ ವಿಮರ್ಶೆಗಳು
ಈ Zinn ಬಗ್ಗೆ ನಮ್ಮ ಗ್ರಾಹಕರು ಏನು ಹೇಳುತ್ತಾರೆಂದು ನೋಡಿ
