ਸਥਾਨਕ LLM ਅਤੇ RAG ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ ਹਾਰਡਵੇਅਰ ਸਰੋਤਾਂ ਦੇ ਸਹੀ ਸੰਤੁਲਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਜੇਕਰ ਤੁਹਾਡੇ ਮਾਡਲ ਪੈਰਾਮੀਟਰ ਤੁਹਾਡੇ ਉਪਲਬਧ GPU VRAM ਜਾਂ ਸਿਸਟਮ RAM ਤੋਂ ਵੱਧ ਜਾਂਦੇ ਹਨ, ਤਾਂ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਸਪੀਡ ਲਗਭਗ ਜ਼ੀਰੋ ਤੱਕ ਘੱਟ ਜਾਂਦੀ ਹੈ ਕਿਉਂਕਿ ਤੁਹਾਡਾ OS ਸਿਸਟਮ ਸਟੋਰੇਜ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਮਜਬੂਰ ਹੁੰਦਾ ਹੈ। ਇਹ…
ਮੈਂ ਇੱਕ ਸਥਾਨਕ ਹਾਰਡਵੇਅਰ ਅਤੇ ਮਾਡਲ ਅਨੁਕੂਲਤਾ ਆਡਿਟ ਕਰਾਂਗਾ
ਇੱਕ ਕਸਟਮ ਪੇਸ਼ਕਸ਼ ਦੀ ਬੇਨਤੀ ਕਰੋ
ਕਸਟਮ ਪੇਸ਼ਕਸ਼ ਦੀ ਬੇਨਤੀ ਕਰਨ ਲਈ ਲੌਗ ਇਨ ਕਰੋ
ਇਸ Zinner ਤੋਂ ਇੱਕ ਵਿਅਕਤੀਗਤ ਪੇਸ਼ਕਸ਼ ਦੀ ਬੇਨਤੀ ਕਰਨ ਲਈ ਇੱਕ ਮੁਫਤ ਖਾਤਾ ਬਣਾਓ ਜਾਂ ਲੌਗ ਇਨ ਕਰੋ।
ਲੌਗ ਇਨ / ਰਜਿਸਟਰ ਕਰੋਵਿਕਰੀ ਤੋਂ ਪਹਿਲਾਂ ਦਾ ਸਵਾਲ ਪੁੱਛੋ
ਸਵਾਲ ਪੁੱਛਣ ਲਈ ਲੌਗ ਇਨ ਕਰੋ
ਪਲੇਟਫਾਰਮ ਸਪੈਮ ਨੂੰ ਘਟਾਉਣ ਲਈ, ਪ੍ਰੀ-ਸੇਲ ਸੁਨੇਹੇ ਸਿਰਫ਼ ਲੌਗ-ਇਨ ਕੀਤੇ ਉਪਭੋਗਤਾਵਾਂ ਦੁਆਰਾ ਹੀ ਭੇਜੇ ਜਾ ਸਕਦੇ ਹਨ।
ਇਸ Zinner ਨੂੰ ਸਿੱਧਾ ਸੁਨੇਹਾ ਭੇਜਣ ਲਈ ਇੱਕ ਮੁਫ਼ਤ ਖਾਤਾ ਬਣਾਓ ਜਾਂ ਲੌਗ ਇਨ ਕਰੋ।
ਲੌਗ ਇਨ / ਰਜਿਸਟਰ ਕਰੋਲੌਗ ਇਨ ਕਰਨਾ ਜ਼ਰੂਰੀ ਹੈ
ਇਸ Zinner ਨੂੰ ਸੁਨੇਹਾ ਭੇਜਣ ਲਈ ਇੱਕ ਮੁਫਤ ਖਾਤਾ ਬਣਾਓ ਜਾਂ ਲੌਗ ਇਨ ਕਰੋ।
ਲੌਗ ਇਨ / ਰਜਿਸਟਰ ਕਰੋਲੌਗ ਇਨ ਕਰਨਾ ਜ਼ਰੂਰੀ ਹੈ
ਇੱਕ ਵਿਅਕਤੀਗਤ ਪੇਸ਼ਕਸ਼ ਦੀ ਬੇਨਤੀ ਕਰਨ ਲਈ ਇੱਕ ਮੁਫਤ ਖਾਤਾ ਬਣਾਓ ਜਾਂ ਲੌਗ ਇਨ ਕਰੋ।
ਲੌਗ ਇਨ / ਰਜਿਸਟਰ ਕਰੋਇੱਕ ਨਜ਼ਰ ਵਿੱਚ
ਤੁਹਾਡੇ ਫੈਸਲੇ ਲੈਣ ਵਿੱਚ ਮਦਦ ਕਰਨ ਲਈ ਇਸ ਸੇਵਾ ਬਾਰੇ ਮੁੱਖ ਵੇਰਵੇ। Zinn Hub ਦੁਆਰਾ ਤਿਆਰ ਕੀਤਾ ਗਿਆ, ਵਿਕਰੇਤਾ ਦੁਆਰਾ ਨਹੀਂ।
ਮੁੱਲ ਸਥਿਤੀ
ਤੁਹਾਨੂੰ ਕੀ ਮਿਲਦਾ ਹੈ
ਤੇਜ਼ੀ ਨਾਲ ਬਦਲਣਾ
ਤੁਹਾਨੂੰ ਕੀ ਪ੍ਰਦਾਨ ਕਰਨ ਦੀ ਲੋੜ ਹੈ
ਇਸ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ
ਪੂਰਾ ਵੇਰਵਾ
ਸਥਾਨਕ LLM ਅਤੇ RAG ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ ਹਾਰਡਵੇਅਰ ਸਰੋਤਾਂ ਦੇ ਸਹੀ ਸੰਤੁਲਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਜੇਕਰ ਤੁਹਾਡੇ ਮਾਡਲ ਪੈਰਾਮੀਟਰ ਤੁਹਾਡੇ ਉਪਲਬਧ GPU VRAM ਜਾਂ ਸਿਸਟਮ RAM ਤੋਂ ਵੱਧ ਜਾਂਦੇ ਹਨ, ਤਾਂ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੀ ਗਤੀ ਲਗਭਗ ਜ਼ੀਰੋ ਤੱਕ ਘੱਟ ਜਾਂਦੀ ਹੈ ਕਿਉਂਕਿ ਤੁਹਾਡੇ OS ਨੂੰ ਸਿਸਟਮ ਸਟੋਰੇਜ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
ਇਹ ਮਾਈਕ੍ਰੋ ਜ਼ਿਨ ਕਿਸੇ ਵੀ ਸੌਫਟਵੇਅਰ ਨੂੰ ਖਰੀਦਣ ਜਾਂ ਸਥਾਪਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਤੁਹਾਡੇ ਹਾਰਡਵੇਅਰ ਦਾ ਇੱਕ ਪੂਰਾ ਅਨੁਕੂਲਤਾ ਆਡਿਟ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਅਸੀਂ ਤੁਹਾਡੇ ਭੌਤਿਕ ਸਿਸਟਮ—ਭਾਵੇਂ ਇਹ ਇੱਕ ਐਪਲ ਸਿਲੀਕਾਨ ਮੈਕ, ਇੱਕ NVIDIA CUDA ਵਰਕਸਟੇਸ਼ਨ, ਜਾਂ ਇੱਕ ਮਿਆਰੀ ਵਿੰਡੋਜ਼/ਲੀਨਕਸ ਸਰਵਰ ਹੋਵੇ—ਦਾ ਮੁਲਾਂਕਣ ਕਰਦੇ ਹਾਂ ਤਾਂ ਜੋ ਤੁਹਾਨੂੰ ਇਹ ਦੱਸ ਸਕੀਏ ਕਿ ਅਨੁਕੂਲ ਸਥਾਨਕ ਪ੍ਰਦਰਸ਼ਨ ਕਿਵੇਂ ਪ੍ਰਾਪਤ ਕਰਨਾ ਹੈ।
ਅਸੀਂ ਕੀ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਦੇ ਹਾਂ:
1. GPU VRAM ਸੀਮਾਵਾਂ: ਅਸੀਂ ਤੁਹਾਡੀ ਅਧਿਕਾਰਤ ਗ੍ਰਾਫਿਕਸ ਮੈਮੋਰੀ ਨੂੰ ਤੁਹਾਡੀ ਅਧਿਕਤਮ ਮਾਡਲ ਪੈਰਾਮੀਟਰ ਸੀਲਿੰਗ (ਜਿਵੇਂ ਕਿ 7B, 13B, ਜਾਂ 34B ਮਾਡਲ) ਲੱਭਣ ਲਈ ਮੈਪ ਕਰਦੇ ਹਾਂ।
2. ਸਿਸਟਮ RAM ਵੰਡ: ਅਸੀਂ ਤੁਹਾਡੇ CPU-ਅਨੁਮਾਨ ਥ੍ਰੈਸ਼ਹੋਲਡ ਅਤੇ ਆਫਲੋਡਿੰਗ ਸੀਮਾਵਾਂ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹਾਂ ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਇੱਕ ਸਮਰਪਿਤ GPU ਨਹੀਂ ਹੈ ਜਾਂ ਸਾਂਝੀ ਸਿਸਟਮ ਮੈਮੋਰੀ 'ਤੇ ਚੱਲ ਰਿਹਾ ਹੈ।
3. ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਮੈਪਿੰਗ: ਅਸੀਂ ਪ੍ਰੋਸੈਸਿੰਗ ਸਪੀਡ ਅਤੇ ਮਾਡਲ ਇੰਟੈਲੀਜੈਂਸ ਨੂੰ ਸੰਤੁਲਿਤ ਕਰਨ ਲਈ ਸਹੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਪੱਧਰ (ਜਿਵੇਂ ਕਿ Q4_K_M, Q5_K_M, ਜਾਂ Q8_0) ਦੀ ਸਿਫਾਰਸ਼ ਕਰਦੇ ਹਾਂ।
4. ਸੰਦਰਭ ਵਿੰਡੋ ਸੀਮਾਵਾਂ: ਅਸੀਂ ਭਾਰੀ ਦਸਤਾਵੇਜ਼ ਪ੍ਰਾਪਤੀ ਦੌਰਾਨ ਸਿਸਟਮ ਆਊਟ-ਆਫ-ਮੈਮੋਰੀ ਕਰੈਸ਼ਾਂ ਨੂੰ ਰੋਕਣ ਲਈ ਤੁਹਾਡੀਆਂ ਸੁਰੱਖਿਅਤ ਅਧਿਕਤਮ ਟੋਕਨ ਸੀਮਾਵਾਂ ਦੀ ਗਣਨਾ ਕਰਦੇ ਹਾਂ।
ਇਹ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣਾ ਬੰਦ ਕਰੋ ਕਿ ਕਿਹੜੇ ਓਪਨ-ਸੋਰਸ ਵਜ਼ਨ ਡਾਊਨਲੋਡ ਕਰਨੇ ਹਨ ਜਾਂ ਤੁਹਾਡਾ ਸਥਾਨਕ ਸੈੱਟਅੱਪ ਹੌਲੀ ਕਿਉਂ ਹੈ। ਓਪਰੇਟਰਾਂ ਤੋਂ ਤੁਹਾਡੇ ਸਥਾਨਕ AI ਵਾਤਾਵਰਣ ਲਈ ਇੱਕ ਇੰਜੀਨੀਅਰਡ, ਹਾਰਡਵੇਅਰ-ਵਿਸ਼ੇਸ਼ ਨਕਸ਼ਾ ਪ੍ਰਾਪਤ ਕਰੋ ਜੋ ਇਹਨਾਂ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਰੋਜ਼ਾਨਾ ਭੌਤਿਕ ਧਾਤ 'ਤੇ ਬਣਾਉਂਦੇ ਹਨ।
128GB RAM ਲਈ ਓਲਾਮਾ ਮਾਡਲ ਪੈਰਾਮੀਟਰ ਸੀਮਾਵਾਂ, ਸੰਦਰਭ ਵਿੰਡੋ ਸਕੇਲਾਂ, ਅਤੇ ਅਨੁਕੂਲ Q4/Q5 ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨਾਂ ਦਾ ਨਕਸ਼ਾ ਬਣਾਉਣ ਵਾਲਾ ਪੂਰਾ ਹਾਰਡਵੇਅਰ ਅਨੁਕੂਲਤਾ ਆਡਿਟ।
ਉਦਾਹਰਨ ਵੇਖੋ ↗ਇੱਕ ਮਾਈਕ੍ਰੋ Zinn ਇੱਕ ਛੋਟੀ, ਨਿਸ਼ਚਿਤ-ਕੀਮਤ ਵਾਲੀ ਟੇਸਟਰ ਜਾਂ ਮਾਈਕ੍ਰੋ ਸੇਵਾ ਹੈ। CAVOK_Designs ਇਸਨੂੰ ਇਸ ਲਈ ਪੇਸ਼ ਕਰ ਰਿਹਾ ਹੈ:
ਹੁਨਰ ਪ੍ਰਦਰਸ਼ਨਪੋਰਟਫੋਲੀਓ ਬਿਲਡਰਨਵੇਂ ਗਾਹਕਾਂ ਲਈ ਖੁੱਲ੍ਹਾZinner ਗੁਣਵੱਤਾ ਗਾਰੰਟੀ
ਹਰ Zinner ਨੂੰ ਪਲੇਟਫਾਰਮ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਸਮੀਖਿਆ ਅਤੇ ਪ੍ਰਵਾਨਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
ਸਾਰੀਆਂ ਸੇਵਾਵਾਂ ਸਾਡੀ ਗੁਣਵੱਤਾ ਭਰੋਸਾ ਪ੍ਰਤੀਬੱਧਤਾ ਦੁਆਰਾ ਸਮਰਥਿਤ ਹਨ।
ਤੁਹਾਡਾ ਭੁਗਤਾਨ ਉਦੋਂ ਤੱਕ ਸੁਰੱਖਿਅਤ ਹੈ ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਡਿਲੀਵਰ ਕੀਤੇ ਕੰਮ ਨੂੰ ਮਨਜ਼ੂਰੀ ਨਹੀਂ ਦਿੰਦੇ।
ਗਾਹਕ ਸਮੀਖਿਆਵਾਂ
ਦੇਖੋ ਸਾਡੇ ਗਾਹਕ ਇਸ Zinn ਬਾਰੇ ਕੀ ਕਹਿੰਦੇ ਹਨ
