Tôi sẽ tiến hành kiểm tra khả năng tương thích phần cứng & mô hình cục bộ

Chạy các LLM cục bộ và đường ống RAG đòi hỏi sự cân bằng chính xác các tài nguyên phần cứng. Nếu các tham số mô hình của bạn vượt quá VRAM GPU hoặc RAM hệ thống có sẵn, tốc độ thực thi sẽ giảm xuống gần bằng 0 vì hệ điều hành của bạn buộc phải sử dụng bộ nhớ hệ thống.

Micro Zinn này cung cấp một cuộc kiểm tra khả năng tương thích hoàn chỉnh của phần cứng của bạn trước khi bạn mua hoặc cài đặt bất kỳ phần mềm nào. Chúng tôi đánh giá hệ thống vật lý của bạn—cho dù đó là Apple Silicon Mac, máy trạm NVIDIA CUDA hay máy chủ Windows/Linux tiêu chuẩn—để cho bạn biết chính xác cách đạt được hiệu suất cục bộ tối ưu.

Những gì chúng tôi phân tích:
1. Hạn chế VRAM GPU: Chúng tôi ánh xạ bộ nhớ đồ họa chuyên dụng của bạn để tìm giới hạn tham số mô hình tối đa của bạn (ví dụ: mô hình 7B, 13B hoặc 34B).
2. Phân bổ RAM hệ thống: Chúng tôi xác định ngưỡng suy luận CPU và giới hạn giải phóng nếu bạn thiếu GPU chuyên dụng hoặc chạy trên bộ nhớ hệ thống dùng chung.
3. Ánh xạ lượng tử hóa: Chúng tôi đề xuất mức lượng tử hóa chính xác (chẳng hạn như Q4_K_M, Q5_K_M hoặc Q8_0) để cân bằng tốc độ xử lý và trí thông minh của mô hình.
4. Giới hạn cửa sổ ngữ cảnh: Chúng tôi tính toán giới hạn mã thông báo tối đa an toàn của bạn để ngăn chặn sự cố hết bộ nhớ hệ thống trong quá trình truy xuất tài liệu nặng.

Ngừng đoán xem nên tải xuống trọng số mã nguồn mở nào hoặc tại sao thiết lập cục bộ của bạn lại chậm. Nhận bản đồ được thiết kế, dành riêng cho phần cứng cho môi trường AI cục bộ của bạn từ các nhà điều hành xây dựng các hệ thống này trên phần cứng vật lý hàng ngày.