Mục lục
Mô hình AI mới của Trung Quốc, DeepSeek R1, đã tạo ra nhiều sự chú ý trong ngành công nghiệp AI. Mô hình này, được cho là vượt trội hơn mô hình o1 của OpenAI, có thể được truy cập miễn phí từ trang web của họ. Tuy nhiên, cũng có rất nhiều lo ngại về quyền riêng tư. Nếu bạn cùng chung mối lo ngại đó, bạn có thể chạy mô hình này cục bộ trên thiết bị của mình.
Có một vài mô hình khác nhau có sẵn cho DeepSeek R1 bao gồm các mô hình rút gọn với 1.5B, 7B, 14B, 32B và 70B thông số và mô hình đầy đủ với 671B thông số. Để chạy các mô hình cao hơn, tức là các mô hình 14B trở lên, bạn sẽ cần một máy với nhiều bộ nhớ và CPU và GPU nhanh hơn, có thể cần cả NPU chuyên dụng.
Tuy nhiên, ngay cả để chạy các mô hình thấp nhất, tức là các mô hình 1.5B và 7B, bạn cần ít nhất 8 GB RAM.
Chạy DeepSeek R1 trên PC với LM Studio
LM Studio là một trong những cách đơn giản nhất để chạy DeepSeek R1 cục bộ trên máy tính Windows, Mac hoặc Linux của bạn.
LM Studio có thể chạy trên các hệ thống sau:
- Mac: Chip Apple Silicon (M1, M2, M3, M4) với macOS 13.4 trở lên
- Windows: Hỗ trợ cho cả x64 và ARM (Snapdragon X Elite)
- Linux: Yêu cầu Ubuntu 20.04 hoặc mới hơn, và cần x64
Mặc dù khuyến nghị chính thức là 16 GB RAM, bạn có thể chạy các mô hình nhỏ hơn với 8 GB RAM nhưng nên kỳ vọng gặp một số vấn đề. Nếu bạn có hơn 192 GB RAM, bạn thậm chí có thể chạy mô hình DeepSeek R1 671B không được rút gọn.
- Bây giờ, truy cập lmstuido.ai và nhấn nút “Download” tương ứng với hệ thống của bạn.
- Làm theo hướng dẫn theo hệ thống của bạn để cài đặt ứng dụng.
- Mở LM Studio sau khi cài đặt và nhấn “Skip onboarding”.
- Tiếp theo, nhấn vào biểu tượng “Search” từ menu điều hướng bên trái.
Nếu bạn không thấy biểu tượng Tìm kiếm, hãy chuyển sang loại người dùng “Power User” từ bên dưới. Ngoài ra, đi đến biểu tượng “App Settings” từ góc dưới bên phải và sau đó điều hướng đến “Model Search” trong cửa sổ Mission Control mở ra nếu bạn không muốn thay đổi loại người dùng của mình.
- Sau đó, tìm kiếm mô hình bạn muốn tải xuống. Bạn có thể cài đặt DeepSeek R1 Distill (Qwen 7B), chẳng hạn, nếu bạn muốn sử dụng mô hình với 7B thông số hoặc mô hình DeepSeek R1 Distill Qwen 1.5B với 1.5B thông số.
Tất cả các mô hình DeepSeek R1 đều có sẵn để tải xuống miễn là bạn có đủ không gian trên hệ thống như đã liệt kê trên trang tải xuống. Nhấn nút “Download” để bắt đầu.
- Khi mô hình được tải xuống, nhấn nút “Load Model” và cửa sổ trò chuyện sẽ mở ra.
- Chỉ cần nhập tin nhắn của bạn vào cửa sổ và trò chuyện với mô hình cục bộ. Bạn sẽ có thể theo dõi việc sử dụng tài nguyên của mô hình từ góc dưới bên phải của thanh trạng thái.
- Để thay đổi bất kỳ cài đặt nào cho mô hình, nhấn vào biểu tượng “Setting” bên trái tên mô hình ở trên cùng.
LM Studio là một trong những cách dễ nhất để sử dụng DeepSeek R1 cục bộ trên máy tính của bạn mà bạn thậm chí không cần sử dụng dòng lệnh. Cũng có nhiều lựa chọn khác, như sử dụng Ollama, nhưng điều đó liên quan đến việc sử dụng dòng lệnh.
Chạy DeepSeek R1 trên điện thoại với PocketPal AI
Có nhiều ứng dụng có thể cho phép bạn chạy các mô hình LLM cục bộ trên điện thoại di động của bạn. Tôi khuyên dùng PocketPal AI. Đây là một ứng dụng đơn giản để sử dụng mô hình LLM cục bộ trên thiết bị iOS hoặc Android của bạn.
- Cài đặt ứng dụng từ App Store hoặc Play Store.
- Sau đó, mở ứng dụng và nhấn vào “Go to Models”.
- Nhấn vào biểu tượng “+” ở góc dưới bên phải màn hình.
- Tiếp theo, nhấn vào “Add from Hugging Face”.
- Gõ “DeepSeek R1” vào thanh tìm kiếm để tìm mô hình bạn muốn cài đặt và nhấn vào nó.
- Sau đó, nhấn vào biểu tượng tải xuống trên một trong các tệp GGU có sẵn.
- Khi quá trình tải xuống hoàn tất, quay lại màn hình chính và nhấn vào biểu tượng “Load” trên mô hình đã tải xuống.
- Mô hình sẽ được tải và bạn có thể bắt đầu trò chuyện với nó.
- Bạn có thể tìm lịch sử trò chuyện của mình hoặc thay đổi cài đặt mô hình từ menu bên trái.
Vậy đó. Dù bạn sử dụng thiết bị nào, chỉ cần sử dụng các ứng dụng được liệt kê ở trên, bạn có thể dễ dàng cài đặt và chạy các mô hình DeepSeek R1 cục bộ.
