Chọn “vũ khí” nào để build AI Chatbot RAG với model ~20B?
Bối cảnh: Bạn đang build một hệ thống RAG Chatbot on-premise, chạy model tầm trung (~20B params). Thách thức: Cần sự cân bằng giữa VRAM (để chứa model + context …
Uncategorized
Bối cảnh: Bạn đang build một hệ thống RAG Chatbot on-premise, chạy model tầm trung (~20B params). Thách thức: Cần sự cân bằng giữa VRAM (để chứa model + context …