Một mô hình nói trôi chảy tiếng Pháp chưa chắc đã trả lời đúng một thủ tục hành chính của Pháp. NVIDIA công bố quy trình post-training hoàn chỉnh để đưa Nemotron 3.5 Lightning từ mức “biết ngôn ngữ” lên mức “biết luật chơi”: dùng persona tổng hợp bám theo dân số thực, sinh hội thoại từ văn bản thủ tục chính thức, fine-tune bằng LoRA trên NVIDIA NeMo và đánh giá trên bộ test cố định, toàn bộ chạy được trên DGX Spark.
Một bài viết được đăng tải lên trang tin tức NVIDIA của Sophia Abbassi và Shashank Verma lấy ví dụ một trợ lý AI của cơ quan cấp hộ chiếu Pháp. Mô hình gốc trả lời bằng tiếng Pháp tự nhiên, nhưng đưa ra một thủ tục không tồn tại. Đây là khoảng cách mà mọi doanh nghiệp triển khai chatbot cho khách hàng, công dân hay nhân viên đều gặp: ngôn ngữ đúng nhưng nghiệp vụ sai.
Vì sao khả năng ngôn ngữ thôi là chưa đủ
Ví dụ trong bài gốc: một người dùng hỏi bằng tiếng Pháp rằng họ không còn đi lại được vì lý do sức khỏe, vậy làm hộ chiếu thế nào.
| MÔ HÌNH GỐC | SAU FINE-TUNE | |
|---|---|---|
| Nội dung trả lời | Đề xuất nộp hồ sơ qua đường bưu điện, thủ tục mà trang chính thức không hỗ trợ | Nêu đúng ngoại lệ: nhân viên đến tận nhà, cần giấy chứng nhận y tế dưới 3 tháng, kèm quy trình trực tuyến ANTS |
| Độ dài | Dài hơn | Ngắn gọn hơn |
| Chất lượng tiếng Pháp | Tốt | Tương đương |
Câu trả lời đúng còn phụ thuộc người hỏi: lệ phí tem hộ chiếu là 43 euro tại Guyane thuộc Pháp, nhưng 86 euro ở Pháp lục địa. Một mô hình chỉ được huấn luyện về ngôn ngữ sẽ không phân biệt được hai trường hợp này.
Nemotron-Personas: dữ liệu tổng hợp bám theo dân số thực
NVIDIA phát hành Nemotron-Personas-France (hợp tác cùng startup AI Pháp Pleias) và Nemotron-Personas-Belgium (cùng Pleias và Đại học KU Leuven). Mỗi persona là một cư dân tổng hợp, được sinh theo phân bố thực về nhân khẩu học, địa lý, ngôn ngữ và văn hóa của từng vùng.
- Bộ dữ liệu Belgium bao gồm tiếng Hà Lan, Pháp, Đức và Anh.
- Cả hai thuộc chương trình dữ liệu mở NVIDIA Nemotron, hiện có persona dataset cho 12 quốc gia.
- Persona giúp dữ liệu huấn luyện phủ được nhiều hoàn cảnh người dùng (vùng miền, độ tuổi, tình trạng sức khỏe…) khi doanh nghiệp chưa có đủ hội thoại thật.
Khi nào nên dùng quy trình này: mô hình đã xử lý tốt ngôn ngữ đích, nhưng cần điều chỉnh thuật ngữ, mức độ trang trọng, cấu trúc câu trả lời hoặc quy tắc chuyển tiếp (escalation) theo nghiệp vụ cụ thể.
Quy trình post-training: từ văn bản thủ tục đến mô hình đã fine-tune
Mô hình được dùng là NVIDIA Nemotron 3.5 Lightning (biến thể 30B-A3B BF16). Các bước dữ liệu, huấn luyện và đánh giá đều có sẵn trong repository Nemotron trên GitHub, kèm agent skill giúp coding agent tự lắp ráp workflow.
Bước 1: Định nghĩa behavior contract
Trước khi sinh dữ liệu, nhóm phát triển viết một “hợp đồng hành vi” mô tả chính xác mô hình phải làm gì:
| THÀNH PHẦN | NỘI DUNG |
|---|---|
| Audience | Đối tượng người dùng mà trợ lý phục vụ |
| Task | Nghiệp vụ cụ thể, ví dụ hướng dẫn thủ tục hộ chiếu |
| Language | Ngôn ngữ và mức độ trang trọng |
| Grounding | Chỉ trả lời dựa trên văn bản thủ tục chính thức được cung cấp |
| Safety | Từ chối yêu cầu mật khẩu, thông tin ngân hàng hoặc cài đặt phần mềm |
| Output | Cấu trúc và độ dài câu trả lời |
NVIDIA khuyến nghị chuẩn bị thêm một holdout set 100–300 câu hỏi cho môi trường production (trong tutorial là tùy chọn).
Bước 2: Sinh dữ liệu tổng hợp với NeMo Data Designer
- Lấy mẫu 2.000 persona từ Nemotron-Personas-France bằng
sample_personas.py. - Bước
sdg/data_designerdùng NeMo Data Designer sinh lượt hỏi của người dân (theo persona) và lượt trả lời của trợ lý (theo behavior contract và văn bản thủ tục). - Sinh dữ liệu trên vLLM server cục bộ, tắt reasoning (
enable_thinking: false), temperature 0.8, max tokens 2.048. - Một judge model riêng kiểm tra câu trả lời; mặc định dùng API do NVIDIA host.
audit_and_split.pyloại bỏ lỗi định dạng, phần reasoning còn sót và tên riêng bị lộ, rồi chia train/validation 90/10 theo persona để tránh rò rỉ dữ liệu.
Bước 3: Fine-tune bằng LoRA trên NeMo AutoModel
Dùng recipe LoRA của NeMo AutoModel dành cho Lightning, chạy trong container AutoModel. Trên DGX Spark, giảm bộ nhớ bằng batch size 1 và sequence length 8.192. Dấu hiệu huấn luyện đúng hướng: validation loss giảm rồi đi ngang.
Bước 4: Merge adapter và serve
Adapter LoRA được merge vào checkpoint gốc, sau đó serve bằng vLLM với tên lightning-fr, chạy song song mô hình gốc để so sánh. Bài gốc có hướng dẫn riêng cho DGX Spark và DGX Station.
Bước 5: Đánh giá trên bộ prompt cố định
Gửi cùng một bộ prompt đóng băng tới cả hai mô hình; compare_models.py xuất file đối chiếu từng cặp câu trả lời. Tiêu chí đánh giá: đúng nghiệp vụ, chất lượng tiếng Pháp, phù hợp bối cảnh địa phương, an toàn, độ ổn định và khả năng giữ kiến thức cũ. NVIDIA khuyến nghị có người đọc duyệt kết quả.
Mở rộng sang thị trường khác: thay bằng một persona dataset khác, ví dụ Nemotron-Personas-Belgium, cập nhật behavior contract và người duyệt; các bước còn lại giữ nguyên.
Kết quả và phạm vi của thử nghiệm
Kết quả được NVIDIA trình bày dạng định tính, đối chiếu từng câu trả lời:
| TIÊU CHÍ | MÔ HÌNH GỐC | LIGHTNING-FR (SAU FINE-TUNE) |
|---|---|---|
| Đúng nghiệp vụ | Mô tả quy trình nộp qua bưu điện không được hỗ trợ | Nêu đúng ngoại lệ và giấy tờ cần thiết |
| Độ ngắn gọn | Dài hơn | Ngắn hơn |
| Chất lượng ngôn ngữ | Tốt | Tương đương |
| An toàn | Ca kiểm thử an toàn không bị kích hoạt | Ca kiểm thử an toàn không bị kích hoạt |
Bài gốc là một tutorial minh họa quy trình, không phải báo cáo benchmark: không công bố điểm số định lượng, siêu tham số LoRA hay thời gian huấn luyện (các thông số này nằm trong recipe trên GitHub). NVIDIA cũng lưu ý persona giúp mở rộng độ phủ dữ liệu nhưng không tự động bảo đảm tính công bằng, và khuyến nghị đọc từng câu trả lời để phát hiện lệ phí, thời hạn hoặc giấy tờ bị bịa ra, đối chiếu với trang chính thức trước khi đưa vào vận hành.
Fine-tune, RAG hay prompt engineering? Bài gốc không so sánh trực tiếp. Theo kinh nghiệm triển khai của Nhất Tiến Chung, ba cách này bổ trợ nhau:
| CÁCH TIẾP CẬN | PHÙ HỢP KHI |
|---|---|
| Prompt engineering | Quy tắc ít, thay đổi thường xuyên, cần thử nghiệm nhanh |
| RAG | Kiến thức lớn, cập nhật liên tục (văn bản pháp quy, biểu phí, chính sách) |
| Fine-tune (LoRA) | Cần mô hình nắm vững cách ứng xử: ngoại lệ, giọng văn, cấu trúc trả lời, quy tắc chuyển tiếp |
Áp dụng cho doanh nghiệp Việt Nam
Quy trình của NVIDIA không gắn riêng với nước Pháp. Thay văn bản thủ tục hộ chiếu bằng tài liệu nghiệp vụ của doanh nghiệp, và thay persona bằng chân dung khách hàng của mình, là có thể áp dụng cho nhiều bài toán tại Việt Nam:
| LĨNH VỰC | VÍ DỤ QUY ĐỊNH RIÊNG CẦN NẮM |
|---|---|
| Dịch vụ công | Hồ sơ, lệ phí và trường hợp ngoại lệ cho từng thủ tục hành chính |
| Ngân hàng, bảo hiểm | Điều kiện sản phẩm, quy trình xác minh, quy định khiếu nại |
| Viễn thông, bán lẻ | Chính sách đổi trả, bảo hành, khuyến mãi theo khu vực |
| Y tế | Quy trình đăng ký khám, thanh toán bảo hiểm y tế |
| Nhân sự nội bộ | Chính sách nghỉ phép, phúc lợi, quy trình phê duyệt |
Hạ tầng gợi ý: toàn bộ quy trình, từ sinh dữ liệu, fine-tune LoRA đến serve và đánh giá, có thể chạy tại chỗ, dữ liệu nghiệp vụ không rời khỏi doanh nghiệp.
| HỆ THỐNG | PHÙ HỢP CHO |
|---|---|
| NVIDIA DGX Spark | Thử nghiệm quy trình, fine-tune LoRA Nemotron 3.5 Lightning với batch size nhỏ |
| NVIDIA DGX Station | Fine-tune nhiều vòng, serve song song mô hình gốc và mô hình đã fine-tune cho nhóm người dùng |
| Máy chủ RTX PRO 6000 Blackwell Server Edition | Serve trợ lý AI đã fine-tune cho nhiều người dùng đồng thời |
Lời kết
Khoảng cách giữa một chatbot “nói được tiếng Việt” và một trợ lý AI “làm đúng nghiệp vụ Việt Nam” nằm ở dữ liệu và quy trình post-training. Với Nemotron open model, NeMo Data Designer, NeMo AutoModel và các recipe mở của NVIDIA, doanh nghiệp có thể tự xây dựng mô hình hiểu đúng quy trình của mình, chạy trên hạ tầng tại chỗ.
Hãy liên hệ đội ngũ chuyên gia của Nhất Tiến Chung. Với vai trò NVIDIA Elite Partner tại Việt Nam, chúng tôi hỗ trợ doanh nghiệp xây dựng behavior contract, chuẩn bị dữ liệu tổng hợp, fine-tune và đánh giá mô hình Nemotron, cùng tư vấn hạ tầng DGX Spark, DGX Station và RTX PRO Server phù hợp.
Tổng đài: 1900 558879 · Email: sales@nhattienchung.vn
Nguồn
- Fine-Tuning NVIDIA Nemotron to Know Local Rules, Not Just Local Languages — NVIDIA Technical Blog, Sophia Abbassi và Shashank Verma, 27/10/2026
Bài viết liên quan
- NVIDIA Nemotron 3.5 Super VL: xây dựng agent chuyên biệt với suy luận đa phương thức
- Từ cuDSS đến FOX Blueprint: Ngăn xếp GPU và thư viện NVIDIA trong kỹ thuật – sản xuất công nghiệp châu Âu
- NVIDIA Nemotron 3.5 Super VL hỗ trợ các tác nhân chuyên biệt với khả năng suy luận đa phương thức
- Đánh giá hiệu năng suy luận LLM quy mô lớn với AIPerf
- Phân tích hình ảnh khoa học nhanh hơn với NVIDIA cuPhoton
