Mô hình ngôn ngữ 66B trên cơ sở transformer có 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên với khả năng hiểu và tạo văn bản chất lượng cao. Nó có thể thực hiện tóm tắt, trả lời câu hỏi, dịch ngôn ngữ, viết mã, và hỗ trợ người dùng trong các tác vụ sáng tạo.
66B dựa trên kiến trúc transformer dạng decoder với cơ chế tự chú ý. Quá trình huấn luyện kết hợp dữ liệu văn bản từ nhiều nguồn như sách, bài viết và nội dung trên web, nhằm đạt được sự đa dạng ngôn ngữ và phong cách. Việc hiệu chỉnh theo hướng dẫn và học theo hướng RLHF giúp mô hình tuân thủ hướng dẫn và trả lời an toàn hơn.
66B có thể hỗ trợ viết nội dung, tóm tắt tài liệu, hỗ trợ lập trình, và tham gia vào các hệ thống đối thoại. Tuy nhiên nó cũng đối mặt với thách thức như lệch chuẩn, lỗi thông tin, và yêu cầu về vận hành tốn kém. Việc giám sát chất lượng, đánh giá liên tục và tối ưu hóa cho ngôn ngữ người Việt là rất quan trọng để đảm bảo tính đáng tin cậy và an toàn.