66B là một mô hình ngôn ngữ lớn có quy mô 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều tác vụ với hiệu suất cao và sự linh hoạt đáng kể.
Cốt lõi của 66B dựa trên kiến trúc Transformer, với nhiều lớp tự chú ý và cơ chế tối ưu hóa nhằm cân bằng hiệu suất và chi phí tính toán.
Việc phân bổ tham số ở mức 66 tỷ cho phép mô hình nắm bắt mối quan hệ ngữ cảnh rộng và tạo ra các phản hồi mạch lạc, giàu thông tin.
66B được huấn luyện trên tập dữ liệu đa dạng bao gồm văn bản xuất bản, văn bản web và các nguồn công khai, với quy trình loại bỏ nội dung nhạy cảm và kiểm tra chất lượng.
Mô hình có thể thực hiện tổng hợp văn bản, trả lời câu hỏi, tóm tắt, dịch thuật và trợ giúp viết nội dung, đồng thời được tinh chỉnh cho các ngữ cảnh ngành nghề khác nhau.