66B là một mô hình ngôn ngữ lớn có 66 tỷ tham số, được thiết kế để hiểu và sinh ngôn ngữ tự nhiên ở nhiều ngôn ngữ khác nhau. Nó có khả năng trả lời câu hỏi, tóm tắt văn bản, viết văn bản sáng tạo, và hỗ trợ các ứng dụng AI trong doanh nghiệp và giáo dục.
66B dựa trên kiến trúc transformer, với nhiều tầng tự chú ý và cơ chế kết nối dữ liệu sâu. Số lượng tham số lớn cho phép nắm bắt các mẫu ngôn ngữ phức tạp, song cũng đặt ra thách thức về tính nhanh và tài nguyên huấn luyện.
Quá trình huấn luyện được thực hiện trên khối lượng dữ liệu khổng lồ từ nhiều nguồn ngôn ngữ, sách, trang web và đối thoại. Việc cân đối dữ liệu và tinh chỉnh phù hợp giúp giảm thiên lệch và nâng cao khả năng tổng quát của mô hình.
Với khả năng sinh văn bản chất lượng và hiểu ngữ cảnh, 66B có thể hỗ trợ viết bài, dịch ngôn ngữ, tóm tắt thông tin, trả lời câu hỏi, và thậm chí viết mã hoặc hỗ trợ debug ở mức độ cơ bản.
Những thách thức gồm chi phí huấn luyện và triển khai, tính khả dụng ở mức thấp điện năng, cũng như kiểm soát an toàn, đạo đức và hạn chế thiên lệch. Phát triển tiếp theo hướng tới hiệu suất cao, sự minh bạch trong quyết định và bảo vệ người dùng là mục tiêu chính.