66B la tu viet tat thuong dung de chi mot mo hinh ngon ngu co khoang 66 ty tham so. Nhung mo hinh nay duoc huan luyen tren khoi luong du lieu lon va co kha nang sinh van ban, tra loi cau hoi, tom tat va thuc hien nhieu tac vu ngon ngu khac.
Voi 66 ty tham so, kien truc pho bien cho nhung mo hinh nay la transformer-based, dung nhieu lop tu attention va feed-forward, cung cac ki thuat toi uu hoa nhu mang lan dinh chuan, ap dung ki thuat giam thi tai nguyen va tuning tren du lieu da ngon ngu.
66B co the duoc ap dung trong sinh van ban, tro ly ao, phan tich cam xuc, dich may va nhieu tac vu NLP. Tuy nhien, cung ton tai thach thuc ve tinh an toan, thien le du lieu, chi phi van hanh va kha nang tong quat hoa tren du lieu moi.
So voi cac mo hinh lon hon (vi du 70B hoac 175B), 66B nam o muc giua ve hieu nang va chi phi. No co loi the ve toc do inference va kha nang trien khai tren phan cung gioi han, nhung co the thua kem o mot so tac vu phuc tap doi hoi tri tue va suy luan sau hon. Cac ki thuat nhu fine-tuning, chuoi tra loi va scaffolding co the nang cao hieu suat tren cac van ban can cu.
