66B là một kích thước tham số dành cho mô hình ngôn ngữ lớn, với khoảng 66 tỷ tham số. Trong khi nhiều mô hình lớn hơn có tham số lên tới hàng trăm tỷ, 66B thường hướng tới cân bằng giữa hiệu suất và chi phí tính toán, phù hợp cho nghiên cứu, thử nghiệm và triển khai trong các hệ thống vừa và nhỏ.
Hệ thống 66B chủ yếu dựa trên kiến trúc Transformer, gồm nhiều lớp tự attention và mạng feed-forward, cùng với cơ chế vị trí để nắm bắt ngữ cảnh dài. Số lượng lớp, kích thước ẩn và đầu vào-ngữ cảnh ảnh hưởng đến khả năng hiểu văn bản và sinh ngữ của mô hình. Đào tạo thường yêu cầu dữ liệu rất lớn và nhiều nguồn, từ văn bản web đến tài liệu công khai, nhằm đa dạng hóa đầu ra và giảm thiên lệch.
66B có thể thực hiện tóm tắt văn bản, giải hỏi, dịch ngôn ngữ và hỗ trợ viết code hoặc luận văn. Tuy nhiên, chi phí huấn luyện và suy luận ở quy mô 66 tỷ tham số vẫn cao, đòi hỏi phần cứng mạnh, tối ưu hóa phần mềm và kỹ thuật giảm chi phí. Các thách thức khác bao gồm an toàn, đạo đức, kiểm soát đầu ra sai lệch và đảm bảo tính riêng tư của dữ liệu.
So với các mô hình có quy mô khác như 13B hay 175B, 66B mang lại hiệu suất ổn định với chi phí thấp hơn, nhưng có hạn chế về khả năng reasoning sâu và ngữ cảnh dài. Trong tương lai, các mô hình 66B có thể được cải thiện thông qua kỹ thuật tối ưu hoá, chia sẻ trọng số, và huấn luyện nhiều ngôn ngữ để tăng tính đa dụng và an toàn.
