66B là một mô hình ngôn ngữ lớn được thiết kế để hiểu và sinh văn bản ở nhiều ngữ cảnh khác nhau. Với khoảng 66 tỷ tham số, nó được tối ưu cho hiệu suất trên nhiều nhiệm vụ ngôn ngữ và có khả năng hoạt động ở nhiều ngôn ngữ khác nhau.
66B sử dụng kiến trúc transformer tự hồi quy, với một chuỗi lớp chú ý và cơ chế xử lý ngữ cảnh cho mỗi vị trí. Số tham số khoảng 66 tỷ cho phép mô hình nắm bắt mối quan hệ dài hạn và cú pháp phức tạp ở nhiều ngôn ngữ.
66B được huấn luyện trên tập dữ liệu ngôn ngữ tự nhiên đa dạng, bao gồm văn bản web, sách, tài liệu công khai và nội dung mã nguồn. Quá trình huấn luyện nhắm tới cân bằng giữa khả năng hiểu và sinh ngôn ngữ, đồng thời giảm thiểu thiên lệch bằng các kỹ thuật từ điển và lọc dữ liệu. Tuy nhiên, nội dung vẫn có thể chứa sai lệch hoặc thông tin chưa được xác thực.
Khả năng của 66B bao gồm trả lời câu hỏi, tóm tắt văn bản, viết sáng tạo, hỗ trợ lập trình và dịch ngôn ngữ. Hạn chế chính gồm khả năng sinh thông tin sai lệch, thể hiện thiên lệch và khó đảm bảo tính xác thực tuyệt đối mà cần giám sát khi triển khai trong sản phẩm thực.
66B có thể được áp dụng làm trợ lý ảo, công cụ hỗ trợ viết, giảng dạy, phân tích dữ liệu văn bản và hỗ trợ phát triển mã nguồn. Trong tương lai, sự kết hợp với hệ thống kiểm tra sự thật, tích hợp với dịch vụ dữ liệu công khai và cải thiện hiệu suất sẽ mở rộng phạm vi ứng dụng và tăng cường độ an toàn cho người dùng.
