Mô hình 66B là một hệ thống xử lý ngôn ngữ tự nhiên có khoảng 66 tỷ tham số, được thiết kế để sinh văn bản, trả lời câu hỏi, tóm tắt và hỗ trợ nhiều tác vụ NLP khác. Với khả năng hiểu ngữ cảnh và sinh ngôn ngữ mạch lạc, 66B hướng tới nhiều ứng dụng từ trợ giúp viết cho doanh nghiệp cho đến nghiên cứu học thuật.
66B sử dụng kiến trúc Transformer chuẩn với nhiều lớp tự chú ý (self-attention) và mạng feed-forward. Tham số được phân bổ giữa embedding, trọng số kết nối và các thành phần vật lý mô hình, cho phép học biểu diễn ngữ nghĩa ở mức độ cao.

Dữ liệu huấn luyện đa dạng, gồm văn bản từ Internet, sách, bài báo và tài liệu kỹ thuật, được làm sạch và trộn lẫn để tăng tính đa ngôn ngữ và bao quát. Huấn luyện được thực hiện ở quy mô lớn bằng các kỹ thuật tối ưu hiệu quả và quản lý tối ưu hóa trên nhiều GPU.
66B có khả năng sinh văn bản mạch lạc, trả lời câu hỏi phức tạp và thực hiện các tác vụ tổng quát. Tuy nhiên, nó có giới hạn như tiềm ẩn thông tin sai lệch, dễ bị lệch chuẩn và cần kiểm tra nguồn tin đáng tin cậy. Việc giám sát và tinh chỉnh là yếu tố quan trọng để đảm bảo an toàn và chất lượng.
Ứng dụng của 66B gồm trợ lý viết, hỗ trợ kỹ thuật, tóm tắt tài liệu và phân tích dữ liệu. Bên cạnh đó, các biện pháp an toàn được áp dụng như lọc nội dung, xác thực nguồn, hạn chế khai thác dữ liệu riêng tư và thiết kế prompts an toàn.

Những hướng phát triển bao gồm tối ưu hóa hiệu năng, tích hợp multimodal và mở rộng phạm vi ngôn ngữ. Thảo luận về đạo đức AI và trách nhiệm khi triển khai 66B là một phần thiết yếu của quá trình phát triển.
