66B là một mô hình ngôn ngữ lớn có 66 tỉ tham số, được huấn luyện trên lượng dữ liệu khổng lồ và có khả năng hiểu và sinh ngôn ngữ tự nhiên, trả lời câu hỏi, viết văn, tóm tắt văn bản và hỗ trợ các tác vụ ngôn ngữ khác.
66B được xây dựng dựa trên kiến trúc Transformer và tối ưu hoá ở mức tham số, tính toán và tối ưu bộ nhớ. Nó sử dụng các lớp chú ý tự động (self-attention), tiền huấn luyện trên nhiều nguồn dữ liệu, và tinh chỉnh theo các tác vụ cụ thể. Việc huấn luyện đòi hỏi nguồn tính toán lớn và có các biện pháp giảm rủi ro như lọc dữ liệu và kiểm tra đầu ra nhằm giảm bias và sai lệch.

Ứng dụng phổ biến gồm chatbot thông minh, hệ thống trợ giúp viết văn, tóm tắt bài viết, phân tích ý kiến, hỗ trợ lập trình và giáo dục. 66B có thể được triển khai trên đám mây hoặc tại chỗ để phù hợp với yêu cầu latency và bảo mật.
66B cùng với các mô hình ngôn ngữ khác mang lại nhiều cơ hội nhưng cũng đối mặt với thách thức về an toàn, thiên vị, quyền riêng tư và công bằng. Việc đánh giá và giám sát đầu ra, cung cấp công cụ kiểm tra và cơ chế kiểm soát nội dung là cần thiết để sử dụng rộng rãi và có trách nhiệm.
