$LA Lagrange gần đây đang làm nhiều điều thú vị Bạn có thể đã biết về Gemma3 được phát hành bởi Google… Gemma3 là mô hình AI thế hệ tiếp theo do Google phát triển, hoạt động thông minh hơn với ít tham số hơn (đơn vị tính toán giống như tế bào não) Tốc độ cũng nhanh và độ chính xác cao, nhưng khá khác biệt so với cấu trúc GPT hiện tại Ví dụ - GQA (Grouped Query Attention): không giải quyết cùng một vấn đề nhiều lần, mà chia sẻ câu trả lời -> Tăng hiệu quả tính toán - Attention cục bộ + toàn cầu: phân loại từ gần là cục bộ, từ xa là toàn cầu để tập trung -> Giảm tính toán không cần thiết - RoPE (Rotary Positional Encoding): biểu diễn thứ tự từ bằng giá trị quay đơn giản thay vì ma trận phức tạp -> Tăng hiệu quả xử lý ngữ cảnh dài - RMSNorm, GeGLU: thay đổi quy tắc và cách phản ứng của não khi tổ chức suy nghĩ -> Tăng độ ổn định và chính xác Nhưng khi cấu trúc thay đổi như vậy, việc chứng minh "mô hình này có tính toán đúng không?" trở nên khó khăn hơn nhiều Thông thường, chỉ có kết...