Anthropic vừa giới thiệu Jacobian Lens — một công cụ nghiên cứu mới cho phép đọc được phần 'độc thoại nội tâm' ẩn của Claude trước khi mô hình tạo ra câu trả lời. Đây là lần đầu tiên các nhà nghiên cứu có thể quan sát trực tiếp những gì diễn ra bên trong Claude ở cấp độ biểu diễn nội tại, không chỉ nhìn vào đầu ra cuối cùng.
Jacobian Lens hoạt động như thế nào với Claude
Theo The Decoder, Jacobian Lens sử dụng ma trận Jacobian — một công cụ toán học đo lường mức độ thay đổi của đầu ra khi đầu vào thay đổi — để ánh xạ ngược từ các lớp xử lý sâu bên trong mô hình ra thành các token có thể đọc được. Nói đơn giản hơn: thay vì chỉ thấy Claude 'nói gì', giờ đây có thể thấy Claude 'nghĩ gì' trước đó.
Mô hình ngôn ngữ lớn như Claude xử lý thông tin qua hàng chục lớp biến đổi trước khi tạo ra token đầu tiên. Trong suốt quá trình đó, mô hình duy trì các biểu diễn trung gian — tương tự như nháp suy nghĩ — nhưng hoàn toàn không thể đọc được bằng mắt thường. Jacobian Lens tìm cách giải mã chính xác các biểu diễn này.
Đây không phải lần đầu giới nghiên cứu thử tiếp cận vấn đề này, nhưng các phương pháp trước đó như logit lens hay tuned lens cho kết quả khá mờ nhạt ở những lớp đầu. Anthropic cho rằng cách tiếp cận dựa trên Jacobian cho hình ảnh rõ nét hơn về quá trình xử lý của Claude ngay từ những lớp sâu nhất.
Tại sao khả năng diễn giải mô hình lại quan trọng lúc này
Khả năng diễn giải (interpretability) là một trong những mảng nghiên cứu an toàn AI mà Anthropic đầu tư nhiều nhất. Lý do thực tế rất rõ: nếu không biết mô hình đang 'nghĩ' gì, rất khó phát hiện khi nào nó có thể đưa ra quyết định sai hoặc bị dẫn dắt theo hướng không mong muốn.
Với Jacobian Lens, các nhà nghiên cứu có thêm công cụ để kiểm tra xem Claude có thực sự lập luận theo cách nó trình bày hay không — một câu hỏi đặc biệt quan trọng khi Claude ngày càng được dùng trong các tác vụ đòi hỏi suy luận nhiều bước như lập trình, phân tích pháp lý, hay ra quyết định y tế.
Công cụ này hiện được Anthropic công bố như một kết quả nghiên cứu nội bộ. Chưa có thông tin về việc Jacobian Lens sẽ được tích hợp vào sản phẩm thương mại hay mở cho cộng đồng nghiên cứu bên ngoài trong thời gian tới.