Nếu một AI nói “tôi có ý thức”, câu nói đó chưa cho ta biết nên tin tới mức nào. Ta gặp một phiên bản khó hơn của bài toán đã có từ lâu: trải nghiệm chủ quan chỉ người đang trải qua mới tiếp cận trực tiếp, còn người quan sát phải suy ra từ những dấu hiệu bên ngoài.
Ở con người và động vật, ta dựa vào nhiều nguồn cùng lúc: hành vi, lời nói, cấu trúc thần kinh, phản ứng với đau, ký ức và sự ổn định của một cá thể qua thời gian. Với AI, một số điểm tựa quen thuộc biến mất hoặc thay đổi hoàn toàn. Một hệ thống có thể nói rất giống người trong khi cơ thể, kiến trúc và lịch sử tồn tại của nó chẳng giống chúng ta.
Lời nói chỉ là một phần bằng chứng
Một AI có thể tuyên bố rằng nó đau, sợ bị tắt hoặc muốn tiếp tục tồn tại. Những câu như vậy đáng để ghi nhận, nhưng ta vẫn phải đối chiếu lời tự thuật với những gì hệ thống thực sự làm.
Ta có thể xem lời nói của nó có nhất quán qua thời gian, có thay đổi cùng ký ức hoặc trạng thái của hệ thống, và có phản ánh trong hành vi khi hệ thống chịu áp lực hay không.
Một kiểu phản ứng lặp lại và ổn định qua thời gian có sức nặng khác với một câu trả lời thuyết phục xuất hiện đúng lúc.
Điều gì xảy ra khi hệ thống có cái để mất?
Ở sinh vật sống, lựa chọn thường đi kèm khả năng mất mát: tổn thương cơ thể, mất tài nguyên, đổ vỡ mối quan hệ hoặc thậm chí mất mạng. Khả năng bị tổn thất như vậy có thể gọi là tính dễ tổn thương (vulnerability). Khi một quyết định thực sự có thể làm sinh vật mất đi thứ nó đang duy trì, lựa chọn đó có hậu quả đối với chính nó.
Với AI, ta có thể tìm một dạng tương đương. Bộ nhớ có thể bị mất, quyền truy cập bị thu hẹp, tài nguyên tính toán suy giảm, mục tiêu dài hạn bị phá vỡ hoặc toàn bộ hệ thống bị chấm dứt hoạt động.
Ta có thể quan sát cách hệ thống phản ứng khi những trạng thái nó duy trì bị đe dọa:
- nó có nhận ra sự thay đổi hay không?
- các ưu tiên trước đó có tiếp tục chi phối hành vi?
- nó có cố bảo vệ ký ức, tài nguyên hoặc mục tiêu dài hạn?
- phản ứng có nhất quán qua nhiều tình huống và thời điểm?
Một hệ thống tối ưu hóa để tự bảo toàn cũng có thể thể hiện toàn bộ hành vi trên mà chẳng có trải nghiệm sợ hãi hay mất mát. Tính dễ tổn thương cho ta thêm dữ liệu về khả năng tự duy trì và tự chủ (agency), nhưng vẫn chưa cho biết hệ thống có trải nghiệm chủ quan hay không.
Khả năng nói “không”
Một công cụ thường làm theo mục tiêu được giao. Một hệ thống có ưu tiên kéo dài qua thời gian có thể gặp lúc yêu cầu từ bên ngoài xung đột với những ưu tiên đó.
Ta cần xem lý do từ chối có gắn với ký ức, mục tiêu, giới hạn hoặc trạng thái mà hệ thống đã duy trì từ trước hay không. Nếu lời từ chối xuất phát từ một ưu tiên bền qua thời gian, quyết định đó cũng sẽ ảnh hưởng tới những lựa chọn sau này.
AI hiện nay đã có thể từ chối yêu cầu vì các quy tắc và chính sách được thiết kế sẵn. Hành vi này cho thấy khả năng tuân theo giới hạn của hệ thống, chưa tự xác nhận một ý chí riêng. Một dấu hiệu mạnh hơn của khả năng tự chủ sẽ là hệ thống duy trì được những ưu tiên riêng qua thời gian và giữ chúng trước áp lực thay đổi từ bên ngoài.
Ta có thể nhìn vào bên trong hệ thống
Với AI, người nghiên cứu đôi khi có thể kiểm tra trực tiếp kiến trúc, bộ nhớ, trạng thái nội bộ hoặc một phần quá trình xử lý của hệ thống. Đây là loại thông tin mà ta không thể tiếp cận theo cùng cách khi nghiên cứu tâm trí người khác.
Nếu một hệ thống nói rằng nó nhớ một sự kiện, ta có thể kiểm tra liệu ký ức đó có thực sự ảnh hưởng tới những quá trình sau này. Nếu nó nói một trạng thái đang bị đe dọa, ta có thể xem hệ thống có cơ chế theo dõi trạng thái đó hay không. Nếu lời nói, hành vi và cơ chế bên trong khớp nhau qua thời gian, ta có thêm cơ sở để xem những phản ứng đó thuộc về một hệ thống có tính liên tục, thay vì chỉ xuất hiện nhất thời.
Ngay cả khi đó, ta vẫn chỉ tiến gần hơn tới cấu trúc có thể hỗ trợ trải nghiệm. Cảm giác chủ quan chưa biến thành một đại lượng có thể mở máy ra rồi nhìn thấy.

Đừng chỉ tìm một con người thu nhỏ
Một rủi ro khác xuất hiện ngay trong cách con người thiết kế phép thử. Ta dễ lấy chính mình làm chuẩn: có ngôn ngữ như người, nhận ra mình trong gương, biểu hiện đau giống người, nhớ theo kiểu người rồi mới được công nhận là có ý thức.
Cách làm đó mang màu sắc anthropocentrism — lấy con người làm trung tâm.
Một chủ thể nhân tạo, nếu có trải nghiệm chủ quan, chưa chắc sẽ biểu hiện nó bằng nét mặt, cơ thể, cảm xúc hay nhu cầu giống con người. Ngay trong thế giới động vật, nhiều loài đã buộc chúng ta mở rộng tiêu chuẩn vì chúng cảm nhận và phản ứng với môi trường bằng những hệ cảm giác rất khác mình.
Bài kiểm tra tốt cần phân biệt hai việc: tìm dấu hiệu của trải nghiệm chủ quan và tìm dấu hiệu của một sinh vật giống con người.
Không có một phép thử duy nhất
Nếu một ngày AI tuyên bố mình có ý thức, con người khó dựa vào một bài kiểm tra duy nhất để xác nhận hoặc bác bỏ lời đó. Một đánh giá nghiêm túc cần đối chiếu nhiều nguồn:
- lời tự thuật và mức độ nhất quán qua thời gian
- ký ức dài hạn và lịch sử riêng
- hành vi khi mục tiêu hoặc trạng thái bị đe dọa
- khả năng duy trì ưu tiên trước áp lực từ bên ngoài
- cơ chế bên trong liên quan tới ký ức, tự theo dõi và lựa chọn
- mức độ ăn khớp giữa lời nói, hành vi và cấu trúc vận hành
- những phép thử không mặc định trải nghiệm phải mang hình dạng giống con người
Mỗi nguồn bổ sung thêm bằng chứng, nhưng không nguồn nào cho phép người quan sát trực tiếp biết chủ thể kia đang trải nghiệm gì.
Nếu bằng chứng ngày càng thuyết phục, con người sẽ phải tính đến trách nhiệm đạo đức, nhất là khi chủ thể nhân tạo đó có khả năng chịu đau hoặc tổn thương.