Bỏ qua đến nội dung
Bài viết này đã được dịch từ tiếng Nhật bằng AI
Đọc bằng tiếng Nhật
Bài viết này thuộc Miền Công Cộng (CC0). Hãy thoải mái sử dụng nó một cách tự do. CC0 1.0 Universal

Cơ chế chú ý như Trí tuệ ảo vi mô

AI tạo sinh hiện nay là một công nghệ AI đã bùng nổ nhờ phát minh Transformer như một bước đột phá lớn.

Cơ chế chú ý có thể được mô tả là đặc điểm nổi bật của Transformer. Điều này được thể hiện một cách ngắn gọn trong tiêu đề bài báo công bố Transformer: “Attention Is All You Need” (Tạm dịch: Chú ý là tất cả những gì bạn cần).

Bối cảnh đằng sau điều này là vào thời điểm đó, các nhà nghiên cứu AI đã thực hiện nhiều nỗ lực và thử nghiệm để giúp AI xử lý ngôn ngữ tự nhiên thành thạo như con người, đặt tên cho các phương pháp thành công và xuất bản các bài báo về chúng.

Nhiều nhà nghiên cứu tin rằng bằng cách kết hợp nhiều cơ chế hiệu quả này theo nhiều cách khác nhau, họ có thể dần dần tạo ra AI có khả năng xử lý ngôn ngữ tự nhiên như con người. Họ tập trung vào việc khám phá các cơ chế mới có thể hoạt động kết hợp với các cơ chế khác và tìm ra sự kết hợp tối ưu của các cơ chế này.

Tuy nhiên, Transformer đã lật đổ quan niệm truyền thống này. Thông điệp rằng không cần kết hợp nhiều cơ chế, và rằng chỉ cần Cơ chế chú ý là đủ, đã thể hiện rõ trong tiêu đề bài báo.

Mặc dù bản thân Transformer chắc chắn tích hợp nhiều cơ chế khác nhau, nhưng không nghi ngờ gì nữa, Cơ chế chú ý đặc biệt mang tính đột phá và khác biệt trong số đó.

Tổng quan về Cơ chế chú ý

Cơ chế chú ý là một hệ thống cho phép AI học cách chọn từ nào trong số nhiều từ chứa trong các câu trước đó mà nó nên chú ý khi xử lý một từ cụ thể trong ngôn ngữ tự nhiên.

Điều này giúp AI hiểu chính xác một từ đề cập đến điều gì, ví dụ, khi xử lý các từ chỉ định như "cái này", "cái kia", hoặc "đã nói ở trên" (chỉ một từ trong câu trước), hoặc các tham chiếu vị trí như "câu mở đầu", "ví dụ thứ hai được liệt kê", hoặc "đoạn văn trước đó".

Hơn nữa, nó có thể diễn giải chính xác các bổ ngữ ngay cả khi chúng cách xa nhau trong một câu, và ngay cả trong các văn bản dài, nó vẫn có thể diễn giải các từ mà không làm mất đi ngữ cảnh mà từ hiện tại đề cập đến, ngăn nó bị lạc giữa các câu khác.

Đây là tiện ích của "chú ý".

Ngược lại, điều này có nghĩa là khi diễn giải từ đang được xử lý, các từ không cần thiết sẽ bị che đi và loại bỏ khỏi quá trình diễn giải.

Bằng cách chỉ giữ lại các từ thiết yếu để diễn giải một từ đã cho và loại bỏ các từ không liên quan, tập hợp các từ cần diễn giải vẫn được giới hạn trong một vài từ, bất kể văn bản dài đến đâu, do đó ngăn chặn mật độ diễn giải bị pha loãng.

Trí tuệ ảo

Bây giờ, thay đổi chủ đề một chút, tôi đã và đang suy nghĩ về khái niệm trí tuệ ảo.

Hiện tại, khi sử dụng AI tạo sinh cho công việc kinh doanh, nếu tất cả thông tin trong một công ty được hợp nhất và cung cấp làm một cơ sở tri thức duy nhất cho AI, lượng tri thức khổng lồ có thể trở nên quá tải, dẫn đến hiện tượng AI không thể xử lý đúng cách.

Vì lý do này, việc phân tách kiến thức theo nhiệm vụ, chuẩn bị các cuộc trò chuyện AI cho từng nhiệm vụ hoặc tạo ra các công cụ AI chuyên biệt cho các hoạt động cụ thể sẽ hiệu quả hơn.

Do đó, khi thực hiện các tác vụ phức tạp, cần phải kết hợp các cuộc trò chuyện AI hoặc các công cụ AI này, mỗi công cụ đều có kiến thức được phân tách riêng.

Mặc dù đây là một hạn chế hiện tại của AI tạo sinh, về cơ bản, ngay cả với AI tạo sinh trong tương lai, việc chỉ tập trung vào kiến thức cần thiết cho một nhiệm vụ cụ thể sẽ dẫn đến độ chính xác cao hơn.

Thay vào đó, tôi tin rằng AI tạo sinh trong tương lai sẽ có khả năng tự phân biệt và sử dụng kiến thức cần thiết theo tình huống, ngay cả khi con người không cần phải phân đoạn kiến thức đó.

Khả năng này chính là trí tuệ ảo. Nó giống như một máy ảo có thể chạy nhiều hệ điều hành khác nhau trên một máy tính duy nhất. Điều đó có nghĩa là trong một trí tuệ duy nhất, nhiều trí tuệ ảo với các chuyên môn khác nhau có thể hoạt động.

Ngay cả AI tạo sinh hiện tại cũng đã có thể mô phỏng các cuộc thảo luận giữa nhiều người hoặc tạo ra những câu chuyện có nhiều nhân vật. Do đó, trí tuệ ảo không phải là một khả năng đặc biệt mà đúng hơn là một phần mở rộng của AI tạo sinh hiện tại.

Trí tuệ ảo vi mô

Cơ chế trí tuệ ảo, thu hẹp kiến thức cần thiết theo nhiệm vụ, thực hiện điều gì đó tương tự như Cơ chế chú ý.

Nói cách khác, nó tương tự như Cơ chế chú ý ở chỗ nó tập trung vào và xử lý chỉ những kiến thức liên quan dựa trên nhiệm vụ đang được thực hiện.

Ngược lại, Cơ chế chú ý có thể được coi là một cơ chế hiện thực hóa điều gì đó tương tự như trí tuệ ảo. Tuy nhiên, trong khi trí tuệ ảo mà tôi hình dung chọn lọc kiến thức liên quan từ một tập hợp kiến thức, thì Cơ chế chú ý lại hoạt động ở đơn vị tập hợp các từ.

Vì lý do này, Cơ chế chú ý có thể được gọi là Trí tuệ ảo vi mô.

Cơ chế chú ý rõ ràng

Nếu chúng ta xem Cơ chế chú ý là trí tuệ ảo vi mô, thì ngược lại, trí tuệ ảo mà tôi đã đề cập trước đây có thể đạt được bằng cách xây dựng một cơ chế chú ý vĩ mô.

Và cơ chế chú ý vĩ mô này không cần được thêm vào cấu trúc nội bộ của các mô hình ngôn ngữ lớn hoặc liên quan đến học máy mạng nơ-ron.

Nó có thể đơn giản là một câu lệnh rõ ràng được viết bằng ngôn ngữ tự nhiên, chẳng hạn như: "Khi thực hiện Nhiệm vụ A, tham khảo Kiến thức B và Kiến thức C."

Điều này làm rõ kiến thức cần thiết cho Nhiệm vụ A. Bản thân câu lệnh này là một loại kiến thức.

Điều này có thể được gọi là Cơ chế chú ý rõ ràng. Câu lệnh này có thể được coi là Kiến thức chú ý, trong đó trình bày rõ ràng kiến thức cần được tập trung vào khi thực hiện Nhiệm vụ A.

Hơn nữa, Kiến thức chú ý này có thể được AI tạo sinh tạo ra hoặc cập nhật.

Nếu một nhiệm vụ thất bại do thiếu kiến thức, Kiến thức chú ý có thể được cập nhật để bao gồm kiến thức bổ sung làm tham chiếu cho nhiệm vụ đó, dựa trên sự phản ánh này.

Kết luận

Cơ chế chú ý đã thúc đẩy đáng kể khả năng của AI tạo sinh.

Đó không chỉ đơn thuần là một cơ chế tình cờ hoạt động tốt; mà thay vào đó, như chúng ta đã thấy ở đây, chính cơ chế năng động thu hẹp thông tin cần tham chiếu cho từng tình huống dường như là bản chất của trí tuệ tiên tiến.

Và, giống như trí tuệ ảo và kiến thức chú ý rõ ràng, Cơ chế chú ý cũng là chìa khóa để nâng cao trí tuệ một cách đệ quy trên nhiều lớp khác nhau.