Trí tuệ nhân tạo có được hành vi thông minh thông qua một công nghệ gọi là học máy.
Mặc dù quá trình học này được thực hiện theo các quy trình do con người phát triển, nhưng lý do tại sao trí tuệ lại xuất hiện từ các quy trình này và cấu trúc của trí tuệ nhân tạo vẫn chưa được giải thích.
Trong bài viết này, tôi sẽ khám phá những lý do tại sao trí tuệ lại xuất hiện bằng cách xem xét bản chất của việc học.
Và khi chúng ta đi sâu hơn vào khái niệm học tập, chúng ta đi đến ý tưởng rằng cả trí tuệ nhân tạo và bộ não của chúng ta đều sở hữu một xu hướng bẩm sinh là học cách học.
Điều này cho thấy sự tồn tại của một cơ chế có thể được gọi là "người tạo khung bẩm sinh" (natural born frameworker).
Học qua Cơ thể so với Học qua Ngôn ngữ
Chúng ta tìm hiểu về thế giới xung quanh và mở rộng khả năng của mình bằng cách nhìn mọi vật bằng mắt và vận động cơ thể.
Đây cũng là một hình thức học, có thể gọi là học qua cơ thể.
Mặt khác, khi mọi người thường nói về việc học, họ có thể hình dung việc tăng cường kiến thức bằng cách đọc sách giáo khoa hoặc nghe giải thích từ giáo viên.
Ngoài việc học dựa trên chương trình như vậy, chúng ta còn tiếp thu nhiều kiến thức khác từ các cuộc trò chuyện với bạn bè, tin tức trực tuyến, v.v.
Loại hình học này không phải là ghi nhớ hình ảnh trực quan hay học bằng cách vận động cơ thể; đó là học qua ngôn ngữ.
Học Hạ Vật lý và Học Siêu Vật lý
Trong việc học qua ngôn ngữ, có những trường hợp thông tin chỉ có thể được ghi nhớ thông qua việc lặp đi lặp lại nhiều lần, và có những trường hợp có thể ghi nhớ sau khi nghe một hoặc vài lần.
Ngoài ra, có những kiến thức mà dù không nhớ chi tiết, vẫn có thể sử dụng bằng cách tìm kiếm từ sách hoặc internet vào thời điểm cần thiết.
Theo nghĩa thu nhận kiến thức và sử dụng nó một cách thích hợp khi cần, cả hai kiểu này đều có thể được gọi là học.
Trong số đó, kiến thức chỉ có thể ghi nhớ thông qua việc lặp đi lặp lại nhiều lần có thể được gọi là kiến thức hạ vật lý. Quá trình học tập cho loại này là học hạ vật lý, liên quan đến việc ghi nhớ chính các khái niệm.
Điều này tương tự như học vật lý, nơi một người học lặp đi lặp lại bằng cách nhìn vật thể bằng mắt hoặc vận động cơ thể. Những loại này cũng có thể được phân loại là học hạ vật lý.
Mặt khác, việc tiếp thu kiến thức có thể được ghi nhớ với ít lần lặp lại hơn, hoặc tra cứu và sử dụng ngay tại chỗ, có thể được gọi là học siêu vật lý.
Trong trường hợp này, các khái niệm đã học trước đó thông qua học hạ vật lý có thể được sử dụng để học kiến thức như các loại của những khái niệm đó hoặc như sự kết hợp của các khái niệm.
Vì các khái niệm đã được tiếp thu thông qua học hạ vật lý có thể được sử dụng, nên học siêu vật lý không yêu cầu sự lặp lại.
Học Máy Ngôn ngữ Tự nhiên
Hãy áp dụng điều này vào học máy trong trí tuệ nhân tạo.
Thông thường, mạng nơ-ron được sử dụng trong học máy thực hiện học hạ vật lý, liên quan đến việc lặp đi lặp lại việc học các khái niệm.
Mặt khác, các mô hình ngôn ngữ lớn, có khả năng xử lý ngôn ngữ tự nhiên tương tự con người, có thể thực hiện học qua ngôn ngữ.
Trong quá trình huấn luyện sơ bộ (pre-training) và tinh chỉnh (fine-tuning) các mô hình ngôn ngữ lớn, việc học hạ vật lý thông qua ngôn ngữ diễn ra.
Hơn nữa, một mô hình ngôn ngữ lớn đã được huấn luyện sơ bộ có thể trả lời bằng cách tận dụng kiến thức có trong câu nhập vào, do đó thực hiện việc học siêu vật lý ngay lập tức.
Nhờ khả năng học siêu vật lý thông qua ngôn ngữ này, các mô hình ngôn ngữ lớn có thể sử dụng kiến thức mới mà không cần học lặp lại.
Điều này có thể được gọi là học máy ngôn ngữ tự nhiên, trái ngược với học máy số truyền thống điều chỉnh các tham số mô hình một cách lặp đi lặp lại.
Ngôn ngữ Tự nhiên là Giao diện Siêu hình
Ngôn ngữ tự nhiên nằm ở giao diện phân chia học hạ vật lý và học siêu vật lý.
Khía cạnh hấp dẫn của ngôn ngữ tự nhiên là nó có thể được tiếp thu thông qua học hạ vật lý, và hơn thế nữa, nó còn cho phép học siêu vật lý.
Các Giao diện Siêu hình Khác Ngoài Ngôn ngữ Tự nhiên
Trong thực tế, ngay cả trong học tập vật lý, cả học hạ vật lý và học siêu vật lý đều tồn tại. Ví dụ, một người giỏi thể thao có thể nhanh chóng thích nghi với một trò chơi mới mà họ gặp lần đầu.
Tương tự, một người có kiến thức về sinh học có thể ngay lập tức hiểu được các đặc điểm của một loài mới khi họ nhìn thấy nó.
Do đó, trong học tập vật lý, cũng tồn tại các giao diện siêu hình có vị trí tương tự như ngôn ngữ tự nhiên.
Khung Sườn (Frameworks)
Tại các giao diện này là các khung sườn, khác biệt với các khái niệm hoặc kiến thức cơ bản, chúng định nghĩa các mối quan hệ và cấu trúc của chúng, hoặc cho phép cấu trúc mới.
Khi nhiều loại kiến thức hạ vật lý được tiếp thu thông qua học hạ vật lý, có thể học được khung sườn tại giao diện siêu hình từ các mối liên hệ giữa các mảnh kiến thức hạ vật lý.
Các khung sườn được tiếp thu thông qua học vật lý cho phép kiến thức mới được học siêu hình ngay lập tức sau khi tiếp thu. Tuy nhiên, không dễ để truyền đạt kiến thức thu được thông qua học siêu hình này cho người khác.
Mặt khác, khung sườn được tiếp thu thông qua học bằng ngôn ngữ chính là ngôn ngữ tự nhiên.
Do đó, kiến thức thu được thông qua học siêu hình, sau khi học khung sườn ngôn ngữ tự nhiên, có thể được trực tiếp đưa vào việc học bằng ngôn ngữ của người khác.
Điều này không chỉ áp dụng cho kiến thức mà việc học qua ngôn ngữ, chẳng hạn như sách giáo khoa hoặc tin tức trực tuyến, là cơ bản.
Một cầu thủ bóng đá giàu kinh nghiệm, lần đầu tiên chơi bóng chày, có thể truyền đạt kiến thức siêu hình về bóng chày đã thu được cho các cầu thủ bóng đá khác thông qua lời nói. Điều này có nghĩa là nếu mọi người chia sẻ cùng một kiến thức hạ vật lý, thì những gì được gọi là "mẹo" hoặc bí quyết có thể được truyền đạt bằng lời nói.
Hơn nữa, một người có thể chia sẻ kiến thức về một loài mới được phát hiện mà họ đã chứng kiến với các nhà sinh vật học khác thông qua lời nói.
Do đó, ngôn ngữ tự nhiên được tiết lộ là một khung sườn rất mạnh mẽ tại giao diện siêu hình.
Khung ảo (Virtual Frameworks)
Ngoài ngôn ngữ tự nhiên, người ta có thể tiếp thu các khung sườn khác.
Đây là các khung sườn chuyên biệt theo lĩnh vực (domain-specific frameworks) hoặc các khung sườn hình thức (formal frameworks).
Trong nhiều lĩnh vực học thuật, ngành kinh doanh và đời sống hàng ngày, có rất nhiều khung sườn chuyên biệt theo lĩnh vực đa dạng.
Các học giả, hoạt động trong khuôn khổ chuyên môn của mình, có thể tạo ra những khám phá mới và dễ dàng truyền đạt kiến thức đó cho các học giả khác có cùng khung sườn.
Bản thân khung sườn đôi khi có thể được biểu đạt bằng ngôn ngữ tự nhiên, trong trường hợp đó, nó có thể được học và hiểu bởi con người hoặc các mô hình ngôn ngữ lớn sở hữu khung ngôn ngữ tự nhiên.
Các mô hình kinh doanh và công thức nấu ăn cũng là những ví dụ về các khung sườn chuyên biệt theo lĩnh vực có thể được biểu đạt bằng ngôn ngữ tự nhiên.
Hơn nữa, các công thức toán học, ngôn ngữ lập trình và khung phân tích kinh doanh là các khung sườn hình thức.
Những khung này cũng có thể được biểu đạt hoặc giải thích bằng ngôn ngữ tự nhiên.
Các khung sườn chuyên biệt theo lĩnh vực và hình thức được xây dựng trên nền tảng ngôn ngữ tự nhiên này có thể được gọi là khung ảo.
Điều này dễ hiểu nếu bạn hình dung một máy ảo chạy một hệ điều hành khác trên một máy tính vật lý. Một khung sườn khác hoạt động trên nền tảng cơ sở của ngôn ngữ tự nhiên.
Khung nguyên bản (Native Frameworks)
Hơn nữa, trong khi các khung ảo này ban đầu cần được hiểu thông qua ngôn ngữ tự nhiên, khi một người trở nên quen thuộc với chúng, chúng bắt đầu bỏ qua lời giải thích và sự hiểu biết bằng ngôn ngữ tự nhiên, trực tiếp hoạt động như một khung giao diện siêu vật lý được xây dựng trên kiến thức hạ vật lý.
Điều này có thể được gọi là khung nguyên bản.
Ngôn ngữ tự nhiên, theo một nghĩa nào đó, cũng là một khung nguyên bản, nhưng chỉ liên quan đến tiếng mẹ đẻ của một người. Nói chung, các ngôn ngữ khác ngoài tiếng mẹ đẻ được tiếp thu như các khung ảo. Khi trình độ thành thạo tăng lên, chúng dần trở thành khung nguyên bản.
Điều tương tự cũng áp dụng cho các khung chuyên biệt theo lĩnh vực và các khung hình thức. Các nhà toán học có thể giao tiếp nguyên bản bằng các công thức toán học, và các lập trình viên có thể hiểu ý định của nhau chỉ thông qua mã nguồn mà không cần bình luận.
Điều này cho thấy rằng sự tiến triển từ khung ảo sang khung nguyên bản cũng có thể được áp dụng cho các mô hình ngôn ngữ lớn.
Ý tưởng về việc phát hiện các khung ảo được sử dụng thường xuyên, tạo ra một lượng lớn dữ liệu ví dụ sử dụng các khung đó, và sau đó tinh chỉnh chúng để trở thành khung nguyên bản là một ý tưởng đáng để thử ngay lập tức.
Những người tạo khung bẩm sinh (Natural Born Frameworkers)
Xem xét điều này, người ta nhận ra rằng trong quá trình huấn luyện sơ bộ các mô hình ngôn ngữ lớn, không chỉ là tinh chỉnh, mà còn có khả năng chúng đang học các khung sườn chuyên biệt theo lĩnh vực và các khung sườn hình thức.
Và trong quá trình đó, có thể hình dung rằng thay vì học nguyên bản các khung sườn chuyên biệt theo lĩnh vực hoặc hình thức ngay từ đầu, chúng học khung ngôn ngữ tự nhiên trước, và sau đó, trong hoặc sau khi thành thạo nó, chúng học các khung sườn chuyên biệt theo lĩnh vực và hình thức, khiến chúng trở thành nguyên bản.
Đi sâu hơn vào việc học khung sườn theo từng bước này, cũng có thể hình dung rằng bản thân việc học ngôn ngữ tự nhiên là một đường ống song song của việc học khung sườn theo từng bước, rất chi tiết.
Nói cách khác, từ một lượng lớn văn bản được cung cấp làm dữ liệu huấn luyện trong quá trình huấn luyện sơ bộ, các mô hình ngôn ngữ lớn có thể không chỉ học các khái niệm riêng lẻ mà còn học một vài quy tắc rất đơn giản của ngôn ngữ tự nhiên như một khung sườn. Sau đó, sử dụng những khung sườn đơn giản này làm nền tảng, chúng lặp đi lặp lại việc học các quy tắc phức tạp hơn một chút.
Điều này sẽ cho phép chúng tiến bộ từ giai đoạn ban đầu học các khái niệm từ ngữ đến ghi nhớ các từ ghép và ngữ pháp cơ bản, và sau đó đến việc hiểu câu, và học những thứ phức tạp như kỹ thuật viết và biểu đạt.
Điều này có thể được hiểu là một mô hình trong đó chúng học các khung sườn một cách tuần tự và phức tạp, sử dụng một khung sườn làm nền tảng để học khung sườn tiếp theo.
Điều này làm nổi bật các mô hình ngôn ngữ lớn như "những người tạo khung bẩm sinh", sở hữu một cơ chế để học các khung sườn ngay từ đầu.
Cơ chế Chú ý
Công nghệ hiện thực hóa "người tạo khung bẩm sinh" là cơ chế chú ý (attention mechanism).
Cơ chế chú ý giống như việc chọn các mã thông báo (token) có liên quan từ một ngữ cảnh. Nó làm rõ các mối quan hệ giữa các mã thông báo. Đây chính xác là bản chất của một khung: trừu tượng hóa bằng cách giữ lại các khái niệm quan trọng đồng thời làm rõ các mối quan hệ giữa chúng.
Bằng cách chuyển đổi lựa chọn này cho mỗi mã thông báo, nó cho phép chuyển đổi động các khung.
Điều này cho phép chúng ta giải thích tại sao cơ chế chú ý là một công nghệ quyết định sự phát triển của các mô hình ngôn ngữ lớn, bằng cách sử dụng mô hình "người tạo khung bẩm sinh".
Kết luận
Nếu cơ chế này thực sự diễn ra trong quá trình huấn luyện sơ bộ các mô hình ngôn ngữ lớn, thì các cơ chế bí ẩn trước đây của các mô hình ngôn ngữ lớn có thể được giải thích.
Chúng bao gồm việc học hạ vật lý và siêu vật lý được thảo luận ở đây, các khung sườn như giao diện siêu vật lý, ngôn ngữ tự nhiên cho phép học qua ngôn ngữ và các khung ảo, và cơ chế chú ý hiện thực hóa người tạo khung bẩm sinh.
Hơn nữa, hai điểm bổ sung được gợi ý từ điều này.
Thứ nhất, ngôn ngữ tự nhiên có một cấu trúc rất phù hợp để dần dần nội hóa các khung sườn phức tạp từ những cái đơn giản hơn.
Nếu ngôn ngữ tự nhiên ban đầu xuất hiện trong xã hội loài người dưới một dạng đơn giản và dần dần phát triển để sở hữu một cấu trúc phức tạp và phong phú hơn, thì đây là một hệ quả tự nhiên.
Hơn nữa, sẽ có lợi nếu nó được cấu trúc theo cách cho phép học nhanh chóng. Giả sử rằng nhiều xã hội với các ngôn ngữ tự nhiên khác nhau đang cạnh tranh, thì giả thuyết rằng các ngôn ngữ tự nhiên phù hợp hơn cho việc học hiện đang tồn tại rất dễ hình thành.
Suy ngẫm về bản chất này của ngôn ngữ tự nhiên dẫn đến gợi ý thứ hai: rằng chúng ta, con người, cũng là những người tạo khung bẩm sinh.
Ngay cả khi các nền tảng và cơ chế cơ bản cụ thể khác nhau, bộ não của chúng ta cũng phải được trang bị một cơ chế, tương tự như cơ chế chú ý, cho phép học từng bước và thích nghi linh hoạt các khung sườn.