Bỏ qua đến nội dung
Bài viết này đã được dịch từ tiếng Nhật bằng AI
Đọc bằng tiếng Nhật
Bài viết này thuộc Miền Công Cộng (CC0). Hãy thoải mái sử dụng nó một cách tự do. CC0 1.0 Universal

Hệ thống Trí tuệ Học hỏi Nhân tạo: Khái niệm ALIS

Tại đây, tôi sẽ trình bày về Hệ thống Trí tuệ Học hỏi Nhân tạo (Artificial Learning Intelligence System - ALIS), bao gồm các khái niệm và nguyên tắc của nó, cho đến thiết kế cơ bản và các phương pháp phát triển.

Khái niệm

AI tạo sinh hiện tại, chủ yếu là các mô hình ngôn ngữ lớn, được huấn luyện dựa trên học có giám sát sử dụng mạng nơ-ron.

Chúng tôi định vị quá trình huấn luyện mạng nơ-ron này là học bẩm sinh.

ALIS là một hệ thống cho phép suy luận toàn diện bằng cách tích hợp cả quá trình học bẩm sinh và học tập thu nhận được, thông qua việc kết hợp một quá trình học tập thu nhận riêng biệt với học bẩm sinh.

Trong quá trình học tập thu nhận này, kiến thức đã học được lưu trữ bên ngoài mạng nơ-ron và được sử dụng trong quá trình suy luận.

Do đó, cốt lõi kỹ thuật của ALIS nằm ở việc trích xuất, lưu trữ kiến thức có thể tái sử dụng, cũng như lựa chọn và sử dụng kiến thức trong quá trình suy luận.

Hơn nữa, ALIS không chỉ là một công nghệ thành phần đơn lẻ mà còn là một công nghệ hệ thống kết hợp học bẩm sinh và học tập thu nhận được.

Các yếu tố của một hệ thống trí tuệ học hỏi

ALIS xử lý cả học bẩm sinh hiện có và học tập thu nhận trong tương lai theo cùng một nguyên tắc trong khuôn khổ học hỏi và suy luận.

Để giải thích các nguyên tắc học hỏi trong ALIS, chúng tôi định nghĩa năm yếu tố của một hệ thống trí tuệ học hỏi:

Đầu tiên là Bộ xử lý thông minh. Điều này đề cập đến một hệ thống xử lý thực hiện suy luận bằng cách sử dụng kiến thức và trích xuất kiến thức để học hỏi.

Các ví dụ tiêu biểu về bộ xử lý thông minh bao gồm LLM và một phần của bộ não con người.

Thứ hai là Kho kiến thức. Điều này đề cập đến một vị trí lưu trữ nơi kiến thức được trích xuất được lưu và có thể được truy xuất khi cần.

Trong LLM, kho kiến thức là các tham số của mạng nơ-ron. Ở con người, nó tương ứng với trí nhớ dài hạn trong não.

Thứ ba là Thế giới. Điều này đề cập đến môi trường bên ngoài như được nhận thức bởi các hệ thống trí tuệ học hỏi như con người hoặc ALIS.

Đối với con người, thế giới là thực tại. Trong trường hợp của LLM, cơ chế nhận đầu ra từ LLM và cung cấp phản hồi cho nó được coi là tương đương với thế giới.

Thứ tư là Bộ nhớ trạng thái. Điều này đề cập đến một bộ nhớ tạm thời bên trong, giống như một bảng nháp, mà một hệ thống trí tuệ học hỏi sử dụng trong quá trình suy luận.

Trong LLM, đây là không gian bộ nhớ được sử dụng trong quá trình suy luận, được gọi là các trạng thái ẩn. Ở con người, nó tương ứng với trí nhớ ngắn hạn.

Thứ năm là Khung tư duy. Đây là cái gọi là khuôn khổ tư duy. Trong thuật ngữ của một hệ thống trí tuệ học hỏi, nó đề cập đến các tiêu chí để lựa chọn kiến thức cần thiết trong quá trình suy luận và cấu trúc không gian trạng thái logic để tổ chức bộ nhớ trạng thái.

Trong LLM, đó là cấu trúc ngữ nghĩa của các trạng thái ẩn, và nói chung, nội dung của nó mơ hồ và khó hiểu đối với con người. Hơn nữa, việc lựa chọn kiến thức được tích hợp vào cơ chế chú ý, chọn mã thông báo hiện có nào để tham chiếu cho mỗi mã thông báo đang được xử lý.

Đối với con người, như đã đề cập ở trên, đó là khuôn khổ tư duy. Khi suy nghĩ bằng cách sử dụng một khuôn khổ tư duy cụ thể, một số tập hợp kiến thức chuyên môn được gọi lại từ trí nhớ dài hạn và được nạp vào trí nhớ ngắn hạn. Sau đó, thông tin hiện đang được nhận thức được tổ chức theo khuôn khổ tư duy để hiểu tình huống.

Nguyên tắc của Hệ thống trí tuệ học hỏi

Một hệ thống trí tuệ học hỏi hoạt động như sau:

Bộ xử lý thông minh tác động lên thế giới. Thế giới phản hồi lại với các kết quả dựa trên hành động đó.

Bộ xử lý thông minh trích xuất kiến thức có thể tái sử dụng từ các kết quả này và lưu trữ nó trong kho kiến thức.

Khi bộ xử lý thông minh tác động lặp đi lặp lại lên thế giới, nó sẽ chọn kiến thức từ kho kiến thức và sử dụng nó để điều chỉnh phương thức hành động của mình.

Đây là cơ chế cơ bản.

Tuy nhiên, về cơ bản, các phương pháp trích xuất, lưu trữ, lựa chọn và sử dụng kiến thức sẽ quyết định liệu hệ thống có thể đạt được khả năng học hỏi có ý nghĩa hay không.

Con người sở hữu các cơ chế cho phép trích xuất, lưu trữ, lựa chọn và sử dụng kiến thức một cách hiệu quả, điều này cho phép họ học hỏi.

Mạng nơ-ron, bao gồm cả LLM, có các cơ chế để lưu trữ, lựa chọn và sử dụng, mặc dù phần trích xuất được xử lý bởi một giáo viên bên ngoài. Điều này cho phép chúng học hỏi miễn là có một giáo viên cung cấp đầu vào.

Hơn nữa, một hệ thống trí tuệ học hỏi có thể đạt được khả năng học hỏi phức tạp hơn bằng cách cũng học hỏi việc trích xuất, lưu trữ và lựa chọn các khuôn khổ, cũng như việc sử dụng chúng trong bộ nhớ trạng thái, như kiến thức.

Các loại Kiến thức

Dựa trên nguyên tắc này, khi thiết kế việc học hỏi thu nhận được, cần phải làm rõ kiến thức thu nhận được sẽ có dạng thông tin nào.

Có thể hình dung việc học hỏi kiến thức thu nhận được một cách riêng biệt dưới dạng các tham số của một mạng nơ-ron.

Tuy nhiên, kiến thức thu nhận được không cần phải giới hạn riêng trong các tham số của mạng nơ-ron. Một ứng cử viên thực tế là kiến thức được văn bản hóa bằng ngôn ngữ tự nhiên.

Nếu kiến thức được văn bản hóa bằng ngôn ngữ tự nhiên, nó có thể được trích xuất và sử dụng bằng cách tận dụng khả năng xử lý ngôn ngữ tự nhiên của các LLM. Hơn nữa, nó có thể được xử lý như dữ liệu trong một hệ thống CNTT thông thường, giúp việc lưu trữ và lựa chọn trở nên dễ dàng.

Ngoài ra, kiến thức được văn bản hóa bằng ngôn ngữ tự nhiên cũng dễ dàng để con người và các LLM khác kiểm tra, hiểu và, trong một số trường hợp, chỉnh sửa.

Nó cũng có thể được chia sẻ với các hệ thống trí tuệ học hỏi khác, cũng như hợp nhất hoặc phân tách.

Vì những lý do này, kiến thức thu nhận được trong khái niệm ALIS ban đầu sẽ được thiết kế để nhắm mục tiêu vào kiến thức được văn bản hóa bằng ngôn ngữ tự nhiên.

Bộ nhớ trạng thái và Khung làm việc thu nhận được

Tôi đã giải thích những lợi ích của việc chọn kiến thức được văn bản hóa bằng ngôn ngữ tự nhiên làm kiến thức thu nhận được.

Tương tự, văn bản ngôn ngữ tự nhiên cũng có thể được sử dụng cho bộ nhớ trạng thái và khung làm việc để suy luận.

Khung làm việc, một cấu trúc khái niệm, cũng có thể được lưu trữ và sử dụng trong kho kiến thức dưới dạng kiến thức được văn bản hóa bằng ngôn ngữ tự nhiên.

Khi khởi tạo hoặc cập nhật các trạng thái dựa trên cấu trúc được xác định bởi khung làm việc đó, bộ nhớ trạng thái dựa trên văn bản có thể được sử dụng.

Bằng cách thiết kế ALIS để sử dụng định dạng văn bản không chỉ cho kiến thức thu nhận được mà còn cho các khung làm việc và bộ nhớ trạng thái, ALIS có thể tận dụng khả năng xử lý ngôn ngữ tự nhiên của LLM cho cả học tập thu nhận được và suy luận tổng quát.

Kiến thức hình thức

Kiến thức thu nhận được, các khung và bộ nhớ trạng thái có thể được biểu diễn không chỉ bằng văn bản ngôn ngữ tự nhiên mà còn bằng các ngôn ngữ hình thức hoặc mô hình hình thức chặt chẽ hơn.

Mặc dù tôi đã viết "chọn", mục tiêu của ALIS là tích hợp nhiều cơ chế học kiến thức thu nhận được để cho phép sử dụng kết hợp giữa học bẩm sinh và học thu nhận.

Kiến thức được biểu diễn bằng ngôn ngữ hình thức hoặc mô hình hình thức có thể chặt chẽ hơn và không mơ hồ.

Hơn nữa, nếu một khung được diễn tả bằng ngôn ngữ hình thức hoặc mô hình hình thức, và một trạng thái ban đầu được mở rộng trong bộ nhớ trạng thái, thì mô hình hình thức có thể được xử lý bởi một bộ xử lý thông minh (không phải LLM) để thực hiện các mô phỏng và suy luận logic chặt chẽ.

Một ví dụ điển hình về các ngôn ngữ hình thức và mô hình hình thức như vậy là ngôn ngữ lập trình.

Khi hệ thống tìm hiểu về thế giới, nếu nó có thể diễn tả các quy luật và khái niệm cơ bản dưới dạng chương trình trong một khung, thì những chương trình này sau đó có thể được mô phỏng bằng máy tính.

Cột 1: Các loại kiến thức

Khi chúng ta tổ chức kiến thức trong một hệ thống trí tuệ học hỏi, rõ ràng là nó có thể được phân loại rộng rãi thành ba hệ thống và hai loại.

Ba hệ thống là: kiến thức tham số mạng được xử lý bởi mạng nơ-ron, kiến thức tự nhiên trong ngôn ngữ tự nhiên và kiến thức hình thức trong các ngôn ngữ hình thức.

Hai loại là không trạng thái (stateless) và có trạng thái (stateful).

Kiến thức tham số mạng không trạng thái là kiến thức trực giác, như được tìm thấy trong AI học sâu. Các đặc điểm của mèo và chó, những thứ không thể suy nghĩ hoặc xác định bằng lời nói, có thể được học như kiến thức tham số mạng không trạng thái.

Kiến thức tham số mạng có trạng thái là kiến thức mờ, được suy ra từ quá trình lặp đi lặp lại, như được tìm thấy trong AI tạo sinh.

Kiến thức tự nhiên không trạng thái là kiến thức như ý nghĩa liên quan đến một từ.

Kiến thức tự nhiên có trạng thái là kiến thức bao gồm ngữ cảnh được tìm thấy trong một câu.

Một số kiến thức tự nhiên vốn dĩ đã được bao gồm trong kiến thức tham số mạng có trạng thái, nhưng cũng có kiến thức có thể được thu nhận sau khi sinh từ văn bản ngôn ngữ tự nhiên.

Kiến thức hình thức không trạng thái là kiến thức có thể được biểu diễn bằng các công thức toán học không bao gồm phép lặp. Kiến thức hình thức có trạng thái là kiến thức có thể được biểu diễn bằng các chương trình.

Bộ nhớ ngắn hạn của bộ não cũng có thể được sử dụng làm bộ nhớ trạng thái cho kiến thức tự nhiên và hình thức.

Tuy nhiên, vì là bộ nhớ ngắn hạn, có một vấn đề là khó duy trì trạng thái ổn định. Ngoài ra, nó không giỏi trong việc giữ kiến thức ở trạng thái được hình thức hóa, không mơ hồ.

Mặt khác, giấy, máy tính hoặc điện thoại thông minh có thể được sử dụng làm bộ nhớ trạng thái để ghi chép và chỉnh sửa văn bản ngôn ngữ tự nhiên, ngôn ngữ hình thức hoặc mô hình hình thức.

Nói chung, dữ liệu trên giấy hoặc máy tính thường được coi là thứ để lưu trữ kiến thức dưới dạng kho kiến thức, nhưng nó cũng có thể được sử dụng làm bộ nhớ trạng thái để tổ chức suy nghĩ.

Do đó, rõ ràng là con người thực hiện các hoạt động trí tuệ bằng cách khéo léo tận dụng ba hệ thống và hai loại kiến thức này.

ALIS cũng có tiềm năng cải thiện đáng kể khả năng của mình bằng cách kích hoạt và tăng cường các hoạt động trí tuệ tận dụng ba hệ thống và hai loại kiến thức tương tự này.

Đặc biệt, ALIS có điểm mạnh là có thể sử dụng các kho kiến thức và bộ nhớ trạng thái rộng lớn. Hơn nữa, nó có thể dễ dàng chuẩn bị nhiều phiên bản của từng loại và thực hiện các tác vụ trí tuệ bằng cách chuyển đổi hoặc kết hợp chúng.

Cột 2: Dàn dựng trí tuệ

Mặc dù việc lưu trữ một lượng lớn kiến thức trong kho kiến thức là một điểm mạnh, nhưng việc chỉ có một lượng lớn kiến thức không nhất thiết là một lợi thế cho hoạt động trí tuệ do những hạn chế về số lượng token mà một AI tạo sinh có thể sử dụng cùng lúc và ràng buộc rằng kiến thức không liên quan sẽ trở thành nhiễu.

Mặt khác, bằng cách phân đoạn kho kiến thức một cách thích hợp và tạo ra các kho kiến thức chuyên biệt, mật độ cao, tập hợp kiến thức cần thiết cho các tác vụ trí tuệ cụ thể, các vấn đề về giới hạn token và nhiễu có thể được giảm thiểu.

Đổi lại, các kho kiến thức chuyên biệt như vậy sẽ chỉ có thể sử dụng được cho các tác vụ trí tuệ cụ thể đó.

Nhiều hoạt động trí tuệ là sự kết hợp phức tạp của nhiều tác vụ trí tuệ khác nhau. Do đó, bằng cách chia kiến thức thành các kho kiến thức chuyên biệt theo loại tác vụ trí tuệ và phân chia hoạt động trí tuệ thành các tác vụ trí tuệ, ALIS có thể thực hiện toàn bộ hoạt động trí tuệ trong khi chuyển đổi thích hợp giữa các kho kiến thức chuyên biệt.

Điều này giống như một dàn nhạc giao hưởng bao gồm các nhạc sĩ chuyên nghiệp chơi các nhạc cụ khác nhau và một nhạc trưởng dẫn dắt toàn bộ.

Thông qua công nghệ hệ thống này, "dàn dựng trí tuệ", ALIS sẽ có thể tổ chức các hoạt động trí tuệ của mình.

Thiết kế cơ bản và Phương pháp phát triển ALIS

Từ đây, tôi sẽ trình bày cách tiếp cận phát triển cho ALIS.

Như đã nêu trong các nguyên tắc và cột trước, ALIS vốn được thiết kế để dễ dàng mở rộng các chức năng và tài nguyên. Điều này là do bản chất của ALIS không nằm ở các chức năng cụ thể, mà ở các quy trình trích xuất, lưu trữ, lựa chọn và sử dụng kiến thức.

Ví dụ, nhiều loại cơ chế trích xuất kiến thức có thể được chuẩn bị, và sau đó được chọn hoặc sử dụng đồng thời, tùy thuộc vào thiết kế hệ thống.

Hơn nữa, ALIS có thể tự thực hiện việc lựa chọn này.

Việc lưu trữ, lựa chọn và sử dụng cũng có thể được lựa chọn tự do hoặc song song hóa tương tự.

Do đó, ALIS có thể được phát triển một cách gia tăng và linh hoạt, mà không cần phải thiết kế toàn bộ chức năng theo kiểu thác nước.

Khởi đầu của ALIS

Bây giờ, hãy thiết kế một ALIS rất đơn giản.

Giao diện người dùng cơ bản sẽ là AI trò chuyện quen thuộc. Ban đầu, đầu vào của người dùng sẽ được truyền trực tiếp đến LLM. Phản hồi của LLM sau đó sẽ được hiển thị trên giao diện người dùng và hệ thống sẽ chờ đầu vào tiếp theo của người dùng.

Khi đầu vào tiếp theo đến, LLM sẽ nhận không chỉ đầu vào mới mà còn toàn bộ lịch sử trò chuyện giữa người dùng và LLM cho đến thời điểm đó.

Đằng sau giao diện người dùng AI trò chuyện này, chúng tôi sẽ chuẩn bị một cơ chế để trích xuất kiến thức có thể tái sử dụng từ lịch sử trò chuyện.

Điều này có thể được thêm vào hệ thống AI trò chuyện dưới dạng một quá trình được thực thi khi một cuộc hội thoại kết thúc hoặc theo các khoảng thời gian đều đặn. Tất nhiên, một LLM sẽ được sử dụng để trích xuất kiến thức.

LLM này sẽ được cung cấp khái niệm và nguyên tắc ALIS, cùng với bí quyết trích xuất kiến thức, dưới dạng lời nhắc hệ thống. Nếu kiến thức không được trích xuất như mong đợi, lời nhắc hệ thống nên được tinh chỉnh thông qua thử và sai.

Kiến thức được trích xuất từ lịch sử trò chuyện sẽ được lưu trữ trực tiếp trong một hồ kiến thức (knowledge lake). Hồ kiến thức là một cơ chế để đơn giản lưu trữ kiến thức ở trạng thái phẳng, không có cấu trúc trước khi nó được cấu trúc.

Tiếp theo, chúng tôi sẽ chuẩn bị một cơ chế cấu trúc để giúp việc lựa chọn kiến thức từ hồ kiến thức trở nên dễ dàng hơn.

Điều này có nghĩa là cung cấp các kho vectơ nhúng để tìm kiếm ngữ nghĩa, như thường được sử dụng trong RAG, và các chỉ mục từ khóa, cùng với nhiều thứ khác.

Các tùy chọn nâng cao hơn bao gồm tạo biểu đồ kiến thức hoặc thực hiện phân loại danh mục.

Tập hợp thông tin có cấu trúc này cho hồ kiến thức sẽ được gọi là cơ sở kiến thức (knowledge base). Toàn bộ cơ sở kiến thức và hồ kiến thức này sẽ tạo thành kho kiến thức (knowledge store).

Tiếp theo, chúng tôi sẽ tích hợp kho kiến thức vào quá trình xử lý giao diện người dùng trò chuyện.

Điều này về cơ bản giống như một cơ chế RAG chung. Đối với đầu vào của người dùng, kiến thức liên quan được chọn từ kho kiến thức và được truyền đến LLM cùng với đầu vào của người dùng.

Điều này cho phép LLM tự động sử dụng kiến thức khi xử lý đầu vào của người dùng.

Bằng cách này, kiến thức sẽ tích lũy với mỗi cuộc trò chuyện với người dùng, hiện thực hóa một ALIS đơn giản sử dụng kiến thức tích lũy từ các cuộc trò chuyện trước đây.

Kịch bản đơn giản

Ví dụ, hãy tưởng tượng một người dùng đang phát triển một ứng dụng web bằng ALIS đơn giản này.

Người dùng báo cáo rằng mã do LLM đề xuất dẫn đến lỗi. Sau khi người dùng và LLM hợp tác để khắc phục sự cố, họ phát hiện ra rằng thông số kỹ thuật API bên ngoài mà LLM biết đã lỗi thời, và chương trình hoạt động chính xác sau khi được điều chỉnh theo thông số kỹ thuật API mới nhất.

Từ cuộc trò chuyện này, ALIS sau đó có thể tích lũy kiến thức vào kho kiến thức của mình: cụ thể là thông số kỹ thuật API mà LLM biết đã cũ, và thông số kỹ thuật API mới nhất là gì.

Sau đó, lần tới khi một chương trình sử dụng cùng API được tạo, ALIS sẽ có thể tận dụng kiến thức này để tạo ra một chương trình dựa trên thông số kỹ thuật API mới nhất ngay từ đầu.

Cải tiến ALIS ban đầu

Tuy nhiên, để điều này xảy ra, kiến thức này phải được chọn để đáp ứng đầu vào của người dùng. Có thể kiến thức này sẽ không được liên kết trực tiếp với đầu vào của người dùng, vì tên API có vấn đề có thể không xuất hiện trong đầu vào của người dùng.

Trong trường hợp đó, tên API sẽ chỉ xuất hiện trong phản hồi của LLM.

Do đó, chúng tôi sẽ mở rộng một chút ALIS đơn giản bằng cách thêm các cơ chế phân tích trước và kiểm tra sau.

Phân tích trước tương tự như "chế độ suy nghĩ" trong các LLM gần đây. Một bộ nhớ có khả năng lưu trữ văn bản làm bộ nhớ trạng thái sẽ được chuẩn bị, và lời nhắc hệ thống sẽ hướng dẫn LLM thực hiện phân tích trước khi nhận đầu vào của người dùng.

Kết quả phân tích trước của LLM sẽ được lưu trữ trong bộ nhớ trạng thái. Dựa trên kết quả phân tích trước này, kiến thức sẽ được chọn từ kho kiến thức.

Sau đó, lịch sử trò chuyện, kết quả phân tích trước, kiến thức tương ứng với đầu vào của người dùng và kiến thức tương ứng với kết quả phân tích trước sẽ được chuyển đến LLM để nhận phản hồi.

Hơn nữa, kết quả được LLM trả về cũng sẽ được sử dụng để tìm kiếm kiến thức từ kho kiến thức. Bao gồm cả kiến thức tìm thấy ở đó, LLM sẽ được yêu cầu thực hiện kiểm tra sau.

Nếu có bất kỳ vấn đề nào được tìm thấy, các điểm có vấn đề và lý do của việc chỉ ra sẽ được bao gồm và chuyển lại cho LLM trò chuyện.

Bằng cách cung cấp cơ hội chọn kiến thức trong quá trình phân tích trước và kiểm tra sau, chúng ta có thể tăng cơ hội tận dụng kiến thức tích lũy.

Triển vọng

Cách tiếp cận xây dựng ALIS ban đầu và sau đó thêm các cải tiến để khắc phục điểm yếu của nó minh họa một cách hoàn hảo việc phát triển linh hoạt và cải tiến gia tăng của ALIS.

Hơn nữa, như đã minh họa, ALIS ban đầu phù hợp nhất để sử dụng trong phát triển phần mềm. Điều này là do đây là một lĩnh vực có nhu cầu cao và cũng là một lĩnh vực mà kiến thức có thể được tích lũy rõ ràng một cách dễ dàng.

Đây là một thể loại mà mọi thứ rõ ràng là đen hay trắng, nhưng nó cũng là một lĩnh vực quan trọng nơi thử nghiệm và sai sót, tích lũy kiến thức lặp đi lặp lại là cần thiết và quan trọng.

Ngoài ra, vì bản thân việc phát triển ALIS là phát triển phần mềm, việc các nhà phát triển ALIS có thể tự mình là người dùng ALIS cũng rất hấp dẫn.

Và, cùng với hệ thống ALIS, hồ kiến thức cũng có thể được chia sẻ công khai trên các nền tảng như GitHub.

Điều này sẽ cho phép nhiều người cùng cộng tác cải tiến hệ thống ALIS và tích lũy kiến thức, với tất cả mọi người đều hưởng lợi từ kết quả, từ đó đẩy nhanh hơn nữa sự phát triển của ALIS.

Tất nhiên, việc chia sẻ kiến thức không chỉ giới hạn ở các nhà phát triển ALIS mà có thể được thu thập từ tất cả các nhà phát triển phần mềm sử dụng ALIS.

Việc kiến thức được thể hiện bằng ngôn ngữ tự nhiên mang lại hai lợi thế nữa:

Lợi thế đầu tiên là kiến thức có thể được tận dụng ngay cả khi mô hình LLM thay đổi hoặc được cập nhật.

Lợi thế thứ hai là hồ kiến thức rộng lớn đã tích lũy có thể được sử dụng làm tập dữ liệu tiền huấn luyện cho các LLM. Điều này có thể được thực hiện theo hai cách: bằng cách sử dụng nó để tinh chỉnh, hoặc bằng cách sử dụng nó để tự tiền huấn luyện LLM.

Trong bất kỳ trường hợp nào, nếu các LLM đã học bẩm sinh kiến thức tích lũy trong hồ kiến thức có thể được tận dụng, việc phát triển phần mềm sẽ trở nên hiệu quả hơn nữa.

Hơn nữa, trong phát triển phần mềm, có nhiều quy trình khác nhau như phân tích yêu cầu, thiết kế, triển khai, kiểm thử, vận hành và bảo trì, và kiến thức chuyên biệt tồn tại cho từng lĩnh vực phần mềm và nền tảng. Nếu một cơ chế được tạo ra để phân đoạn kiến thức khổng lồ đã tích lũy từ những góc độ này, một dàn nhạc ALIS cũng có thể được hình thành.

Do đó, các công nghệ nền tảng cho ALIS đã sẵn sàng. Điều quan trọng bây giờ là thực hành thử các phương pháp khác nhau—chẳng hạn như bí quyết trích xuất kiến thức, lựa chọn kiến thức phù hợp, phân đoạn kiến thức chuyên biệt và cách tận dụng bộ nhớ trạng thái—để khám phá các cách tiếp cận hiệu quả. Ngoài ra, khi độ phức tạp tăng lên, thời gian xử lý và chi phí sử dụng LLM sẽ tăng, đòi hỏi phải tối ưu hóa.

Các quá trình thử nghiệm và sai sót cùng tối ưu hóa này có thể được theo đuổi một cách thích nghi thông qua việc phát triển và cải tiến các khuôn khổ.

Ban đầu, các nhà phát triển, với tư cách là người dùng, có thể sẽ tích hợp các khuôn khổ vào ALIS thông qua thử nghiệm và sai sót. Tuy nhiên, ngay cả khi đó, bản thân LLM cũng có thể được tạo ra để tạo ra các ý tưởng về khuôn khổ.

Và bằng cách tích hợp các khuôn khổ vào ALIS giúp cải thiện hoặc khám phá các khuôn khổ dựa trên kết quả nhận được từ thế giới và kiến thức được trích xuất, bản thân ALIS sẽ thực hiện thử nghiệm và sai sót cùng tối ưu hóa một cách thích nghi.

ALIS trong thế giới thực

Một khi ALIS đã được tinh chỉnh đến giai đoạn này, nó sẽ có khả năng học hỏi kiến thức không chỉ trong thế giới phát triển phần mềm mà còn rộng rãi trên nhiều lĩnh vực khác nhau.

Tương tự như phát triển phần mềm, ALIS được kỳ vọng sẽ mở rộng phạm vi ứng dụng sang các hoạt động trí tuệ khác nhau mà con người thực hiện bằng máy tính.

Ngay cả trong những hoạt động trí tuệ thuần túy như vậy, ALIS vẫn sở hữu một loại bản chất AI có thân thể (embodied AI) đối với thế giới mục tiêu.

Điều này là do nó nhận diện ranh giới giữa bản thân và thế giới, tác động lên thế giới thông qua ranh giới đó, và có thể nhận thức thông tin nhận được từ thế giới.

Điều mà chúng ta thường gọi là "thân thể" là một ranh giới với thế giới có thể nhìn thấy bằng vật lý và được định vị ở một nơi.

Tuy nhiên, ngay cả khi ranh giới là vô hình và phân tán trong không gian, cấu trúc của sự nhận thức và hành động thông qua một ranh giới vẫn giống như việc có một thân thể vật lý.

Theo nghĩa đó, ALIS, khi thực hiện các hoạt động trí tuệ, có thể được coi là sở hữu bản chất của một AI có thân thể ảo.

Và một khi ALIS được tinh chỉnh đến giai đoạn mà nó có thể học hỏi một cách phù hợp ngay cả trong những thế giới mới, chưa biết, có khả năng ALIS có thể được tích hợp như một phần của một AI có thân thể thực sự sở hữu một thân thể vật lý.

Theo cách này, ALIS cuối cùng sẽ được áp dụng vào thế giới thực và sẽ bắt đầu học hỏi từ đó.