오픈 소스 소프트웨어 개발자들이 협업 개발 플랫폼으로 사용해 온 웹 서비스인 GitHub에 대해 들어보셨나요?
최근에는 오픈 소스 소프트웨어뿐만 아니라 기업의 소프트웨어 개발, 심지어 소프트웨어와 관련 없는 목적으로도 협업 플랫폼으로서의 활용이 확대되고 있습니다.
저 또한 제가 작성하는 프로그램과 이 블로그에 게시하는 글의 초안을 관리하는 데 GitHub를 사용하고 있습니다.
이 글에서는 미래에 GitHub의 활용이 소프트웨어 개발을 넘어 점점 더 확장되어 개방형 지식 공유의 장이 될 가능성에 대해 탐구할 것입니다.
DeepWiki를 통한 위키 사이트 생성
생성형 AI를 사용하는 많은 소프트웨어 개발 도구는 인간의 프로그래밍 작업을 보조하도록 설계되었습니다. 인간이 프로그램을 작성하고, AI가 지원을 제공하는 방식입니다.
반면에, 인간은 지시만 내리고 생성형 AI가 프로그램 생성 작업을 맡는 새로운 유형의 소프트웨어 개발 도구가 등장하고 있습니다.
Devin은 이러한 도구 중 하나로 선구자가 되어 주목을 받았습니다. 어떤 사람들은 Devin을 도입하는 것이 개발 팀에 프로그래머 한 명을 더 추가하는 것과 같다고 말하기도 했습니다. 아직은 인간 엔지니어가 효과적으로 사용하기 위해 상세한 지원을 제공해야 한다고 하지만, 그러한 데이터는 분명히 수집되어 개선에 활용될 것입니다.
인간 한 명과 Devin과 같은 AI 프로그래머가 팀원으로 구성된 소프트웨어 개발 팀이 보편화되는 시대가 머지않았습니다.
Devin의 개발사인 Cognition은 DeepWiki라는 서비스도 출시했습니다.
DeepWiki는 GitHub의 각 소프트웨어 개발 프로젝트에 대한 위키 사이트를 자동으로 생성하는 서비스입니다. 이는 Devin과 유사한 AI가 해당 프로젝트의 모든 프로그램과 관련 문서를 읽고 분석하여 모든 매뉴얼과 설계 문서를 생성한다는 의미입니다.
Cognition은 DeepWiki를 사용하여 누구나 자유롭게 접근할 수 있는 GitHub의 50,000개 이상의 주요 공개 소프트웨어 개발 프로젝트에 대한 위키 사이트를 생성했다고 합니다.
이들은 공개 프로젝트이므로 그렇게 하는 데 전혀 문제가 없습니다. 위키 사이트를 자동으로 생성할 수 있다고는 하지만, 수많은 생성형 AI를 장기간 풀가동해야 했을 것이고, 비용도 상당했을 것입니다.
이러한 비용을 부담함으로써 Cognition은 방대한 수의 공개 프로젝트에 큰 이점을 제공하여 설명서와 설계 문서를 무료로 얻을 수 있게 했습니다.
이러한 위키 사이트가 각 공개 프로젝트에 유용하고 품질 및 생산성 향상에 상당한 효과가 있다는 통계 데이터가 나온다면, 소프트웨어 개발 기업들은 자체 프로젝트에 DeepWiki를 채택할 것입니다.
Cognition은 이러한 일이 일어날 수 있다고 믿고 방대한 공개 프로젝트의 위키 사이트 생성에 투자했을 것입니다. 이는 DeepWiki에 대한 Cognition의 자신감을 보여줍니다. 그리고 DeepWiki가 채택되면 Devin도 자동으로 뒤따르므로, AI 프로그래머의 광범위한 채택 가능성이 크게 높아집니다.
문서 공유 플랫폼으로서의 GitHub
GitHub는 오픈 소스 소프트웨어 개발을 위한 프로그램 공유, 공동 편집, 저장을 위한 인기 있는 사실상의 표준 웹 서비스가 되었습니다.
최근에는 기업용 관리 및 보안 기능이 강화되어 소프트웨어를 개발하는 선진 기업에서 흔히 사용되는 도구가 되었습니다.
이러한 이유로 GitHub는 프로그램을 저장하고 공유하기 위한 웹 서비스라는 이미지가 강하지만, 실제로는 프로그램과 전혀 관련 없는 다양한 문서와 자료를 공유, 공동 편집, 저장하는 데 사용될 수 있습니다.
따라서 상당수의 사람들이 광범위하게 공동 편집하고 싶은 문서를 GitHub에서 관리하고 있습니다. 이는 소프트웨어 관련 문서일 수도 있고, 전혀 관련 없는 문서일 수도 있습니다.
또한 블로그와 웹사이트도 일종의 프로그램을 포함하거나 프로그램에 의해 구조화되고 게시되는 문서입니다.
이 때문에 개인이나 기업이 블로그 및 웹사이트의 콘텐츠와 함께, 이를 쉽게 볼 수 있도록 하는 프로그램 및 자동 사이트 생성을 위한 프로그램을 GitHub에서 하나의 프로젝트로 묶어 저장하는 경우가 드물지 않습니다.
이러한 블로그와 웹사이트의 콘텐츠를 공동 편집하기 위해 GitHub에서 공개 프로젝트로 만들 수도 있습니다.
더 나아가 최근에는 생성형 AI가 소프트웨어 개발에만 사용되는 것이 아니라 소프트웨어에 통합되는 경우도 많습니다.
이 경우, 생성형 AI에 상세한 지시를 내리는 프롬프트라는 지시 문장이 프로그램 내에 포함됩니다.
이러한 프롬프트 또한 일종의 문서로 간주될 수 있습니다.
지적 공장
저는 소프트웨어 개발 엔지니어이지만, 블로그에 글도 씁니다.
많은 사람들이 제 글을 읽어주기를 바라지만, 독자 수를 늘리는 것은 꽤 어렵습니다.
물론, 관심을 끌기 위한 글을 작성하거나, 영향력 있는 사람들에게 적극적으로 연락하여 조언을 구하는 등 다양한 노력과 창의성을 발휘할 수도 있습니다.
하지만 제 성격과 그에 따르는 노력 및 스트레스를 고려할 때, 적극적인 홍보 활동에는 소극적입니다. 또한, 그러한 활동에 시간을 할애하면 프로그래밍, 아이디어 구상, 문서화 등 제 작업의 핵심에서 벗어나게 됩니다.
따라서 최근 저는 블로그 게시물의 도달 범위를 확장하기 위해 다양한 형태의 콘텐츠로 개발하는 멀티미디어 또는 옴니채널 전략을 시도하기로 결정했습니다.
구체적으로는 일본어 기사를 영어로 번역하여 영어 블로그 사이트에 게시하고, 기사를 설명하는 프레젠테이션 비디오를 만들어 YouTube에 게시하는 것이 포함됩니다.
또한, 일반적인 블로그 서비스에 게시하는 것 외에도, 제 과거 블로그 게시물을 나열하고 분류하며 관련 기사를 연결하는 자체 블로그 사이트를 만드는 것도 고려하고 있습니다.
새로운 기사가 작성될 때마다 이러한 작업을 만드는 데 시간을 소비한다면 비생산적일 것입니다. 따라서 초기 일본어 기사를 작성하는 것 외의 모든 작업은 생성형 AI를 사용하여 자동화합니다. 저는 이것을 지적 공장이라고 부릅니다.
이러한 메커니즘을 구현하기 위한 프로그램을 개발해야 합니다.
현재 저는 번역, 프레젠테이션 비디오 생성 및 YouTube 업로드를 완전히 자동화할 수 있는 프로그램을 이미 만들었습니다.
지금은 기존 블로그 게시물을 분류하고 연결하기 위한 기본 프로그램을 만드는 중입니다.
그것이 완료되고, 제 블로그 사이트를 생성하고 웹 서버에 자동으로 반영하는 프로그램을 만들면, 제 지적 공장의 초기 개념이 완성될 것입니다.
광의의 지적 공장
이 지적 공장의 원료가 되는 제 블로그 게시물 초안도 GitHub 프로젝트로 관리됩니다. 현재는 비공개이며 공개되어 있지 않지만, 미래에는 지적 공장 프로그램과 함께 공개 프로젝트로 전환하는 것을 고려하고 있습니다.
그리고 제가 현재 개발 중인 블로그 게시물 분류, 기사 연결, 동영상으로 변환된 블로그 게시물 설명은 DeepWiki와 동일한 기본 개념을 공유합니다.
생성형 AI를 사용하여 원본 창작물을 원료로 다양한 콘텐츠를 생산합니다. 또한, 그 안에 있는 정보와 지식을 연결하여 효과적으로 지식 기반을 구축할 수 있습니다.
유일한 차이점은 원료가 프로그램인지 블로그 게시물인지 여부입니다. 그리고 DeepWiki와 생성형 AI로 구동되는 제 지적 공장에게 그 차이는 거의 의미가 없습니다.
다시 말해, "지적 공장"이라는 용어를 제 프로그램에 국한하지 않고 일반적이고 넓은 의미로 해석한다면, DeepWiki 또한 일종의 지적 공장입니다.
그리고 지적 공장이 생산하는 것은 다른 언어로 번역된 기사, 프레젠테이션 비디오, 자체 제작 블로그 사이트 또는 위키 사이트에 국한되지 않습니다.
숏 비디오, 트윗, 만화, 애니메이션, 팟캐스트, 전자책 등 상상할 수 있는 모든 매체와 형식으로 콘텐츠를 변환할 수 있을 것입니다.
더 나아가, 이러한 매체와 형식 내의 콘텐츠도 더 광범위한 다국어 지원, 전문가용 또는 초보자용 버전, 성인용 또는 어린이용 버전과 같이 수신자에게 맞게 다양화될 수 있습니다.
또한, 맞춤형 콘텐츠의 주문형 생성까지도 가능합니다.
지적 광산으로서의 GitHub
지적 공장의 원료는 기본적으로 어디에든 위치할 수 있습니다.
하지만 GitHub가 오픈소스 프로젝트 프로그램의 공유, 공동 편집, 저장을 위한 사실상의 표준이 되었고, 저뿐만 아니라 많은 사람들이 GitHub를 문서 저장소로 활용하고 있다는 점을 고려할 때, GitHub가 지적 공장의 주요 원료 공급원이 될 잠재력이 있다는 것이 분명해집니다.
다시 말해, GitHub는 인류를 위한 공유 지적 광산이 되어 지적 공장에 원료를 공급하게 될 것입니다.
여기서 "인류가 공유하는"이라는 용어는 오픈소스 프로젝트가 인류가 공유하는 소프트웨어 자산이라는 아이디어를 반영합니다.
GitHub를 지탱해 온 오픈소스 철학은 개방형 문서의 개념과도 잘 부합할 것입니다.
나아가, 프로그램과 유사하게 각 문서에 대한 저작권 정보 및 라이선스를 관리하는 문화가 생겨날 수 있습니다. 원본 문서에서 자동으로 생성된 콘텐츠에는 동일한 라이선스를 쉽게 부여하거나, 라이선스에 명시된 규칙을 준수할 수 있습니다.
지적 공장을 개발하는 관점에서 보면, 원료 문서가 GitHub에 중앙 집중화되는 것이 이상적입니다.
이는 두 가지 이점을 제공합니다. 첫째, GitHub를 지적 공장과 간단히 연결함으로써 개발 효율성을 향상시킬 수 있습니다. 둘째, DeepWiki와 유사하게 공개된 문서를 사용하여 자체 지적 공장의 기능과 성능을 효과적으로 시연할 수 있습니다.
앞으로 다양한 지적 공장이 개발되어 GitHub에 연결 가능해지고, 더 많은 사람들과 기업들이 GitHub에서 문서를 관리하고 지적 공장으로 처리하게 됨에 따라, 지적 광산으로서의 GitHub의 위치는 확고히 자리매김할 것입니다.
인류 공유의 공개 지식 기반
GitHub가 지적 광산으로서 중심에 자리하고, 지적 공장에서 생산된 다양한 콘텐츠와 지식 기반이 함께 어우러져, 이 전체 생태계는 인류가 공유하는 공개 지식 기반을 형성할 것입니다.
더욱이, 이는 GitHub에 게시되는 문서의 수가 증가함에 따라 자동으로 확장되는 동적이고 실시간적인 지식 기반입니다.
막대한 지식을 담고 있는 이 방대하고 복잡한 지식 기반은 인간에게 유용하겠지만, 그 잠재적 가치를 온전히 끌어내는 것은 어려울 것입니다.
그러나 AI는 인류 전체가 공유하는 이 공개 지식 기반을 완전히 활용할 수 있을 것입니다.
공개 지식의 광맥
이러한 생태계가 실현되면, 다양한 공개 정보가 자연스럽게 GitHub에 모이게 될 것입니다.
이는 개인 블로그나 기업 웹사이트의 초안에만 국한되지 않을 것입니다.
출판 전 논문 및 연구 아이디어, 실험 데이터, 설문조사 결과와 같은 학술적 통찰력과 데이터 또한 축적될 것입니다.
이는 인류 전체의 이익을 위해 지식, 아이디어, 데이터를 사용하고자 하는 사람들뿐만 아니라, 자신들의 발견을 빠르게 확산시키고 인정을 얻고자 하는 사람들에게도 매력적일 것입니다.
학자나 연구자에게도 오랜 동료 검토 과정을 기다릴 필요 없이, 자신들의 작업의 타당성, 참신성, 영향력이 AI에 의해 검증되고, 다양한 콘텐츠를 통해 표현되며, 입소문을 타는 방식으로 인정받는 것에 가치를 느끼는 사람들이 많을 것입니다.
또는 이러한 방식으로 다른 연구자나 기업의 눈에 띄어 협력 연구나 자금 지원으로 이어진다면 실질적인 이점도 있습니다.
또한, AI 자체 지식의 환류도 일어날 가능성이 있습니다.
생성형 AI는 사전 훈련을 통해 방대한 양의 지식을 습득하지만, 학습 과정에서 그 방대한 지식 간의 예상치 못한 연결이나 유사한 구조를 적극적으로 탐색하지는 않습니다.
다른 지식 조각들을 연결하여 나타나는 새로운 통찰력에도 마찬가지입니다.
반면에, 사전 훈련된 생성형 AI와의 대화에서 그러한 유사성과 연결을 설명하면, 그 가치를 꽤 정확하게 평가할 수 있습니다.
따라서 다양한 지식 조각들을 무작위로 또는 철저히 비교하고 연결하여 생성형 AI에 입력함으로써, 예상치 못한 유사성과 가치 있는 연결을 발견하는 것이 가능합니다.
물론, 조합의 수가 엄청나게 많기 때문에 모든 것을 다루는 것은 비현실적입니다. 하지만 이 과정을 적절히 간소화하고 자동화함으로써 기존 지식에서 유용한 지식을 자동으로 발견하는 것이 가능해집니다.
이러한 자동 지식 발견을 달성하고 발견된 지식을 GitHub에 저장함으로써, 이 순환을 무기한으로 반복하는 것이 가능해 보입니다.
이러한 방식으로 이 지적 광산 내에는 수많은 미발견 지식의 광맥이 존재하며, 이를 발굴하는 것이 가능해질 것입니다.
결론
GitHub와 같은 사실상의 표준이자 인류 공유의 지식 기반이 확립되면, 이는 생성형 AI의 사전 훈련 및 RAG와 같은 지식 검색에 활용될 가능성이 높습니다.
그러한 시나리오에서 GitHub 자체는 거대한 대뇌처럼 기능할 것입니다. 그리고 생성형 AI는 이 대뇌를 공유하며 지식을 분산하고 확장해 나갈 것입니다.
그곳에 추가적으로 기록되는 지식은 단순한 사실 기록, 새로운 데이터 또는 분류에만 그치지 않을 것입니다. 다른 지식이나 새로운 조합의 발견을 촉진하는 촉매적 지식도 포함될 수 있습니다.
저는 이러한 촉매적 효과를 가진 지식을 "지적 결정(intellectual crystals)" 또는 "지식 결정(knowledge crystals)"이라고 부릅니다. 여기에는 예를 들어 새로운 사고의 틀이 포함됩니다.
새로운 틀이 발견되거나 개발되고 지적 결정이 추가되면, 그 촉매적 효과는 이전과는 다른 지식의 조합과 구조화를 가능하게 하여 새로운 지식의 성장을 이끌 것입니다.
이러한 과정 속에서 또 다른 지식 결정이 나타날 수 있습니다. 이는 다시 지식을 더욱 증폭시킬 것입니다.
이러한 지식은 과학적 발견이라기보다는 수학적 탐구, 공학적 개발 또는 발명에 더 가깝습니다. 따라서 과학적 지식처럼 새로운 관찰 사실을 통해 얻어지는 것이 아니라, 순수하게 사고를 통해 성장하는 지식입니다.
그리고 지적 광산으로서의 GitHub는 이를 활용하는 수많은 생성형 AI와 함께 이러한 지식의 성장을 가속화할 것입니다.
인간의 발견 속도를 훨씬 뛰어넘는 속도로 연이어 발견되는 지식은 지식 공장에 의해 우리가 이해하기 쉬운 형태로 제공될 것입니다.
이러한 방식으로 순수하게 사고를 통해 탐구될 수 있는 지식은 빠르게 발굴될 것입니다.