AI의 발전으로 인해 다양한 오픈소스 프로젝트들이 등장하고 있습니다. 그 중 하나가 GPT4All입니다. GPT4All은 다양한 언어 모델을 손쉽게 사용할 수 있도록 지원하는 오픈소스 프로젝트입니다. 이번 포스트에서는 GPT4All을 설치하고 사용하는 방법에 대해 자세히 안내해드리겠습니다.

업데이트중…

사전 준비

시스템 요구 사항

GPT4All을 설치하기 위해서는 다음과 같은 시스템 요구 사항이 필요합니다:

  • 운영체제: Linux, macOS, Windows
  • Python: 3.7 이상
  • RAM: 최소 8GB (권장 16GB 이상)

1) 윈도우 PC 설치기준

GPT-4All 다운로드 (PC 설치 버전)

PC환경에 설치를 시작해보겠습니다.

생각보다 어렵지는 않으나, PC의 성능이 좋아야 합니다.

GPT4All은 GPU를 사용하지 않고 CPU를 사용하므로.. 제가 사용해본봐로 윈도는 i7이상이 필요하고 MAC은 M1이상이면 그럭저럭 괜찮은 속도가 나오지 않을까 생각이 됩니다.

​

https://github.com/nomic-ai/gpt4all

[

GitHub - nomic-ai/gpt4all: gpt4all: open-source LLM chatbots that you can run anywhere

](https://github.com/nomic-ai/gpt4all)

  • 아래에서 client 파일 중 설치하고자 하는 OS에 맞는 파일을 다운로드 받는다.

  • 윈도우 PC버전인 경우 설치파일 제목 : “gpt4all-installer-win64.exe” ​

3. GPT-4All 설치

gpt4all-installer-win64.exe 파일을 설치하면 아래처럼 사용할 model을 선택해줘야 합니다.

어떤 것들이던 설치하면 되지만, 젤 위에 있는 Mistral OpenOrca 를 먼저 사용해보겠습니다.

  • 우측에 있는 Download 클릭

​

이걸로 설치 끝입니다~!

아주 간단하조?

하지만, 저희는 이걸로 만족하지 않고.. 좀 더 들어가 보겠습니다.

내가 원하는 Model을 설치하는 곳으로 가장 유명한 곳은 허깅페이스 입니다.

허깅 페이스에서 한국어 model을 다운로드 해서 적용해보겠습니다.

​

​

​

4. 허깅 페이스 (huggingface)

https://huggingface.co/

[

Hugging Face – The AI community building the future.

The AI community building the future. The platform where the machine learning community collaborates on models, datasets, and applications. The Home of Machine Learning Create, discover and collaborate on ML better. The collaboration platform Host and collaborate on unlimited models, datasets and ap…

huggingface.co

](https://huggingface.co/)

​

허깅 페이스 URL에 접속해보고 아래와 같이 ko 모델을 검색해 봅니다.

여기선 Llama-2-ko-7B-Chat-gguf 를 선택했습니다.

gguf 는 2023년 하반기에 출시된 LLM 모델인데 기존에 사용하던 ggml 형식의 단점을 보완한 모델이라 보시면 됩니다.

gguf 에 대해 자세한 내용은 생각하겠습니다.

​

한글 패키지인 Llama-2-ko-7B-Chat-gguf의 현재 최신 버전을 다운로드 받아봅시다.

​

​

다운로드한 파일을 아래 경로에 넣어주세요.

C:\사용자\Appdata~~~~ (아래 이미지 참고)

​

​

복사가 완료됐으면 다시 GPT-4All로 돌아온뒤 오른쪽 톱니바퀴로 설정값을 변경해줍니다.

다운로드 받은 모델로 변경

​​

그럼 지금부터 새롭게 받은 모델을 사용할 수 있습니다.

​

​

​

5. GPT-4All 테스트

PC에 설치해둔 GPT4를 사용해보겠습니다.

위에 설명드린 것처럼 윈도우 PC는 cpu사양이 많이 높아야 합니다… 검색을 했을때 많이 버벅이면 좀 더 좋은 사양에서 하시길 권고드립니다.

​

  • 테스트 -1

  • Weblogic 과 Apache를 연동하는 방법을 알려줘 란 질문을 하면 답을 합니다.

​

​

  • 테스트 2

  • AI책을 추천해줘 란 질문을 했을시 나온 답변

​

2) ubuntu, macOS 설치방법

1 GitHub에서 GPT4All 코드 다운로드

먼저, GPT4All의 GitHub 저장소를 클론합니다:

git clone https://github.com/nomic-ai/gpt4all.git cd gpt4all

2.2 가상환경 설정

Python 가상환경을 설정하는 것이 좋습니다. 가상환경을 사용하면 프로젝트마다 독립된 패키지 환경을 유지할 수 있습니다:

python3 -m venv venv source venv/bin/activate  # Windows에서는 venv\Scripts\activate

2.3 필수 패키지 설치

필요한 패키지를 requirements.txt 파일을 통해 설치합니다:

pip install -r requirements.txt

3. 모델 다운로드

GPT4All은 다양한 모델을 지원합니다. 원하는 모델을 다운로드하여 사용할 수 있습니다. 예를 들어, gpt4all-j 모델을 다운로드하려면 다음과 같이 실행합니다:

python scripts/download_model.py gpt4all-j

4. 모델 사용

모델을 다운로드한 후에는 다음과 같이 모델을 로드하고 사용할 수 있습니다:

from gpt4all import GPT4All

# 모델 로드
model = GPT4All('gpt4all-j')

# 프롬프트 입력 및 응답 생성
response = model.generate('Hello, how are you?')
print(response)

참고자료

https://youtu.be/kZXE5KyFcHo

댓글남기기

참고