yjyoon / RAG-minimal-example star
윤영준 윤영준 2024-01-25
Update README.md
@de82893df995c5e2fc5e688f35efc80f827bba1c
88d3bb4
de82893
README.md
--- README.md
+++ README.md
@@ -1,7 +1,7 @@
 
 # RAG-minimal-example
 
 모든것에 On-Premise에서 작동하는 Retrival Argmented Generation의 최소 예제입니다. 
 회사내의 워크스테이션에서 작동하는 vLLM서버를 통하여 언어모델을 작동하고, 개인 컴퓨터에서 임베딩 모델이 작동됩니다. 따라서 서버가 닫혀있으면 작동하지 않습니다.
 
- 이 경우 윤영준 주임에게 요구하여 서버를 다시 여는 방법 하나, 원한다면 코드를 조금만 수정하여 OpenAI 나 Claude등의 api를 사용하는 방법 둘, 심지어는 LlamaCPP를 통한 완전한 로컬 LLM 구동하는 방법 셋이 있습니다. 이러한 LLM 인터페이스를 위한 자세한 내용은 LLAMA INDEX 개발 문서를 참조해주세요. LlamaCPP는 직접 컴파일 해야 하며, 컴파일 방법은 LlamaCPP 깃허브 페이지 및 LlamaCPP-Python 바인딩 프로젝트 깃허브 페이지를 참고해주세요. vLLM을 별도로 구축하고자 할때에는 리눅스 구동을 강력 권장합니다.
 
+ 이 경우 윤영준 주임에게 요구하여 서버를 다시 여는 방법 하나, 원한다면 코드를 조금만 수정하여 OpenAI 나 Claude등의 api를 사용하는 방법 둘, 심지어는 LlamaCPP를 통한 완전한 로컬 LLM 구동하는 방법 셋이 있습니다. 이러한 LLM 인터페이스를 위한 자세한 내용은 LLAMA INDEX 개발 문서를 참조해주세요. LlamaCPP는 직접 컴파일 해야 하며, 컴파일 방법은 LlamaCPP 깃허브 페이지 및 LlamaCPP-Python 바인딩 프로젝트 깃허브 페이지를 참고해주세요. vLLM을 별도로 구축하고자 할 때에는 리눅스 구동을 강력 권장합니다. 또한 모델 사이즈가 작지 않으므로 이미 작업된 양자화 모델 가중치를 찾아 구동하는것을 추천 드립니다. 현재 vLLM을 통하여 구동되는 Mixtral 모델 또한 4INT AWQ양자화가 되어 있습니다.
 
 
 vector db 는 postgresql 의 extension인 pgvector를 사용하고 있으며 이에 대한 설치 방법은 해당 프로젝트 github 페이지를 참고하시길 부탁드립니다. https://github.com/pgvector/pgvector 
 데이터 베이스 설정은 db_config.json을 수정하여 진행합니다.
Add a comment
List