Commit @6daeeec32fd03f58427f3ce871888ed0313c8727

윤영준 2024-01-29

Update README.md

@6daeeec32fd03f58427f3ce871888ed0313c8727

8ebeb06

6daeeec

README.md

--- README.md

+++ README.md

...	...	@@ -14,23 +14,26 @@
14	14
15	15	이것만 수정하면 원하는 질의응답을 할 수 있습니다.
16	16
17		-현재 작동중인 모델은 Mixtral 8x7B - instruct v0.1 이며 AWQ 4INT 양자화를 사용하였습니다.
	17	+현재 작동중인 모델은 Mixtral 8x7B - instruct v0.1 이며 AWQ 4INT 양자화를 사용하였습니다. 한국어를 지원하지만 때때로 영어로 대답하는 문제가 있으며 이는 LLAMA INDEX상에서 기본적으로 하고 있는 프롬프트 엔지니어링이 모두 영어여서 그럴 수 있습니다. (이 문제는 gpt3.5-turbo도 가지고 있는 문제입니다)
18	18
19	19	document_load_embedding.py 는 새로 임베딩을 실행하지 않고 vector db에서 임베딩을 불러와 검색하는 방식입니다.
20	20
21		-# 작동 구조 - embedding
22	21
23		-기본 설정된 embedding 파일은 한국어를 지원합니다. LLM(Mixtral)또한 한국어를 지원하지만 때때로 영어로 대답하는 문제가 있으며 이는 LLAMA INDEX상에서 기본적으로 하고 있는 프롬프트 엔지니어링이 모두 영어여서 그럴 수 있습니다. (이 문제는 gpt3.5-turbo도 가지고 있는 문제입니다)
	22	+## 작동 구조 - embedding
	23	+
	24	+기본 설정된 embedding 파일은 한국어를 지원합니다. 다음의 모델을 사용합니다. [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2)
24	25	또한 Mixtral의 근본적인 한계로써, 영단어의 한국어 음차를 이상하게 읽는 문제가 있습니다.
25	26	현재 Llama Index의 가장 기본적인 프롬프트 엔지니어링을 사용하고 있습니다. 따라서 대답이 단답형이고 딱딱합니다.
26	27
27		-# 작동 구조 - Vector DB 및 임베딩
	28	+
	29	+## 작동 구조 - Vector DB
28	30
29	31	vector db 는 postgresql 의 extension인 pgvector를 사용하고 있으며 이에 대한 설치 방법은 해당 프로젝트 github 페이지를 참고하시길 부탁드립니다. [GitHub - pgvector/pgvector: Open-source vector similarity search for Postgres](https://github.com/pgvector/pgvector)
30	32	데이터 베이스 접속 설정은 db_config.json을 수정하여 진행합니다.
31	33
32	34	실행시마다 설정된 table을 리셋하고 새로 임베딩을 빌드하는 방식이기 때문에 파일이 많으면 오래 걸릴 수 있습니다. vector db의 특성상 하나의 새로운 element를 삽입하면 search tree를 다시 지어야 하기 때문에 프로토타입단계에서는 이것으로 마무리하고, 차후 Cassnadra 5.X로 넘어가 고도화 할 계획입니다. (PG vector는 임베딩을 relational 처럼 다룰 수 있게 하지만, 이때문에 상당한 성능의 희생을 감수하였습니다. 그래도 문서 몇천장정도는 이상이 없을것으로 보입니다.)
33	35
	36	+
34	37	# 원하는 언어모델 실행
35	38
36	39	만약 ChatGPT 등 api서비스를 통하여 강력한 언어모델의 사용을 원한다면

Add a comment

Open 0
Closed 0

List

Delete comment