LanguageData

이번 글에서는 OpenAI, Cohere API의 기본적인 사용방법을 살펴보고, 이전에 구현한 네이버 블로그 / 지식인 검색을 기반으로 질의응답하는 QA봇을 구현합니다. windows 환경에서 docker desktop을 사용하여 docker를 사용하고, 코드 작성 및 ssh 연결은 vscode를 사용합니다.  1. OpenAI API 사용 방법 & 모델 비교 OpenAI는 파이썬으로 다양한 모델을 사용할 수 있도록 API를 제공하고 있습니다. 이번 프로젝트에서 GPT API를 사용하여 질문을 키워드로 변경하는 작업을 할 것입니다.  from openai import OpenAI# OpenAI 클라이언트를 생성하고 API 키를 설정합니다.client = OpenAI(api_key="api_key")# 클..

NLP 2024. 5. 20. 19:30

이번 글에서는 네이버 API로 네이버 블로그 / 지식인 글을 검색하고 질문과 유사도가 높은 글을 크롤링하는 것을 다룹니다. windows 환경에서 docker desktop을 사용하여 docker를 사용하고, 코드 작성 및 ssh 연결은 vscode를 사용합니다. ** 본문의 `Rerank`표현은 RAG 분야에서 사용되는 `Rerank`와 다를 수 있습니다. 본문에서는 단순히 랭크를 재정렬한다는 의미에서 `Rerank`라는 표현을 사용했습니다. 1. 네이버 블로그 크롤링 네이버 검색 API를 사용하면 검색 키워드를 기반으로 블로그의 [링크, 요약, 블로그명, 블로그링크, 게시날짜]를 전달받을 수 있습니다. 블로그 본문 요약과 질문의 유사도를 기반으로 N개의 블로그를 크롤링합니다. 이후 블로그 본문과 질문..

NLP 2024. 5. 17. 19:30

본 글은 데이터 적재를 통한 RAG 대신, 네이버 검색 API를 활용하여 네이버 검색 결과 기반으로 LLM을 사용하는 웹 데모 베이스라인 글입니다. 해당 프로젝트는 실제 사용할 수 있는 수준의 데모를 위해 Cohere API, OpenAI API, Gradio, Docker를 사용합니다.  1. 구현 컨셉구현하고자 하는 프로젝트의 컨셉입니다. 유저의 질문을 기반으로 검색 키워드를 생성하고, 관련 블로그 / 지식인 글을 파싱합니다. 적절한 지시와 함께 질문 + 파싱된 글을 프롬프트로 사용하여 command-r-plus 모델에 입력하여 응답을 생성합니다. 이 과정에서 고려해야 할 것은 검색된 결과를 어떤 방식으로 파싱할지입니다. 네이버의 검색 시스템만 믿고 검색 결과를 사용해도 괜찮지만, rerank와 같은..

NLP 2024. 5. 16. 19:30

이번 글에서는 Gradio 서버를 구축하고 milvus, llm 서버와 연결하여 서비스를 제공하는 웹 데모 제작을 다룹니다. Windows 환경에서 Docker desktop을 사용하여 Docker를 사용하고, 코드 작성 및 ssh 연결은 vscode를 사용합니다.  1. Docker container 생성 및 환경 설정 PC2에 LLM 서버를 구축했던 것과 동일한 환경으로 Docker container를 생성합니다. https://leefromdata.tistory.com/72 를 참고하여 Docker container를 생성하고 conda, cuda 경로 설정을 완료해주세요. conda, cuda 경로 설정이 마무리되면 서버에서 사용할 가상환경을 추가하고 필요한 패키지를 설치합니다. # env_nam..

NLP 2024. 5. 9. 19:30

이번 글에서는 LLM 서버를 구축하는 것을 다룹니다. windows 환경에서 docker desktop을 사용하여 docker를 사용하고, 코드 작성 및 ssh 연결은 vscode를 사용합니다.  1. docker container 생성 먼저, LLM 서버 구축을 위해 docker container를 생성합니다. GPT, Claude, CLOVA 등 API를 사용하고자 한다면 서버 구축 과정 없이 프로젝트를 진행해도 좋습니다. 베이스라인은 LLM 서버를 OpenAI API 형식에 맞추어 호출할 수 있는 서버를 구축합니다. 서버 구축은 크게 두 가지 방법이 있습니다. 첫 번째는 llama-cpp-python에서 제공하는 docker image를 사용하여 구축하는 방법입니다. 로컬에서 명령어 한 줄로 간단히..

NLP 2024. 5. 8. 19:30

이번 글에서는 milvus 서버를 구축하고 데이터를 적재하는 것을 다룹니다. windows 환경에서 docker desktop을 사용하여 docker를 사용하고, 코드 작성 및 ssh 연결은 vscode를 사용합니다.  1. milvus 서버 구축 milvus는 2.4.0 버전을 사용합니다. 아래 링크의 `milvus standalone docker compose` 파일을 다운받아 milvus 서버를 구축합니다. https://github.com/milvus-io/milvus/releases/download/v2.4.0/milvus-standalone-docker-compose.yml  docker compose는 여러 개의 컨테이너로 구성된 어플리케이션을 관리하기 위한 오케스트레이션 도구로 milvus..

NLP 2024. 5. 7. 19:30

본 글은 Retrieval-Augmented Generation에 대한 개념을 적용한 웹 데모 생성을 위한 베이스라인 글 입니다. 해당 프로젝트는 llama_cpp, milvus, gradio, docker를 사용합니다. 1. 구현 컨셉  구현하고자 하는 프로젝트의 컨셉입니다. 먼저, 유저는 Gradio에 접속하여 질문을 입력합니다. 질문은 BGE-M3 모델을 통해 임베딩되고, milvus DB 내부의 문서 중 가장 관련 높은 문서를 찾습니다. 이후 질문과 문서를 LLM에 입력하여 응답을 받아 유저에게 전달합니다. 이 과정에서 구현해야하는 3가지 서버는 gradio, milvus, llama_cpp(llama3)입니다. 베이스라인에서 gradio, milvus는 PC-1, llama3는 PC-2에 구축되..

NLP 2024. 5. 7. 19:30

- BERT는 자연어처리 모델에서 큰 성능향상을 가져온 모델/학습 방법입니다. - BERT를 기반으로 다양한 모델이 파생되어 현재까지 많은 분야에서 사용되고 있습니다. - 본 글에서는 BERT에 대해 간략히 소개합니다. 1. 학습 방법 BERT모델을 학습하는 방법은 Masked Language Model(MLM)과 Next Sentence Prediction(NSP)입니다. MLM은 특정 확률로 마스킹된 단어를 예측하여 학습하는 방법이고, NSP는 두 개의 문장이 실제로 연결된 문장인지를 예측하여 학습하는 방법입니다. MLM은 입력 문장에서 각 단어를 K%의 확률로 마스킹하는데, 논문에서는 15%의 확률을 사용합니다. 만약 마스킹이 너무 적다면 학습 효율이 떨어지고, 너무 많다면 문장의 맥락을 파악하기 ..

NLP 2023. 1. 9. 15:17