728x90 반응형 NLP23 reading LangChain docs (3) 지난번에 이어서 본격적으로 코드를 실행 시켜보면서 랭체인이 제공하는 기술들에 대해 익혀볼까 합니다. LCEL 인터페이스와 더 친해지기 위해 반드시 Prompt + LLM 페이지를 먼저 시작하는 걸 추천합니다. Cookbook Prompt + LLM: 프롬프트를 사용해서 LLM과 상호작용하는 방법을 설명합니다. 구체적인 프롬프트를 제공하고 응답을 얻어 LLM과 의사소통하는 기본적인 접근 방식입니다. RAG: 검색 기반 언어 모델과 생성 언어 모델을 결합하여 응답의 품질과 관련성을 향상시키는 기술입니다. 응답을 생성하기 전에 관련 정보를 가져오기 위해 검색기 모델을 사용하는 경우가 많습니다. Multiple chains: 각각 특정 목적이나 기능을 가진 다중 채팅 체인의 사용에 대해 설명합니다. 여러 체인을.. 2024. 1. 17. reading LangChain docs (2) (1)편에서 랭체인의 기본 예시를 실행시켜 봤습니다. 그리고 LCEL의 개념을 살펴보고 체인 형태로 파이프라인을 만드는 것을 배웠습니다. 오늘은 이어서 LCEL관련해서 문서를 계속 볼 계획인데 Interface와 How to 까지 살펴보려 합니다. 그전에 기존에 우리가 openai에서 제공하는 코드로 api를 호출할 때와 LangChain을 사용했을 때를 비교하는 페이지를 봤습니다. 아래와 같은 코드로 기본적인 질의응답 프로그램을 활용합니다. from langchain_openai import ChatOpenAI from langchain_core.prompts import ChatPromptTemplate from langchain_core.output_parsers import StrOutputPar.. 2024. 1. 17. reading LangChain docs (1) LangChain은 LLM 모델을 쉽게 개발할 수 있게 도와주는 프레임워크 입니다. 저같은 경우는 회사서 이런저런 상황에 맞는 적절한 챗봇을 구축하는 일을 하게 되었습니다. 주로 OpenAI의 ChatGPT API를 토대로 파인튜닝한 해서 사용자의 입력에 대한 적 절한 결과물을 서비스 하게 될 것 같은데요(파운데이션 모델로 1등하는 일은 이제 넘사벽이 된 것만 같습니다. 있는걸 잘 활용하자! 의 자세로 사는 중입니다.). 그리하여 LangChain과 좀 더 친해지려고 공부 겸 실습을 좀 해보기 위해 기록을 하게 되었습니다. 공부도 하고 기여도 하고! 기본적으로 랭체인을 문서를 보고 설치했다면 랭체인에서 체인을 구성하는 언어인 LCEL을 알아야 합니다. LCEL(LangChain Expression Lan.. 2024. 1. 16. BertSum 뉴스 추출 요약 모델 추출요약(Extractive Summarization)은 문서에서 가장 중요하다고 판단되는 k 개의 문장을 순서대로 나열하여 요약합니다. BERT(Bidirectional Encoder Representation using Transformer)는 MLM과 NSP로 학습한 임베딩 모델 기존 BERT의 경우 Masked Language Modeling 으로 단어에 대한 representation을 산출하며, Nest Sentence Prediction 방법으로 두 개의 문장을 입력받도록 구성된 모델입니다. 그리고 오픈된 시중의 BERT류의 모델은 positional Embeddings의 max size는 512로 고정되어 있습니다. BertSum은 Input Document 라인에서 input값을 입력 받.. 2022. 9. 15. 트위터 데이터 수집 (a.k.a twitterscraper) 데이터 수집을 위해서 트위터에 접근을 하는데, 제한사항이 많다. 시간적으로도 양적으로도 트위터 자체적으로 데이터에 대한 소유권을 그렇게 주장한다. 하지만 아래에 링크처럼 그러한 제한없이 크롤러를 만드시는 분들이 있어서 참고하여 잘 사용했다. https://pypi.org/project/twitterscraper/0.2.7/ twitterscraper Tool for scraping Tweets pypi.org https://github.com/taspinar/twitterscraper taspinar/twitterscraper Scrape Twitter for Tweets. Contribute to taspinar/twitterscraper development by creating an account .. 2020. 2. 5. 비정형 데이터 - Doc2Vec 앞에서 Word2Vec에 대해서 알아 보았다. 이 Word2Vec이 단어에 대한 임베딩이라고 한다면 이번에는 문서에 대한 임베딩하는 법을 알아봅니다. Word2Vec의 확장이라고 할 수 있다. 크게 달라진건 없다. 다만 아래의 그림에서 빨간 빡스에서 보여지는 것처럼 Document id와 word가 같은 임베딩 공간에 있게 하기위해서 가상의 단어, 즉 "Doc#5"를 만들어 주고, Word2Vec을 학습하는 것이 되겠다. 문장 혹은 문서에 대해서도 continuous representations로 학습하는 unsupervised 방법이다. - Distributed memory model of paragraph vector (PV-DM) - Distributed bag of words version of .. 2019. 12. 19. 이전 1 2 3 4 다음 728x90 반응형
