Prompt Engineering

Langchain은 chatgpt와 같은 llm 위에 ai 애플리케이션 구축을 위한 llm프레임워크 LangChain의 API는 간단하고 직관적이며 이해하기 쉽다. RAG는 검색과 AI 기술을 결합하여 생성된 응답의 품질과 관련성을 향상시킨다. RAG는 질문 답변 시스템을 만들기 위해 chatGPT와 같은 검색 및 언어 모델을 통합하는 것이다. 우리가 데이터 소스를 기반으로 사용자 질문에 답할 수 있는 AI 시스템 프로세스를 4단계로 나누어 볼 수 있다. 1단계: load 우리가 가지고 있는 JSON이나 데이터를 로드. LangChain은 HTML, PDF, 코드 등 다양한 유형의 문서에 대해 100개 이상의 문서 로더를 제공한다. 2단계: split(분할) 문서를 로드한 후에는 문서를 더 작은 부분으로..

자연어 처리 (NLP: Natural Language Processing) 인공지능의 한 분야로 비정형 데이터인 자연어(글자나 음성의 형태)를 기계가 사람처럼 이해하고 반응할 수 있도록 하려는 분야 간단하게 말하자면 컴퓨터와 사람의 언어 사이의 상호작용에 관해 연구하는 분야이다. 컴퓨터가 이용자와의 대화 속에서 의도를 찾아내고 다양한 형태의 데이터로부터 정확한 정보를 제공하는 것을 목적으로한다. 1. 비정형 데이터 형식으로 들어온 음성이나 텍스트 데이터의 입력값 분석 -> 이를 토대로 결과 출력 2. 여기서 NLP 알고리즘이 해당 대화를 분석하는 과정을 '자연어의 이해'라고 한다. 3. 그리고 분석과정을 거친 후 결과를 도출하는 것은 '자연어 생성'이라고 한다. ex. 챗봇, ChatGPT 등 자연어 이..

다양한 언어모델을 효율적으로 사용할 수 있도록 프롬프트를 개발하고 최적화하는 분야 프롬프트 엔지니어링은 LLM의 기능과 한계를 더 잘 이해하는데 도움이 된다 개발자는 프롬프트 엔지니어링을 사용해서 LLM 및 인터페이스를 형성하고, 빌드하는 프롬프트 기술을 설계한다. LLM 설정 프롬프트를 사용할 때, API를 사용하거나 직접 LLM과 상호작용 할 수 있다. 몇 가지 파라미터를 설정하여 프롬프트에서 여러가지 결과를 얻을 수 있다. temperature : Temperature는 모델의 예측 가능성을 제어하는 다이얼이라고 생각하면 된다. 낮을수록 항상 가장 확률이 높은 토큰이 선택되기 때문에 더 결정론적인 결과를 낳는다. top_p : 응답 가변성 미세 조정하기. 모델이 응답을 생성하는 결정성을 제어할 수 ..

LLM과 LLaMA LLM은 Large Language Model의 약자로, 거대언어모델이라는 뜻이다. 방대한 양의 데이터를 기반으로 사전학습된 초대형 딥러닝 알고리즘이다. LLaMA(Large Language Model Meta AI) 는 Meta가 공개한 대규모 인공지능 언어모델이다. 텍스트생성, 대화 등 다양하고 복잡한 작업을 수행할 수 있는 인공지능이다. Understanding the Transformer Architecture of LLaMA: 바닐라 트랜스포머와 LLaMA의 다이어그램 Pre-normalization Using RMSNorm: LLaMA 접근 방식에서는 변환기 하위계층의 입력을 정규화 하기 위해 RMSNorm이라는 기술이 사용된다. layer 정규화와 관련된 계산 비용을 최적..