AI

Pytorch와 TensorFlow는 딥러닝 프레임워크로, 딥러닝 모델을 쉽게 구축하고 학습할 수 있도록 도와준다. TensorFlow: 텐서플로는 구글에서 개발한 오픈소스 딥러닝 프레임워크이다. 계산을 수행하기 위해 데이터 플로우 그래프를 사용하는 특징을 가지고 있다. 데이터 플로우 그래프 (Data Flow Graph): TensorFlow는 연산을 노드로, 데이터를 엣지로 하는 그래프 형태로 모델을 표현합니다. 이 그래프에서 노드는 수학적인 연산을 나타내며, 엣지는 데이터 배열이나 텐서를 나타낸다. 이러한 데이터 플로우 그래프를 통해 병렬 처리 및 최적화가 가능하며, 분산 학습에도 효과적으로 활용된다. 텐서 (Tensor): TensorFlow에서는 다차원 배열을 텐서라고 부릅니다. 텐서는 그래프 ..

Langchain은 chatgpt와 같은 llm 위에 ai 애플리케이션 구축을 위한 llm프레임워크 LangChain의 API는 간단하고 직관적이며 이해하기 쉽다. RAG는 검색과 AI 기술을 결합하여 생성된 응답의 품질과 관련성을 향상시킨다. RAG는 질문 답변 시스템을 만들기 위해 chatGPT와 같은 검색 및 언어 모델을 통합하는 것이다. 우리가 데이터 소스를 기반으로 사용자 질문에 답할 수 있는 AI 시스템 프로세스를 4단계로 나누어 볼 수 있다. 1단계: load 우리가 가지고 있는 JSON이나 데이터를 로드. LangChain은 HTML, PDF, 코드 등 다양한 유형의 문서에 대해 100개 이상의 문서 로더를 제공한다. 2단계: split(분할) 문서를 로드한 후에는 문서를 더 작은 부분으로..

다양한 언어모델을 효율적으로 사용할 수 있도록 프롬프트를 개발하고 최적화하는 분야 프롬프트 엔지니어링은 LLM의 기능과 한계를 더 잘 이해하는데 도움이 된다 개발자는 프롬프트 엔지니어링을 사용해서 LLM 및 인터페이스를 형성하고, 빌드하는 프롬프트 기술을 설계한다. LLM 설정 프롬프트를 사용할 때, API를 사용하거나 직접 LLM과 상호작용 할 수 있다. 몇 가지 파라미터를 설정하여 프롬프트에서 여러가지 결과를 얻을 수 있다. temperature : Temperature는 모델의 예측 가능성을 제어하는 다이얼이라고 생각하면 된다. 낮을수록 항상 가장 확률이 높은 토큰이 선택되기 때문에 더 결정론적인 결과를 낳는다. top_p : 응답 가변성 미세 조정하기. 모델이 응답을 생성하는 결정성을 제어할 수 ..

LLM과 LLaMA LLM은 Large Language Model의 약자로, 거대언어모델이라는 뜻이다. 방대한 양의 데이터를 기반으로 사전학습된 초대형 딥러닝 알고리즘이다. LLaMA(Large Language Model Meta AI) 는 Meta가 공개한 대규모 인공지능 언어모델이다. 텍스트생성, 대화 등 다양하고 복잡한 작업을 수행할 수 있는 인공지능이다. Understanding the Transformer Architecture of LLaMA: 바닐라 트랜스포머와 LLaMA의 다이어그램 Pre-normalization Using RMSNorm: LLaMA 접근 방식에서는 변환기 하위계층의 입력을 정규화 하기 위해 RMSNorm이라는 기술이 사용된다. layer 정규화와 관련된 계산 비용을 최적..