썸머로그

Computer Vision

줄피 — Fri, 18 Oct 2024 21:28:12 +0900

Computer vision. 말 그대로, 컴퓨터가 인간의 시각적 인식 능력을 가지고 이미지를 분석하고 해석하는 기술 분야이다.

컴퓨터 비전의 목표는 디지털 이미지를 분석하여 의미 있는 정보를 추출하고, 이를 바탕으로 다양한 작업을 수행하는 것.

이를 수행하기 위해, 컴퓨터는 시각적 인식 능력을 가지고 이미지를 처리하고 해석하는 알고리즘을 사용하여 객체를 인식하거나 추적한다. 장면을 이해하거나, 3D 형태로 재구성하는 등의 작업도 수행한다.

컴퓨터 비전의 주요 기술에는,

이미지 처리, 객체인식, 패턴인식, 이미지 분류, 세그멘테이션이 있고 주로 의료, 자율 주행, 보안, 산업 자동화에 응용되어 쓰일 수 있다.

그 중 몇가지 모델에 대해 설명하자면,

객체 인식에서 널리 사용되는 딥러닝 모델 중 하나인 YOLO (You Only Look Once)

: 한 번의 신경망 패스만으로 이미지에서 객체를 탐지하고 그 위치를 예측하는 방식

장점

: 빠른속도, 다수의 객체를 탐지하고 분류하기 때문에 이미지 전반에 걸쳐 일관된 해석을 제공.

또한 이미지 전체 문맥을 고려하기 때문에 잘못된 탐지를 줄이는데 효과적이다.

단점

: 작은 객체를 탐지할때는 성능이 저하되고, 위치 예측의 정확도가 떨어질 수 있다. 그래서 높은 정확도가 요구되는 상황에서는 다른 객체 탐지 모델(R-CNN 계열 모델 등)과 비교했을 때 한계가 있을 수 있다.

객체 인식 분야에서 많이 사용되는 또 다른 모델인 Faster R-CNN(Faster Region-based Convolutional Neural Network)

: 이전 R-CNN 계열 모델들의 성능을 크게 향상. 속도와 정확도를 동시에 개선했다.

R-CNN, Fast R-CNN, Faster R-CNN 비교

장점

: 작은 객체나 복잡한 장면에서도 비교적 높은 정확도 유지하고, 대규모 이미지 데이터셋에서 매우 안정적이고 일관된 성능을 보여준다. 특히 다양한 크기와 형태의 객체가 포함된 복잡한 장면에서도 잘 동작한다. 그래서 다양한 응용이 가능하다.

단점

: Faster R-CNN은 이전 R-CNN 계열 모델보다 빠르지만, 여전히 실시간 객체 탐지를 위한 모델로는 충분히 빠르지 않을 수 있다. 특히 YOLO와 같은 모델에 비해 처리 속도가 느린 편이므로 실시간 성능이 중요한 응용에서는 한계가 있을 수 있다.

또한 복잡한 구조를 가지고 있어 구현이 까다롭다.

상대적으로 작은 객체 탐지에 어려움을 겪을 수 있다. 특히 객체가 매우 작거나 여러 객체가 밀집해 있는 상황에서는 탐지 성능이 저하될 수 있다.

Faster R-CNN과 YOLO 성능차이

결론적으로, Faster R-CNN은 정확도가 중요한 애플리케이션에 적합하지만, 실시간 응용에는 YOLO와 같은 더 빠른 모델이 선호될 수 있다.

TensorFlow vs PyTorch

줄피 — Mon, 15 Jan 2024 11:41:50 +0900

Pytorch와 TensorFlow는 딥러닝 프레임워크로, 딥러닝 모델을 쉽게 구축하고 학습할 수 있도록 도와준다.

TensorFlow: 텐서플로는 구글에서 개발한 오픈소스 딥러닝 프레임워크이다. 계산을 수행하기 위해 데이터 플로우 그래프를 사용하는 특징을 가지고 있다.

데이터 플로우 그래프 (Data Flow Graph): TensorFlow는 연산을 노드로, 데이터를 엣지로 하는 그래프 형태로 모델을 표현합니다. 이 그래프에서 노드는 수학적인 연산을 나타내며, 엣지는 데이터 배열이나 텐서를 나타낸다. 이러한 데이터 플로우 그래프를 통해 병렬 처리 및 최적화가 가능하며, 분산 학습에도 효과적으로 활용된다.
텐서 (Tensor): TensorFlow에서는 다차원 배열을 텐서라고 부릅니다. 텐서는 그래프 상에서 노드 간에 흐르는 데이터를 나타낸다.
Keras(케라스): Tensorflow에는 Keras라는 고수준 딥러닝 API가 내장되어있다. 이를 이용해 다양한 딥러닝 모델을 쉽게 구축할 수 있다.

결론적으로, TensorFlow는 이미지분류, 자연어처리, 음성인식 등 다양한 분야에서 널리 사용되며, 연구 및 산업계의 많은 프로젝트에서 활용되고 있다.

Pytorch: 파이토치는 페이스북에서 개발한 오픈소스 딥러닝 프레임워크로, 주로 연구 및 개발을 위한 목적으로 사용된다.

파이토치는 동적계산 그래프를 사용하며 파이썬과 통합이 잘 되어있어 사용자 친화적이고 직관적인 API를 제공한다.

동적 계산 그래프 (Dynamic Computational Graph): PyTorch는 실행 중에 동적으로 계산 그래프를 생성한다. 이는 모델을 더 쉽게 디버깅하고 실험하기 위한 유연성을 제공한다.
텐서 (Tensor): PyTorch에서도 데이터를 표현하기 위해 텐서를 사용합니다. 텐서는 NumPy 배열과 유사하게 다차원 배열을 나타내며, GPU를 활용하여 연산을 가속화할 수 있다.
자동 미분 (Automatic Differentiation): PyTorch는 자동 미분 기능을 제공하여 그래디언트 계산을 간단하게 수행할 수 있다. 이는 주로 신경망의 역전파(Backpropagation) 알고리즘을 구현할 때 유용하다.
케라스와의 통합: PyTorch는 케라스 모듈을 내장하고 있어, 사용자는 PyTorch와 케라스를 결합하여 사용할 수 있다.

PyTorch는 연구자, 학생, 및 산업계에서 다양한 응용에서 사용되고 있으며, 간결한 문법과 유연한 설계로 많은 사용자들에게 사랑받고 있다.

Popularity Trends in Context: PyTorch vs TensorFlow

Google trend: Tensorflow vs Pytorch — 지난 5년

TensorFlow의 초기 인기 : 타임라인의 초기 단계에서 TensorFlow는 인기 면에서 뚜렷한 우위를 점했다. 이는 Google의 강력한 지원과 초보자와 전문가 모두를 위한 광범위한 도구 덕분이라고 할 수 있다.
PyTorch의 부상 : 앞으로 PyTorch는 추진력을 얻기 시작했다. 많은 사람들이 연구와 실험에 더 유연하다고 생각하는 그 접근 방식은 관심을 끄는 데 한몫했다. 또한 PyTorch에 대한 더 많은 리소스와 지원이 제공되면서 사용자 기반도 늘어났다.
최근 환경 : 결국 PyTorch와 TensorFlow는 모두 기계 학습 세계에서 각자의 역할을 확정했다. TensorFlow는 대규모 배포 및 산업 솔루션을 찾는 사람들에게 여전히 확실한 선택이다. 유연성에 중점을 둔 PyTorch는 특히 연구 분야의 많은 사람들에게 여전히 높은 인기를 누리고 있다.

TensorFlow의 약점 :

복잡성 : 다용성은 강점이지만 일부에게는 어려울 수 있는 복잡함을 초래할 수도 있다.
Rigidity : 일단 계산 그래프가 설정되면 변경이 쉽지 않다.
제한된 초기 GPU 언어 지원 : 이전 TensorFlow 버전에는 GPU 및 언어 제약이 있었다.

PyTorch의 약점 :

프로덕션 전환 : PyTorch는 연구 분야에서 빛을 발하지만 전체 프로덕션으로 전환하려면 추가 단계가 필요한 경우가 있다.
시각화 : 기본적으로 PyTorch는 TensorBoard의 시각화 능력과 일치하지 않다.

둘의 근본적인 차이점으로 말하자면, TensorFlow는 정적 계산그래프를 사용하는 반면, PyTorch는 동적그래프를 옹호한다.

LangChain RAG

줄피 — Sun, 14 Jan 2024 17:23:57 +0900

Langchain은 chatgpt와 같은 llm 위에 ai 애플리케이션 구축을 위한 llm프레임워크
LangChain의 API는 간단하고 직관적이며 이해하기 쉽다.
RAG는 검색과 AI 기술을 결합하여 생성된 응답의 품질과 관련성을 향상시킨다.
RAG는 질문 답변 시스템을 만들기 위해 chatGPT와 같은 검색 및 언어 모델을 통합하는 것이다.

우리가 데이터 소스를 기반으로 사용자 질문에 답할 수 있는 AI 시스템 프로세스를 4단계로 나누어 볼 수 있다.

Made by Filip Knyszewski

1단계: load

우리가 가지고 있는 JSON이나 데이터를 로드. LangChain은 HTML, PDF, 코드 등 다양한 유형의 문서에 대해 100개 이상의 문서 로더를 제공한다.

2단계: split(분할)

문서를 로드한 후에는 문서를 더 작은 부분으로 분할하거나 청크해야 할 수도 있다. 이는 대용량 문서에 특히 유용함. LangChain은 또한 코드나 마크다운과 같은 특정 문서 유형에 최적화된 문서 분할을 위한 다양한 알고리즘을 제공한다.

3단계: store(저장)

분할 후 문서의 관련 부분은 벡터 DB에 저장된다. 벡터 스토어는 텍스트의 의미론적 의미를 포착하는 텍스트 임베딩을 효율적으로 저장하고 검색하는 데이터베이스. LangChain은 50개 이상의 벡터 저장소를 지원하므로 사용자는 자신의 필요에 가장 적합한 것을 선택할 수 있다. 이러한 벡터 저장소는 기본 기술, 확장성, 성능 및 기능 측면에서 다르다. 일부는 중소 규모 데이터 세트에 최적화되어 있고 다른 일부는 대규모 애플리케이션용으로 설계되었다. 벡터 저장소 선택은 데이터세트 크기, 원하는 검색 성능, 애플리케이션의 특정 요구 사항 등의 요소에 따라 달라진다.

4단계: 지식 검색

이 단계에서는 관련 문서 검색. 단순검색, 셀프 쿼리 등. 단순 검색은 사용자의 쿼리를 문서 임베딩 한 것과 일치시켜 관련결과를 찾는것. 검색 프로세스는 메타데이터 필터를 사용하여 더욱 구체화되어 검색 결과의 범위를 좁힐 수 있다. 사용 가능한 일부 알고리즘은 다음과 같다.

단순 검색: 사용자의 쿼리를 문서 임베딩과 일치시켜 관련 결과를 찾는다.
상위 문서: 더 넓은 컨텍스트를 유지하면서 문서의 특정 섹션을 검색한다.
셀프 쿼리(Self Query): 정확한 결과를 위해 사용자 쿼리에서 의미 체계와 메타데이터를 분리한다.
앙상블: 포괄적이고 향상된 결과를 위해 여러 리트리버의 결과를 결합한다.

5단계: 응답 생성

마지막 단계에는 ChatGPT와 같은 언어 모델을 사용하여 답변을 생성하는 작업이 포함된다. 4단계에서 관련 문서가 검색되면 언어 모델이 간결하고 유익한 답변을 생성하는 컨텍스트 역할을 한다. GPT-3.5-turbo와 같은 LLM은 검색된 문서를 답변으로 추출하는 데 사용된다. 모델은 검색된 문서와 사용자의 질문을 입력으로 받아들이고 컨텍스트와 질문에 대한 이해를 바탕으로 응답을 생성한다. 생성된 답변은 사용자의 쿼리에 대해 포괄적이고 유익한 응답을 제공하는 것을 목표로 한다.

자연어 처리 (NLP: Natural Language Processing)

줄피 — Tue, 9 Jan 2024 16:00:35 +0900

자연어 처리 (NLP: Natural Language Processing)

인공지능의 한 분야로 비정형 데이터인 자연어(글자나 음성의 형태)를 기계가 사람처럼 이해하고 반응할 수 있도록 하려는 분야

간단하게 말하자면 컴퓨터와 사람의 언어 사이의 상호작용에 관해 연구하는 분야이다. 컴퓨터가 이용자와의 대화 속에서 의도를 찾아내고 다양한 형태의 데이터로부터 정확한 정보를 제공하는 것을 목적으로한다.

1. 비정형 데이터 형식으로 들어온 음성이나 텍스트 데이터의 입력값 분석 -> 이를 토대로 결과 출력

2. 여기서 NLP 알고리즘이 해당 대화를 분석하는 과정을 '자연어의 이해'라고 한다.

3. 그리고 분석과정을 거친 후 결과를 도출하는 것은 '자연어 생성'이라고 한다.

ex. 챗봇, ChatGPT 등

자연어 이해(Naural Language Understanding)

자연어 처리의 세부 분야로서, 읽기에 비유될 수 있고 문법적이고 의미론적으로 자연어를 분석하여 이해하려는 분야

ex. 토픽 분류, 뉴스기사 카테고리 분류 등

"인공지능(AI) 이슈, IT시스템 시장에도 변혁 부른다" -> it과학

"러시아, 우크라 전역 공습…4명 사망·38명 부상" -> 세계

자연어 생성(Natural Language Generation)

자연어 처리의 세부 분야로서, 쓰기에 비유될 수 있고 입력된 자연어에 대하여 목적에 맞게 자연어를 생성하는 분야

ex. 기계번역 등

"자연어처리는 이제 개발자와 비개발자 모두에게 중요한 기술이 되고 있다."(한국어)

-> "Natural language processing is now becoming an important skill for both developers and non-developers alike."(영어)

NLP 전처리 과정

컴퓨터가 비정형 텍스트를 인식하기 위해서는 몇가지 전처리 과정이 필요하다.

출처: Machine Learning in Natural Language Processing (2012)

Tokenization(토큰화)

해당 데이터를 사용하고자하는 용도에 맞게 토큰화한다. 문장을 토큰(형태소)단위로 구분하는 작업

"나는 서울에 산다" -> 나, 는, 서울, 에, 산다

자연어 -> '계산 가능한' 데이터로 변환

BoW: Bag of Words

단어들의 순서는 전혀 고려하지 않고, 단어들의 출현 빈도(frequency)에만 집중하는 텍스트 데이터의 수치화 표현 방법

Bag of Words를 직역하면 단어들의 가방이라는 의미이다.

ex. "나는 서울에 산다" -> 나, 는, 서울, 혼자, 에, 산다, 있다 [1, 1, 1, 0, 1, 1, 0] (vector로 표현) => Cosine Similarity

이는 직관적인 반면 순서가 고려되지 않는다.

또한 vector의 길이가 vocab의 길이만큼 길어질 수 있다.

ex.

doc2 = '소비자는 주로 소비하는 상품을 기준으로 물가상승률을 느낀다.'

vocab, bow = build_bag_of_words(doc2)
print('vocabulary :', vocab)
print('bag of words vector :', bow)

vocabulary : {'소비자': 0, '는': 1, '주로': 2, '소비': 3, '하는': 4, '상품': 5, '을': 6, '기준': 7, '으로': 8, '물가상승률': 9, '느낀다': 10}
bag of words vector : [1, 1, 1, 1, 1, 1, 2, 1, 1, 1, 1]

코사인 유사도(Cosine Similarity)

코사인 유사도는 두 벡터 간의 코사인 각도를 이용하여 구할 수 있는 두 벡터의 유사도를 의미한다.

두 벡터의 방향이 완전히 동일한 경우에는 1의 값을 가지며, 90°의 각을 이루면 0, 180°로 반대의 방향을 가지면 -1의 값을 갖게 된다. 즉, 결국 코사인 유사도는 -1 이상 1 이하의 값을 가지며 값이 1에 가까울수록 유사도가 높다고 판단할 수 있다. 이를 직관적으로 이해하면 두 벡터가 가리키는 방향이 얼마나 유사한가를 의미한다.

Prompt Engineering

줄피 — Thu, 28 Dec 2023 11:39:27 +0900

다양한 언어모델을 효율적으로 사용할 수 있도록 프롬프트를 개발하고 최적화하는 분야

프롬프트 엔지니어링은 LLM의 기능과 한계를 더 잘 이해하는데 도움이 된다

개발자는 프롬프트 엔지니어링을 사용해서 LLM 및 인터페이스를 형성하고, 빌드하는 프롬프트 기술을 설계한다.

LLM 설정

프롬프트를 사용할 때, API를 사용하거나 직접 LLM과 상호작용 할 수 있다.

몇 가지 파라미터를 설정하여 프롬프트에서 여러가지 결과를 얻을 수 있다.

temperature : Temperature는 모델의 예측 가능성을 제어하는 다이얼이라고 생각하면 된다.

낮을수록 항상 가장 확률이 높은 토큰이 선택되기 때문에 더 결정론적인 결과를 낳는다.

top_p : 응답 가변성 미세 조정하기. 모델이 응답을 생성하는 결정성을 제어할 수 있다. 정확하고 사실적인 답변을 원한다면 이를 낮게 유지한다. 더 다양한 반응을 원한다면 더 높은 값으로 증가시킨다.

Frequency Penalty: 빈도 패널티

이 설정은 모델이 동일한 단어나 구를 반복하지 못하도록 한다.

빈도 패널티를 높이면 모델의 언어에 다양성을 더하고 중복성을 줄일 수 있다.

Presence Penalty: 존재 패널티

얼마나 자주 나타나는 지에 관계없이 반복되는 모든 토큰에 동일하게 패널티를 부과해 다양한 답변이 나오도록 한다.

! 일반적으로 명확한 결과를 얻으려면 Temperature 또는 top_p, Frequency, Presence 페널티 중 하나만 조정하고 둘 다 조정하지 않는 것이 좋다.

Basic Prompt

간단한 프롬프트 예시)

Prompt:

하늘은

Output:

푸른색입니다.하늘은 맑은 날에는 푸른색입니다. 흐린 날엔 하늘은 회색 혹은 하얀색을 띨 수 있습니다.

⇒ 이 결과물은 우리가 예상치 못했거나 원하는 문장이 아닐 수 있다.

Prompt:

문장을 완성해 줘:하늘은

Output:

오늘 매우 아름답습니다.

⇒ 이 결과물은 “문장완성”을 해서 답변을 출력했다.

모델에게 작업을 수행하도록 지시하기 위해 최적의 프롬프트를 설계하는 접근방식을 프롬프트 엔지니어링이라고 한다.

LLM은 텍스트 요약, 수학적 추론 등 고급작업을 수행할 수 있다.

Techinques

제로샷 프롬프팅 (zero-shot prompting)

: 예시없이 모델에게 응답요구

퓨샷 프롬프팅 (few-shot prompting)

:여러 예시들을 먼저 보여주면 퓨샷 프롬프팅은 문맥에 맞는 학습을 할 수 있다.

Limitations of Few-shot Prompting

: 복잡한 추론 작업을 처리할 때는 여전히 완벽한 기술은 아니다.

이 집합{15, 32, 5, 13, 82, 7, 1}에서 홀수를 모두 더하면 짝수이다.A:

이 작업을 다시 시도하면 모델이 다음과 같이 출력한다.

네, 이 집합의 홀수를 모두 더하면 짝수인 107입니다.

이는 정답이 아니며, 이러한 시스템의 한계를 보여줄 뿐만 아니라 더 발전된 프롬프트 엔지니어링이 필요하다는 것을 보여준다.

Chain-of-Thought (CoT) Prompting

: 중간 추론 단계를 통해 복잡한 추론을 가능하게 한다.

이를 단답형 프롬프트와 결합하면 응답하기 전에 추론이 필요한 복잡한 작업에서 더 나은 결과를 얻을 수 있다.

Prompt:

집합 {4, 8, 9, 15, 12, 2, 1}에서 홀수를 모두 더하면 짝수야.답변: 홀수(9, 15, 1)를 모두 더하면 25가 돼. 위의 명제는 거짓이야.집합 {17, 10, 19, 4, 8, 12, 24}에서 홀수를 모두 더하면 짝수야.답변: 홀수(17, 19)를 모두 더하면 36이 돼. 위의 명제는 참이야.집합 {16, 11, 14, 4, 8, 13, 24}에서 홀수를 모두 더하면 짝수야.답변: 홀수(11, 13)를 모두 더하면 24가 돼. 위의 명제는 참이야.집합 {17, 9, 10, 12, 13, 4, 2}에서 홀수를 모두 더하면 짝수야.답변: 홀수(17, 9, 13)를 모두 더하면 39가 돼. 위의 명제는 거짓이야.집합 {15, 32, 5, 13, 82, 7, 1}에서 홀수를 모두 더하면 짝수야.답변:

Output:

홀수(15, 5, 13, 7, 1)를 모두 더하면 41이 돼. 위의 명제는 거짓이야.

추론 단계를 추가했을 때 완벽한 결과를 볼 수 있다.

Zero-shot CoT Prompting

: 원래의 프롬프트에 "단계별로 생각하기"를 추가하는 것이 핵심

간단한 예시)

Prompt:

나는 시장에 가서 사과 10개를 샀어. 사과 2개를 이웃에게 주고, 2개를 수리공에게 주었어. 그리고 사과 5개를 더 사서 1개는 내가 먹었어. 나는 몇 개의 사과를 가지고 있었니?

Output:

사과 11개

⇒ 오답이다. “단계별로 생각하기”를 추가해보자.

Prompt:

나는 시장에 가서 사과 10개를 샀어. 나는 사과 2개를 이웃에게 주고, 2개를 수리공에게 주었어. 그리고 사과 5개를 더 사서 1개는 내가 먹었어. 사과가 몇 개나 남았니?단계별로 생각해 보자.

Output:

먼저 사과 10개로 시작했어.이웃에게 2개, 수리공에게 2개를 나누어 주었으므로 사과가 6개가 남았어.그런 다음 사과 5개를 더 사서 이제 사과가 11개가 되었어.마지막으로 사과 1개를 먹었으므로 사과 10개가 남게 돼.

프롬프트에 사용할 예시가 그리 많지 않을 때 특히 유용하다.

Retrieval Augmented Generation (RAG)

더 복잡한 지식을 모아 요약하는 작업의 경우 외부 지식 소스에 액세스하여 완료하는 언어 모델 기반 시스템을 구축할 수 있다. 이를 통해 사실적 일관성을 높이고, 생성된 응답의 신뢰성을 향상시키며, "환각(hallucination)" 문제를 완화하는 데 도움이 된다.

Meta AI 연구원들은 이러한 지식을 모아 요약하는 작업을 해결하기 위해 Retrieval Augmented Generation (RAG) 라는 방법을 도입했다.

RAG는 정보 구성 요소를 글자 생성기 모델과 결합한다. RAG는 미세 조정이 가능하며 전체 모델을 재교육할 필요 없이 내부 지식을 효율적으로 수정할 수 있다.

RAG는 입력을 받아 주어진 소스(예: 위키피디아)에서 관련된/지원하는 문서들을 찾는다.
문서는 원래 입력 프롬프트와 컨텍스트로 연결되어 최종 출력을 생성하는 텍스트 생성기에 공급된다.
따라서 시간이 지남에 따라 RAG는 어떤 상황이던 사실적으로 적응할 수 있다.
RAG는 언어 모델들의 재교육 우회를 허용하여, 검색 기반 생성을 통해 신뢰할 수 있는 출력물을 생성하여 최신 정보로 접속할 수 있다.

최근에는 이러한 접근 방식이 더욱 대중화되었으며 기능과 사실적 일관성을 향상시키기 위해 ChatGPT와 같은 인기 있는 LLM이 결합되었다.

LLaMA Paper review: pytorch in LLaMA

줄피 — Tue, 26 Dec 2023 16:23:14 +0900

LLM과 LLaMA

LLM은 Large Language Model의 약자로, 거대언어모델이라는 뜻이다. 방대한 양의 데이터를 기반으로 사전학습된 초대형 딥러닝 알고리즘이다.

LLaMA(Large Language Model Meta AI) 는 Meta가 공개한 대규모 인공지능 언어모델이다. 텍스트생성, 대화 등 다양하고 복잡한 작업을 수행할 수 있는 인공지능이다.

Understanding the Transformer Architecture of LLaMA:

바닐라 트랜스포머와 LLaMA의 다이어그램

Pre-normalization Using RMSNorm:

LLaMA 접근 방식에서는 변환기 하위계층의 입력을 정규화 하기 위해 RMSNorm이라는 기술이 사용된다.

layer 정규화와 관련된 계산 비용을 최적화 하도록 설계된다.

RMSNorm은 LayerNorm과 유사한 성능을 제공하지만 실행 시간을 크게 줄인다.

SwiGLU Activation Function:

LLaMA는 PaLM에서 영감을 받아 SwiGLU 활성화 기능을 도입했다. SwiGLU를 이해하려면 먼저 Swish 활성화 기능을 이해하는 것이 중요하다. SwiGLU는 Swish를 확장하고 입력 활성화를 분할하고 곱하기 위해 조밀한 네트워크가 있는 사용자 정의 레이어를 포함한다. 보다 정교한 활성화 기능을 도입해 모델의 표현력을 높이는 것이 목표이다.

Rotary Embeddings (RoPE):

RoPE는 LLaMA에서 사용되는 위치 임베딩 유형이다. 이는 회전행렬을 사용하여 절대 위치 정보를 인코딩하며 자연스럽게 self-attention 공식에 명시적인 상대 위치 종속성을 포함한다.

Pre-trained dataset

LLaMA의 데이터셋 구성을 보면 위키백과의 인용출처로 쓰일 수 있는가를 판별하는 분류기를 학습시켜서 이를 통과한 페이지만 학습에 투입시켰다.

github, widipedia 등이 학습에 투입됐다.

Meta AI는 LLaMA 학습을 위해 다른 LLMs의 학습 데이터 소스를 재사용하였다. (총 4.75 TB) Wikipedia의 경우, 2022년 6월~8월까지의 20개국(bg, ca, cs, da, de, en, es, fr, hr, hu, it, nl, pl, pt, ro, ru, sl, sr, sv, uk) 데이터로 아쉽게도 한국어는 빠져있다. 사용 인구가 많은 동아시아 문자(kr, cn, jp)가 빠진 이유는 2Bytes 문자라서 빠진 것이 아닐까 추측된다.

Train

아래는 모델 크기에 따른 파라미터를 보여주는데, 33B, 65B도 꽤 높은 러닝 레이트로 학습시켰음을 알 수 있다.

clip grad를 1.0으로 두고 학습했는데 별로 튀지 않고 로스가 잘 떨어진다.

학습 시간은 65B 학습을 A100 80G 2048장 그러니까, 256노드로 진행해서 1.4T 토큰 학습에 21일 걸렸다고 한다. 380 tokens/sec/GPU on 2048 A100 GPU(80GB) → 256 대 GPU Servers 사용

Result

아래는 라마 모델의 평가 결과이다. 이 결과를 보면 같은 모델 크기에서 라마가 경쟁력이 있고, 작은 모델도 잘 된다는 것을 볼 수 있다.

라마 13B가 GPT3보다 수치가 앞서고 GPT3의 높은 성능을 생각해 보면 이런 수치가 모델의 성능을 완전히 드러내기에는 부족한 감이 있다.

LLaMA-65B는 NaturalQuestions와 TriviaQA에서 SOTA 성능을 보임
LLaMA-13B는 Chinchilla와 경쟁할 수 있는 수준이며 GPT-3과 비교하였을 때 전 벤치마크에서 압도적인 성능을 보임
LLaMA-13B는 V100에서도 추론할 수 있는 모델 사이즈임

LLaMA-13B의 경우 GPT-3보다 10배이상 작음에도 불구하고 대부분의 평가서 GPT-3보다 우수한 성능을 보이며, 더 나아가 LLaMA-65B의 경우 대부분의 벤치마크에서 Chinchilla, Gopher, GPT-3, PaLM와 유사하거나 더 뛰어난 결과를 보였다. LLaMA는 향후 더 큰 모델에 더 많은 token을 학습시킨 모델을 발표할 계획이다.

현재 GPT-3(175B)기반 ChatGPT가 A100 GPU 8대(서버 1대)로 서비스되고 있다라고 추정되고 있다.

반면 LLaMA-13B은 V100 (32GB) 1대로 실행시킬 수 있으므로 ChatGPT에 비해 추론 비용을 크게 줄일 수 있을 것으로 예상된다.

GitHub: https://github.com/bvnohz/Artificial_Intelligence

GitHub - bvnohz/Artificial_Intelligence

Contribute to bvnohz/Artificial_Intelligence development by creating an account on GitHub.

github.com

Paper : https://arxiv.org/abs/2302.13971

LLaMA: Open and Efficient Foundation Language Models

We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to train state-of-the-art models using publicly available datasets exclusively, witho

arxiv.org

CNN

줄피 — Sat, 11 Nov 2023 19:18:33 +0900

convolution neural network

convolution
하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하여 새로운 함수를 구하는 수학 연산자
: 사람은 이미지를 보거나 실생활을 할때 픽셀을 보지 않는다. 특정한 특징이 있는걸 감지한다.
컨볼루션 주요목적은 이미지에서 특징을 찾는것. 특징 맵 만들어서 픽셀간의 공간관계를 만든다. 동시에 신경망이 감지해서 특정한 이미지를 인식한다.

ReLU: 정류선형
컨볼루션하고 정류화하는 큰 단계. 비선형을 높이기 위함이다. 네트워크에 비선형을 높이는 이유는 이미지 자체는 굉장히 비선형적이다. 다른 객체를 인식하면 이미지에 비선형들이 많아진다. 색도 다양하고 크기도 다양하기 때문이다.

max pooling
: pooling은 convolution을 거쳐서 나온 activation maps가 있을때, 이를 이루는 convolution layer을 resizing하여 새로운 layer을 얻는것이다.

박스안에서 최댓값을 찾고 하나만 남겨둔다. 간격에 따라 오른쪽으로 넘겨준다. 과정을 반복해서 최댓값을 찾는다. 풀링을 하면서 찾는 특징이 아닌 정보를 75% 제거하게 된다. 최대픽셀, 최대값을 사용하기 때문에 왜곡을 설명할 수 있다.
ex. 이미지가 두장있는데 한 이미지에는 얼굴이 치우쳐져 있고 다른쪽을 움직이면서 풀링하면 풀링된 맵이 똑같아 지게 되는것이다. 공간이나 질감의 왜곡을 설명할 수 있게 되는것이다.

flattening
: 풀링된 특징맵을 한행씩 가지고 와서 세로로 길게 만든다. 이후에 인공신경망에 인식시킨다.

full connection
: 인공신경망은 속성과 특성을 다루고 더 잘 예측할 수 있게 해준다.

오차가 계산되고 역전파가 되어서 몇가지가 조정된다. 특징 감지기가 조정. 특정이 틀렸기 때문에 조정을 해서 다음에는 더 나아지길 바란다. 이 모든 건 경사하강법과 역전파를 통해 이루어진다. 계속해서 모든과정이 반복된다.

Summary
먼저 input 이미지에 다양한 특징 감지기를 적용한다. 특징 감지기는 필터라고도 불렸는데 그것으로 특징 맵을 만든다. 특징 맵은 컨볼루션 레이어를 이루어져있다.
컨볼루션 레이어 위에 ReLU, 정류화 선형 유닛을 적용해서 이미지의 선형을 없애고 비선형을 높인다. 그리고 풀링 레이어를 컨볼루션 레이어에 적용한다.
풀링 레이어는 많은 장점이 있다.
풀링 레이어의 주요 목적은 이미지에서 공간 불변성을 확실하게 하는 것이다.
그래서 뭔가 기울거나 비틀렸거나 이상적인 시나리오와 약간 달라도 특징을 인식할 수 있고 거기에 풀링하면 이미지의 크기를 상당히 줄일 수 있다. 풀링은 데이터나 모델이 데이터에 과적합되는 걸 방지한다. 많은 데이터를 제거하기 때문이다.
그러면서도 풀링은 찾는 주요 특징을 보존해준다. 구조화 방식과 사용한 풀링이 최대 풀링이기 때문
그리고 풀링한 이미지를 모두 하나의 긴 벡터 나열로 펼쳐서 인공 신경망에 입력한다.
그게 3단계 평탄화와, 4단계 완전 연결된 인공 신경망이라고 한다.
이곳에서 모든 특징이 네트워크를 통해 처리되고 최종 전결합층이 나오게 되는것이다.
이 층에서 변경하려는 분류에 대한 투표를 실시하게 되는데, 모든 건 순전파와 역전파를 통해 훈련되고 처리 과정과 수많은 반복, 에포크를 통해 마지막에는 아주 잘 정의된 신경망을 갖게 된다.
그리고 또 중요한 점은 인공 신경망에서 가중치만 훈련받는 게 아니라 특징 감지기도 훈련받고 똑같은 경사 하강법을 통해 조정되어서 최상의 특징 맵을 만들어낼 수 있다.
그렇게 완벽하게 훈련받아서 이미지를 인식하고 분류할 수 있는 컨볼루션 신경망이 완성되고 작동한다.

GitHub : https://github.com/bvnohz/DL_practice

ANN

줄피 — Fri, 3 Nov 2023 20:16:02 +0900

뉴런(Neuron) : 인공신경망

뉴런 자체로는 거의 쓸모가 없다. 그러나 동시에 수백개 수천개의 뉴런이 협업하면 큰 효과가 생긴다.

뉴런은 입력신호를 받고 출력을 한다.

여러개의 독립변수로 이루어진 input 값을 뉴런을 통해 출력이 된다. 독립변수는 표준화를 해주어야 한다.

다루고 있는게 한 행이라고 생각하면 된다. 하나의 관측치와 관련된 다른 관측치, 다른 특성, 속성이다.

시냅스: 가중치는 인공신경망에 꼭 필요하다. 가중치를 조정하면서 뉴런이 결정을 내린다.

뉴런 안에는 입력된 모든 값들이 합산이 된다. 모든 입력값의 가중합계는 중요하다. 그리고 활성화 함수를 적용한다. 그걸로 뉴런이 신호에 전달여부를 이해한다. 그리고 뉴런이 다음 뉴런에 신호를 전달한다.

Activation Function 활성화 함수

활성화함수에는 네가지유형이 있다.

1. 한계값 함수

:매우 간단하다. 값이 0보다 작으면 한계값 함수는 0를 전달. 매우 직설적이다.

2. Sigmoid 시그모이드 함수

: x는 가중 합계의 값이다. 로지스틱회귀에서 적용하는 함수. 곡선에 꼬임이 없어서 매끄럽다. 0 아래면 무조건 없는 셈치고, 0 이상이면 1에 가까워진다. 확률을 예측할때 유용하다.

3. Rectifier 정류화 함수

:가장 많이 적용된다. 0까지 가서 0이도되면 거기서부터 입력값이 증가한다

4. Hyperbolic Tangent 하퍼볼릭탄젠트 함수

: 0아래로 내려간다. 값은 0에서 1까지 혹은 대략 1이 되고, 반대쪽은 0에서 -1까지 간다.

입력층의 모든 뉴런은 은닉층 맨위의 뉴런에 연결하는 시냅스가 있다. 그 시냅스에 가중치가 있다.

목표는 비용함수를 최소화하는 것. ŷ과 비교가 끝나면 다시 돌아간다. 가중치를 업데이트하고 조정한다. ŷ과 같아질때까지 계속 똑같은 값을 입력한다.

활성화 함수가 입력되고 비용함수가 바뀌고 그 정보를 다시 신경망에 전달하고 다시 가중치를 조정하는 과정을 반복한다.

- 행이 여러개 있다면?

값을 얻고 실제값과 비교한다. ŷ과의 차이를 기반으로 모든 제곱차이를 합해서 반으로 나눈다. 그럼 전체 비용함수가 나온다. 목표는 돌아가서 가중치를 업데이트하는것. 모든 신경망은 사실 하나의 신경망이다. 가중치는 모든 행에서 동일. 가중치를 공유하는 것. 행이 하나만 있을때 처럼 여러행을 반복한다. (비용함수를 계산하기 위해 비용함수 최소화하고 최종신경망을 찾는다→ 데이터셋을 구성하고 있는 최적의 가중치가 나온다.)

경사하강법 Gradient Descent

경사하강법

: 비용함수가 나와있다. 최적의 옵션을 더빠르게 찾는 방법. 각도를 확인. 특정지점의 기울기가 어느정도인지 알아야한다. 단계별 접근방식. 기울기의 경사를 파악. ex. 산을 내려가면서 경사가 얼만큼인지 멈춰가면서 생각

확률적 경사하강법 Stochastic Gradient Descent

: 비용함수가 볼록할 필요가 없다.

평범한 경사 하강법은 모든 행을 신경망에 연결하고 여기서는 신경망을 여러번 복사해두었지 행들이 연결된 신경망은 매번 똑같은 신경망에 연결된 거라 결국 신경망은 하나 뿐이다.

그리고 행이 입력되면 공식에 따라서 비용 함수를 계산한다. 그리고나서 가중치를 조정한다. 이걸 경사 하강법이라고 부른다.

정확한 명칭으로는 배치 경사 하강법이라고 한다.

확률적 경사하강법은

매 행마다 가중치를 조정하는것. 한번에 한 행만 조정하고 똑같은 과정 반복한다. 더 느릴것 같지만 더 빠르다. 전체데이터 메모리에 넣어서 돌리기 때문에 기다릴 필요가 없는 것이다.

역전파 backpropagation

역전파는 고급 알고리즘이라 정교한 수학으로 작동해서 모든 가중치를 함께 조정한다. 모든 가중치를 개별적으로 조정해야한다. 장점은 역전파 과정동안 알고리즘 구조방식 덕분에 모든 가중치를 동시에 조정할 수 있다.

y와 ŷ과의 오차 또는 제곱 차이의 합이 신경망을 통해 역전파가 되고 가중치가 조정된다.

무차별방식을 사용하지 않는이유? → 최적화할 수 있는 방식이 단하나라면 차원의 저주를 맞닥뜨리기 때문

*차원의 저주: 데이터의 차원이 높아질 수록 알고리즘의 실행이 아주 까다로워지는 일이다.

CNN (Convolutional Neural Network)

줄피 — Thu, 26 Oct 2023 18:22:55 +0900

CNN

:주로 컴퓨터 비전(이미지, 동영상관련 처리) 에서 사용되는 딥러닝 모델로 이미지로 부터 특성을 추출하는 Convolution 레이어를 전처리 Layer로 포함시킨 딥러닝 모델.

Image Classification (이미지 분류)

입력된 이미지가 어떤 라벨에 대응되는지 이미지에 대한 분류(Classification)을 처리. 딱 그 물체의 사진

Object Detection(물체 검출)

이미지 안의 Object(물체)들의 위치를 찾고 어떤 물체인지 분류하는 작업을 한다.

Localization : 이미지안에서 하나의 Object의 위치와 class를 분류한다.

Detection: 이미지 안의 여러개의 Object의 위치와 Class를 분류한다.

Object Detection

Image Segmentation(세분화)

: 이미지를 입력받아서 픽셀별로 분류

Semantic segmentation(의미기반 세분화)

클래스 단위로 구분한다.

같은 클래스는 같은 것으로 구분한다.

Instance segmantation(인스턴스 기반 세분화)

각 객체 단위로 구분한다.

동일한 클래스라도 다른 객체일 경우 다른 것으로 구분한다.

Instance Segmentation은 어디있는지만 알려주는게 아니라 하나하나 물체가 무엇인지 알려준다.

Super Resolution

: 저해상도의 이미지를 고해상도로 변환

keypoint detection(특징점 검출)

인간의 특징점(Keypoint)들을 추정한다.

풀고자 하는 문제에 따라

- Human Pose estimation: 사람의 관절을 검출해 자세를 추정. 가장 일반적인 것. (ex. 운동분야)

- Face keypoint detection: 사람얼굴의 각 특징점을 추출해 사람의 표정등을 추정 (ex. 차량안에서 사람이 졸고 있는지 아닌지 표정으로 알아볼수 있다.)

- Hand detection: 손가락 관절들을 검출하여 손의 형태를 추정한다.

=> 찾고싶은 포인트들로 정보를 얻을 수 있다.

Computer vision이 어려운 이유

1. 사람과 컴퓨터가 보는 이미지의 차이가 있다.

2. 배경과 대상이 비슷해서 구별이 안되는 경우(명암이나 배경에 의해 경계가 구별이 안된다.)

3. 같은 종류의 대상도 형태가 많다.

4. 대상이 가려져 있는경우

5. 같은 class에 다양한 형태가 있다.

Deep Learning 개요

줄피 — Tue, 24 Oct 2023 21:08:28 +0900

인공지능(AI): 기계가 사람의 지능을 모방하게 하는 기술. 규칙기반, 데이터 학습기반

데이터에서 패턴을 찾아서 무언가를 예측해야하는 것: 데이터 학습기반(컴퓨터)
규칙 기반 시스템은 사람이 수동으로 규칙을 정의하고, 데이터 기반 시스템(추론, 예측)은 데이터에서 패턴을 학습하는 방식으로 동작한다.

머신러닝(Machine Learning)

: 데이터 학습 기반의 인공지능 분야

기계에게 어떻게 동작할지 일일이 코드로 입력하지 않고 데이터를 이용해 학습할 수 있도록 하는 알고리즘 기술을 개발하는 인공지능의 한 분야이다.

딥러닝(Deep Learning)

: 인공신경망 알고리즘을 기반으로 하는 머신러닝의 한 분야. 비정형데이터에서 뛰어난 성능을 나타낸다.

- 비정형 데이터

: 정해진 규칙 없이 저장되어 값의 의미나 특성을 쉽게 파악할 수 없는 데이터 ex. 텍스트, 영상, 음성데이터

- 정형 데이터

: table형태의 미리 정해 놓은 형식과 구조에 따라 저장되도록 구성된 데이터로 그 의미나 특성파악이 용이하다.

ex. 관계형 데이터베이스

기존 프로그래밍 방식과 머신러닝 방식의 차이

기존 프로그래밍 방식: 알고리즘을 사람이 생각한다.

머신러닝: 알고리즘에 데이터를 학습시켜 찾아낸다.

데이터 관련용어

Feature: 추론하기 위한 근거가 되는 값들을 표현하는 용어. 예측하거나 분류해야하는 데이터의 특성, 속성값을 말한다.

입력변수, 독립변수라고도 한다.

Label: 예측하거나 분류해야 하는 값들을 표현하는 용어. 출력변수, 종속변수, Target이라고도 한다.

전통적 기계학습(Machine Learning) process

: 좋은 입력을 해야 좋은 output이 나온다.

딥러닝 process

: 특징 추출하는 모델을 안에 다가 넣어서 다 학습시켜야한다. (많은 데이터가 있어야한다.)