TIL #31) LLM

LLM은 무엇인가???

핫한 ai 챗지피티를 만든 기술

 

챗지피티가 들어서고...
데이터 라벨링을 하는 회사 등 큰 피해를 불러오기도함
챗지피티가 도입된 첫 달부터 stackOverflow의 트래픽 사용량이 14% 감소하는 일도...초비상!!!

---

딥러닝: 테스트 set이 있고 준비한 모델로 트레이닝을 시킨 후 테스트를 통과하도록 파이팅하는 과정

채팅으로 대답하는 구조자체가 어케 되는거임? => 생성형 ai를 알기전에 대화를 이해하는 기술의 핵심

자 연 어 처리!!!!!를 알아보자 NLP

---

자연어: 인간이 일상생활에서 사용하는 언어
NLP를 통해 컴퓨터와 인간언어로 소통하게 되었따

1. 단어를 토큰화 한다(의미있는 단위)
토큰은 보통 단어나 문장을 의미, 컴퓨터는 이 단위를 통해 텍스트를 처리하고 분석한다

2. 토큰화: 텍스트를 숫자로 변환하는 과정이 필요. 컴퓨터는 숫자를 처리하는데 특화되어 있으니까!

3. 이걸로는 언어의 문맥을 알순 없다. word embedding, transfomer와 같은 기술이 활용된다.

4. 어휘 분석
프로그래밍 언어 전산화..? 토큰이 어떤 품사를 가지는지 결정해야한다. 

품사: 문장내에서 어떤 역할을 하는지 나타내는것
형태소 분석이라는 기술이 있다~~!!

5. 파싱(구문분석)
파싱이라는 표현은 문장의 문법적 구조를 분석하는 과정을 뜻한다. 트랜스포머 모델이 각광받기 시작한 이유는 순차적 처리방식이 아닌 모든 단어를 동시에 처리할수있는 self attention 매커니즘을 도입한것!!

이전모델 vs 트랜스포머 모델

self attention: 문장 내의 각 단어가 다른 모든 단어에 주의를 기울이는것. 각 단어는 문장내의 다른 모든 단어와의 관계를 고려해 새로운 단어 벡터를 생성함
attention score(단어간 유사성)이라는 점수기준으로 계산해 새로운 단어 벡터 생성
그리고 유사도 값을 소프트맥스 함수를 통해 정규화를 한 후 모든 단어에 대한 스코어 합이 1이 되도록함

 

6. 의미분석
의미분석에서도 트랜스포머 모델을 사용가능
각 단어와 문장 전체가 가지는 의미를 학습한다. 이를 통해 모델은 문장이 전달하려는 의미를 이해

---

LLM의 시대 -> 우선은 챗지피티의 시대
LLM은 모든 과정을 하나의 모델로 통합해 처리함