[KT 에이블스쿨(6기, AI)] 10주차, 언어지능 딥러닝

<10주차 후기> 

• 언어지능 딥러닝에 대해 배웠습니다! 자연어 처리의 역사부터 현재는 개발의 필수 플랫폼이 되어버린 CHAT-GPT가 탄생하게 된 과정까지 알게 되었고, 잘 훈련된 모델이 모여있는 Hugging Face를 활용하여 직접 실습도 진행해 봤는데요! API만 불러오면 다양한 기능을 손쉽게 구현할 수 있는 Hugging Face의 편리함에 대해 감탄했습니다..
• 직접 뉴스 기사를 수집하여 키워드를 추출해보고, 네이버 영화 리뷰 데이터를 활용하여 긍정 리뷰인지 부정 리뷰인지 분류하는 실습도 해봤는데 여러가지 자연어 처리 기법을 사용해 볼 수 있어서 좋았어요!
• 특히 마지막 날 진행했던 PLM, LLM, RAG 방식으로 나눠서 실습했던 부분을 통해 이론으로는 와닿지 않았던 각 기법에 차이에 대해 명확히 할 수 있었습니다!

 

자연어 처리(NLP: Natural Language Processing)
사람이 사용하는 언어를 컴퓨터가 이해하고 처리할 수 있도록 하는 기술

 

자연어 처리의 역사

TF-IDF → Word2Vec → Seq2Seq, Transformer → PLM → LLM 

 

One-Hot Encoding

→ but 자연어 단어 표현에는 부적합. 이유는?

• 의미 반영 X: 고유한 위치에 1을 갖고 나머지는 0인 벡터로 표현되므로 단어의 의미나 유사성을 반영 X
• 고차원 저밀도 벡터: 단어 수가 많아질수록 벡터 차원이 커져 계산이 비효율적

→ 이를 해결하기 위해 분포 가설(유사한 맥락에 등장하는 단어들이 유사한 의미를 가진다.)에 기반한 벡터화 방법 필요

1. 카운드 기반: 특정 문맥 안에서 단어들이 동시에 등장하는 빈도를 계산(TF-IDF)

2. 예측 기반: 신경망 모델 등을 통해 문맥 내 단어들을 예측하면서 벡터를 학습(Word2Vec, GloVe 등)

 

TF-IDF

"문서에서 단어의 중요도를 기반으로 각 단어의 가중치를 계산하여 벡터화"
→ 텍스트의 특성을 잘 드러내는 단어들을 강조하고 의미 없는 일반적인 단어는 제외

• TF(Term Frequency): 특정 단어가 문서 내에 얼마나 자주 등장하는지
• IDF(Inverse Document Frequency): 전체 문서 집합에서 단어가 얼마나 드문지

유사도: TF-IDF로 벡터화한 텍스트는 다양한 유사도 계산에 활용

• 자카드 유사도: 공통 요소의 비율 계산(벡터화 필요 X)
• 코사인 유사도: 벡터의 각도(방향) 비교
• 유클리디언 유사도: 벡터 간의 유클리디언 거리(`(x2​−x1​)^2+(y2​−y1​)^2`) ​
• 맨해튼 유사도: 벡터 간의 맨해튼 거리(`∣x2​−x1​∣+∣y2​−y1​∣`)

※ TF-IDF + 코사인 유사도 조합을 가장 많이 사용

 

Word2Vec

주변에 위치한 단어들을 통해 그 단어의 의미를 파악(단어의 관계를 잘 표현하는 벡터를 학습) 

 

Transformer

순차적 처리 방식을 채택하는 기존 모델(예: RNN, LSTM)과는 달리, 병렬 처리 가능 → 강력한 성능
Attention만으로 구성(구글의 "Attention is all you need")

Attention

• 단어간의 관계를 동적으로 학습하여 긴 문장이나 복잡한 문맥에서도 정확한 의미 파악 가능
• 모든 단어간의 관계를 동시에 고려 
• 원문의 길이가 길어져도 성능 감소 X

 

PLM(Pretrained Language Model) 

대규모 텍스트 데이터로 사전 학습(pre-training)된 모델을 특정 작업에 맞게 미세 조정(fine-tuning)하여  최적화
(GPT, BERT, BART)

 

LLM(Large Language Model)

수십억~수백억 개의 대규모 데이터셋을 활용하여 별도의 조정 없이도 사람의 명령을 수행할 수 있는 대규모 모델
(GPT3, ChatGPT) 

 

RAG(Retrieval Augmented Generation)

정보 검색과 생성 모델을 결합한 접근 방식 → 최신성, 정확성 ↑

• 검색기(Retriever): 주어진 질문이나 입력에 대해 관련 정보를 검색
• 생성기(Generator): 검색된 정보를 바탕으로 자연스러운 문장이나 답변을 생성

 

Hugging Face

• 사전 학습된 모델 api 제공
• 데이터셋 api 제공
• 다양한 외부 라이브러리와 호환 

Hugging Face – The AI community building the future.