bert

BERT 개념 쉽게 이해하기

BERT는 Bidirectional Encoder Representations from Transformers 즉, Transformer의 Encoder 구조를 이용하여 문맥을 양방향으로 이해하는 모델이다. BERT가 나오게 된 배경은 2018년 OpenAI에서 Transformer의 Decoder 구조를 사용하여 GPT-1을 출시했는데, 얼마 지나지 않아 구글에서 “GPT-1은 문맥이 중요한 Task인 QA나 LNI 등에서 좋지 않아 !!”라면서 BERT를 출시했다. 최근 OpenAI의 ChatGPT가 큰 화제를 얻자 이에 맞서 구글에서 Bard를 출시하는 것처럼 두 기업은 뭔가 경쟁 관계를 이어나가고 있는 것 같다. (그래서 NLP가 빠르게 발전할 수 있지 않을까?) 다시 본론으로 돌아와서 BERT는..