구글 AI 팀이 공개한 'BERT(Bidirectional Encoder Representations from Transformers)' 는 문장을 앞뒤 양방향에서 이해하는 최초의 대형 사전학습 언어 모델이다. 2019년 구글 검색에 적용되면서 질의 이해 능력이 실질적으로 개선됐고, 기업이 LLM 을 제품에 넣기 시작한 출발점이 됐다.
Research2018년 10월
BERT 공개 — 검색 엔진에 AI 가 들어가다
구글의 양방향 언어 모델이 등장하고, 곧 구글 검색 품질을 크게 끌어올렸다.
출처 / 더 읽을거리
https://arxiv.org/abs/1810.04805