https://www.kaggle.com/abhinand05/bert-for-humans-tutorial-baseline

* BERT[버트, Bidirectional Encoder Representation from Transformers, 바이디렉셔널 인코더 레프리젠테이션 프럼 트랜스포머스]
* NLP [Natural Language Processing, 내추럴 랭귀지 프라세싱, 자연어 처리]

• NLP 시작하기, 기초편

* Transformer [트랜스포머] : 2017년 구굴이 발표한 범용 딥러닝 모듈 아키텍처. 병렬처리를 통한 학습 속도의 향상이 가장 큰 장점.

• Transformer: A Novel Neural Network Architecture for Language Understanding

* 텍스트 코퍼스[Text corpus,

• 크고 구조화된 텍스트 집합으로 구성된 언어 리소스입니다. 특정 언어 영역 내에서 통계 분석 및 가설 테스트, 발생 확인 또는 언어규칙 유효성 검사에 사용됩니다.

- 자연 언어 처리 태스크를 교육없이 양방향으로 사전학습하는 첫 시스템입니다.
- 딥러닝 프레임워크인 파이토치(PyTorch)와 텐서플로우(Tensorflow) 환경 모두에서 사용 가능.
- 문장 내 어절을 한 글자씩 나눈 뒤, 앞뒤로 자주 만나는 글자끼리 단어로 인식
- 구글은 위키백과 문서 데이터를 사용해 한국어 언어모델을 개발

최첨단 인공지능 솔루션들:(1) 구글 BERT, 인간보다 언어를 더 잘 이해하는 AI모델
Cloud TPU를 사용한 BERT 미세 조정:문장 및 문장 쌍 분류 태스크
인공지능(AI) 언어모델 'BERT(모델)"는 무엇인가
google-research / bert
자연언어처리(NLP) 무엇인가...그 기술과 시장은?
OpenAI, 혁신적인 AI 자연어처리(NLP) 모델 'GPT-3'공개
AI 서비스 개발 한층 고도화될 듯..최신 한국어 언어 모델'코버트'공개
BERT를 활용한 챗봇 시스템