====== BERT [버트]  ======
<WRAP left notice 80%>
  * description : BERT
  * author      : 오션
  * email       : shlim@repia.com
  * lastupdate  : 2020-07-15
</WRAP>
<WRAP clear></WRAP>

===== Python =====
[[https://www.kaggle.com/abhinand05/bert-for-humans-tutorial-baseline]]

===== 용어 =====
* BERT[버트, Bidirectional Encoder Representation from Transformers, 바이디렉셔널 인코더 레프리젠테이션 프럼 트랜스포머스]\\
* NLP [Natural Language Processing, 내추럴 랭귀지 프라세싱, 자연어 처리]
   * [[https://medium.com/@dodghekgoo/nlp-%EC%8B%9C%EC%9E%91%ED%95%98%EA%B8%B0-%EA%B8%B0%EC%B4%88%ED%8E%B8-d07405383453|NLP 시작하기, 기초편]]
* Transformer [트랜스포머] : 2017년 구굴이 발표한 범용 딥러닝 모듈 아키텍처. 병렬처리를 통한 학습 속도의 향상이 가장 큰 장점.
   * [[https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html|Transformer: A Novel Neural Network Architecture for Language Understanding]]
* 텍스트 코퍼스[Text corpus, 
  * 크고 구조화된 텍스트 집합으로 구성된 언어 리소스입니다. 특정 언어 영역 내에서 통계 분석 및 가설 테스트, 발생 확인 또는 언어규칙 유효성 검사에 사용됩니다. 

===== 정리 =====
- 자연 언어 처리 태스크를 교육없이 양방향으로 사전학습하는 첫 시스템입니다.\\
- 딥러닝 프레임워크인 파이토치(PyTorch)와 텐서플로우(Tensorflow) 환경 모두에서 사용 가능.\\
- 문장 내 어절을 한 글자씩 나눈 뒤, 앞뒤로 자주 만나는 글자끼리 단어로 인식\\
- 구글은 위키백과 문서 데이터를 사용해 한국어 언어모델을 개발\\


===== Ref =====
8-)[[https://medium.com/ai-networkkr/%EC%B5%9C%EC%B2%A8%EB%8B%A8-%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5-%EC%86%94%EB%A3%A8%EC%85%98%EB%93%A4-1-%EA%B5%AC%EA%B8%80-bert-%EC%9D%B8%EA%B0%84%EB%B3%B4%EB%8B%A4-%EC%96%B8%EC%96%B4%EB%A5%BC-%EB%8D%94-%EC%9E%98-%EC%9D%B4%ED%95%B4%ED%95%98%EB%8A%94-ai-%EB%AA%A8%EB%8D%B8-9704ebc016c4|최첨단 인공지능 솔루션들:(1) 구글 BERT, 인간보다 언어를 더 잘 이해하는 AI모델]]\\
:-)[[https://cloud.google.com/tpu/docs/tutorials/bert?hl=ko|Cloud TPU를 사용한 BERT 미세 조정:문장 및 문장 쌍 분류 태스크]]\\
:-D[[http://www.aitimes.kr/news/articleView.html?idxno=13117|인공지능(AI) 언어모델 'BERT(모델)"는 무엇인가]]\\
LOL[[https://github.com/google-research/bert|google-research / bert]]\\
:-D[[https://www.aitimes.kr/news/articleView.html?idxno=15036|자연언어처리(NLP) 무엇인가...그 기술과 시장은?]]\\
:-D[[https://www.aitimes.kr/news/articleView.html?idxno=16599|OpenAI, 혁신적인 AI 자연어처리(NLP) 모델 'GPT-3'공개]]\\
:-D[[http://www.aitimes.kr/news/articleView.html?idxno=13861|AI 서비스 개발 한층 고도화될 듯..최신 한국어 언어 모델'코버트'공개]]\\
:-D[[https://blog.est.ai/2019/11/task-oriented-dialog-systems-meet-bert/|BERT를 활용한 챗봇 시스템]]
{{tag> 오션 BERT 버트 }}