elmo2 [딥러닝을이용한 자연어 처리 입문] 1009 엘모(Embeddings from Language Model, ELMo) 1. ELMo(Embeddings from Language Model) - 같은 표기의 단어라도 문맥에 따라서 다르게 워드 임베딩(Contextualized Word Embedding)을 할 수 있는 모델 2. biLM(Bidirectional Language Model)의 사전 훈련 - 순방향 언어모델과 역방향 언어모델이 각각의 은닉 상태만을 다음 은닉층으로 보내며 훈련시킨 후에 ELMo 표현으로 사용하기 위해서 은닉 상태를 연결(concatenate)시킴 4. ELMo 표현(represenatation, 벡터)을 사용해서 스팸 메일 분류하기 - 텐서플로우 버전을 1로 다운그레이드 필요 - 출처 : [딥러닝을이용한 자연어 처리 입문] 1009 엘모(Embeddings from Language Model.. 2021. 5. 22. [KoreaUniv DSBA] 강필성 교수: 08-3: ELMo (Kor) Unstructured Data Analysis 08-3: ELMo - Bi-directional Language Model - Pre-trained Word Vectors https://github.com/pilsung-kang/text-... 2021. 3. 5. 이전 1 다음
