[딥러닝을이용한 자연어 처리 입문] 1703 셀프 어텐션을 이용한 텍스트 분류(Multi-head Self Attention for Text Classification)

[ 이미지 출처 : Step flow of calculating outputs of self-attention layer ]

 

 

- 목표 : 트랜스포머의 인코더(셀프 어텐션이라는 메커니즘을 통해 문장을 이해)를 사용하여 텍스트 분류를 수행

 

 

1. 멀티 헤드 어텐션

 

 

2. 인코더 설계하기

 

 

3. 포지션 임베딩

 

 

4. 데이터 로드 및 전처리

 

 

5. 트랜스포머를 이용한 IMDB 리뷰 분류

 

 

 

nlp_1703_Multi_head_Self_Attention_for_Text_Classification.ipynb

0.01MB

 

- 출처 : [딥러닝을이용한 자연어 처리 입문] 1703 셀프 어텐션을 이용한 텍스트 분류(Multi-head Self Attention for Text Classification)