[딥러닝을이용한 자연어 처리 입문] 1401 바이트 페어 인코딩(Byte Pair Encoding, BPE)

- Subword Tokens & Segmentation

 

[ Subword Tokens or Units ]

 

• OOV, 희귀 단어, 신조어와 같은 문제를 완화시킬 수 있음
• BPE(Byte Pair Encoding)
• Wordpiece Model
• Unigram Language Model Tokenizer

 

1. BPE(Byte Pair Encoding)

 

[ Byte Pair Encoding ]

 

- BPE의 글자 압축(병합) 방식

 

[ BPE for Predicting Changes in Protein Stability upon Single Point Mutation ]

 

2. 자연어 처리에서의 BPE(Byte Pair Encoding)

 

 

3. 코드 실습하기

 

 

nlp_1401_byte_pair_encoding_바이트_페어_인코딩.ipynb

0.01MB

 

 

- 출처 : [딥러닝을이용한 자연어 처리 입문] 1401 바이트 페어 인코딩(Byte Pair Encoding, BPE)