본문 바로가기
IT 와 Social 이야기/NLP 자연어처리

[딥러닝을이용한 자연어 처리 입문] 1403 서브워드텍스트인코더 (SubwordTextEncoder)

by manga0713 2021. 5. 28.

1. IMDB 리뷰 토큰화하기

 

 

2. 네이버 영화 리뷰 토큰화하기

 

 

nlp_1403_subwordtextencoder_서브워드텍스트인코더.ipynb
0.01MB

 

 

- 출처 : [딥러닝을이용한 자연어 처리 입문] 1403 서브워드텍스트인코더 (SubwordTextEncoder)

저작자표시

'IT 와 Social 이야기 > NLP 자연어처리' 카테고리의 다른 글

[딥러닝을이용한 자연어 처리 입문] 1502 Word-Level 번역기 만들기(Neural Machine Translation (seq2seq) Tutorial)  (0) 2021.06.01
[딥러닝을이용한 자연어 처리 입문] 1501 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq)  (0) 2021.06.01
[딥러닝을이용한 자연어 처리 입문] 1402 센텐트피스(SentencePiece)  (0) 2021.05.28
[딥러닝을이용한 자연어 처리 입문] 1401 바이트 페어 인코딩(Byte Pair Encoding, BPE)  (0) 2021.05.28
[딥러닝을이용한 자연어 처리 입문] 1305 양방향 LSTM을 이용한 개체명 인식(Named Entity Recognition using Bi-LSTM)  (0) 2021.05.27

관련글

티스토리툴바