본문 바로가기
IT 와 Social 이야기/NLP 자연어처리

[딥러닝을이용한 자연어 처리 입문] 0210 한국어 전처리 패키지 Text Preprocessing Tools for Korean Text

by manga0713 2021. 5. 16.

1. PyKoSpacing

 

전희원님이 개발한 PyKoSpacing은 한국어 띄어쓰기 패키지로 띄어쓰기가 되어있지 않은 문장을 띄어쓰기를 한 문장으로 변환해주는 패키지입니다.

 

 

 

2. Py-Hanspell

 

네이버 한글 맞춤법 검사기를 바탕으로 만들어진 패키지입니다.

 

 

 

3. SOYNLP를 이용한 단어 토큰화

 

soynlp는 품사 태깅, 단어 토큰화 등을 지원하는 단어 토크나이저입니다.

 

 

4. Customized KoNLPy

 

사용자 사전 추가가 매우 쉬운 패키지 입니다.

 

 

nlp_0210_text_preprocessing_tools_for_korean_text.ipynb
0.01MB

 

- 출처 : [딥러닝을이용한 자연어 처리 입문] 0210 한국어 전처리 패키지 Text Preprocessing Tools for Korean Text