본문 바로가기

자연어 처리116

[데이터 사이언스 스쿨] ml4.1 KoNLPy 한국어 처리 패키지 ○ 한국어 말뭉치 KoNLPy에서는 대한민국 헌법 말뭉치인 kolaw와 국회법안 말뭉치인 kobill을 제공한다. 각 말뭉치가 포함하는 파일의 이름은 fields 메서드로 알 수 있고 open 메서드로 해당 파일의 텍스트를 읽어들인다. ○ 형태소 분석 - Hannanum: 한나눔. KAIST Semantic Web Research Center 개발 - Kkma: 꼬꼬마. 서울대학교 IDS(Intelligent Data Systems) 연구실 개발 - Komoran: 코모란. Shineware에서 개발 - Mecab: 메카브. 일본어용 형태소 분석기를 한국어를 사용할 수 있도록 수정 - Open Korean Text: 오픈 소스 한국어 분석기. 과거 트위터 형태소 분석기 - 출처 : [데이터 사이언스 스쿨.. 2021. 5. 6.
[데이터 사이언스 스쿨] ml3.1 NLTK 자연어 처리 패키지 ○ NLTK(Natural Language Toolkit) 패키지는 교육용으로 개발된 자연어 처리 및 문서 분석용 파이썬 패키지다. ○ 말뭉치(corpus) : 자연어 분석 작업을 위해 만든 샘플 문서 집합을 말한다. - 단순히 소설, 신문 등의 문서를 모아놓은 것도 있지만 품사, 형태소 등의 보조적 의미를 추가하고 쉬운 분석을 위해 구조적인 형태로 정리해 놓은 것을 포함한다. - NLTK의 말뭉치 자료는 설치시에 제공되지 않고 download 명령으로 사용자가 다운로드 받아야 한다. ○ 토큰(token) 생성 자연어 문서를 분석하기 위해서는 우선 긴 문자열을 분석을 위한 작은 단위로 나누어야 한다. 이 문자열 단위를 토큰(token)이라고 하고 이렇게 문자열을 토큰으로 나누는 작업을 토큰 생성(toke.. 2021. 5. 6.
[퇴근후딴짓] TensorFlow 2.X, 딥러닝 시작하기 III - 어텐션을 활용한 기계 번역 2021. 4. 15.
[딥러닝논문읽기모임] Extracting Training Data from Large Language Models - 자연어처리 팀: 김은희, 박희수, 신동진 2021. 4. 14.

티스토리툴바