언어 모델10 [edwith] 딥러닝을 이용한 자연어 처리 : Long Term Dependency - 조경현교수 [LECTURE] Long Term Dependency : edwith 학습목표 Neural N-Gram Language Model 이 해결하지 못한 장기의존성 문제를 해결해봅니다. 핵심키워드 Neural N-Gram Language Model 데이터... - 커넥트재단 www.edwith.org 학습내용 신경망을 이용한 n-gram 모델이 장기의존성 문제를 해결하지 못한 이유는 단순히 n-gram 을 보기 때문입니다. 신경망을 사용하여 데이터 희소성 문제는 없어졌지만, 단순하게 n 을 늘리게 되면 네트워크 규모가 커져 학습해야할 매개변수가 많아지고, 이에 따른 데이터도 많이 필요하게 됩니다. 해결방법 1: Convolution Language Model Dilated convolution 을 사용하면 .. 2021. 3. 18. [edwith] 딥러닝을 이용한 자연어 처리 : Neural N-Gram Language Model - 조경현교수 [LECTURE] Neural N-Gram Language Model : edwith 학습목표 신경망을 이용한 n-gram 언어 모델을 학습하고 이전에 해결하지 못한 데이터 희소성 문제를 해결해봅니다. 핵심키워드 Neural N-Gram Language Model ... - 커넥트재단 www.edwith.org 학습내용 Neural N-Gram Language Model 신경망을 사용함으로서 데이터 희소성(data sparsity) 문제를 해결 할 수 있습니다. 기존의 카운트 기반 모델 보다 훈련 데이터에서 나오지 않았었던 N-gram 을 계산 할 수가 있었습니다. 어떻게 이것이 가능할까요? 그전에 데이터 희소성(data sparsity) 문제가 생기는 이유를 살펴봐야합니다. 간단한 대답은 토큰들이 훈련.. 2021. 3. 18. 이전 1 2 3 다음