CNN24 [딥러닝을이용한 자연어 처리 입문] 1202 자연어 처리를 위한 1D CNN(1D Convolution Neural Network) 2. 1D 합성곱(1D Convolution) - 자연어 처리에 사용되는 1D CNN도 입력이 되는 것은 각 단어가 벡터로 변환된 문장 행렬로 LSTM과 입력을 받는 형태는 동일 - 1D CNN에서 커널의 너비는 문장 행렬에서의 임베딩 벡터의 차원과 동일하게 설정됨. 그렇기 때문에 1D CNN에서는 높이 사이즈만을 명명하여 해당 커널의 사이즈라고 간주함. 가령, 커널의 사이즈가 2인 경우에는 아래의 그림과 같이 높이가 2, 너비가 임베딩 벡터의 차원인 커널이 사용됨(커널 사이즈는 마음대로 변경할 수 있음) - 1D CNN에서는 커널이 문장 행렬의 높이 방향(아래쪽으로만)으로만 움직이게 되어있음 - 1D CNN과 자연어 처리 관점에서는 커널의 사이즈에 따라서 참고하는 단어의 묶음의 크기가 달라짐. 이는 참.. 2021. 5. 26. [딥러닝을이용한 자연어 처리 입문] 1201 합성곱 신경망(Convolution Neural Network) 위의 그림에서 CONV는 합성곱 연산을 의미하고, 합성곱 연산의 결과가 활성화 함수 ReLU를 지남. 이 두 과정을 합성곱층(Convolution layer)이라고 함. 그 후에 POOL이라는 구간을 지나는데 이는 풀링 연산을 의미하며 풀링층(Pooling layer)이라고 함. 1. 합성곱 신경망의 대두 - 이미지를 다층 퍼셉트론을 이용하여 분류 시 이미지를 1차원 텐서인 벡터로 변환하여 다층 퍼셉트론의 입력층으로 사용하는데 이 1차원으로 변환된 결과는 변환 전에 가지고 있던 이미지의 공간적인 구조(spatial structure) 정보가 유실된 상태임 - 여기서 공간적인 구조 정보라는 것은 거리가 가까운 어떤 픽셀들끼리는 어떤 연관이 있고, 어떤 픽셀들끼리는 값이 비슷하거나 등을 포함하고 있음. 결국.. 2021. 5. 26. [K-ICT 빅데이터센터] 파이썬 텐서플로우(v1.x) 딥러닝 Ch12. 깊은 신경망을 위한 딥러닝 학습-최권택교수 1. 기울기 소실 문제 2. 기울기 소실을 위한 활성화 함수 3. 효과적인 가중치 초기화 4. 학습 수렴 속도 최적화 5. TensorFlow를 이용한 실습 ★ 강의자료, 소스코드 다운받기 : https://kbig.kr/portal/kbig/datacube/... - 출처: [K-ICT 빅데이터센터] 파이썬 텐서플로우(v1.x) 딥러닝 Ch12. 깊은 신경망을 위한 딥러닝 학습-최권택교수 2021. 4. 24. [K-ICT 빅데이터센터] 파이썬 텐서플로우(v1.x) 딥러닝 Ch11. 인간의 시각적 특성을 반영한 컨볼루션 신경망-최권택교수 1. 컨볼루션 신경망에 대한 이해 2. 컨볼루션과 풀링 계층 3. 다층 신경망 계층 4. 컨볼루션 신경망 응용 분야 5. TensorFlow를 이용한 실습 ★ 강의자료, 소스코드 다운받기 : https://kbig.kr/portal/kbig/datacube/... - 출처: [K-ICT 빅데이터센터] 파이썬 텐서플로우(v1.x) 딥러닝 Ch11. 인간의 시각적 특성을 반영한 컨볼루션 신경망-최권택교수 2021. 4. 24. 이전 1 2 3 4 5 6 다음
