본문 바로가기

IT 와 Social 이야기/NLP 자연어처리167

[딥러닝논문읽기모임] 2021 AAAI - MERL : Multimodal Event Representation Learning in Heterogeneous Embedding Spaces - 어떤 하나의 사건을 Embedding 공간안에 표현하는 방법으로 학습을 시키는 방법론, Event Representation 방법을 통해 학습을 하는 방법에 대해 소개 - 하나의 문장을, 주어 동사 목적어가 동일한 세개의 문장으로 표현하고, 해당 문장들로 학습을 시켰을때 매우 극적으로 성능향상이 이루어지는것을 확인 2021. 12. 2.
[딥러닝논문읽기모임]2021 EMNLP paper explained : Enhancing Code Summarization with Hierarchical Splitting ○ Code Summarization - 소스코드를 간결한 자연어로 나타내는 태스크로서 긴 코드가 있을 때 시멘틱을 짧게 한 두 문장 정도의 자연어로 나타내어 사람이 빠르게 이해할 수 있도록 하는 것 - 이러한 테스크를 해결하기 위해 해당 논문은 Hierarchical Splitting and Reconstruction 라는 방법을 제시 2021. 11. 25.
[DSBA] Paper Review : Semi-Supervised Text Classification with Balanced Deep Representation Distributions 2021. 11. 21.
자연어 처리 논문 리뷰 : [나동빈] 딥러닝 기반의 최신 언어 모델(GPT)의 개인정보 유출 문제: Extracting Training Data from Large Language Models ● 리뷰하신 나동빈님의 설명 요약 - 오늘 영상에서 다루는 논문은 GPT-2처럼 큰 언어 모델(large language model)에서 학습 데이터(training data)를 추출하는 공격 방법을 제안합니다. - 본 논문은 2020년 12월에 출간되었으며, 다양한 AI 서비스에서 널리 쓰이고 있는 "학습된 GPT-2 네트워크로부터 해당 네트워크가 학습 당시에 사용했던 개인정보가 포함된 학습 데이터"를 추출하는 것이 가능함을 보였습니다. - 본 논문에서 제안한 메서드는 언어 모델을 기반으로 하는 서비스가 배포되기 전에, 모델의 취약점을 분석하기 위한 목적으로 효과적으로 사용될 수 있습니다. ● 학습 기대 효과 ① 딥러닝 기반의 큰 언어 모델에 대한 개인정보 추출 공격 방법을 이해할 수 있습니다. ② 언.. 2021. 6. 30.