tokenization3 [딥러닝을이용한 자연어 처리 입문] 0201 토큰화 Tokenization 1. 단어 토큰화(Word Tokenization) - 토큰의 기준이 단어(word). 여기서 단어(word)는 단어 단위 외에도 단어구, 의미를 갖는 문자열로도 간주되기도 함 - 구두점이나 특수문자를 전부 제거하면 토큰이 의미를 잃어버리는 경우가 발생하기도 함 - 영어와 달리 한국어는 띄어쓰기만으로는 단어 토큰을 구분하기 어려움 2. 토큰화 중 생기는 선택의 순간 - 영어권 언어에서 아포스트로피를(')가 들어가있는 단어는 어떻게 토큰으로 분류해야할까 3. 토큰화에서 고려해야 할 사항 - 구두점이나 특수 문자를 단순 제외해서는 안 된다. - 줄임말과 단어 내에 띄어쓰기가 있는 경우 - 표준 토큰화 예제(Penn Treebank Tokenization의 규칙) 하이푼으로 구성된 단어는 하나로 유지 does.. 2021. 5. 15. [IBN기업은행] Tokenization, 암호화폐시장의 새로운 변화 [ 자산 토큰화 개념 ] *** 출처: Weekly IBK경제브리프, 633호 : Tokenization, 암호화폐시장의 새로운 변화 ■ 자산 토큰화(Tokenization)가 블록체인 활용 기술 중 가장 많은 변화와 혁신이 예상되는 분야로 새롭게 떠오르고 있음 - 자산 토큰화: 경제적 가치를 지닌 자산의 소유권 또는 이익을 블록체인 상에서 디지털 토큰(증권형 토큰)으로 변환시키는 것 - 기존의 가상화폐는 시장에서의 매매를 통해 가격이 결정되는 반면, 자산 토큰화는 실물자산의 가치에 따라 암호화폐의 가치가 변화 ■ 자산 토큰화는 속도, 접근성, 투명성, 비용 효율성 면에서 강점을 가짐 - (속도) 부동산과 같은 비유동자산이 토큰화되면 즉시 시장에서 거래 가능하며, 소유자가 변경될 때마다 별도의 복잡한 서.. 2019. 5. 10. [R Systems International] Developing secured-biometric-payment-model-using-tokenization Developing secured-biometric-payment-model-using-tokenization from R Systems International 2015. 8. 6. 이전 1 다음
