-
질문 & 답변
카테고리
-
세부 분야
자연어 처리
-
해결 여부
미해결
word2vec
21.03.14 18:02 작성 조회수 231
0
1. //i am a boy. But you are a girl //이런 문장이 있다고 하면 문장이 2개입니다. 여기에서 워드2벡을 하게 되면 만약 윈도우가 2라면 다른 문장으로 넘어가도 상관없이 계속 그 text가 끝날때까지 진행이 되나요?
2. ". ! ? , " 이러한 기호들이 문장에 많이 나온다면 fasttext기술에선 저런 기호도 하나의 단어로<?>이렇게 취급하는지 궁금합니다
3. 문장을 구분하는것이 ' . '일텐데 .을 활용하여 문장단위로 워드 임베딩하는 기술도 있나요? 예를 들어 fasttext의 경우 단어를 <apple>처럼 <>을 사용하여 구분한다고 알고 있는데 만약 단어내부를 더 쪼개서 word2vec과 비슷한 알고리즘으로 임베딩 해서 좋은 효과를 본다면 문장을 [<i> <am> <a> <boy><.>] [<But> <you> <are> <a> <girl>]이런 식으로 나누어 fasttext를 한다면 더 좋은 효과를 볼수는 없을까요?
답변을 작성해보세요.
1
Justin
지식공유자2021.03.14
안녕하세요, Justin입니다.
1. Word2Vec을 적용할 때 문장 단위를 기준으로 보통 적용됩니다. I am a boy 에 대해서 I, am, a, boy 각각에 대해 Window Size 만큼 참조하여 진행되며, But, you, are, a, girl 각각에 대해 Window Size 만큼 참조하여 진행됩니다. boy 와 girl 은 context에 포함되지 않습니다.
2. 해당되는 내용은 FastText 기술이 적용되기 전에 일반적으로 통일해줍니다. 보통 문장 부호를 <PUNC> 으로 통일하여 표기합니다.
3. 문장 단위로 임베딩을 적용하는 Sentence Embedding 이라는 연구 분야도 있으며, 문장들의 모음을 바탕으로 벡터화 하는 Sentence Piece 단위도 있습니다. 해당되는 키워드를 바탕으로 검색해서 보시면 도움이 될 것 같습니다.
감사합니다.
답변 1