word2vec

Question

1. //i am a boy. But you are a girl //이런 문장이 있다고 하면 문장이 2개입니다. 여기에서 워드2벡을 하게 되면 만약 윈도우가 2라면 다른 문장으로 넘어가도 상관없이 계속 그 text가 끝날때까지 진행이 되나요? 2. ". ! ? , " 이러한 기호들이 문장에 많이 나온다면 fasttext기술에선 저런 기호도 하나의 단어로이렇게 취급하는지 궁금합니다 3. 문장을 구분하는것이 ' . '일텐데 .을 활용하여 문장단위로 워드 임베딩하는 기술도 있나요? 예를 들어 fasttext의 경우 단어를 처럼 <>을 사용하여 구분한다고 알고 있는데 만약 단어내부를 더 쪼개서 word2vec과 비슷한 알고리즘으로 임베딩 해서 좋은 효과를 본다면 문장을 [ <.>] [ ]이런 식으로 나누어 fasttext를 한다면 더 좋은 효과를 볼수는 없을까요?

Justin · Answer

안녕하세요, Justin입니다. 1. Word2Vec을 적용할 때 문장 단위를 기준으로 보통 적용됩니다. I am a boy 에 대해서 I, am, a, boy 각각에 대해 Window Size 만큼 참조하여 진행되며, But, you, are, a, girl 각각에 대해 Window Size 만큼 참조하여 진행됩니다. boy 와 girl 은 context에 포함되지 않습니다. 2. 해당되는 내용은 FastText 기술이 적용되기 전에 일반적으로 통일해줍니다. 보통 문장 부호를 <PUNC> 으로 통일하여 표기합니다. 3. 문장 단위로 임베딩을 적용하는 Sentence Embedding 이라는 연구 분야도 있으며, 문장들의 모음을 바탕으로 벡터화 하는 Sentence Piece 단위도 있습니다. 해당되는 키워드를 바탕으로 검색해서 보시면 도움이 될 것 같습니다. 감사합니다.