-
질문 & 답변
카테고리
-
세부 분야
딥러닝 · 머신러닝
-
해결 여부
해결됨
Text Analysis 실습(Mercari Price Suggestion) 질문
23.05.28 18:44 작성 23.05.28 19:00 수정 조회수 174
0
안녕하세요. 좋은 강의 감사합니다.
실전 텍스트 분석: 04 - Mercari Price Suggestion 피처 인코딩과 피처 벡터화 수행 ( 3분 ~ 4분)
수업 진행 중에 질문이 있습니다.
feature vectorization을 item description에 적용하는 건 이해가 되는데, name에 적용하는 이유가 있을까요?
name 자체가 거의 유니크 하기 때문에 feature 로써
의미가 없지 않을까 해서 질문드려요!
(item description 같은 경우는 각 단어 별로 중복도 많이 생기고 패턴이 생겨서 예측에 도움이 될 거라 생각했고, name 같은경우는 거의 유니크해서 feature 자체에서 제외해야 하지 않을 까 하는데, 잘못 이해 하고 있을까요?)
또한, 예제는 회귀 모델을 보여주셨는데, 분류 모델에서도
좋은 성능을 낼까요?
비정형 데이터(텍스트 문서)와 정형 데이터를 합쳐서 예측 하는 경우 분류 모델 로도 많이 사용되는지 궁금합니다!
감사합니다.
답변을 작성해보세요.
0
권 철민
지식공유자2023.05.29
안녕하십니까,
name을 feature에 포함시킨 이유는 name 자체 속성이 target값에 영향을 미칠 수 있기 때문입니다. 즉 제품명(어떤 제품인지에 따라)에 따라서 target값의 상관도가 존재합니다.
물론 titanic 모델과 같이 이름이 unique하고, target값과 상관이 없는 경우라면 이는 제거하는 게 오히려 오버피팅을 개선하는 측면에서 더 좋을 수 있지만, 여기서는 상황이 좀 다릅니다.
비정형 데이터(텍스트 문서)와 정형 데이터를 합쳐서 예측 하는 것이 특별히 회귀에만 적용하는 것은 아닙니다. 모델이 목표로 하는 바에 따라서 분류에도 적용가능합니다.
감사합니다.
답변 1