-
카테고리
-
세부 분야
딥러닝 · 머신러닝
-
해결 여부
미해결
Permutation Importance 소개 및 실습
22.10.14 12:33 작성 조회수 244
0
Permutation Importance 소개 및 실습 8분 22초
Q1
Ridge(alpha = 1e-2)
에서 alpha 값을 1e-2 로 지정해준 이유가 있을까요?
경험적으로 alpha 값을 위 값으로 지정했을 때 성능이 좋아서 그런가요?
마지막으로 e 는 자연상수를 의미하는 것인가요?
파라미터 튜닝할 때 e 를 많이 쓰는데 왜 그런지도 궁금합니다.
Q2
10분15초 에서 아래 코드는 무엇을 위해 있는 것인지 궁금합니다. 왜 하필 표준편차의 2 배 값보다 큰 평균을 가진 피처들로 선별했는지 궁금합니다.
if r.importances_mean[i] - 2 * r.importances_std[i] > 0:
답변 부탁드립니다. 감사합니다.
답변을 작성해보세요.
1
권 철민
지식공유자2022.10.14
안녕하십니까,
1e-2 즉 0.01 로 정한 특별한 이유는 없습니다. 다른 값으로 지정해도 무방합니다.
파이썬에서는 10의 승수를 표현할 때 e를 사용합니다. log에 e가 사용되면 자연 대수 이지만 log가 아닌 경우 10의 승수 입니다. 1e2는 10의 제곱이고 1e-2는 0.01 입니다.
표준편차의 2 배 값보다 큰 평균을 가진 피처들로 선별했는가는 단순히 경험적인 결과 입니다. 일반적으로 permutation importance 사용할 때 경험적으로 표준편차의 2 배 값 정도를 추천합니다만 꼭 2배일 필요는 없습니다. 2~3배 사이, 예를 들어 2.5배, 2.8배, 3배 정도의 기준을 가지고 feature selection을 적용한 뒤 가장 성능이 뛰어난 결과를 적용해 보면 됩니다.
감사합니다.
권 철민
지식공유자2022.10.18
python에서 1e를 단독으로는 사용하지 않습니다.
e 자체는 파이썬에서 유효숫자 지수로 사용되므로 뒤에 반드시 10지수값이 따라 와야 합니다.
답변 1