• 카테고리

    질문 & 답변
  • 세부 분야

    딥러닝 · 머신러닝

  • 해결 여부

    미해결

Permutation Importance 소개 및 실습

22.10.14 12:33 작성 조회수 244

0

Permutation Importance 소개 및 실습 8분 22초

 

Q1

Ridge(alpha = 1e-2)

에서 alpha 값을 1e-2 로 지정해준 이유가 있을까요?

경험적으로 alpha 값을 위 값으로 지정했을 때 성능이 좋아서 그런가요?

 

마지막으로 e 는 자연상수를 의미하는 것인가요?

파라미터 튜닝할 때 e 를 많이 쓰는데 왜 그런지도 궁금합니다.

 

Q2

10분15초 에서 아래 코드는 무엇을 위해 있는 것인지 궁금합니다. 왜 하필 표준편차의 2 배 값보다 큰 평균을 가진 피처들로 선별했는지 궁금합니다.

 

if r.importances_mean[i] - 2 * r.importances_std[i] > 0:

 

 

답변 부탁드립니다. 감사합니다.

답변 1

답변을 작성해보세요.

1

안녕하십니까,

  1. 1e-2 즉 0.01 로 정한 특별한 이유는 없습니다. 다른 값으로 지정해도 무방합니다.

    파이썬에서는 10의 승수를 표현할 때 e를 사용합니다. log에 e가 사용되면 자연 대수 이지만 log가 아닌 경우 10의 승수 입니다. 1e2는 10의 제곱이고 1e-2는 0.01 입니다.

     

  2. 표준편차의 2 배 값보다 큰 평균을 가진 피처들로 선별했는가는 단순히 경험적인 결과 입니다. 일반적으로 permutation importance 사용할 때 경험적으로 표준편차의 2 배 값 정도를 추천합니다만 꼭 2배일 필요는 없습니다. 2~3배 사이, 예를 들어 2.5배, 2.8배, 3배 정도의 기준을 가지고 feature selection을 적용한 뒤 가장 성능이 뛰어난 결과를 적용해 보면 됩니다.

 

감사합니다.

허쿡님의 프로필

허쿡

질문자

2022.10.17

1e2는 10의 제곱이면 1e 는 맥락상 10의 1 승 즉, 10 을 나타내는 게 아닌가요?

python에서 1e를 단독으로는 사용하지 않습니다.

e 자체는 파이썬에서 유효숫자 지수로 사용되므로 뒤에 반드시 10지수값이 따라 와야 합니다.

 

허쿡님의 프로필

허쿡

질문자

2022.10.19

답변 감사합니다 :)