하이퍼 파라미터 튜닝 관련 질문입니다.

안녕하세요.

강의는 필요한만큼 듣고 내용을 실제 적용해 보는 중인데, 하이퍼파라미터 때문에 뇌가 터질것 같습니다.

중구난방 흩어져있는 정보도 그렇고..파이썬래퍼와 사이킷런래퍼 이름 찾는것도 그렇고.. 뭐 그래도 이제 슬슬 정리는 되가고 있는데... 근본적인 문제에 도착했습니다.

일단 튜닝 방법론으로 두가지를 생각했습니다.

1. 알려진 중요도와 상관관계에 따라 덩어리 별로 튜닝한다.
   - 진행하지 않은것은 디폴트로
   - 결과가 나온것은 명시적으로 픽스

2. 조절하려는 파라미터를 전체 튜닝 한 후 그중 높은 중요도 순으로 개별 튜닝한다.

지금 돌려보고는 있는 중인데...(참 하세월이네요. ㅠ_ㅠ) 로그 찍히는걸 보고 있자니 의문이 드는 겁니다. 하이퍼파라미터가 독립적으로 작용하지 않고, 서로에게 영향을 주고, 과적합을 막기도 하고 있는데...

1번의 경우는 먼저 진행한것들이 기타 파라미터들이 정해지지 않은 상태에서 튜닝이 되고... 그 뒤에 나머지 들이 정해진다면, 먼저 정해진 것이 나중에 정해진 것들에 영향을 받기에 다시 튜닝 해야하는거 아닌가? 그리고 초반에 튜닝 한것들을 이런 연유로 수정하고 나면 그 뒤에 것들도 다시 해야해서 결국은 무한 루프에 빠지게 됩니다.

2번도 결국 비슷한 이야긴데... 전체를 적절히 튜닝하고 난 후에(전체적으로 조화로운 상태에서) 그중 특정 파라미터를 튜닝하는 것이 과연 맞는 것인지...

(슈퍼컴퓨터를 사서 모든 경우의 수를 다 뒤지는게 정답일까요? ㅠ_ㅠ)

어째건... 제가 궁금한 것은 내가 생각해낸 방법론은 과연 효율적인가? 그리고 무한루프 돌지 않고 적정선에서 빠져나가는 방법이 있을까? 입니다.

아 그리고 lightbgm 기준으로 아래와 같은 3덩어리를 순서대로 튜닝한다 면 어떤 순서가 가장 다른 파라미터에 영향을 덜 받을 까요?

1. learning_rate, num_boost_rounds
2. max_depth , num_leaves
3. etc

강의 잘 들었고... CNN강의도 잘 듣고 있습니다.(CNN 파라미터 튜닝은 또 어떻게 할지 미리부터 걱정이네요. ㅠ_ㅠ)

진심으로 감사드립니다.