Posts
Q&A
RMSE vs. RMSLE vs. MAE
๊ฐ์ฌ๋, ๋ต๋ณ ๊ฐ์ฌ๋๋ฆฌ๊ณ ์ดํดํ์ง ๋ชปํ์ ๋ถ๋ถ์ ๋ํด ๋ค์ ์ค๋ช ๋๋ฆฝ๋๋ค. ์ฒซ๋ฒ์งธ ์ฌ์ง๋ฌธ ์ ๋ฒ์์ y ๊ฐ์ ๊ฑธ์ณ์ ๋น์ทํ ์ค์ฐจ(|actual - pred|)๊ฐ ๋ํ๋๋ฉด RMSLE์ RMSE์ ๊ฐ์ ๋น์ทํ๊ฒ ๋จ์ด์ง๋ค => ์ด๋ค ์ง๋ฌธ ๋ด์ฉ์ธ์ง๋ ๋๊ฐ ์๊ฒ ๋๋ฐ, ๋น์ทํ ์ค์ฐจ์ RMSLE์ RMSE๊ฐ์ด ๋น์ทํ๊ฒ ๋จ์ด์ง๋ค๋ ๊ฒ์ด ์ ๋งค์นญ์ด ์๋๋๊ตฐ์. ๋ค์ํ๋ฒ ์ ์ ๋ถํ๋๋ฆฝ๋๋ค. => => ๋ชจ๋ธ์ RMSE์ RMSLE๊ฐ ๋ ๋ค ๊ฐ์ ๊ฐ (e.g. RMSE=RMSLE=0.4)์ ๊ฐ์ง ๊ฒฝ์ฐ, "๋ชจ๋ธ์ด ํฌ๊ฒ ์๋ชป ์์ธกํ ๊ฒ์ด ์๋ค"๋ผ๊ณ ํด์ํ๋ฉด ๋๋ ๊ฑธ๊น์? ๋ฐ๋๋ก RMSE > RMSLE์ธ ๊ฒฝ์ฐ, RMSE๋ ํฌ๊ฒ ์๋ชป ์์ธกํ ๊ฑด์ ๋ํด Penality๋ฅผ ์ฃผ๊ธฐ ๋๋ฌธ์ "๋ชจ๋ธ์ด ํฌ๊ฒ ์๋ชปํ ๊ฒฝ์ฐ๊ฐ ์๋ค"๋ผ๊ณ ํด์์ ํ๋ฉด ๋ ๊น์? ๋๋ฒ์งธ ์ฌ์ง๋ฌธ 2. ์์ 2)์ ๊ฐ์ ๊ฒฝ์ฐ, Y์ ๊ฐ์ด ์์ ๊ฒฝ์ฐ์๋ ๊ธฐ์กด ๋ชจ๋ธ์ ํตํด ์์ธกํ๊ณ , Y์ ๊ฐ์ด ํฐ ๊ฒฝ์ฐ (๊ธฐ์กด ๋ชจ๋ธ์ด ์ ์์ธกํ์ง ๋ชปํ๋ ๊ฐ๋ค)์ ๋ํด์๋ ์๋ก์ด ๋ชจ๋ธ์ ๋ง๋๋ ๋ฐฉ๋ฒ๋ ๊ฐ๋ฅํ๊ฐ์? ์๋๋ฉด ์๋ก์ด ๋ชจ๋ธ์ ๋ง๋ค๊ธฐ๋ณด๋ค LGBM ๊ฐ์ leaf-wise ๊ธฐ๋ฒ์ ํตํด Y์ ๊ฐ์ด ํฐ ๊ฒฝ์ฐ leaf node๋ฅผ ๋ ๋ง๋ฆ์ผ๋ก์จ ํด๊ฒฐ์ด ๊ฐ๋ฅํ๋ค๊ณ ์๊ฐํ๋ฉด ๋ ๊น์? => ์ง๋ฌธ์ ์ ์ดํด๋ชปํ์ต๋๋ค. ํ๋์ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก Y๊ฐ์ ๋ฐ๋ผ์ ๋์ ์ผ๋ก ๋ชจ๋ธ์ ๋๊ฐ๋ฅผ ๋ง๋ ๋ค๋ ๊ฒ์ธ์ง์? ์๋ก์ด ๋ชจ๋ธ์ ๋ง๋ ๋ค๋๊ฒ ์ด๋ค ์๋ฏธ์ธ์ง์? ์ข ๋ ์์ธํ ๋ง์ํด ์ฃผ์ จ์ผ๋ฉด ํฉ๋๋ค. =>=> ํ๋์ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก Y๊ฐ์ ๋ฐ๋ผ์ ๋์ ์ผ๋ก ๋ชจ๋ธ์ ๋๊ฐ ๋ง๋๋ ๊ฒ์ ๋ํ ์๋ฏธ์ ์ง๋ฌธ์ด์์ต๋๋ค. Y๊ฐ์ด ๋ฎ์ ๊ฒฝ์ฐ ์ค์ฐจ๊ฐ ์ ์๋ฐ Y๊ฐ์ด ํฐ ๊ฒฝ์ฐ ์ค์ฐจ๊ฐ ํด ๊ฒฝ์ฐ, ์ด๋ฅผ ๋ถ๋ฆฌํด์ Y๊ฐ ๋ฎ์ ๊ฒฝ์ฐ์๋ A๋ชจ๋ธ์ Y๊ฐ ํฐ ๊ฒฝ์ฐ์๋ B๋ชจ๋ธ์ ๋ง๋ค์ด๋ ๋๋์ง์ ๋ํ ๊ถ๊ธ์ฆ์ด์์ต๋๋ค. ์ด๋ฌํ ๋ฌธ์ ๋ฅผ leaf-wise ํํ์ LGBM์ B๋ชจ๋ธ์ ๋ฐ๋ก ๋ง๋ค ํ์์์ด leaf๋ฅผ ์ถ๊ฐ์ ์ผ๋ก ์์ฑํจ์ผ๋ก์จ ํด๊ฒฐํ๋ ๊ฒ์ธ์ง ๊ถ๊ธํฉ๋๋ค. ๋ฒ์ธ๋ก ๋๋๊ธ๋ก ์ฌ์ง๋ฌธ์ ๋๋ฆด ๊ฒฝ์ฐ, ๊ฐ์ฌ๋๊ป์ ๋ฏธ์ฒ ํ์ธ์ ํ๊ธฐ ์ด๋ ค์ฐ์๋ค๋ฉด ์ง๋ฌธ์ ๋ฐ๋ก ๋ง๋๋ ๊ฒ ํน์ ๋ต๋ณํ์๋๋ฐ ๋ ํธํ์ ์ง ์๋ ค์ฃผ์๋ฉด ๊ฐ์ฌํ๊ฒ ์ต๋๋ค :)
- 0
- 2
- 531
Q&A
Binary ๋ณ์์ coefficient ํด์ ๋ฐ L1/L2 ๊ฐ์
๊ฐ์ฌ๋, ์น์ ํ ๋ต๋ณ ์ ๋ง ๊ฐ์ฌ๋๋ฆฝ๋๋ค. "์ฐ์๊ฐ์ ๊ฒฝ์ฐ ํ๊ท ๊ณ์์ + / - ์ ๋ฐ๋ผ Y๊ฐ ๋์ด๋๊ฑฐ๋ (+) ์ค์ด๋ ๋ค (-)"๋ผ๊ณ ํด์ ํ ์ ์์ง๋ง, "์ผ๋ฐ์ฝ๋ ๊ฐ์ ์-ํซ ์ธ์ฝ๋ฉํ ํ๊ท ๊ณ์๊ฐ์ -๋, +๋์ ๋ฐ๋ผ์ y์ ๊ฐ์ด ์ค์ด๋ค๊ฑฐ๋ (-) ํน์ ๋๊ฑฐ๋ (+) ํ๋ ๊ฒ์ ์๋๊ณ coefficient์ ์ ๋๊ฐ๋ง์ ํด๋น feature์ ์ํฅ๋์ด๋ค"๋ผ๊ณ ํด์ํ๋ ๊ฒ์ด ๋ง์๊น์? "๋ฌผ๋ก ํ๊ท ๊ณ์๊ฐ์ด - ๋, + ๋์ ๋ฐ๋ผ์ ๋น์ฐํ ํ๊ฒ๊ฐ์ ์ํฅ์ ๋ฏธ์น๊ฒ ์ง๋ง" ๋ผ๋ ๊ฐ์ฌ๋์ ๋ต๋ณ์์๋ coefficient์ + / - ๊ฐ์ด y ๊ฐ์ ๋๊ฐ์ ๋ฐฉํฅ์ฑ (+ / -) ์ผ๋ก ์ํฅ์ ๋ฏธ์น๋ค๋ผ๊ณ ๋ง์ํ์๋ ๊ฒ ๊ฐ์ ํท๊ฐ๋ฆฝ๋๋ค.
- 0
- 3
- 433
Q&A
1) Binary ๋ณ์์ coefficient ํด์ 2) L1, L2 ๊ฐ์
๊ฐ์ฌ๋ ์๋ ํ์ธ์, ๋ต๋ณ์ ๊ธฐ๋ค๋ฆฌ๊ณ ์๋๋ฐ ํน์๋ ์ง๋์น์ จ์๊น๋ด ๋๋๊ธ ๋จ๊น๋๋ค! ํญ์ ์น์ ํ ์ค๋ช ๊ฐ์ฌ๋๋ฆฝ๋๋ค!
- 0
- 2
- 441




