์ฟ ๋ฒ๋คํฐ์ค ์ด๋๋ ํด๋์ค-Sprint4 (#Promethues #Grafana #Loki #OpenTelemetry)
โ ์ฟ ๋ฒ๋คํฐ์ค(Prometheus, Grafana, Loki, OpenTelemetry)๐โโ๏ธ์์ง ๋ง์ค์ด์๋์? ๐โโ๏ธ์ ๋ง ๋ฏฟ๊ณ ๋ฐ๋ผ์ค์ธ์! ๋น์ ์ ์ค๋ ฅ์ โญ์ด๋๋ ๋ ๋ฒจ๋ก ๋ง๋ค์ด ๋๋ฆฌ๊ฒ ์ต๋๋ค.
์๊ฐ์ 629๋ช
๋์ด๋ ์ค๊ธ์ด์
์๊ฐ๊ธฐํ ๋ฌด์ ํ
๋ค๋ฅธ ์๊ฐ์๋ค์ด ์์ฃผ ๋ฌผ์ด๋ณด๋ ์ง๋ฌธ์ด ๊ถ๊ธํ์ ๊ฐ์?
- ๋ฏธํด๊ฒฐ
profile์ "dev"๋ก ์คํํ์ ๋ pod ์ค๋ฅ
์๋ ํ์ธ์."Grafana dashboard ๋ง๋ค๊ธฐ"์ "open telemetry ๊ตฌ์กฐ์ log ํฌ๋งท" ๊ฐ์์์ ์คํํ๋ app tester๋ฅผ ์คํํ๋ฉด ์๋์
kubernetesprometheusdevopsgrafanaloki์์ฑ์ ์์
ใป
2๋ฌ ์
1
58
3
- ๋ฏธํด๊ฒฐ
๋ง์ง๋ง ํด์ํธ ๊ฐ์ ์ค์ตํธ ๋๋ฌด ์ด๋ ต๋ค์ ใ ใ
๊ธฐ๋ฅ ์๊ธฐํ ๋๋ ๊ทธ๋๋ ์ผ์ถ ์ดํดํ๋ฉด์ ๋ดค๋๋ฐ์ค์ต์...์ ์ ๊ฑธ ํ๊ณ ๋๋บ์์ด valuesํ์ผ์ ์ ๋ญ์ง๋ ๋ชจ๋ฅด๋ presets์ด ์๋์ค๊ณ logsCollecti
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
1
92
2
- ๋ฏธํด๊ฒฐ
fakeํด๋๊ฐ ์์ด์ ใ ใ
๋๊ฐ์ด ๋ฐ๋ผํ๊ณ ์๊ณ values.yaml ํ์ผ์auth_enabled: false ๋ก ๋์ด์์ผ๋ฉด ๊ธฐ๋ณธ fakeํด๋๊ฐ ์๊ธด๋ค๊ณ ํ์ จ๋๋ฐ ์ ๋ ์์๊ฒจ์๋ค์? ใ ใ <
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
0
65
1
- ๋ฏธํด๊ฒฐ
Loki ์ํคํ ์ฒ ๊ด๋ จ
๊ฐ์๋ฅผ ๋ฃ๋ค๋ณด๋...ํ๋ก๋ฉํ ์ฐ์ค ์ํคํ ์ฒ๋๋ ๋น์ทํ๋ค๋ ๋๋์ด ๋ง์ด ๋๋ค์?loki๋ ์ค์นํ๋ฉด grafana๊ฐ ์กด์ฌํ๋์? ์๋๋ฉด prometheus์ค์นํ
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
1
66
2
- ๋ฏธํด๊ฒฐ
grafana ๋์๋ณด๋ datasource๊ด๋ จ
๊ธฐ์กด์ mymonitoring์ด๋ผ๊ณ ํด์ cpu//memory ๋์๋ณด๋ ๋ง๋ ๊ฑด ์ฟผ๋ฆฌ์ ๋ฉํธ๋ฆญ์กฐํ๊ฐ ์ ๋ฉ๋๋ค.๊ฑฐ๊ธฐ์์ ๋ณด๋ฉด DataSource ๋ถ๋ถ์ mixed๊ฐ ์ ํ๋์ด์๊ณ ๋ฐ์ A, B ์ฟผ๋ฆฌ์์ ${datasour
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
1
113
2
- ๋ฏธํด๊ฒฐ
scrap_configํ์ธํ์ ์ก๋ฑ๋ก ์ฌ๋ถํ์ธ ๋ด์ฉ์
job์ด๋ฆ์ด ์กฐํ๊ฐ ๋๋ฉด Operator๊น์ง์ ๊ธฐ๋ฅ์ ๋์์ ์ ํ๊ฑฐ๋ค. ๋ผํธ ํ์ ๋ถ๋ถ์ ์ฆ, operator๊ฐ ์ฌ๊ธฐ์ secret์ ๋ณด๊ณ prometheu
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
1
47
2
- ๋ฏธํด๊ฒฐ
Prometheus CRD serviceSMonitorSelector๋งคํํ์ธ์
prometheus๋ฆฌ์์ค ์ผ๋ฏ๋ด์ฉ์ ์๋์์ ๋ณด๋ฉด ์ด ๊ฐ๊ณผ ๋งค์นญ๋๋ ๋ ์ด๋ธ์ ์ด ๋ด์ฉ์ด ์๋ ServiceMonitor ๋ฅผ ์ฐพ๋๊ฒ์ด๋ค.<p
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
1
79
2
- ๋ฏธํด๊ฒฐ
๋์๋ณด๋ cpu์ฟผ๋ฆฌ ๊ด๋ จ
๊ธฐ์กด ๋์๋ณด๋์์ ์ฟผ๋ฆฌ๋ฅผ ๊ฐ์ ธ์ค๋๋ฐcpu ํจ๋ ๊ทธ๋ฆฌ๋๋ฐ ์ฟผ๋ฆฌ๊ฐA<span
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
1
74
2
- ๋ฏธํด๊ฒฐ
๋์๋ณด๋์์ ์ง๋ฌธ๋๋ฆฝ๋๋ค.
์ผ๋จ ๋ฐ๋ผํ๊ณ ์๋๋ฐ ๋ณด์ด์ง ์๋ value๊ฐ ๋ณด์ ๋๋ค.์ด ์ฟผ๋ฆฌ๊ฐ A,B,C ์ธ๊ฐ์ธ๋ฐ..<img src="https://cdn.inflearn.com/public/files/posts/9c576843-15
kubernetesprometheusdevopsgrafanaloki์์ฑ์ ์์
ใป
10๋ฌ ์
1
58
2
- ๋ฏธํด๊ฒฐ
metrics ํจ์ ๋ณ๊ฒฝ์ฌ๋ถ
๊ทธ๋ผํ๋ ์งํ ์์ฑ์๊ธฐ์กด๊บผ์์ ๊ฐ์ ธ์ค๊ณ ์ด์ ํจ์๋ค์ ์ต์ ํจ์๋ก ๋ณ๊ฒฝํ์ จ๋๋ฐ ์งํ๊ฐ์ด ์๋์ค๋ฉด...๊ทธ๋ฐ
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
1
47
2
- ๋ฏธํด๊ฒฐ
serviceMonitor๊ด๋ จ๋ฌธ์๋๋ ค์
์ด ๋จ์ ๋ค์ด์ค๋ฉด์ ์ด๋ ต๋ค์.operator๊ฐ prometheus crd๋ฅผ ๋ณด๊ณ statefulset prometheus ๋ฅผ ๋ง๋ค์ด์ค๋ค๊ณ ํ๋๋ฐ<p styl
kubernetesprometheusdevopsgrafanaloki์์ฑ์ ์์
ใป
10๋ฌ ์
0
116
1
- ๋ฏธํด๊ฒฐ
kube-prometheus-stack์ค์น์ ์ค๋ช ์ค์
values-custom.yaml๋ด์ฉ์ค์<span style="color: rgb(0,
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
1
58
2
- ๋ฏธํด๊ฒฐ
Prometheus PV๊ด๋ จ๋ฌธ์
Pod๋ฅผ ๋๊ฐ๋ก ๋๋ฆฌ๋ ค๋ฉด PV๋ง ์๋์ผ๋ก ํ๋๋ ๋ง๋ค๋ฉด๋๊ธด ํ๋๋ฐ ๊ทธ๋ ๊ฒ ํ๋ฉด ๋ Prometheus๊ฐ ๊ฒฐ๊ตญ ํ๋ณผ๋ฅจ์ ๋ฐ๋ผ๋ณด๊ฒ ๋๋ค. ๊ทธ
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
1
52
2
- ๋ฏธํด๊ฒฐ
์ฟ ๋ฒ๋คํฐ์ค ์ ๊ทธ๋ ์ด๋ ๊ด๋ จ ๋ฌธ
๋จผ์ ๊ฐ์ ์ง๋ฌธ ๋๋ฆฌ๊ณ ๊ทธ ์ธ ์ง๋ฌธ๋๋ ค๋ณด๊ฒ ์ต๋๋ค.๊ฐ์์์ ํ๋๋ฅผ ์ฌ์ ์ 1,2๊ฐ๋ฅผ ์ญ์ ํด์ ๋ค๋ฅธ worker๋ ธ๋๋ก ๋ณด๋ธ๊ฑด ํธ๋ํฝ์ด ์๋๊ฒ ํ๊ธฐ์ํด ์ค์ต์ ์ํด ๋ณด
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
1
59
2
- ๋ฏธํด๊ฒฐ
server-side์ต์ ์ ๋ํด ๊ถ๊ธํฉ๋๋ค.
annotations: <span style="color: rgb(34,
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
1
72
1
- ๋ฏธํด๊ฒฐ
containerd๋ฒ์ ๊ด๋ จ๋ฌธ์๋๋ ค์
๊ฐ์ฌ๋์ด ์ธ๊ธํ์ ๋ง์์ค์๋ฆฌ๋ ์ค๋ฒ์ ์ ์ค์น๋ฅผ ํ๋ฉด์ ์ฐ๊ฒฐ๋์ด ์๋ ๋ ํ์งํ ๋ฆฌ์ containerd ๋ฒ์ ์ ๋ณด๋ฉด ์ด ๋ฒ์ ์ด ์ต์์๋ฒ์ ์ผ๋ก ๋ ํ์งํ ๋ฆฌ์ ์ฌ๋ผ๊ฐ ์๋ค.์ด๋ ๊ฒ ํ์ ง๋๋ฐ...<p st
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
0
75
1
- ๋ฏธํด๊ฒฐ
Operatorํจํด์ ๋ํด ์ฌ์ญค๋ด ๋๋ค.
์คํผ๋ ์ดํฐ ์ญํ ์ ํ๋ ์ปดํฌ๋ํธ๋ฅผ ๊ฐ๋ฐ์ ํด์ ๊ฐ์ด ๋ฐฐํฌ๋ฅผ ์์ผ์---> ์ด๋ถ๋ถ์ ์ฒจ๋ถํ ์ด๋ฏธ์ง์์ ์ผ๊ฐํ์ผ๋ก deployment์ ์ฒด๋ฅผ ์๊ธฐํ์๋๊ฑฐ์ฃ ?
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
0
76
2
- ๋ฏธํด๊ฒฐ
CRD๋ด์ฉ์ค์
CRD ํจํด ๋ง์์ค์ ์ดํด๊ฐ ํ์ํด์ ์ง๋ฌธ์ฌ๋ ค๋ด ๋๋ค. ๊ฐ์์ค ์๋์ ๊ฐ์ด ๋ง์ํ์ จ์ต๋๋ค.crd๋ฅผ ๋ณด๊ณ ๋ก์ง์ ์ฟ ๋ฒ ๊ฐ๋ฐ์๊ฐ ๋ง๋ค์ด ๋ฆฌ์์ค๋ฅผ ์์ฑํ๊ณ crd๋ ๋ณ๋
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
1
58
2
- ๋ฏธํด๊ฒฐ
DaemonSet ๋ด์ฉ์ค์
Prometheus์ ๊ฐ์ ์๋ฒ์ญํ ์ ํ๋ ์ปดํฌ๋ํธ๋ค์ ์ฌ์ ์ ์ด๋ฏธ worker๋ ธ๋IP๋ฅผ ์ด๋ฏธ ์๊ณ ์๋ ์ํ๋ผ์<p style
kubernetesprometheusdevopsgrafanalokiodark
ใป
10๋ฌ ์
0
37
2
- ํด๊ฒฐ
OpenTelemetry ์ค์ต
์๋ ํ์ธ์ ๊ฐ์ฌ๋OpenTelemetry ๊ตฌ์กฐ์ Log ํฌ๋งท ์ค์ต ๊ณผ์ ์์ ์ ๊ณตํด์ฃผ์ Core, Cu
kubernetesprometheusdevopsgrafanalokibj jung
ใป
์ผ ๋ ์
1
69
2






