채널톡 아이콘

분산 트레이싱 실전 트러블슈팅 — OpenTelemetry로 끊기고 사라지는 트레이스 잡기

주문 API → 결제 → 재고 → 카프카 → 컨슈머 → 배치로 이어지는 마이크로서비스에서 트레이스가 끊기거나, 수천 스팬으로 커져 조용히 버려지거나, 대시보드에서 사라지는 문제를 직접 재현하고 증상 → 판별 → 해소 순서로 고쳐 끝까지 이어지는 트레이스와 대시보드를 완성합니다.

1명 이 수강하고 있어요.

난이도 중급이상

수강기한 무제한

수강 후 이런걸 얻을 수 있어요

  • 트레이스가 둘로 갈라질 때 HTTP 계측·메시지 헤더·스레드 컨텍스트·전파 형식·샘플링 중 어디가 원인인지 명령 몇 개로 판별합니다.

  • 앱 에러 없이 스팬이 사라지는 지점(컬렉터 대기열, 종료 전 미플러시, 트레이스 크기 한도)을 지표로 찾아냅니다.

  • 배치·컨슈머에서 수천 스팬짜리 트레이스가 생기는 구조를 알아보고, 청크 스팬·트레이스 경계·스팬 링크로 다시 설계합니다.

  • 전송은 끄고 전파만 남긴 서비스 때문에 생기는 루트 없는 거대 트레이스를 찾아 전파 정책으로 해소합니다.

  • 자동 계측 스팬·스팬 이름·속성 카디널리티를 재고, 컬렉터 변환·테일 샘플링으로 스팬 예산을 지킵니다.

  • 관측 스택을 바꾼 뒤 빈 대시보드를 메트릭 이름·단위·라벨 변화로 진단하고 레코딩 룰로 되살립니다.

  • AI 에이전트에게 관측 데이터를 조회시킬 때 시간 창·결과 수·대상을 코드로 제한하고 조회 기록을 남깁니다.

최종 목표: 장애 다섯 개가 켜진 쇼핑몰 주문 흐름을 받아, 증상만 보고 원인을 짚고 하나씩 고쳐서 주문부터 출고·정산까지 한 줄로 이어지는 트레이스와 다시 살아난 대시보드를 내 손으로 완성합니다.

주문 API → 결제 → 재고 → 카프카 → 컨슈머 → 배치로 이어지는 마이크로서비스에서 트레이스가 끊기거나, 수천 스팬으로 커져 조용히 버려지거나, 대시보드에서 사라지는 문제를 직접 재현하고 증상 → 판별 → 해소 순서로 고쳐 끝까지 이어지는 트레이스와 대시보드를 완성합니다.

트레이싱 강의는 대부분 계측을 붙이고 화면에 트레이스가 뜨는 데서 끝납니다. 이 강의는 그다음, 운영에서 트레이스가 끊기고 커지고 사라질 때를 다룹니다. 앱은 에러를 내지 않는데 화면에서만 이상한 문제를 장애 스위치로 하나씩 재현하고, 모든 숫자는 실습 환경에서 실제로 잰 값으로 보여 줍니다. 자바와 파이썬 서비스, 카프카, 배치가 섞인 주문 흐름 하나로 끝까지 이어 가고, 마지막에는 장애 다섯 개가 한꺼번에 켜진 상태를 직접 고칩니다.

이 강의를 마치면

  • 트레이스가 둘로 갈라질 때 HTTP 계측·메시지 헤더·스레드 컨텍스트·전파 형식·샘플링 중 어디가 원인인지 명령 몇 개로 판별합니다.

  • 앱 에러 없이 스팬이 사라지는 지점(컬렉터 대기열, 종료 전 미플러시, 트레이스 크기 한도)을 지표로 찾아냅니다.

  • 배치·컨슈머에서 수천 스팬짜리 트레이스가 생기는 구조를 알아보고, 청크 스팬·트레이스 경계·스팬 링크로 다시 설계합니다.

  • 전송은 끄고 전파만 남긴 서비스 때문에 생기는 루트 없는 거대 트레이스를 찾아 전파 정책으로 해소합니다.

  • 자동 계측 스팬·스팬 이름·속성 카디널리티를 재고, 컬렉터 변환·테일 샘플링으로 스팬 예산을 지킵니다.

  • 관측 스택을 바꾼 뒤 빈 대시보드를 메트릭 이름·단위·라벨 변화로 진단하고 레코딩 룰로 되살립니다.

  • AI 에이전트에게 관측 데이터를 조회시킬 때 시간 창·결과 수·대상을 코드로 제한하고 조회 기록을 남깁니다.

이런 분께 추천합니다

  • 마이크로서비스 커머스를 운영하며 트레이스가 '가끔 끊긴다', '안 열린다'는 말을 듣는 백엔드 개발자

  • OpenTelemetry 를 도입했지만 컬렉터·템포·프로메테우스에서 무엇을 봐야 할지 막막한 SRE·플랫폼 엔지니어

  • 관측 스택을 벤더 제품에서 오픈소스로 옮기는 중이거나 옮긴 뒤 대시보드가 비어 있는 팀

  • 카프카 컨슈머·배치 잡의 트레이스 설계를 정해야 하는 분

커리큘럼 (9섹션 · 40강 · 약 248분)

  • 섹션 1. 시작하기 — 최종 결과물 데모와 강의 지도

  • 섹션 2. 실습 환경과 정상 트레이스 — 루프마켓 주문 흐름과 관측 스택 띄우기, 정상 트레이스 한 개 끝까지 읽기, 컨텍스트 전파 원리 — 트레이스페어런트 헤더, 장애 주입 스크립트와 판별 도구

  • 섹션 3. 끊기는 트레이스 — 헤더를 안 넘기는 HTTP 호출 — 둘로 갈라진 트레이스, 메시지 큐에서 끊기는 트레이스, 스레드풀·비동기 작업에서 사라지는 부모, 프로퍼게이터 불일치 — 서로 다른 헤더 형식, 샘플링 결정 불일치로 구멍 난 트레이스, 컬렉터에서 조용히 버려지는 스팬, 플러시 없이 끝나는 배치 — 마지막 스팬 유실

  • 섹션 4. 거대 트레이스와 크기 한도 — 트레이스 크기 한도 — 넘으면 조용히 버려진다, 샘플링을 낮춰도 트레이스 하나는 줄지 않는다, 루프마다 스팬을 만드는 배치, 메시지마다 트레이스를 끊지 않는 컨슈머, 스팬 링크로 바꾸기, 배치 잡 트레이스 경계 설계, 큰 속성이 트레이스를 키울 때

  • 섹션 5. 전파만 켜진 함정 — 전송은 껐는데 전파는 켜 둔 서비스, 루트 없는 트레이스 찾아내기, 전파 정책으로 해소하기

  • 섹션 6. 스팬 비용과 카디널리티 — 불필요한 자동 계측 스팬 끄기, 스팬 이름 카디널리티, 속성 카디널리티와 스팬 메트릭 폭발, 컬렉터에서 정리하기 — 변환과 삭제, 테일 샘플링 — 에러와 느린 트레이스만 남기기, 스팬 예산 세우기

  • 섹션 7. 스택 전환 뒤 빈 대시보드 — 스택을 바꿨더니 대시보드가 비었다, 메트릭 이름 변화 — 점·단위·접미사, 라벨 변화 — 서비스 이름과 리소스 속성, 레코딩 룰로 다리 놓기와 확인, 로그에서 트레이스로 넘어가기

  • 섹션 8. AI 에이전트로 관측 데이터 조회 — 에이전트 조회의 비용 — 시간 창이 곧 비용, 안전 규칙을 코드로 — 제한 걸린 조회 도구, 에이전트로 원인 찾기 실행

  • 섹션 9. 캡스톤 — 루프마켓 트레이스 완성 — 캡스톤 1 — 깨진 루프마켓 증상 목록, 캡스톤 2 — 판별, 캡스톤 3 — 해소와 끝까지 이어진 트레이스, 캡스톤 4 — 대시보드 완성과 전체 점검표

실습 환경

실습은 docker compose 하나로 띄우는 가상 쇼핑몰 루프마켓입니다. 개발자 열댓 명이 꾸려 가는, 성장 중인 스포츠·아웃도어 전문몰로, 트래픽이 몰리는 때는 시즌 오프 페스타와 신제품 한정 발매 정도입니다. 주문 API(Java, 자바 에이전트 자동 계측), 결제·재고·출고 컨슈머·정산 배치(Python, OpenTelemetry SDK), 카프카, PostgreSQL, OTel Collector, Tempo, Prometheus, Loki, Grafana 까지 상시 11개 서비스가 노트북 한 대에서 돌고, ./fault.sh 로 장애를 켜고 끄며 ./lm 도구로 트레이스·메트릭·로그를 바로 확인합니다.

선수 지식

  • Docker·docker compose 를 써 본 경험(맥·리눅스 터미널 기본 명령)

  • HTTP API 와 메시지 큐(카프카)의 기본 개념

  • Docker 에 메모리 6GB 이상을 줄 수 있는 컴퓨터(실습 서비스 11개를 한 번에 띄웁니다)

이 강의에서 다루지 않는 것

  • OpenTelemetry 처음 설치·개념 입문만 원하는 분(설치는 다루지만 트러블슈팅이 중심입니다)

  • 쿠버네티스 배포·오퍼레이터 구성

  • 특정 상용 관측 제품의 사용법

  • 애플리케이션 성능 튜닝 자체

안내

슬라이드 내레이션은 합성 음성입니다. 모든 데이터는 교육용 가상 데이터이며, 숫자는 실행 환경에 따라 달라질 수 있습니다.

이런 분들께
추천드려요

학습 대상은
누구일까요?

  • 마이크로서비스 커머스를 운영하며 트레이스가 '가끔 끊긴다', '안 열린다'는 말을 듣는 백엔드 개발자

  • OpenTelemetry 를 도입했지만 컬렉터·템포·프로메테우스에서 무엇을 봐야 할지 막막한 SRE·플랫폼 엔지니어

  • 관측 스택을 벤더 제품에서 오픈소스로 옮기는 중이거나 옮긴 뒤 대시보드가 비어 있는 팀

  • 카프카 컨슈머·배치 잡의 트레이스 설계를 정해야 하는 분

선수 지식,
필요할까요?

  • Docker·docker compose 를 써 본 경험(맥·리눅스 터미널 기본 명령)

  • HTTP API 와 메시지 큐(카프카)의 기본 개념

  • Docker 에 메모리 6GB 이상을 줄 수 있는 컴퓨터(실습 서비스 11개를 한 번에 띄웁니다)

안녕하세요
데이터장인입니다.

커리어인증

20년 이상 데이터베이스와 IT 분야에서 경력을 쌓아온 데이터장인입니다. DBA 및 DB Platform 팀 매니저로 데이터베이스 플랫폼을 다루며, MySQL·PostgreSQL·Oracle·MongoDB와 SQL 튜닝, AWS·Terraform·Python을 전문 분야로 삼고 있습니다. 게임·금융·IT 서비스 분야의 경력을 바탕으로 데이터베이스와 클라우드 아키텍처를 설명합니다. 『오라클 실무튜닝 SQL 패턴 학습』과 『Oracle Pro*C 실무프로젝트 활용서』를 출간했으며, AWS Summit 2018·2019와 데이터야 놀자 2020에서 서버리스·데이터베이스 선택·멀티데이터베이스 전략을 발표했습니다. 최근에는 Bedrock LLM을 이용한 슬로우 쿼리 분석·튜닝 권고, DB 스펙 산정 자동화, DB 메타 MCP 서버와 Slack 봇을 통한 조회 흐름을 다루고 있습니다. 개발자를 위한 데이터베이스 자동화와 비개발자를 위한 AI 업무 활용을 각 과정의 대상과 목적에 맞는 실습으로 설명합니다. AI 제안을 그대로 적용하기보다 결과 동일성·실행 계획·관측 조건을 확인하고, 근거가 부족하면 보류하는 판단 기준을 전달합니다. 회사 운영 데이터와 인증값은 강의 자료에 포함하지 않습니다.

더보기

커리큘럼

전체

40개 ∙ (4시간 8분)

해당 강의에서 제공:

수업자료
강의 게시일: 
마지막 업데이트일: 

수강평

아직 충분한 평가를 받지 못한 강의입니다.
모두에게 도움이 되는 수강평의 주인공이 되어주세요!

데이터장인님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

비슷한 강의

같은 분야의 다른 강의를 만나보세요!

얼리버드 할인 중

₩52,800

20%

₩66,000

평생교육이용권 지원 강의