Concepts and tuning methods considered when migrating 20 billion data to MySQL

Name: Concepts and tuning methods considered when migrating 20 billion data to MySQL
Price: 38500 KRW

We covered the concepts considered while migrating 20 billion data items managed through the existing MongoDB to MySQL.

(4.3) 26 reviews

421 learners

July

3시간 만에 완강할 수 있는 강의 ⏰

마이그레이션

rdb

MySQL

mysql-workbench

mysql-query

MongoDB

Reviews from Early Learners

What you will learn!

Things to be aware of when using MySQL
Writing queries in MySQL
Various constraints in MySQL
Locks in MySQL

How do we migrate 20 billion records of data? 🤔

In my recent work, I migrated 20 billion records of data from MongoDB to MySQL, which resulted in cost savings and normalization.

To cut to the chase, there's no right answer. I don't know if I'm doing it right or if it could be further optimized.

However, we deployed the service normally and without interruption, and I would like to share with you the areas we considered and paid attention to for optimization during this process.

Through this lecture, I hope you will learn about the charm of DB and the concerns of backend developers .

The lecture covers the following topics: 🤔

Multi-Column Index [Composite Index]
Explain Query [Query Analysis]
Covering Index [Index Optimization]
RDB vs. ElasticSearch [Index and Inverted Index]
ORDER BY [Sort Optimization]
INSERT [Insert Optimization]
AUTO_INCREMENT LOCK [ AUTO_INCREMENT Lock ]
Index Dive [Query Planning Optimization]
Prefix Index [Index Lightening]
MySQL Lock [ MySQL Integrity and Concurrency ]
DeadLock [Understanding DeadLock through Case Analysis]
No OFFSET [Query Tuning]
Skip Locked [ Session Management ]

A good lecture to refer to 💁

This course primarily focuses on MySQL.

But none of the companies I've experienced use a single DB.

Of course, in the case of a startup, it is configured with one DB.

We select and utilize various DBs according to the situation, legacy, and environment.

So I think MySQL alone may not be enough.

If you are curious about MongoDB, a leading NoSQL platform, the lecture below will be of great help.

How to build a data pipeline with over 20 billion records using MongoDB
This lecture mainly covers practical queries.

Recommended for
these people

Who is this course right for?

For those who are new to DB
For those who are curious about large-scale data design
For those who are curious about the basic concepts of MySQL

Hello
This is

3,589

Learners

169

Reviews

Answers

4.5

Rating

Courses

자기 소개

비전공자 출신으로 판교에서 플랫폼 서버 개발을 담당하여 진행하고 있습니다.

서버 최적화와 다양한 쿼리 튜닝을 좋아합니다.

경력

[前] 샌드박스 블록체인 개발자

[前] 넥슨 자회사 백엔드 개발자

[前] 판교 대기업 플랫폼 서버 개발자

[現] 판교 모회사 서버 개발자

Curriculum

All

13 lectures ∙ (2hr 6min)

Section 1. Please enter a title for the first section.

1 lectures ∙ (5min)

1. Introduction to the course
05:28

Section 2. Multi Column Index

2 lectures ∙ (13min)

2. Multi Column Index Concept
07:35
3. Multi Column Index Type Analysis
06:22

Section 3. Covering Index & RDB vs ElasticSearch Index Diff

1 lectures ∙ (9min)

4. Covering Index & RDB vs ElasticSearch Index Diff
09:19

Section 4. ORDER BY

1 lectures ∙ (13min)

Section 5. INSERT

1 lectures ∙ (17min)

Section 6. AUTO_INCREMENT LOCK

1 lectures ∙ (6min)

Section 7. Index Dive Using In Query

1 lectures ∙ (9min)

Section 8. Prefix Index

1 lectures ∙ (8min)

Section 9. MySQL Lock Type

1 lectures ∙ (8min)

Section 10. DeadLock Case

1 lectures ∙ (12min)

Section 11. NoOffset For Query Tuning

1 lectures ∙ (7min)

Section 12. Skip Locked For Session

1 lectures ∙ (13min)

Published:

Last updated:

Reviews

All

26 reviews

4.3

26 reviews

유쾌한 캥거루
Reviews 14
∙
Average Rating 4.9
5
92% enrolled
기본적인 개념보다는 좀 더 쿼리를 작성하는데에 있어서 주의해야하는 부분들에 대해서 집중적으로 알려주는 좋은 강의라고 생각을 합니다. 이 강의에서 쿼리에 대해서 배워가시기 보다는 성능 개선이나 튜닝 개선을 많이 배워 갈 수 있다는 생각이 들었습니다. 사실 쿼리에 대해서는 일반적으로 ChatGPT를 통해서도 개발이 가능하다고 생각을 하기 떄문에 이런 이론에 집중된 강의가 더 만족스럽게 다가왔습니ㅣ다.
- July
  Instructor
  많은 분들이 MySQL을 사용하시고 제가 다루었던 방식에 대해서 공유드리고 싶었습니다. 남겨주신 내용처럼 사실 쿼리에 대해서는 저보다 AI가 더 정확할꺼 같아요 ㅎㅎ 그래서 쿼리보다는 이론이나 최적화하는 부분에 대해서 다루어보았습니다. 좋은 평 해주셔서 감사합니다.😁
쿄큐큐
Reviews 54
∙
Average Rating 4.9
5
100% enrolled
유희준
Reviews 39
∙
Average Rating 5.0
5
100% enrolled
gy.lyu
Reviews 10
∙
Average Rating 5.0
5
31% enrolled
업무에 큰도움이 될것 같습니다.
- July
  Instructor
  많은 도움이 되었다고 하시니 뿌듯합니다. 들어주셔서 감사합니다 :)
Kwonkyu Park
Reviews 10
∙
Average Rating 4.3
4
100% enrolled
잊고있던 개념들을 오랜만에 떠올려볼 수 있는 좋은 강의였습니다

$29.70

July's other courses

Check out other courses by the instructor!

MSA 아키텍처에 사용되는 Gateway 패턴 구현하기

July

해당 강의에서는 yaml을 활용하여 커스텀한 Gateway API를 구성하는 과정을 다루고 있습니다.

초급

Go, Kafka, MSA

MSA 아키텍처에 사용되는 Gateway 패턴 구현하기

July

Golang을 통한 백엔드 개발 및 환경 구축하기

July

Golang을 통해서 CRUD를 어떻게 구성하는지는 물론, 프론트엔드와 협업할 때 사용 가능한 PostMan 활용법과 Repository 관리 및 환경 구축까지! 실제 실무에서 필요한 지식을 담았습니다.

초급

Go, crud, postman-mocks

Golang을 통한 백엔드 개발 및 환경 구축하기

July

MongoDB를 활용하여, 200억건 이상의 데이터 파이프라인 작성법

July

MongoDB를 사용하여 대용량 데이터에 대한 쿼리를 작성하는 방법을 학습하시게 됩니다.

초급

MongoDB, mongodb-atlas-search, Go

MongoDB를 활용하여, 200억건 이상의 데이터 파이프라인 작성법

July

아무도 알려주지 않는 WebRTC를 사용한 P2P통신

July

WebRTC를 활용하여 구현하는 웹캠과 피어간 통신에 대해서 학습할 수 있습니다.

입문

Go, webrtc, p2p

아무도 알려주지 않는 WebRTC를 사용한 P2P통신

July

대용량 채팅 TPS 처리를 위한 웹소켓 통신 만들며 학습하기

July

아프리카, 네이버(치지직), 트위치 이러한 스트리밍 플랫폼에서 사용하는 채팅서버를 위한 웹소캣 통신에 대해서 알아보고 실제로 구현을 하는 강의 입니다.

초급

websockets, Go, Node.js

대용량 채팅 TPS 처리를 위한 웹소켓 통신 만들며 학습하기

July

블록체인 채굴 모듈 만들어보기

July

이 강의에서는 실제로 코드를 통해 블록체인의 코어 모듈을 간접적으로 구현 합니다. 이러한 과정을 통해서 블록체인이 무엇인지, 어떻게 동작하는지에 대해서 상세하게 배우실 수 있습니다. 실제로 블록체인 공부를 하고, 실무에서 블록체인 관련 업무를 하고 있는 제가 느낀바로는 대부분의 강의는 이론적인 내용에 집중이 되어 있거나, 스마트컨트랙트라는 일부 기능을 사용하는데에 집중이 되어 있습니다. 이런 강의와는 조금 차이를 두고 싶어서 저는 여러분들이 제 강의를 하나하나 따라하시면서 코어 모듈을 간접적으로 만들어 볼 수 있게 준비를 하였습니다.

초급

Go, MongoDB, 블록체인

블록체인 채굴 모듈 만들어보기

July

MySQL을 활용한 Scalable한 Discord bot 만들기

July

이 강의에서는 Discord Bot을 만드는 방법에 대해서 학습 하실 수 있습니다. 단순한 Message 부터, 복잡한 Complex를 함께 학습 하실 수 있습니다.

입문

Go, MySQL, 챗봇

MySQL을 활용한 Scalable한 Discord bot 만들기

July

10만 트래픽 서비스 운영에 적용한 MySQL운영 및 마이그레이션

July

MySQL을 활용한 마이그레이션 및 직접 DB Server를 운영하는데에 있는 Security를 모두 알려드립니다.

초급

MySQL, ec2, AWS

10만 트래픽 서비스 운영에 적용한 MySQL운영 및 마이그레이션

July

비전공자도 쉽게 구성하는 MSA 서비스 모니터링 대시보드

July

해당 강의에서는 OpenTracing을 활용하여 다양한 애플리케이션 간 분산 추적을 하는 방법에 대해서 학습 하시게 됩니다.

초급

opentracing, Docker, MSA

비전공자도 쉽게 구성하는 MSA 서비스 모니터링 대시보드

July

MySQL Geospatial Query를 통한 위치 탐색과 AWS를 활용한 이미지 캐싱

July

AWS (S3, CloudFront), MySQL(Geospatial Query)를 활용한 플랫폼 메스어답션 방법에 대해서 알려드립니다.

초급

MySQL, s3, cloudfront

MySQL Geospatial Query를 통한 위치 탐색과 AWS를 활용한 이미지 캐싱

July

대용랑 채팅 TPS에 대한 stateful 서비스 구축하기

July

치지직, 아프리카TV 등 stateful 서비스에 대해서 어떻게 서버를 구축하고, 무중단 배포가 진행이 되는지 모든것을 알려드립니다.

초급

Go, Kafka, Node.js

대용랑 채팅 TPS에 대한 stateful 서비스 구축하기

July

Google Authenticator, QR, Cron을 활용하여 자동화 만들기

July

이 강의에서는 네이버 쇼핑 사이트를 활용하여 Web Scraping API 서버를 만드는것을 목표로 하고 있습니다. MySQL을 연동하여 3티어 아키텍처로 구성해, 관리형 API서버를 구성하는 방법에 대해 알려드립니다!!

초급

Go, MySQL, 웹 스크래핑

Google Authenticator, QR, Cron을 활용하여 자동화 만들기

July

1000만 Traffic을 견디며 적용한 RPC 통신에 대해 학습하고 구현해보기

July

해당 강의에서는 실제 실무에서 사용을 하는 RPC, gRPC통신을 구현하여, 서버간 통신에 대한 리소스를 줄이는 방법에 대해서 다루게 됩니다.

초급

grpc, rpc, Go

1000만 Traffic을 견디며 적용한 RPC 통신에 대해 학습하고 구현해보기

July

백엔드 취업을 위한 프로젝트 구조 와 데이터베이스 다루기 [MySQL, Mongo]

July

백엔드 취업을 준비하시는 취준생분들을 위한 MySQL, Mongo 두가지 DB를 활용한 백엔드 개발에 대한 내용입니다.

초급

MySQL, MongoDB, ERD

백엔드 취업을 위한 프로젝트 구조 와 데이터베이스 다루기 [MySQL, Mongo]

July

Similar courses

Explore other courses in the same field!

MySQL Geospatial Query를 통한 위치 탐색과 AWS를 활용한 이미지 캐싱

July

AWS (S3, CloudFront), MySQL(Geospatial Query)를 활용한 플랫폼 메스어답션 방법에 대해서 알려드립니다.

초급

MySQL, s3, cloudfront

MySQL Geospatial Query를 통한 위치 탐색과 AWS를 활용한 이미지 캐싱

July

10만 트래픽 서비스 운영에 적용한 MySQL운영 및 마이그레이션

July

MySQL을 활용한 마이그레이션 및 직접 DB Server를 운영하는데에 있는 Security를 모두 알려드립니다.

초급

MySQL, ec2, AWS

10만 트래픽 서비스 운영에 적용한 MySQL운영 및 마이그레이션

July

업무에 바로 쓰는 SQL 튜닝

바르니

이 강의를 통해 MySQL/MariaDB에 관한 쿼리 튜닝의 기초 용어와 원리를 학습한 후, 수 십개의 악성 쿼리를 함께 분석하면서 튜닝 실력을 향상해보아요.

초급

MySQL, SQL, MariaDB

업무에 바로 쓰는 SQL 튜닝

바르니

SQL과 구글시트로 시작하는 데이터분석

박범진

서비스 회사의 분석가로 활동하면서 얻은 꼭 필요한 SQL의 SELECT문과 구글시트의 기초 사용법을 정리하였습니다.

입문

SQL, Google Sheets, DBMS/RDBMS

SQL과 구글시트로 시작하는 데이터분석

박범진

5천억건이 넘는 금융 데이터를 처리하는 토스 개발자에게 배우는 MySQL [ By. 비전공자 & Toss 개발자 ]

Hong

수천억건의 금융 트래픽을 다루는 토스개발자와 비전공자로 시작해 판교에서 플랫폼 개발을 하고 있는 개발자와 함게 순수 SQL과 MySQL의 핵심 기능만을 사용하여, 수천억 건의 데이터를 처리하는 대용량 데이터 아키텍처를 설계하고 처리하는 방법을 학습합니다.

입문

MySQL, Jetbrains, mysql-query

5천억건이 넘는 금융 데이터를 처리하는 토스 개발자에게 배우는 MySQL [ By. 비전공자 & Toss 개발자 ]

Hong

백엔드 취업을 위한 프로젝트 구조 와 데이터베이스 다루기 [MySQL, Mongo]

July

백엔드 취업을 준비하시는 취준생분들을 위한 MySQL, Mongo 두가지 DB를 활용한 백엔드 개발에 대한 내용입니다.

초급

MySQL, MongoDB, ERD

백엔드 취업을 위한 프로젝트 구조 와 데이터베이스 다루기 [MySQL, Mongo]

July

데이터 분석가, IT 엔지니어에게 필요한 MySQL 마스터 코스!

모두의인공지능

개발자 지망생과 빅데이터 취업을 위한 필수 과목!!

초급

MySQL, SQL, 빅데이터

데이터 분석가, IT 엔지니어에게 필요한 MySQL 마스터 코스!

모두의인공지능

이거 하나로 종결 - 32시간 고품질 스프링 풀스택 웹 개발

그린코딩

그냥 들어보세요. 강의력과 흡입력 그리고 강의의 질이 다릅니다.

입문

HTML/CSS, JavaScript, JSP

이거 하나로 종결 - 32시간 고품질 스프링 풀스택 웹 개발

그린코딩

파이썬 Streamlit 활용한 웹 자동화 업무, 데이터 검색 및 시각화

보안프로젝트

파이썬 Streamlit 라이브러리를 활용하여 여러 유형의 데이터를 분석하고 빠르게 시각화 해서 웹 서비스 기반으로 출력하는 방법을 배우게 됩니다. 기존 웹 개발 방식보다 빠르게 업무에 적용하고 싶을 때 활용할 수 있습니다.

초급

Python, streamlit, MongoDB

파이썬 Streamlit 활용한 웹 자동화 업무, 데이터 검색 및 시각화

보안프로젝트

WEB3 - PHP & MySQL

Egoing Lee

PHP와 MySQL을 연동해서 웹의 접근성과 데이터베이스의 탁월한 정보관리 기능을 모두 갖춘 현대적인 웹애플리케이션을 구현하는 방법을 알려드리는 수업입니다.

중급이상

MySQL, PHP

WEB3 - PHP & MySQL

Egoing Lee

PHP 프로그래밍 실무 완전 정복! with MySQL

유용한IT학습

본 강의는 PHP 프로그래밍 활용 개념 습득 및 실습을 위한 강좌로 기획되었으며, PHP 프로그래밍 활용개념을 습득하고자하는 수강생들을 위한 강좌입니다.

입문

PHP, phpmyadmin, MySQL

PHP 프로그래밍 실무 완전 정복! with MySQL

유용한IT학습

[백문이불여일타] 데이터 분석을 위한 기초 SQL

데이터리안

인프런 누적 수강생 10,000명 이상, 풍부한 온/오프라인 강의 경험을 가진 데이터리안의 SQL 기초 강의. SQL 기초 이론을 배우고, 해커랭크 문제 10개를 함께 풀어봅니다.

입문

SQL, MySQL, 카카오공채-서비스

[백문이불여일타] 데이터 분석을 위한 기초 SQL

데이터리안

비전공자를 위한 풀스택 맛집지도 만들기 프로젝트!: Front, Back-end 그리고 배포까지

Jiwoon Jeong

내가 좋아하는 유튜버의 맛집지도를 만들면서 프론트엔드, 백엔드, 카카오맵 API 사용법, 배포까지 한번에 배울 수 있는 풀스택 맛집지도 강의입니다.

초급

HTML/CSS, JavaScript, REST API

비전공자를 위한 풀스택 맛집지도 만들기 프로젝트!: Front, Back-end 그리고 배포까지

Jiwoon Jeong

인프라공방 - 그럴듯한 서비스 만들기

이동규

본 과정은 현업과 비슷하게, 인프라를 구성해가며 필요한 지식을 학습하고 적용하는 단계로 진행합니다.

초급

네트워크, Linux, Spring Boot

인프라공방 - 그럴듯한 서비스 만들기

이동규

Concepts and tuning methods considered when migrating 20 billion data to MySQL

Reviews from Early Learners

What you will learn!

How do we migrate 20 billion records of data? 🤔

Features of this course

I recommend this to these people

The lecture covers the following topics: 🤔

Who created this course

Things to note before taking the course

Practice environment

A good lecture to refer to 💁

Recommended for
these people

Hello
This is

Curriculum

Reviews

July's other courses

Similar courses

Concepts and tuning methods considered when migrating 20 billion data to MySQL

Reviews from Early Learners

What you will learn!

How do we migrate 20 billion records of data? 🤔

Features of this course

I recommend this to these people

The lecture covers the following topics: 🤔

Who created this course

Things to note before taking the course

Practice environment

A good lecture to refer to 💁

Recommended for these people

HelloThis is .css-1q3zd4q{text-decoration-line:underline;text-underline-position:under;text-underline-offset:1px;}

Curriculum

Reviews

July's other courses

Similar courses

Recommended for
these people

Hello
This is