Đêm nút thanh toán không bấm được — khi mã giảm giá, giỏ hàng và trang đặt hàng cùng lúc làm sập DB, từ tái hiện lỗi đến khôi phục

Sự kiện coupon mở lúc tám giờ tối, luồng xử lý ngay trước bước thanh toán đồng loạt sụp đổ. Tái hiện nguyên trạng bằng Docker tình trạng CPU bị ngốn bởi hàng trăm coupon trong ví coupon, việc xác thực coupon lặp đi lặp lại trên từng màn hình, cùng hàng loạt lệnh INSERT·UPDATE phát sinh khi chuyển từ giỏ hàng sang trang đặt hàng; rồi lần theo dòng thời gian của đêm hôm đó trong phòng xử lý sự cố để xem việc gì cần ngắt trước, việc gì cần sửa.

1 học viên đang tham gia khóa học này

Độ khó Trung cấp trở lên

Thời gian Không giới hạn

SQL
SQL
MySQL
MySQL
DBMS/RDBMS
DBMS/RDBMS
database
database
SQL
SQL
MySQL
MySQL
DBMS/RDBMS
DBMS/RDBMS
database
database

Bạn sẽ nhận được điều này sau khi học.

  • Đếm số lần gọi SQL do một yêu cầu thanh toán tạo ra, qua đó phát hiện những truy vấn bị khuếch đại, chẳng hạn như việc kiểm tra phiếu giảm giá lặp lại trên từng màn hình.

  • Dùng kế hoạch thực thi để kiểm tra hộp coupon của thành viên sở hữu hàng trăm coupon đọc những gì, đồng thời đo đạc để tìm ra thủ phạm thực sự ngốn CPU mà chỉ dùng index thì không thể xử lý được.

  • Gom nhóm hoặc loại bỏ các thao tác ghi nhỏ và các lần commit thường xuyên khi chuyển từ giỏ hàng sang trang đặt hàng, giúp giảm lượng ghi vào DB và thời gian phản hồi.

  • Tái hiện tình huống cùng một mã giảm giá được sử dụng hai lần và ngăn chặn bằng một câu lệnh UPDATE có điều kiện.

  • Dựa trên các chỉ số, xác định thứ tự tắt các chức năng khi xảy ra sự cố và bật lại chúng, đồng thời lập báo cáo phân tích sau sự cố, biện pháp ngăn ngừa tái diễn và danh sách kiểm tra trước sự kiện.

  • Đọc trực tiếp kết quả data_locks·INNODB STATUS·metadata_locks để nêu nguyên nhân của các khóa bản ghi, khóa khoảng trống, khóa next-key, deadlock và hàng đợi chờ khóa metadata.

  • Áp dụng khóa bi quan, UPDATE có điều kiện, khóa lạc quan (version) và tăng nguyên tử cho cùng một lượt yêu cầu đồng thời, so sánh kết quả và chi phí để chọn phương án phù hợp.

  • Đo chi phí redo·fsync của mỗi lần commit bằng bộ đếm, rồi chuyển các thay đổi về ghi theo lô, khóa chống xử lý trùng lặp và khắc phục bế tắc trong pool thành diff mã nguồn thực tế.

Tám giờ tối, nút thanh toán không nhấn được. Chúng ta sẽ tái hiện đêm mà kho coupon, bước xác thực coupon và trang đặt hàng cùng lúc khiến DB sụp đổ, rồi tìm hiểu nên ngắt phần nào trước và sửa những gì.

Những con số của đêm đó — những gì khóa học này tái hiện và khắc phục

  • Chỉ 30 giây sau khi mở, thời gian phản hồi p95 tăng từ 90ms → 2,337ms, thời gian chờ kết nối DB tăng từ 381 → 539.

  • Trung bình trong giai đoạn sập hệ thống lúc mở bán: p95 2,399ms · tỷ lệ thất bại 12.5%

  • Sau ba quyết định trong phòng tác chiến, ở cùng mức tải, p95 77ms · tỷ lệ lỗi 0%

  • Trong lúc đó, do có người nhấn nút thanh toán hai lần, 816 mã giảm giá bị dùng hai lần — chỉ còn 0 mã nhờ một câu lệnh UPDATE có điều kiện.

  • Tải theo từng mức sau cải tiến: Ban đầu, ở mức 60 người dùng/giây, p95 là 1,125ms; sau cải tiến, ngay cả ở mức 100 người dùng, p95 vẫn là 76ms.

Mọi con số đều là kết quả ghi nhận từ việc thực sự chạy mô phỏng một cửa hàng trực tuyến giả lập. Bài 1 bắt đầu ngay bằng cảnh sụp đổ đêm hôm đó, không lời giải thích.

Phần chuyên sâu, bài 39 — Những con số đo đếm trực tiếp đến tận nguyên lý

  • Với 200 phiếu giảm giá, mỗi phiếu nhận 4 yêu cầu giống nhau: cách đọc rồi ghi tạo 799 bản ghi sử dụng (599 bản ghi trùng); UPDATE có điều kiện, FOR UPDATE và khóa lạc quan tạo 200 bản ghi — đổi lại, chi phí khác nhau: chờ khóa 36 · 599, xung đột 600.

  • Cùng ghi 2,000 hàng: fsync trong chế độ tự động commit 2,058 lần → một giao dịch 277 lần → INSERT nhiều hàng 2 lần

  • Một giao dịch đang mở khiến history list tăng từ 66 → 1,205, nhưng điều này không hiển thị trong các chỉ số phản hồi.

  • Trong sự kiện, chỉ sau một lệnh ALTER đã có 61 kết nối phải chờ, tỷ lệ truy vấn hộp phiếu giảm giá thất bại là 25.6%

  • Mã lấy thêm một kết nối trong khi vẫn giữ giao dịch: dưới cùng tải, tỷ lệ thất bại tăng từ 0% → 57.2%

  • Thanh toán bị gửi trùng: 20 thành viên tạo 30 đơn hàng khi không có khóa idempotency → còn 20 đơn hàng khi dùng khóa idempotency.

Bài 4 gồm 40 câu hỏi yêu cầu đọc đầu ra thực tế để đưa ra nhận định; trong tổng số 9 bài tập, có 3 bài tập bổ sung được tự động chấm đạt bằng các tập lệnh setup·verify.

Sự kiện coupon mở lúc tám giờ tối, toàn bộ luồng ngay trước khi thanh toán đồng loạt sụp đổ. CPU bị ngốn bởi hộp coupon chứa hàng trăm mã, việc xác minh coupon lặp đi lặp lại trên từng màn hình, các lệnh INSERT·UPDATE dồn dập khi chuyển từ giỏ hàng sang trang đặt hàng — tất cả được tái hiện nguyên trạng bằng Docker. Bạn sẽ theo dõi dòng thời gian của đêm hôm đó trong war room để biết phải ngắt điều gì trước và sửa điều gì.

Hầu hết các khóa học về coupon đều kết thúc ở khâu 'phát hành'. Khóa học này đi sâu vào giai đoạn sau phát hành, tái hiện cảnh các bước tra cứu kho coupon, xác minh sử dụng coupon, kiểm tra giỏ hàng và tạo đơn hàng đan xen rồi sụp đổ trên hành trình ngay trước khi thanh toán. Đây là cấu trúc như một bộ phim, trong đó toàn bộ các bài học cùng chia sẻ một dòng thời gian: tái hiện và ghi lại 'đêm hôm đó' một lần trên một cửa hàng trực tuyến giả lập. Mọi con số trên màn hình đều là kết quả thu được từ việc thực sự chạy mô phỏng đó, đồng thời khóa học truyền tải trình tự ra quyết định mà trưởng nhóm DBA đang làm việc tại một doanh nghiệp thương mại điện tử lớn sử dụng trong phòng ứng phó sự cố. Sau 50 bài học chính là 39 bài nâng cao. Những vấn đề được khắc phục chỉ bằng một dòng cấu hình trong phần chính sẽ được xem xét lại từ nguyên lý, đi sâu đến EXPLAIN, dấu vết của trình tối ưu hóa, bảng khóa, bộ đếm fsync và cả mã thực tế; sau đó, bạn sẽ kiểm tra kiến thức bằng các câu đố đọc kết quả và bài tập chấm điểm tự động.

Sau khi hoàn thành khóa học này

  • Đếm số lần gọi SQL phát sinh từ một yêu cầu thanh toán để phát hiện những thao tác bị lặp lại nhiều lần, chẳng hạn như kiểm tra phiếu giảm giá ở từng màn hình.

  • Dùng kế hoạch thực thi để kiểm tra hộp coupon của thành viên sở hữu hàng trăm coupon đọc những gì, đồng thời đo đạc để tìm ra thủ phạm thực sự gây tốn CPU mà chỉ thêm chỉ mục không thể giải quyết.

  • Gộp hoặc loại bỏ các thao tác ghi nhỏ và các lần commit thường xuyên khi chuyển từ giỏ hàng→trang đặt hàng, qua đó giảm lượng ghi vào DB và thời gian phản hồi.

  • Tái hiện kẽ hở khiến cùng một mã giảm giá được sử dụng hai lần, rồi ngăn chặn bằng một câu lệnh UPDATE có điều kiện.

  • Khi xảy ra sự cố, xác định thứ tự tắt và bật lại các tính năng dựa trên các chỉ số, đồng thời lập báo cáo phân tích sau sự cố, biện pháp ngăn ngừa tái diễn và danh sách kiểm tra trước sự kiện.

  • Đọc trực tiếp đầu ra của data_locks·INNODB STATUS·metadata_locks để xác định nguyên nhân khóa bản ghi, khóa gap, khóa next-key, deadlock và hàng đợi chờ khóa metadata.

  • Áp dụng khóa bi quan, UPDATE có điều kiện, khóa lạc quan (version) và phép tăng/giảm nguyên tử trong cùng một tình huống có yêu cầu đồng thời, so sánh kết quả và chi phí rồi lựa chọn phương án phù hợp.

  • Dùng bộ đếm để đo chi phí redo·fsync của mỗi lần commit, rồi chuyển việc ghi theo lô, khóa idempotency và sửa lỗi deadlock của pool thành diff mã thực tế.

Dành cho những người sau đây

  • Các lập trình viên backend thương mại điện tử phụ trách coupon, giỏ hàng và đơn đặt hàng (2–7 năm kinh nghiệm)

  • DBA·SRE cần kiểm tra trước giới hạn của DB trước sự kiện lớn

  • Những người đã thử kiểm thử tải nhưng khó xác định 'khâu nào là thủ phạm'

Chương trình học (13 phần · 89 bài · khoảng 1.091 phút)

  • Phần 0. Lời mở đầu — Tám giờ tối, nút thanh toán — Tám giờ tối, nút thanh toán không hoạt động, môi trường thực hành và luồng xử lý ngay trước khi thanh toán tại Loop Market, đọc bảng điều khiển phòng tác chiến, đường cơ sở ổn định

  • Phần 1. Hồi 1 — Ví coupon đốt CPU — Khi một thành viên có hàng trăm coupon, kế hoạch thực thi truy vấn ví coupon — vẫn đọc cả coupon đã dùng, khi DB tính toán coupon có thể áp dụng, giảm số dòng cần đọc bằng thứ tự chỉ mục và chỉ mục phủ, chỉ mục thôi vẫn chưa đủ, chuyển việc tính toán coupon đề xuất sang ứng dụng, bộ nhớ đệm ví coupon — nên lưu vào bộ nhớ đệm những gì và cần kiểm tra những gì mỗi lần, khi tác vụ dọn coupon hết hạn chạy trong lúc sự kiện đang diễn ra, kết quả hồi 1 — cùng tải, biểu đồ khác nhau

  • Phần 2. Hồi 2 — Xác thực sử dụng coupon khiến DB bị truy vấn liên tục — Mỗi lần thanh toán, có bao nhiêu truy vấn xác thực coupon được gửi đi, lặp lại cùng một bước xác thực ở mỗi màn hình, khoảng cách giữa lúc kiểm tra và lúc sử dụng — cùng một coupon bị dùng hai lần, dùng UPDATE có điều kiện để kiểm tra và sử dụng trong cùng một câu lệnh, các lệnh INSERT lịch sử sử dụng coupon dồn về một chỗ, cache ngắn hạn và bước kiểm tra cuối cùng nằm ở DB, cái bẫy của cache xác thực — coupon đã dùng vẫn hiện trong phần xem trước, kết quả hồi 2 — số lần gọi giảm thì tải DB cũng giảm

  • Phần 3. Hồi 3 — Từ giỏ hàng đến trang đặt hàng, cơn bão ghi — Điều gì xảy ra khi chuyển sang trang đặt hàng, mỗi mặt hàng một lần UPDATE — các thao tác ghi nhỏ và commit thường xuyên, INSERT tăng đột biến khi lưu tạm trang đặt hàng, chi phí xóa các trang đặt hàng đã tích tụ, khi chỉnh sửa cùng một giỏ hàng trên hai tab, gom các thao tác ghi và giảm số lần commit, loại bỏ những thao tác ghi không cần thiết, kết quả hồi 3 — cơn bão ghi dịu xuống

  • Mục 4. Hồi 4 — Đêm mọi thứ cùng lúc bùng phát — Ba khu vực cùng gặp sự cố — nguyên nhân trông như chỉ có một, việc đầu tiên cần xem khi vào phòng ứng phó sự cố — thứ tự xem các chỉ số, chia thành ba nhóm bằng các sự kiện đang chờ xử lý, nhấn liên tục nút thanh toán khiến sự cố nghiêm trọng hơn, kết nối cạn kiệt và lỗi hết thời gian chờ lan rộng, nên ngắt thứ gì trước — thứ tự tắt các tính năng, không dùng được phiếu giảm giá nhưng vẫn thanh toán được — suy giảm một cách có kiểm soát, thứ tự bật lại và làn sóng thứ hai, kết quả Hồi 4 — một trang dòng thời gian của đêm đó

  • Mục 5. Lời kết — Sự kiện tiếp theo — Phân tích sau sự kiện — Đã quyết định điều gì, khi nào và vì sao; danh sách phòng ngừa tái diễn và người phụ trách; diễn tập — dựng lại đêm hôm đó với các điều kiện đã thay đổi; danh sách kiểm tra luồng thanh toán trước sự kiện; đánh giá giới hạn của sự kiện tiếp theo; tổng kết và các bước tiếp theo.

  • Mục 6. Bài tập — Một mình trong đêm chưa từng trải qua — Bài tập 1 — Thành viên có một nghìn phiếu giảm giá, Bài tập 2 — Thanh toán phải xác minh năm lần, Bài tập 3 — Giỏ hàng có năm mươi món, Bài tập 4 — Chỉnh sửa đồng thời trên ba tab, Bài tập 5 — Sắp xếp thứ tự công tắc ngắt khẩn cấp, Bài tập 6 — Đêm đầu tiên chưa từng trải qua

  • Mục 7. Nâng cao 1 — Hộp công cụ chẩn đoán war room — Bộ truy vấn chẩn đoán — Năm cửa sổ mở trong war room, khi truy vấn trong tài liệu 8.0 không chạy được trên 8.4, đọc các cột EXPLAIN — type·key·key_len·rows·filtered·Extra, EXPLAIN ANALYZE — khi ước tính khác với thực tế, optimizer trace — vì sao lại chọn chỉ mục đó, slow log và dấu vân tay câu lệnh — gói gọn một sự cố tải trong một trang.

  • Mục 8. Chuyên sâu 2 — Tìm hiểu sâu hơn về cách đọc hộp coupon — Đo thực tế ba thứ tự cột trong chỉ mục, thêm chỉ mục trong sự kiện — tiến trình và chi phí của Online DDL, khi danh sách IN của coupon quá dài — giới hạn của Index Dive, chuyển trang trong hộp coupon — từ OFFSET sang Keyset, điều kiện áp dụng JSON và chỉ mục cột sinh, ranh giới hết hạn lúc nửa đêm — múi giờ và khoảng nửa kín.

  • Mục 9. Nâng cao 3 — Khóa và tính đồng thời — Sơ đồ khóa InnoDB — bản ghi, gap, next-key, insert intention, mức độ cô lập và đọc nhất quán — Tại sao SELECT vẫn cho rằng hàng đó còn tồn tại, so sánh khóa bi quan, UPDATE có điều kiện và khóa lạc quan, mỗi người chỉ một lần — hai người đồng thời sử dụng hai phiếu giảm giá khác nhau, mổ xẻ deadlock — thứ tự khóa đơn hàng và phiếu giảm giá, khóa hàng không tồn tại — gap lock và deadlock khi upsert, giao dịch dở dang sau khi hết thời gian chờ khóa.

  • Mục 10. Nâng cao 4 — Ghi và commit — Những gì diễn ra trong một lần commit — redo·fsync·group commit, Cái giá của thiết lập độ bền — chỉ thay đổi trong phòng thí nghiệm, So sánh bốn giải pháp xử lý lỗi lost update trong giỏ hàng, Mã ghi theo lô — INSERT nhiều hàng·truy vấn IN·ON DUPLICATE KEY, DELETE hàng loạt và purge — đọc history list length

  • Mục 11. Chuyên sâu 5 — đi sâu hơn vào đêm vận hành — Một giao dịch dài kéo dài suốt cả đêm, ALTER TABLE trong lúc diễn ra sự kiện — hàng đợi chờ khóa siêu dữ liệu, giới hạn của INSTANT DDL — row version và dựng lại, thanh toán bị nhấn đúp — thiết kế và triển khai khóa idempotency, một yêu cầu nhưng hai kết nối — deadlock trong connection pool, điều gì xảy ra khi xác minh trên replica

  • Phần 12. Kiểm tra và tổng kết — câu đố, bài tập bổ sung, phỏng vấn và tài liệu — Câu đố hồi 1 — Đọc kết quả truy xuất hộp coupon, Câu đố hồi 2 — Đọc kết quả xác minh và khóa, Câu đố hồi 3 — Đọc kết quả ghi và commit, Câu đố hồi 4 — Đọc quyết định của đêm hôm đó, Bài tập 7 — Chỉ dựa vào log deadlock để sửa thứ tự, Bài tập 8 — Giải phóng hàng đợi chờ khóa metadata, Bài tập 9 — Ngăn thanh toán bị gửi liên tiếp, Hai mươi câu hỏi phỏng vấn — luồng ngay trước khi thanh toán và DB, Cách sử dụng tài liệu tải xuống — gói truy vấn, cheat sheet và runbook

Môi trường thực hành

Dùng Docker để khởi chạy MySQL 8.4, ba máy chủ API của cửa hàng trực tuyến, công cụ tạo tải k6 và màn hình hiển thị các chỉ số phòng điều hành với khoảng cách 1 giây. Dữ liệu của cửa hàng trực tuyến giả lập Loop Market (200 nghìn thành viên, khoảng 2,75 triệu phiếu giảm giá đang sở hữu và khoảng 350 nghìn dòng trong giỏ hàng) được tạo theo quy tắc cố định, nên mọi người đều có dữ liệu giống nhau. Mỗi buổi học có thể được tái hiện bằng một lệnh ./scenarios/sNN.sh; chỉ cần thay đổi một dòng cấu hình (./set.sh) là có thể so sánh trước và sau khi cải thiện. Tài liệu tải xuống gồm bộ truy vấn chẩn đoán phòng điều hành, sổ tay vận hành cho ngày diễn ra sự kiện, ví dụ phân tích hậu sự cố đã hoàn chỉnh, bảng ghi nhớ, bảng trình tự ngắt khẩn cấp, bảng tính dung lượng, 20 câu hỏi phỏng vấn và 9 bài tập được tự động đánh giá đạt hay không bằng các tập lệnh setup·verify.

Kiến thức tiên quyết

  • Kiến thức cơ bản về phép nối và chỉ mục trong SQL

  • Có kinh nghiệm làm việc với API web và giao dịch.

  • Máy tính đã cài đặt Docker (khuyến nghị phân bổ ít nhất 8GB bộ nhớ)

Những nội dung không được đề cập trong khóa học này

  • Thiết kế phát hành coupon và phát hành theo thứ tự đến trước được phục vụ trước

  • Tích hợp cổng thanh toán (PG) và logic xác thực giao dịch

  • Chuyển đổi sang Redis cho tồn kho và hàng đợi tin nhắn

  • Cú pháp SQL cơ bản

Thông báo

Lời thuyết minh trong slide là giọng nói tổng hợp. Tất cả dữ liệu đều là dữ liệu giả lập phục vụ đào tạo, các con số có thể thay đổi tùy theo môi trường thực thi.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Lập trình viên backend thương mại điện tử phụ trách phiếu giảm giá, giỏ hàng và đơn hàng (2~7 năm kinh nghiệm)

  • DBA·SRE cần kiểm tra trước giới hạn của DB trước thềm sự kiện lớn.

  • Dành cho những người đã thử kiểm thử tải nhưng khó xác định 'đoạn nào là thủ phạm'.

Cần biết trước khi bắt đầu?

  • Cơ bản về JOIN và chỉ mục trong SQL

  • Kinh nghiệm làm việc với API web và giao dịch (transaction)

  • Máy tính đã cài đặt Docker (khuyến nghị cấp phát 6 CPU và ít nhất 8 GB bộ nhớ)

Xin chào
Đây là dorian05202988

Xác minh sự nghiệp

Tôi là một chuyên gia dữ liệu với hơn 20 năm kinh nghiệm trong lĩnh vực cơ sở dữ liệu và CNTT. Trong vai trò DBA và quản lý nhóm Nền tảng Cơ sở dữ liệu, tôi phụ trách các nền tảng cơ sở dữ liệu, với chuyên môn về MySQL, PostgreSQL, Oracle, MongoDB, tinh chỉnh SQL, AWS, Terraform và Python. Dựa trên kinh nghiệm trong các lĩnh vực trò chơi, tài chính và dịch vụ CNTT, tôi trình bày về cơ sở dữ liệu và kiến trúc đám mây. Tôi đã xuất bản 『Học các mẫu SQL tinh chỉnh thực tế Oracle』 và 『Sổ tay ứng dụng dự án thực tế Oracle Pro*C』, đồng thời thuyết trình về serverless, lựa chọn cơ sở dữ liệu và chiến lược đa cơ sở dữ liệu tại AWS Summit 2018·2019 và sự kiện 데이터야 놀자 2020. Gần đây, tôi tập trung vào phân tích và khuyến nghị tinh chỉnh truy vấn chậm bằng Bedrock LLM, tự động hóa việc tính toán thông số DB, cũng như quy trình tra cứu thông qua máy chủ DB Meta MCP và bot Slack. Tôi giải thích về tự động hóa cơ sở dữ liệu dành cho nhà phát triển và việc ứng dụng AI vào công việc dành cho người không chuyên về phát triển thông qua các bài thực hành phù hợp với đối tượng và mục tiêu của từng khóa học. Thay vì áp dụng nguyên xi các đề xuất của AI, tôi truyền đạt các tiêu chí đánh giá như kiểm tra tính tương đương của kết quả, kế hoạch thực thi và điều kiện quan sát; nếu thiếu căn cứ thì tạm thời chưa áp dụng. Dữ liệu vận hành của công ty và thông tin xác thực không được đưa vào tài liệu giảng dạy.

Thêm

Chương trình giảng dạy

Tất cả

89 bài giảng ∙ (18giờ 13phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của dorian05202988

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Ưu đãi có thời hạn

57.750 ₫

25%

1.571.735 ₫