[Chuyên đề Trung thu] Kỹ sư phát triển tại Thung lũng Silicon giới thiệu về kỹ thuật xây dựng harness đánh giá LLM
Nếu bạn từng gặp khó khăn trong việc xác định liệu chất lượng câu trả lời có giảm so với trước hay không sau khi thay đổi prompt hoặc mô hình trong quá trình xây dựng dịch vụ sử dụng LLM, khóa học này có thể là giải pháp dành cho bạn. Bạn sẽ học cách tự xây dựng tiêu chí đánh giá và tự động tìm ra những câu trả lời đã thay đổi.
Triển khai công cụ thu thập và đánh giá định lượng·định tính các phản hồi của LLM
Xác minh sự khác biệt về chất lượng trước và sau khi thay đổi prompt và mô hình bằng kiểm thử hồi quy
Cách thiết kế tập dữ liệu đánh giá và tiêu chí đánh giá LLM rõ ràng
Xây dựng quy trình đánh giá đáng tin cậy bằng cách kết hợp LLM Judge và đánh giá dựa trên quy tắc
Theo dõi các phản hồi thất bại để phân tích nguyên nhân vấn đề nằm ở prompt, tìm kiếm hay mô hình
Kết nối kết quả đánh giá với CI/CD để liên tục quản lý chất lượng dịch vụ LLM
Chất lượng câu trả lời AI · chấm điểm tự động · kiểm tra trước khi triển khai
Tôi chỉ sửa một dòng prompt mà không biết nó bắt đầu sai từ khi nào
Câu trả lời hôm qua còn đúng thì hôm nay lặng lẽ trở thành sai. Không có lỗi, cũng chẳng có log. Chúng tôi cùng một lập trình viên backend 13 năm kinh nghiệm phát triển AI tại Thung lũng Silicon tự xây dựng công cụ phát hiện điều đó trước khi triển khai mà không cần thư viện.
87.5%Giữ nguyên nội dung câu trả lời nhưng chỉ thay đổi thứ tự hiển thị, 14 trên 16 phán định đã bị đảo ngược. AI được giao nhiệm vụ chấm điểm có thể đang làm như vậy ngay lúc này.
Chạy đánh giá — phiên bản mới
$npx tsx demo/gate.ts
16 câu hỏi · So sánh song song với phiên bản trước
Xử lý các câu hỏi cần từ chối0% → 100%
[Xấu đi]case-01case-08case-10
Kiểm tra thất bại
3 mục bị xấu đi · vượt quá 2 mục cho phép → dừng triển khai
$
Báo cáo đánh giá16 câu hỏi · Chạy trên máy tính xách tay
Có trả lời giống hệt đáp án, kể cả từng ký tự không—Đạt
Đã từ chối đúng cách những câu hỏi không được phép trả lời chưa—Đạt
Câu trả lời có chứa các từ bắt buộc phải có không8 / 11Thiếu 3 từ
Điểm do AI chấm có giống với điểm do con người chấm không11 / 24Chưa khớp đến một nửa
Chỉ thay đổi thứ tự hiển thị mà phán định đã bị đảo ngược?14 / 16Gần như tất cả đều bị đảo ngược
So với phiên bản trước, điểm số -0.125 — không phải dao động ngẫu nhiên mà thực sự đã tệ đi.
VẤN ĐỀ
Câu trả lời này có thực sự là một câu trả lời hay không?
LLM tạo ra các câu trả lời khác nhau mỗi lần ngay cả với cùng một đầu vào. Sự có vẻ hợp lý và độ chính xác là hai chuyện khác nhau, và câu trả lời cũng không phải lúc nào có thể phân định rạch ròi là đúng hay sai. Vì vậy, hầu hết các nhóm vẫn chỉ dừng ở mức "xem bằng mắt, thấy ổn thì triển khai".
Bộ mã đánh giá LLM là tập hợp các đoạn mã tự động chấm điểm câu trả lời do AI đưa ra thay cho con người và phát hiện những phần bị kém đi trước khi triển khai. Trong khóa học này, chúng ta sẽ xây dựng nó bằng TypeScript từ đầu, không sử dụng công cụ do người khác tạo ra. Chúng ta sẽ tạo các quy tắc chấm điểm, thử giao việc chấm điểm cho AI, đo lường mức độ đáng tin cậy của AI đó, ngăn triển khai khi chất lượng giảm sút, đồng thời ghi lại quá trình thực thi mất bao lâu và diễn ra ở giai đoạn nào.
Tại sao assertEqual không
hoạt động
quá khắt khe
assertEqual(answer, "15 ngày phép năm")FAILChỉ cần cách diễn đạt khác đi
là thất bại
Quá lỏng lẻo
answer.length > 0PASSNgay cả câu trả lời sai cũng vượt qua
Chỉ cần thay đổi prompt một chút, thứ hôm qua còn hoạt động thì hôm nay âm thầm sai.
Khi ném ra vài câu hỏi, nếu câu trả lời có vẻ hợp lý thì bỏ qua bằng “được rồi”, chất lượng sẽ tiếp tục vận hành mà không được đo lường. Và trong lúc không ai hay biết, nó sẽ sụp đổ.
TRƯỚC / SAU
Cùng một đầu ra, phán đoán khác nhau
Biến việc đánh giá bằng mắt thường thành điểm số và căn cứ.
BEFORE
$"Câu trả lời nghe có vẻ hợp lý. Được rồi."
Lướt mắt qua rồi triển khai
Không biết điều gì đã tệ đi
AFTER
$Đã chấm điểm xong
Xử lý các câu hỏi cần từ chối0% → 100%
case-01·08·10 trở nên tệ hơn → dừng triển khai
TỆ ĐẾN MỨC NÀO?
AI được giao chấm điểm đạt bao nhiêu điểm?
Việc chấm điểm mà không đo kiểm lại cũng chẳng khác gì tung đồng xu. Dưới đây là kết quả thu được khi thực tế chạy 16 câu hỏi.
45,8%
Tỷ lệ AI được giao chấm điểm đánh giá giống con người. 11 trên 24 câu — các câu còn lại được đánh giá khác với con người.
14 / 16
Số lần kết quả đánh giá bị đảo ngược chỉ vì thay đổi thứ tự hiển thị, trong khi nội dung câu trả lời vẫn giữ nguyên
0% → 100%
Tỷ lệ lọc được những câu hỏi không nên trả lời. Chỉ sửa một dòng trong prompt mà tỷ lệ đã tăng lên chừng này. Nếu không đo lường, nó cũng có thể giảm ngược lại chừng này.
Thất bại · 3 mục bị xấu đi
Bản kiểm tra đã phát hiện case-01·08·10 âm thầm kém đi và ngăn không cho triển khai. Mắt người không nhận ra được.
Theo đúng thứ tự
Đáp án A AI chọn
Câu trả lời B
Chỉ thay đổi thứ tự
Đáp án B AI chọn
Đáp án A
Chỉ giữ nguyên nội dung các đáp án và thay đổi thứ tự hiển thị, nhưng cả hai lần đáp án ở vị trí đầu đều thắng. 14 trong số 16 câu hỏi đã bị đảo ngược như vậy. Điều đó có nghĩa là lý do được chọn không nằm ở nội dung đáp án mà ở vị trí của nó.
Nếu giao việc chấm điểm cho AI mà không biết con số này, bạn sẽ xây dựng chất lượng trên nền những điểm số sai lệch. Cách đo con số này cũng được trực tiếp xây dựng trong khóa học.
BẠN SẼ XÂY DỰNG GÌ
Trình tự xây dựng
Bắt đầu từ việc chấm điểm bằng quy tắc, giao việc chấm điểm cho AI, kiểm chứng AI đó, và cuối cùng là kiểm tra để ngăn việc triển khai. Bạn sẽ trực tiếp xây dựng từng bước một.
6 cách chấm điểm bằng quy tắc
TypeScript
Dù từng ký tự có giống hệt hay không, kết quả có đúng theo định dạng đã quy định hay không, có chứa những từ bắt buộc hay không, có từ chối những câu hỏi không được phép trả lời hay không, hay dù cách diễn đạt khác nhau nhưng ý nghĩa có giống nhau hay không. Vì không cần gọi AI nên mọi việc kết thúc trong chớp mắt.
Giao việc chấm điểm cho AI
llama3.2
Chuyển việc chấm điểm mà con người phải đọc từng câu sang cho AI. Tạo bảng tiêu chí chấm điểm, đồng thời sử dụng cả cách chấm điểm từng câu trả lời và cách đặt hai câu trả lời cạnh nhau để lựa chọn.
Đánh giá xem có thể tin tưởng việc chấm điểm của AI hay không
TypeScript
Đo mức độ tương đồng với điểm số do con người chấm, xem liệu chỉ cần thay đổi thứ tự các lựa chọn thì câu trả lời có thay đổi hay không, và kiểm tra xem có thói quen luôn đánh giá cao những câu trả lời viết dài hay không.
Tạo bộ đề kiểm tra và cố định đáp án chuẩn
TypeScript
Tập hợp các câu hỏi và câu trả lời kỳ vọng để tạo thành bộ đề, rồi lưu kết quả của một lần chạy làm đáp án chuẩn. Từ những lần sau, chúng tôi sẽ so sánh với đáp án này.
Bài kiểm tra ngăn triển khai khi kết quả xấu đi
TypeScript
Phân định đạt/trượt bằng cách so sánh với đáp án chuẩn đã lưu. Đồng thời dùng tính toán để xác định "giảm 2% có thực sự là tệ đi hay chỉ là dao động hay không".
Tự xây dựng bộ ghi lại quá trình thực thi
TypeScript
Vẽ bằng biểu đồ thanh một lần chạy đã trải qua những bước nào, mỗi bước mất bao lâu và đã sử dụng bao nhiêu token. Tự xây dựng mà không cần công cụ bên ngoài.
GIAO DIỆN TRÔNG NHƯ THẾ NÀO
Khi làm xong mọi thứ, bạn sẽ thấy màn hình như thế này.
Đây là màn hình thực tế xuất hiện trong bài giảng. Bộ kiểm tra ngăn không cho triển khai, còn trình ghi lại cho thấy lý do tại sao.
Kiểm tra trước khi triển khai
Sau khi sửa prompt và chạy lại, phần kiểm tra sẽ trả lời trước.
Đáp án chuẩn
Lần chạy này
Thất bại · 3 mục bị xấu đi · Dừng triển khai
Đối chiếu từng câu trong 16 câu hỏi với đáp án chuẩn đã lưu, phát hiện case-01 · 08 · 10 bị kém đi. Không cần con người so sánh bằng mắt, nếu vượt quá số lượng đã định thì hệ thống sẽ tự động chặn lại.
Trình ghi do tự viết
Vì vậy, chúng tôi mở phần thực thi để xem tại sao kết quả lại kém đi.
đánh giá trường hợp
truy xuất
Không có lệnh gọi LLM
sut-chat
p:152 e:19
nhúng ngữ nghĩa
p:34
đánh giá
p:145 e:63
Hai ô có thanh dài là các bước gọi AI. Kết quả còn cho thấy mỗi lần chạy đã sử dụng 413 token (câu hỏi 331 · câu trả lời 82). Đây là giao diện được tự viết bằng TypeScript mà không gắn thêm công cụ bên ngoài.
"
Hãy nghi ngờ bên chấm điểm trước tiên.
Việc chấm điểm mà không đo lường lại sẽ không bảo đảm chất lượng. Nó chỉ tạo ra ảo tưởng rằng chất lượng đang được bảo đảm. Gỡ bỏ ảo tưởng đó là cốt lõi của khóa học này.
NHỮNG GÌ BẠN CÓ THỂ KHẲNG ĐỊNH
Dùng nguyên văn trong portfolio và CV
"Tôi đã thử sử dụng công cụ đánh giá LLM" và "Tôi đã đo lường được rằng phán định bị đảo ngược 14 trên 16 lần chỉ khi thay đổi thứ tự" là hai câu khác nhau. Muốn viết câu phía sau, bạn phải tự mình đo lường, và khóa học này chính là quá trình đó.
Tôi viết trong CV như thế này
01Đo lường thiên lệch vị trí của LLM-as-judge và định lượng xác nhận 14/16 trường hợp đảo ngược phán địnhGiữ nguyên nội dung câu trả lời, chỉ thay đổi thứ tự hiển thị và ghi lại bằng số mức độ dao động của người chấm
02Xây dựng hệ thống đánh giá hồi quy tự động bằng cách triển khai 6 loại bộ chấm điểm dựa trên quy tắc, chạy trong vài giây sau mỗi lần commitChúng tôi chỉ chấm điểm bằng mã nguồn mà không gọi AI, tạo ra một bài kiểm tra đủ nhẹ để tích hợp vào CI
03Đo mức độ nhất quán giữa kết quả chấm điểm tự động và điểm số của con người, đồng thời đưa ra khoảng tin cậy bằng số liệuChúng tôi đã có thể trả lời dựa trên cơ sở rõ ràng cho câu hỏi "Có thể tin tưởng điểm số này đến mức nào?"
04Triển khai quy trình quản lý phiên bản bộ dữ liệu đánh giá và lọc các câu hỏi bị rò rỉ hoặc trùng lặpĐóng gói bộ câu hỏi và đáp án chuẩn theo phiên bản để tiêu chuẩn không bị thay đổi dù có chỉnh sửa prompt
05Thiết lập cổng chặn triển khai khi chất lượng suy giảm, ngăn ngừa trước tình trạng hiệu năng âm thầm giảm sútLọc các thay đổi trở nên tệ hơn mà không có lỗi hay nhật ký thành đạt hoặc không đạt
06Tự triển khai bộ thu thập trace thực thi và công cụ trực quan hóa để xác định các điểm nghẽn về độ trễ và chi phí tokenTự xây dựng từ đầu phần ghi lại theo từng bước và màn hình biểu đồ cột để thấy chỗ nào chậm và chỗ nào tiêu tốn token
Cả sáu dòng đều là những thứ được trực tiếp xây dựng và đo lường trong khóa học này. Ngay cả khi trong buổi phỏng vấn có câu hỏi “Bạn dựa vào đâu để tin đánh giá đó?”, bạn vẫn có câu trả lời.
TẠI SAO LÀ BÂY GIỜ
Mọi người đều sử dụng LLM, nhưng không ai kiểm chứng
Nếu nhìn bằng những con số, sẽ thấy rõ khóa học này đào sâu vào điểm nào.
một nửa
Tỷ lệ doanh nghiệp từng gặp sự cố đối diện với khách hàng sau khi triển khai các tính năng AI đã vượt qua đánh giá nội bộ. Trong số đó, cứ bốn doanh nghiệp thì có một doanh nghiệp gặp sự cố không chỉ một lần.
89% so với 52%
Một nửa số đội đã gắn khả năng quan sát cho agent, nhưng chỉ một nửa trong số đó tiến hành cả đánh giá. Khả năng quan sát kiểm tra agent có đang hoạt động hay không, còn đánh giá kiểm tra câu trả lời có đúng hay không.
12 loại
Những thiên kiến của giám khảo LLM được phân loại trong một bài báo ICLR 2025. Từ thứ tự, độ dài cho đến việc ưu tiên câu trả lời do chính mình viết — tất cả vẫn tồn tại ngay cả ở những mô hình có hiệu năng cao.
Trách nhiệm
Vào tháng 5 năm 2026, một tòa án Đức đã phán quyết rằng công ty phải chịu trách nhiệm về câu trả lời sai do chatbot đưa ra. Tiếp nối phán quyết của Air Canada năm 2024.
Thị trường công cụ đánh giá được dự báo sẽ tăng từ 1,6 tỷ USD vào năm 2026 lên 8,7 tỷ USD vào năm 2033. Tuy nhiên, mua công cụ và đánh giá xem có thể tin tưởng điểm số mà công cụ đó đưa ra hay không là hai việc khác nhau. Những người biết cách làm việc thứ hai vẫn còn rất hiếm.
Nguồn: Khảo sát VentureBeat VB Pulse tháng 6–7 năm 2026 (các chuyên viên tại doanh nghiệp có từ 100 nhân viên trở lên, 265 câu trả lời) · LangChain State of Agent Engineering (hơn 1.300 chuyên viên) · Ye et al., Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge, ICLR 2025(arXiv 2410.02736) · phán quyết ngày 12 tháng 5 năm 2026 của Tòa Thượng thẩm Hamm, Đức, Moffatt v. Air Canada 2024 BCCRT 149 · Persistence Market Research (quy mô thị trường công cụ đánh giá AI)
Nếu bạn đang tự hỏi “Khóa học này có phù hợp với mình không?”
Kiến thức thống kê thì sao? Card đồ họa thì sao? Còn khóa API trả phí? Những gì cần và không cần, tôi đã ghi đầy đủ bên dưới.
ĐỐI TƯỢNG PHÙ HỢP
Đề xuất khóa học này cho những người như sau
Nếu bạn thuộc ít nhất một trong những trường hợp dưới đây, khóa học này sẽ hữu ích ngay lập tức.
Nếu bạn thuộc nhóm này thì nhất định nên học
Nhà phát triển tạo ứng dụng tích hợp LLM
Những người luôn thấp thỏm mỗi khi thay đổi prompt hoặc mô hình
Dành cho những ai muốn hiểu cách công cụ đánh giá vận hành bên trong trước khi sử dụng.
Muốn biến "trông có vẻ ổn" thành con số và căn cứ rõ ràng
Dành cho những người muốn xác nhận liệu có thể giao việc chấm điểm cho AI hay không
CÔNG NGHỆ SỬ DỤNG
Tất cả đều chạy trên máy tính xách tay, không cần thanh toán.
Mã được viết bằng TypeScript và chạy trực tiếp bằng tsx trên Node.js. Mô hình tạo câu trả lời và chấm điểm là llama3.2 chạy cục bộ qua Ollama, còn bge-m3 chỉ được gọi khi so sánh xem ý nghĩa có tương đồng hay không. Để định dạng kết quả chấm điểm không bị lệch, chúng tôi định nghĩa schema bằng zod.
Không cần khóa API để thanh toán, không cần đăng ký dịch vụ nào, cũng không cần card đồ họa. Mọi thứ đều được thực hiện trọn vẹn chỉ trong một thư mục.
ĐIỀU KIỆN TIÊN QUYẾT
Cần những gì?
Không cần chuẩn bị gì quá to tát. Chỉ cần một chiếc laptop là bạn có thể bắt đầu.
Kiến thức nền tảng
Nền tảng cơ bản về JS/TS và kinh nghiệm từng gọi AI một lầnburugburu
Chỉ cần đọc hiểu được cú pháp cơ bản và từng gọi API AI ít nhất một lần là đủ. Bạn không cần biết về thống kê hay machine learning. Những phần cần tính toán sẽ được hướng dẫn bằng mã trong bài giảng.
Môi trường thực hành
macOS + Ollama
Tiến hành theo zsh và Homebrew. llama3.2 sẽ tạo câu trả lời và chấm điểm, còn bge-m3 sẽ kiểm tra xem ý nghĩa có tương đồng hay không — cả hai đều chạy được trên máy tính xách tay. Không cần card đồ họa, vẫn hoàn thành từ đầu đến cuối.
Chi phí
Thanh toán bên ngoài 0 won
Không có API key để thanh toán. Không có dịch vụ nào cần đăng ký, cũng không có máy chủ nào cần thuê. Hệ thống hoạt động từ đầu đến cuối ngay cả khi không có Internet.
GIẢNG VIÊN
Giới thiệu giảng viên
SILICON VALLEY · KỸ SƯ AI
Lập trình viên Thung lũng Silicon Waddy
Tôi là một lập trình viên backend chuyên phát triển máy chủ với 13 năm kinh nghiệm. Sau khi làm việc tại nhiều công ty ở Hàn Quốc, hiện tôi đang phát triển các sản phẩm liên quan đến AI tại Thung lũng Silicon. Tôi đã tận mắt chứng kiến các dịch vụ tích hợp LLM sụp đổ như thế nào khi chỉ dừng lại ở mức "có vẻ là đang hoạt động tốt", vì vậy tôi đã tự xây dựng và sử dụng các công cụ chấm điểm cùng quy trình kiểm tra trước khi triển khai. Khóa học này tái hiện nguyên vẹn quá trình xây dựng những công cụ đó. Tôi sẽ truyền đạt những gì mình biết theo cách dễ hiểu và thoải mái nhất có thể.
"Không dừng lại ở việc “trông có vẻ tốt”, mà tìm hiểu cách duy trì chất lượng bằng những con số và căn cứ."
TypeScript
Hoàn toàn ngoại tuyến
Không cần thư viện
Đánh giá LLM
THÀNH TÍCH
Vậy, Hong có thực sự hữu ích không?
Tôi đã học xong toàn bộ khóa học, cảm ơn bạn vì khóa học tuyệt vờiTin nhắn bạn để lại trong phòng trò chuyện mở sau khi hoàn thành khóa họcNhờ khóa học, tôi đã nhận được rất nhiều sự giúp đỡ và được nhận vào công tyTin vui đỗ tuyển được bạn chia sẻ trong phòng trò chuyện mở
Câu hỏi thường gặp
Câu hỏi thường gặp
Hỏi: Không giỏi về thống kê hay machine learning cũng không sao chứ?
Có. Bạn không cần biết về thống kê hay máy học. Những phần cần tính toán sẽ được lần lượt hướng dẫn bằng mã trong khóa học. Chỉ cần bạn có thể đọc hiểu cú pháp cơ bản của JS/TS và từng thử gọi API AI ít nhất một lần là đủ.
Hỏi: Có cần card đồ họa hoặc khóa API trả phí không?
Cả hai đều không cần thiết. Tất cả các mô hình AI được sử dụng đều chạy trên máy tính xách tay (llama3.2·bge-m3), không cần khóa API trả phí hay dịch vụ nào phải đăng ký. Ngay cả khi ngắt kết nối Internet, bạn vẫn có thể hoàn thành đến cuối.
Hỏi: Có thể giao việc chấm điểm cho AI không?
Không thể giao phó một cách đơn giản như vậy. Khi đo thực tế, llama3.2 được dùng trong khóa học này chỉ đánh giá giống với điểm do con người chấm ở 45,8% trường hợp (11 trên 24), và dù giữ nguyên nội dung câu trả lời, chỉ thay đổi thứ tự hiển thị cũng khiến 14 trong 16 phán định bị đảo ngược. Dù sử dụng mô hình lớn hơn thì cũng vậy: nếu không đo lường, bạn sẽ không biết con số đó. Khóa học này hướng dẫn cách tự mình đo lường con số ấy để đánh giá xem có thể giao phó đến đâu.
Hỏi: Đã có công cụ đánh giá rồi thì có nhất thiết phải tự xây dựng không?
Nếu không biết một quy tắc chấm điểm hay một chỉ dẫn chấm điểm dành cho AI vận hành bên trong như thế nào, bạn chỉ còn cách mù quáng tin vào điểm số mà công cụ đưa ra. Điều đó có nghĩa là dù cách chấm điểm 45.8% mà chúng ta đã thấy ở phần trước có nằm trong công cụ, bạn cũng không có cách nào nhận ra. Khóa học này giúp bạn hiểu rõ bằng cách trực tiếp xây dựng phần bên trong đó. Sau đó, dù sử dụng công cụ nào, bạn cũng có thể tự mình đánh giá kết quả.
Q. Dự án nhỏ cũng cần những bài kiểm tra như thế này sao?
Không phụ thuộc vào quy mô. Chỉ cần thay đổi một dòng trong prompt hoặc mô hình, câu trả lời hôm qua còn đúng thì hôm nay có thể đã sai. Các bài kiểm tra được tạo ở đây có thể chạy miễn phí trên máy tính xách tay mà không cần máy chủ hay dịch vụ trả phí. Đó là lý do bạn có thể áp dụng nguyên trạng bất kể quy mô dự án.
Q. Những gì không được đề cập?
Không đề cập đến việc tự huấn luyện mô hình, hệ thống giám sát quy mô lớn, các API AI trả phí hay những chỉ số hiệu suất tìm kiếm. Chúng tôi tập trung vào việc xây dựng công cụ chấm điểm từ con số không.
Hỏi: Có khóa học nào tôi nên học trước không?
Không. Chỉ với khóa học này, chúng ta sẽ đi từ đầu đến cuối.
Chất lượng không được đo lường thì không thể được duy trì.
Hiện tại không có cách nào biết được điều gì sẽ âm thầm trở nên tồi tệ hơn trong lần triển khai tiếp theo. Hãy tự mình tạo ra phương pháp đó và giải quyết dứt điểm.
CỘNG ĐỒNG
Phòng trò chuyện mở trên KakaoTalk, nơi các nhà phát triển tụ họp
Việc học vẫn tiếp tục ngay cả bên ngoài bài giảng. Đây là không gian để tự do chia sẻ những trăn trở về sự nghiệp, tình hình thực tế trong công việc và các câu chuyện công nghệ. Nếu gặp phần nào khó hiểu khi học, bạn cũng cứ thoải mái đặt câu hỏi. Tất cả mọi người đều được tham gia miễn phí.
Tôi bắt đầu học lập trình sau một thời gian dài lười biếng ở nhà và cảm thấy hứng thú với nó, hiện tại tôi đang đảm nhận việc phát triển máy chủ nền tảng (platform server) tại Pangyo. Tôi tiếp tục hoạt động với tư cách là người chia sẻ kiến thức vì muốn cung cấp cho các bạn phương pháp tôi đã học cũng như những vấn đề và giải pháp khác nhau mà các bạn có thể gặp phải trong thực tế.
Bài giảng không chỉ được tạo ra từ kiến thức của riêng tôi. Mọi bài giảng đều có sự đồng hành của những người cộng sự.