I was grateful to be able to fill in the lacking parts :)

ysmath

The core of all AI/deep learning is ultimately optimization. Of course, optimization theory is not only needed in AI/deep learning. Computer vision, robotics & control systems, financial engineering & quant, data science, signal processing... Probably no matter which field you study, optimization theory is one of the topics you will inevitably encounter when you go deeper. This lecture systematically covers everything from basic mathematical theory to in-depth content. I believe it is by far the best optimization theory lecture offered in Korea.

jhim21

Optimization Theory Bible

모든 AI/딥러닝의 핵심은 결론적으로 최적화입니다. 물론 AI/딥러닝 에서만 최적화이론이 필요한 것은 아님니다. 컴퓨터 비젼, 로보틱스 & 제어시스템, 금융공학 & 퀀트, 데이터 과학, 신호 처리...아마 어느 분야를 공부하던 좀 더 깊이 들어가면 꼭 만나게 되는 주제 중 하나가 최적화이론 입니다. 이 강의에서는 수학적인 기초 이론부터 시작하여 깊이있는 내용들까지 체계적으로 다루고 있습니다. 국내에 개설된 최적화 이론 강의 중 단연 최고라 생각 합니다. 

임장환

입문

초급

중급이상

optimization-problem

최적화이론

최적화이론 Bible

최적화이론 Bible 소개

다변수 함수의 미분(Differentialtion of Multivariable Functions)

컨벡스 함수(Convex function)

최적화이론1: 제약조건이 없는 최적화

Gradient Descent 탐색방법과 Deep Neural Network의 
역전파 알고리즘 (Backpropagation)

Newton 탐색방법(Newton Method)

최적화이론2: 제약조건이 있는 최적화