강사님 좋은 강의 너무 잘 듣고있습니다.

강화학습을 이용한 주식 자동 매매 trader agent 를 만드는 것은 다음과 같은 이유로 매우 어렵습니다. 강화학습(RL)을 이용해 주식 매매 트레이더 에이전트를 개발하는 데 어려움이 따르는 이유는 다음과 같습니다: 첫째. 주식 시장은 복잡하고 예측이 어려운 환경입니다. 다양한 외부 요인(경제 지표, 정치적 이벤트, 기업 실적, 투자 심리 등)에 의해 가격이 변동되기 때문에, 이를 강화학습의 환경으로 설정하는 것이 매우 어렵습니다. 강화학습은 비교적 안정적인 환경에서 잘 작동하지만, 주식 시장은 급격한 변화와 비선형적 관계를 보이는 경우가 많습니다. 둘째. 강화학습에서 에이전트는 주어진 보상 함수를 최대화하려고 합니다. 하지만 주식 매매에서 수익뿐 아니라 리스크, 거래 비용, 거래 빈도 등 다양한 요소를 고려해야 하기 때문에 적절한 보상 함수를 설계하는 것이 매우 어렵습니다. 잘못된 보상 함수는 에이전트가 과도한 리스크를 감수하거나 비합리적인 매매 전략을 따르도록 유도할 수 있습니다. 세째. 강화학습은 대규모의 데이터를 필요로 하고, 수천 번의 시도를 통해 학습합니다. 하지만 주식 시장 과거 데이터를 기반으로 학습한 에이전트는 미래의 시장에서 유효하지 않을 가능성이 큽니다. 또한 시장 상황은 시간이 지남에 따라 변하므로 과거 데이터로 학습한 모델이 미래 시장에서 잘 작동하지 않을 수도 있습니다. 이러한 이유로 강화학습을 이용한 주식 매매 에이전트를 개발하는 것은 대규모 자원과 실시간 데이터를 소유한 월가의 투자 은행에서도 성공 사례가 공식 발표되지 않고 있습니다. 다만 막연히 그렇게 똑똑한 사람들이 모여 있는데 AI 를 이용한 거래를 하고 있을 것이라고 추측만 되고 있습니다. 저도 시중에 나와있는 "파이썬과 케라스를 이용한 딥러닝/강화학습 주식투자" -(김문권 지음, 위키북스) 를 구매해서 읽어 보았지만 실제 매매 가능한 트레이더를 개발할 수는 없는 낚시 수준의 제목과 동기 부여 정도의 책이라고 생각되는 수준이고 그것이 정상적입니다. 제가 강의 내용 중에 포함시킨 LSTM을 활용한 주식 가격 예측 역시 일정한 trend 가 있는 구간 (Regime 이라고 합니다) 에서 유요한 것이고 regime 이 바뀌는 경우 작동하지 않는 한계가 있음을 이해하시고 학습을 위한 내용으로 이해하시기 바랍니다. 제 경험을 말씀 드리면 강화학습과 LSTM 을 이용한 주식 예측 모두 실제 시도해 보았고 만들어 보았지만 남는 결론은 실제 투자에 적용은 무리하는 것과 AI 에 대한 실력이 향상되었다는 것 입니다. 감사합니다.

강의 36강에서의 질문

정책 평가에서 THETA 는 모든 상태에서의 가치 함수가 충분히 수렴했는지를 결정하는 종료 조건입니다. 즉, 모든 상태에서의 가치 변화량 중 가장 큰 값 이 THETA 보다 작아질 때 평가가 종료된다는 의미입니다. for s in range(num_states): ............................... delta = max(delta, np.abs(old_value - V[s])) 위에서 delta는 모든 state 를 loop 돌았을 때 이전 state value 와 새로운 state value 간의 가장 큰 차이를 저장한 변수이므로 단 하나의 상태에서만 변화량이 THETA 보다 작아진다고 종료되는 것이 아니라, 모든 상태의 변화량이 THETA 보다 작아져야 평가가 종료된다는 의미입니다. 이는 가치 함수가 충분히 수렴했음을 보장하는 방법입니다. 좋은 질문 감사합니다.

transformer 훈련 마친 모델 공유 가능할까요?

Original Transformer Tutorial ( https://www.tensorflow.org/text/tutorials/transformer#export_the_model )을 그대로 Colab 에서 실행 시켜도 동일한 현상이 발생하는 것을 확인하였습니다. 최근 Google 이 OpenAI에 밀리면서 과거와 달리 Tensorflow 최신 버전을 불완전한 상태로 release 하고 있는 것 같습니다. 다음과 같이 tensorflow 를 현재의 2.17.0 에서 이전의 안정된 2.15.0 version 으로 downgrade 하여 문제를 해결하였습니다. github source 도 update 해 놓았습니다. # 현재의 tensorflow version 삭제 !pip uninstall --y tensorflow # tensorflow version downgrade !pip install tensorflow==2.15.0 # downgrade 되었는지 확인 import tensorflow as tf print(tf.__version__) # Downgrade된 TensorFlow의 버전에 맞는 package 설치 !apt install --allow-change-held-packages libcudnn8=8.1.0.77-1+cuda11.2 # Install the compatible cuDNN version for CUDA 11.8 !apt install --allow-change-held-packages libcudnn8=8.1.0.77-1+cuda11.2 # Uninstall existing TensorFlow and related packages !pip uninstall -y -q tensorflow keras tensorflow-estimator tensorflow-text # Install the required protobuf version !pip install protobuf~=3.20.3 # Install TensorFlow Datasets !pip install -q tensorflow_datasets # Install TensorFlow 2.15.0 and TensorFlow Text 2.15.0 !pip install -q -U tensorflow-text==2.15.0 이렇게 하시면 T4 GPU 기준 Colab 으로 1시간 이내에 training 작업 끝낼 수 있습니다. 다른 문제 발생하면 알려주세요. 감사합니다.

Pytorch 설치 GPU 버전으로 다운해도 되나요?

GPU 가 있으시면 GPU version 으로 설치해도 문제 없습니다. 감사합니다.

강의자료는 어디서 다운받을 수 있나요?

(사진) 강의자료(강의 교재 pdf file, 소스 코드 github) 에 들어가세요. (사진) 오른쪽 상단의 구름 모양의 수업자료 다운로드 icon 을 click 하시면 pdf 강의 파일이 다운로드 되고 실습 프로그램 소스는 github link 누르고 다운로드 하시면 됩니다. 감사합니다.