파이썬 다운그레이 후 사이킷런 재설치

안녕하십니까, 음, 이제 아나콘다의 Default 환경이 사이킷런 1.0.2 설치를 위해서 다운그레이드가 필요한 모양이군요. 근데 아래 인프런 AI 인턴 답변대로 새로운 가상환경을 구성하고 여기서 파이썬 3.9와 사이킷런을 설치하시면 좋을 것 같습니다. 아래 인프런 AI 답변대로 수행해 보시고, 주피터 노트북이 제대로 새로 생성된 가상환경에서 수행되는지 확인해 보십시요. 노트북에서 sklearn 버전이 1.0.2로 설치되었는지 확인해 보시면 됩니다. import sklearnprint(sklearn.__version__) 감사합니다.

logout 태그 관련 질문

안녕하십니까, 네, 말씀하신대로 적용하셔도 됩니다. if session_user 를 두번 쓴 별 이유는 없고, 강의에서 로그아웃 로직을 좀 더 명확하게 설명하기 위해서 그렇게 만든게 주요 이유고, 실무에서는 로그인, 로그 아웃 UI Block이 달라지는 경우도 감안할 수 있기 때문에 그렇게 구성했을 뿐입니다. 감사합니다.

카프카 학습과 관련하여 질문 드립니다

안녕하십니까, 본 강의가 Zookeeper + Kafka지만, Zookeeper가 KRaft로 변경되어도 Kafka 고유의 메커니즘은 바뀐것이 거의 없어서 추후에 적용하시는데 별 노력을 기울이지 않으셔도 될 것 같습니다. 기존에 zookeeper가 하는 일을 KRaft가 가져 갔다라고 생각하시면 되고, 다만 운영을 위한 몇가지 script와 설정 항목등은 변경/추가가 되었습니다. 운영자 입장에서는 KRaft기반의 운영을 배우기 위한 일부 러닝 커브가 존재하지만, 개발자나 데이터 엔지니어 입장에서는 거의 영향이 없다고 봐도 좋을 것 같습니다. 감사합니다.

좋은 강의 감사합니다.

안녕하십니까, 강의를 잘 듣고 계시다니, 저도 기쁘군요. 추석인데도 열공하시고 좋은 글까지 남겨 주셔서 넘 감사합니다. 제 강의가 이루려는 목표에 도움이 되었으면 합니다. 일정이 확실하진 않지만, Transformer를 구현하면서 익히는 제 신규 강의가 다음주말 정도에 공개될 수 있을 것 같습니다. 나중에 기회가 되시면, 해당 강의도 참조해 보시면 좋을 것 같습니다. 감사합니다.

파티션 증가시 비용 증가 고려

안녕하십니까,대부분의 병렬 처리가 가지는 문제점과 동일하지만, 파티션을 계속 증가시킨다고, 성능 역시 계속 증가하지 않습니다.먼저 1개 노드에서의 파티션을 계속 증가시켜도 서버 H/W의 CPU, Memory, 특히 I/O의 제약 때문에 성능 한계점이 존재하게 됩니다. 그리고 Kafka 내부에서 특정 파티션 별로 메시지를 저장하기 위한 여러 리소스가 추가적으로 필요합니다.이러한 제약을 개선하기 위해서 멀티 노드 클러스터를 구성해서 파티션을 늘려 줄 수 있습니다. 단일 노드 보다는 훨씬 선형적으로 성능이 증가하지만, 이 역시 여러 서버들의 구성/관리등의 비용, 그리고 파티션을 너무 많이 증가시켜서 매우 많은 서버들로 분할할 경우, 메타 데이터등의 관리 리소스가 많이 사용될 수 있습니다.이런 관점에서 성능과 비용 문제 트레이드 오프는 반드시 고려해야 할 사항입니다. 감사합니다.

Kafka 초기 Partition 개수 설정 관련 질문

안녕하십니까, Kafka는 어느 정도의 대용량 처리를 염두에 두고 만들어진 메시징 시스템입니다. 초기 트래픽이 많지 않더라도 추후를 감안하여 파티션 갯수를 1개로 시작하는 것 보다는 3개 정도로 정하시는게 더 나은 선택일 수 있습니다. 나중에 파티션 갯수 늘리는게 더 번거로운 작업이므로 여유롭게 구성하시는 게 좋습니다. 멀티 노드 클러스터는 성능적으로 여러개의 파티션으로 구성하는 경우에 더 적절합니다. 물론 멀티 노드 클러스터에서 1개 파티션 토픽은 장애 분산의 장점(가용성 향상)을 가지고 있지만, 성능적으로 파티션의 갯수가 많이 필요할 때 1개 서버에서 감당할 수 없어, 여러개의 서버로 파티션을 나눠서 담당해야 하는 경우에 좀 더 많이 활용됩니다. 감사합니다.

Loss와 매트릭 관계

안녕하십니까,강의에 좋은 평가 해주셔서 넘 감사합니다.일반적으로 loss가 줄어들면 메트릭(평가지표)도 좋아집니다. 그런데 딥러닝 모델은 loss를 줄이는데 너무 집중(?)하는 경향성이 강합니다.예를 들어, 이미 특정 클래스가 0.9의 확률로 확실해서 더 이상 이 클래스의 예측 확률을 더 높이는 방향성으로 학습을 할 필요가 없는데, 확실한 경우는 더 loss를 쉽게 줄일 수 있기 때문에 해당 경우만 집중적으로 학습을 하게 됩니다. 이 경우 loss는 줄고 확률로 0.99로 더 확실해 줄수 있지만, 다른 클래스의 예측 확률이 떨어질 수 있습니다. 그래서 전체적인 메트릭 지표는 점점 떨어질 수 있습니다.딥러닝/머신러닝은 본능적으로(?) 오버피팅을 하는 경향이 있습니다.이후에 나오는 실습 강의로 직접 수행 해 보시면, 아마 해당 현상을 경험하실 수 있을 것입니다. 그리고 이러한 문제점을 해결하기 위한 다양한 방법들을 이후 강의에서 배우시게 될 겁니다. 감사합니다.

scoring 함수 음수값

안녕하십니까, cross_val_score()를 사용하실 때 scoring='neg_mean_squared_error' 를 적용하면, 음수값으로 MSE가(예를 들어 -0.03) 반환됩니다. 그리고, cross_val_score()나 GridSearchCV 내부에 어떤 평가 결과가 좋은지 나타내는 함수가 있는지는 저도 잘 모르겠지만, 큰 값 순으로 평가 결과를 정렬하는 로직은 있을 것 같습니다(그래서 회귀 계열 Metric에 - 값을 곱해서 사용하는 것입니다)감사합니다.

OpenCV 관련 질문드립니다.

안녕하십니까, 로컬 환경에서 가능합니다. OpenCV는 주로 CPU 기반이라 GPU가 없어도 별 문제가 없습니다. 네, C#, Java 기반의 OpenCV 라이브러리가 있어도 둘 다 가능합니다. Java 보다는 시중에 C# 기반의 OpenCV 책이 있으니, 이걸 보시는 것도 좋을 것 같습니다. 감사합니다.

안녕하세요. 질문 하나 드려도 될까요?

안녕하십니까,본 강의가 AI 모델 서빙용으로 기획한 것은 아니고, 제리코님이 AI 에 대해서 얼마나 알고 계시고 있는지를 몰라서 답변을 어떻게 드려야 할지 저도 명확하지는 않습니다. 제 생각엔 아래와 같은 사항은 어떨까 싶습니다.AI 기본(딥러닝 또는 머신러닝 기본)딥러닝을 하신다면 Hugging Face같은 곳에서 Pretrained 모델을 다운로드 받은 뒤 학습 후 Inference를 수행하는 방법(Hugging Face API 등)Inference 성능 효율화 방법. LLM 유형이라면 token 생성(문장내 단어)를 보다 빠르고 다양하게 수행하는 법모델의 Serialization/Deserialization 방법감사합니다.