google automl efficientdet 다운로드 및 설치 오류

안녕하십니까, 강의 칭찬해 주셔서 감사합니다. Colab 환경이 계속 업그레이드 되면서 현재 requirements.txt의 package 구성과 뭔가 맞지 않는 것 같은데, 원인 찾는데 시간이 더 걸릴 것 같습니다. 내일 다시 테스트 해보고 말씀드리겠습니다. 감사합니다.

데이터 브릭스 이슈

안녕하십니까네 가능합니다. 지금 인프런 측과 협의중이니 잠시만 기다려 주십시요. 답변 듣는대로 다시 말씀드리겠습니다 감사합니다

데이터 브릭스 가입

안녕하십니까, 확인 결과 알려 주신대로, community 무료 버전은 신규 가입이 더 이상 허용되지 않는 것 같습니다. 기존 community 무료 버전 가입자는 아직 사용이 가능하지만, 신규 가입은 없애 버린 것 같습니다. 현재로서는 14 day free trial 버전을 사용하는 방법 밖에 없는데, Databricks S/W가격은 free지만, AWS등의 H/W, N/W 비용은 청구가 됩니다. 실습을 하기 위한 비용은 5만원 미만일 것 같지만, 14일이라는 제약 역시 강의 수강에 부담이 될 수 있을 것 같습니다. 아직 제가 유료 버전 실습 구성, 비용등에 대해서 상세한 준비가 되어 있지 않습니다. 아마 11월 중순까지는 완료할 수 있을 것 같습니다만, 여러가지 사항을 고려해 볼때 현재로서는 강의 환불을 받으시는게 어떨까 싶습니다.불편을 끼쳐드려 죄송합니다

비동기처리와 멀티스레드

안녕하십니까, 강의 칭찬해 주셔서 넘 감사드립니다 ^^ FastAPI는 사용자 Request를 처리할 때 프레임워크에서 비동기 또는 동기 처리를 선택할 수 있게 구성되어 있습니다. Java 계열의 웹 프레임워크(예: 스프링)은 병렬 스레드 기반으로 여러 사용자 Request를 개별 스레드들이 처리하는 방식을 취하고 있고,FastAPI는 사용자 Request를 처리할 때 프레임워크에서 비동기 또는 동기 처리를 선택할 수 있게 구성되어 있습니다. 즉 IO 처리는 물론이고 단순 서비스 로직에서도 비동기 처리를 수행할 수 있습니다.동기로 수행할 건지, 비동기로 수행할 건지의 개략적인 File 이나 DB와 같이 I/O를 많이 소모하거나, CPU 계산을 많이 필요로 하는 API는 비동기로 수행해주면 좋습니다.단순한 서비스의 경우는(예를 들어 수ms내에 응답 처리가 가능한) 비동기로 하던, 동기로 하던 큰 성능 차이는 없습니다. 일괄적으로 async keyword로 비동기 처리를 해주시는게 좀 더 바람직 할 수 는 있지만, async keyword를 함수 선언시 마다 기재하는게 귀찮으면 동기로 처리하셔도 무방합니다. 하지만 전체적으로 async 처리를 더 권장드립니다.비동기로 수행하면 단일 스레드 기반의 별도 event loop로 수행되며, 동기로 수행하면 multi thread로 수행 할 수 있습니다. 하지만 파이썬의 multi thread는 Java만큼 가볍지 않고, 효율적이지도 않습니다. 때문에 가급적이면 multi thread 기반 보다는 비동기로 수행해 주시는게 좋습니다. 감사합니다.

Q, K, V 초기 임베딩

안녕하십니까,강의를 잘 듣고 계시다니, 너무 기분 좋습니다 ^^초기 token embedding은 어떤 방식으로 설정되는 것인가요?=> 초기 token embedding은 word2vec과 같이 미리 pretrained 된 embedding을 사용하지 않는 이상, 학습이 되지 않아서 제대로 된 단어의 의미를 표현하지 못합니다. 그래서 초기 embedding값은 정규 분포와 같은 값의 형태를 가지고는 있지만, 제대로된 단어 의미를 나타내지는 못하고 이후 모델이 학습을 하면서 점차 단어 의미를 다차원 벡터로 표현할 수 있게 됩니다. 2-1 Query, Key, Value를 구하기 위해 초기 token embedding에 (3, 3) 형태의 nn.Linear를 곱하여 각각 (6, 3)으로 변환하는 과정의 의미가 궁금합니다.기존 token embedding을 그대로 사용하지 않고 이렇게 변환하는 이유가 무엇인지 알고 싶습니다=> query, key, value는 반드시 입력 token embedding에 학습 파라미터가 적용된 선형변환 형태로(즉 nn.Linear 적용하여 변환) 적용되게 됩니다. Transformer와 같은 NLP 모델은 문장의 문맥과 구성, 단어간의 관계 및 구성등의 요소를 모델의 학습을 통해서 얻어 질 수 있는데, 이를 위해 query, key, value를 token embedding 자체로 적용하지 않고, 학습 파라미터가 적용된 선형 변환 형태로 만든 다음에 내적을 구하는 방식으로 관계 유사도를 만들게 됩니다.즉 Transformer 모델에 학습 데이터(학습 말뭉치 문장)을 점진적으로 학습 시키면서 점점 향상된 문맥의 의미를 query, key, value의 학습 파라미터를 통해 학습 하면서 얻게 되는 것입니다.2-2 조금 더 구체적으로는, 이렇게 선형 변환을 적용하면 기존 임베딩의 의미가 무시되거나 손실되는 것은 아닌지 의문이 있습니다.=> 전 섹션인 embedding에서도 보셨겠지만, embedding 자체도 학습 파라미터를 가지고 있습니다. 때문에 embedding값도 학습을 하면서 계속 최적화되면서 변경이 됩니다. 그래서 모델이 학습을 하면서 embedding의 학습 파라미터, query, key, value의 학습 파라미터들이 계속 최적화 되면서 문장의 문맥, 단어간 관계등을 가장 잘 표현해 줄 수 있는 값으로 최적화 되는 것입니다. 요약드리자면, embedding, query, key, value 모두 다 학습 파라미터를 가지고 있으며, 이들이 학습을 수행하면서 최적으로 변경되면서 문장의 문맥 의미들을 잘 파악할 수 있도록 Self Attention 메커니즘이 구성되어 있는 것입니다. 감사합니다.

pyspark local 설치

안녕하십니까, 지방에 내려오느라 답변이 늦었습니다. 강의에서 Spark를 로컬 PC에 설치하지 않은 이유는 아래와 같습니다. 먼저 Spark가 local에 설치하기가 만만하지 않습니다. 설치를 docker로 하면 좀 더 나을 수는 있는데, docker를 잘 아시면 쉬울 수도 있지만, 그렇지 않으시면 docker 사용하는데 시간이 많이 필요할 수 있습니다. 이 밖에 pyspark용 주피터 노트북이라던가 여러가지 설치에 시간이 더 소모될 수 있습니다. Pyspark의 버전과 함께 수행되어야 하는 다른 라이브러리들의 버전 맞추기가 어려워 질 수 있습니다. 로컬 PC에서 자원을 많이 소모합니다. 특히나 메모리 자원을 많이 사용해서, PC 사용이 좋지 않을 경우 잘 수행되지 않거나, 이유없이 Shutdown이 될 수도 있습니다. 감사합니다.

이상 탐지에 사용할 비전 기술 조언 부탁드립니다.

안녕하십니까, 질문을 제가 잘 이해하지 못했습니다. 이미지나 영상에서 스크래치, 깨짐등의 불량을 잡아내는 방식은 적어주신 이미지 판별이나, object detection, segmentation을 적용합니다. 그런데 여기서 어떤점을 더 강조해서 듣고 싶으신건지, 아님 다른 내용이 필요하신건지 제가 어떻게 답변을 드려야 할지 잘 모르겠습니다. 어떤 부분을 강조해서 알고 싶으신 건지, 좀 더 자세하게 내용을 기재해 주실 수 있는지요? 감사합니다.

fastapi의 가능성에 대해 궁금합니다.

안녕하십니까, FastAPI는 파이썬 생태계에서 떠오르는 웹 프레임 워크입니다. 파이썬 웹 프레임 워크를 사용한다고 하면 요즘은 Flask보다 FastAPI를 더 선호합니다. 웬만한 파이썬 기반의 신규 프로젝트, 특히 AI/ML과 결합된 백엔드 개발에서는 FastAPI가 사실상 표준처럼 자리잡아 가고 있습니다. 근데, 이러한 강세는 기업내에서 파이썬을 주요한 개발 언어로 사용하거나, 파이썬 프레임워크 도입을 적극적으로 수용하는 환경에 국한됩니다. 국내에서는 말씀하신대로 자바 기반의 스프링이 훨씬 더 많이 사용되고 있습니다(취업이 목표라면 스프링을 먼저 배우시는게 더 나은 선택일 수 있습니다 ^^)FastAPI의 강점은 Django나 Flask와 같은 파이썬 생태계 웹 프레임 워크와 비교 되는게 맞을 것 같습니다. 강의에서 좀 더 자세히 설명드리지만, FastAPI의 강점을 요약해서 말씀드리자면, Django나 Flask보다 빠르고 구현이 보다 간결하다 라고 요약 드릴 수 있습니다. 물론 Django 대비해서 다양한 기능을 웹 프레임 워크레벨에서 지원하지 않고, 다른 패키지나 직접 구현해야 하는 점은 있습니다만, Flask와 같이 오히려 특정 기능이 웹 프레임워크에 의존하지 않는 것을 선호하는 개발팀에게는 장점으로 다가 갈 수 있습니다. 파이썬의 풍부한 AI 생태계 지원에 힘입어, 요즘은 AI 기반, 특히 LLM위한 백엔드 시스템으로 FastAPI를 많이 선호합니다요약 드리자면 파이썬을 잘 활용하는 기업 환경에서라는 전제에서, FastAPI는 빠른 성능, 보다 간결한 구현을 가능하게 하는 웹 프레임워크라는 장점으로 가장 빠르게 성장하고 있습니다. 특히나 국내에서는 주로 AI기반의 프로젝트 수행 시 백엔드 시스템으로 많이 선택되고 있습니다. 감사합니다.

어디가 필요없는 코드인지 알아내려면....

안녕하십니까, 오 대단하시군요. 전공자도 아닌데, 이렇게 시스템을 스스로 구축하시다니요정적파일 처리를 nginx에서 처리하는 경우 app.mount()가 필요없을 것 같은데...=> nginx를 안쓰신다면 모르겠지만, 쓰실거면 일반적으로 nginx에서 정적 파일 처리를 하는게 더 좋습니다.MySQL서버와 Redis 서버를 찾아가는 FastAPI코드가 있고, yml파일로 컨테이너를 만드는 코드를 작성할 때, network로 서로를 연결하게 될텐데.... 이때 MySQL서버와 Redis 서버를 찾아가는 FastAPI코드가 없어야만 되는지, 아니면, 있더라도 상관이 없는 것인지... 그것도 궁금합니다.=> 해당 질문을 제가 잘 이해하지 못했습니다. FastAPI에서 MySQL나 Redis 서버를 접속하려면 FastAPI 코드가 있어야 합니다. 즉 DB나 Redis Connection정보를 이용해서 접속합니다. 이걸 질문하신 건지 아니면 다른 사항을 질문하신거라면 좀 더 자세히 기재 부탁드립니다. 전체 시스템 구성을 어떻게 하신건지 잘 몰라서 확실하게 답변을 드리기가 어렵지만, FastAPI에서 더 빠질것은 없어 보입니다. 감사합니다.

rollup시 null값 매출 라벨링

안녕하십니까, 좋은 정보 감사합니다.