카프카 서버 구축 관련 문의

안녕하십니까, docker 환경을 더 선호하시는 것은 충분히 이해 되지만, 가급적이면 강의 실습 환경과 동일하게 VM 기반으로 설치를 진행하시면 좋을 것 같습니다. 물론 Docker기반에서 Kafka를 설치하셔도(Kafka 버전만 맞다면) 실습을 수행하는데는 거의 문제가 없을 겁니다. 처음에는 Docker로 Kafka를 진행하시다가, 혹시나 잘 안되는 부분이 있으시면 나중에 VM 설치하셔고 다시 진행하시면 되는데, 이렇게 진행하면서 오히려 불편함이 생길수도 있을 것 같아, 일단 VM으로 진행하는 것을 권장드립니다. 감사합니다.

astro project 실무 적용 질문

안녕하십니까,잘 듣고 계시다니 저도 기분이 좋군요. 현재 실습 환경인 Container 환경을 기반으로 답변 드리겠습니다.수업에서 astro project를 설치하고 로컬 호스트가 아닌 scheduler 컨테이너에 접속하여 직접 dags 파일들을 수정한 이유가 있을까요?=> 잘 알고 계시다시피, 로컬 호스트(개인 PC)에서도 공유 volume/folder 구성을 통해 각 container 들이 파일 공유를 할 수 있습니다. 하지만 VSCode에서 로컬 호스트의 해당 공유 폴더에 DAG python 파일을 효율적으로 작성하려면 로컬 호스트의 별도의 파이썬 가상환경에서 airflow에서 사용된 동일한 버전의 python 인터프리터, 3rd Party 모듈, Provider 모듈등을 설치해 줘야만 합니다. 그래야 VSCode에서 제대로 된 module import, 코드 분석등의 작업을 할 수가 있습니다.예를 들어 from airflow.sdk import DAG 를 하게 되면 로컬 호스트에서 필요한 모든 모듈을 설치하지 않는 이상, VSCode는 해당 구문을 오류로 표시하게 됩니다. 물론 로컬 호스트의 가상 환경에 현재 airflow container에 있는 python 환경과 동일하게 구성을 해주면 되지만, provider module이나 3rd party module 이 추가 될 때마다 이런 작업은 번거롭고, 중복 작업이 되기 때문에 scheduler container에 바로 vscode로 접속해서 작업을 수행합니다.또한, 실무에서 airflow dev 환경에서 빠르게 테스트하기 위해 컨테이너에 직접 접속하여 코드 수정 및 확인 하는 케이스가 있으신지도 궁금합니다!=> dev 환경을 컨테이너로 구성하셨으면 컨테이너에 직접 접속하여 작업을 하시는게 더 좋습니다. 그리고 그렇게 많이들 사용합니다 ^^ 강사님께서는 airflow를 운영 및 개발 하시면서 로컬에서 테스트할 수 있는 환경(astro 등)을 구성하여 사용하고 계시는지도 궁금합니다.=> 회사 보안 차원에서 아예 로컬 PC에서 Hive가 있는 Dev 서버의 접속 port 연결을 막았다면 모르겠지만, 그게 아닌 경우라면 로컬 PC Airflow에서 Dev Hive 로 충분히 연동이 가능해 보입니다. Hive 연동을 위한 Connection 만 로컬 PC Airflow에서 만들어 주면 Dev에 있는 Hive로 연동해서 테스트 하실 수 있습니다(이걸 모르셔서 질문하셨을 것 같지는 않습니다만, 원하시는 답변이 아니면 다시 글 부탁드립니다 ^^)Dev 환경을 잘 구성해 놓은 회사일 수록(특히나 대규모의 인력을 보유한 회사), 로컬 PC에서의 개발을 완료하더라도 최종 모듈 정합성등의 테스트를 위해서 Dev 환경에서의 테스트를 필수로 요구하는 경향이 있습니다. 크게 불편함이 없다면 회사 정책대로 따라가시면 어떨까 싶습니다. 그리고 회사마다 차이는 있을 수 있는데, 요즘은 로컬/dev에서 airflow를 Container 기반으로 구성해서 많이 사용하는 것 같습니다. Astro를 사용하면 Container 구성을 편하게 할 수 있어서 더 좋은 것 같습니다. 다만 astro를 많이 사용하는지 까지는 잘 모르겠습니다. 감사합니다.

안녕하세요 열심히 수강중인 학생입니다

안녕하십니까, 강의를 열심히 계시다니, 저도 기분이 좋군요. 지식을 습득하는데 있어서 왕도는 저마다 개인적인 특성이 있는 것 같습니다. 최소의 노력으로 최대의 효과를 얻으면 좋겠지만, 지식이라는게 습득하고 체득하는데 자연스럽게 시간이 걸리는 특징이 있기에, 겉으로 보기엔 최소의 시간을 투자하는 효율적인 방법 같지만, 결과적으로 지식의 깊이가 그에 미치지 못하는 비효율적인 결과를 가져 올 수도 있다고 생각합니다. 말씀하신 두개의 방법중에 어떤게 좋은지 스스로 확신할 수 없다면,무조건 코드를 직접 치면서 이해하는 방식을 권장드립니다. 코드를 치면서 이해함과 동시에 챗GPT라던가 구글 검색등을 통해서 확장되는 호기심이나 궁금한 부분들을 스스로 찾아보면서 좀 더 이해의 영역을 넓히는 시간을 가지면 어떨까 싶습니다.그리고 스스로 어느 정도 수준에 이르면 좀 더 빠르게 지식을 습득할 수 있는 다른 방법들을 시도해 보시면 좋을 것 같습니다.감사합니다.

'레벨 유지'의 의미에 대한 질문

안녕하십니까, 1:m 조인 후에도 m집합의 레벨을 유지한다는 의미는 행 개수나 건수를 유지한다는 의미가 아니고,조인 후 결과 집합은 원래 m 집합에서 조인으로 사용되는 컬럼의 Unique 레벨을 그대로 따라간다는(유지한다는) 의미입니다. 가령 dept 테이블은 deptno로 1의 집합이고, emp 테이블은 deptno로 m인 집합입니다. dept와 emp를 조인 컬럼인 deptno로 조인을 하게 되면, 조인 후 생성되는 집합(조인 결과)은 m인 emp 테이블의 집합 레벨을 그대로 유지하게 됩니다(즉 deptno로 m 이자, empno로는 unique) 1:m 조인시에는 조인 컬럼으로 m에 해당하는 테이블은 집합 레벨(pk이든, 조인 컬럼이든)이 변경이 되지 않습니다. 하지만, 1:m 조인 시에는 결과가 조인 컬럼으로 m에 해당하는 테이블의 건수와 같지 않은 경우가 발생할 수도 있습니다(where 조건으로 filtering 한다면 당연히 같지 않지만, 조인 조건만 있고, where로 filtering 하는 경우는 없다고 가정하고)나중에 outer 조인을 말씀 드릴텐데, 1에 해당하는 테이블에는 조인 컬럼으로 데이터가 있지만, m에 해당하는 테이블에 조인 컬럼으로 데이터가 없는 경우가 있을 때 outer join을 하면 조인이 되지 않는 1의 테이블 정보를 추출할 수 있어서 건수가 m 테이블에 맞지 않습니다. 흔하지는 않지만, 데이터 정합성을 잘못 맞춰서, m쪽에는 데이터가 있지만, 1쪽에는 데이터가 없는 경우가 있습니다(즉 emp 테이블에는 특정 deptno가 있지만, dept 테이블에는 해당 deptno가 없는 경우. 이런 경우는 정합성 오류이긴 합니다만 발생은 할 수가 있습니다). 그런 경우 건수가 m 테이블에 맞지 않습니다. 제가 실습 예제로 1:m 조인과 집합 레벨 보존은 많이 수행할 것입니다. 실습을 수행해 보시면 좀 더 명확히 이해 하실 수 있으실 겁니다. 감사합니다.

Custom Dataset에서의 polygon 정보 관련

안녕하십니까, 이미지만 있을 경우 segmentation을 위한 Polygon 좌표를 만드는 방법은 opencv의 findContours() 함수를 사용하는 방법이 있습니다. findContours() 함수는 이미지내 object들의 외곽선 좌표들을 추출해 줍니다. 다만 이 방식을 사용하면 어떤 object 들인지는 알 수 없고, polygon용 값만 추출해 주므로 별도의 수동 작업등이 필요합니다. cvat.ai(https://www.cvat.ai/) 에서 object의 일부만 polygon을 수동으로 찍어주면 자동으로 object 들의 polygon 정보를 만들어 줍니다. 아쉽게도 강의에서는 현 cvat ai가 아니라 과거 cvat org만 영상으로 제공하고, 또한 polygon 좌표를 만드는 것에 대해서는 언급 드리지 않습니다. 그리고 이 기능을 사용하려면 cvat가 내부적으로 Segmentation 모델을 적용하므로 GPU가 필요할 수 있습니다. 추가적으로, 검색을 해보시면 클라우드 상에서 유료 또는 Trial로 이미지의 Polygon을 생성해주는 여러 서비스들을 찾으실 수 있을 겁니다. 감사합니다.

정수 인덱싱

안녕하십니까, 날카로우시군요. 네, 맞습니다. 앞에 오는 인덱스도 정수 인덱스를 추면 한 차원 축소 될 수 있습니다. 감사합니다.

강사님의 로그포맷과 저의 로그포맷이 차이가 있는것 같습니다.

말씀하신 로그 포맷의 차이가 어떤 건가요? 화면만 봐서는 모르겠군요. 제가 강의 영상을 녹화한 시점이랑 지금 학습하시는 시간이 다르기 때문에 로그가 다르게 나오는 부분이 있습니다만, 어떤 문맥적인 부분을 말씀하시는지 잘 모르겠습니다. 제가 강의 영상에서 설명드리는 부분이랑, 실습 하실 때 나오는 로그 메시지가 뭔가 논리가 안맞는 부분이 있으면 기재 부탁드립니다.

질문있습니다.

안녕하십니까, Pytorch가 아직 익숙하지 않으시다면 CNN 완벽 가이드 부터 권장 드리며 일당, 섹션 10(Dataset과 DataLoader)까지 들으시면 좋을 것 같습니다. 그리고 섹션 10까지 중에 딥러닝 기본이라 이미 알고 있는 내용이라면 스킵하셔도 무방합니다. 그리고 이후에 섹션 16을 들으셨으면 합니다. 감사합니다.

7 강에서 astro dev start를 하는데, localhosst8080화면이 안뜹니다

안녕하십니까,minio container가 9001번 포트를 점유하는데 뭔가 문제가 있는걸로 보입니다.현재 pc에 9001번 포트를 점유하는 다른 프로그램이 있는 것 같습니다. 일단 아래 명령어로 현재 프로그램 중 9001 번 port를 점유하는 process id를 한번 찾아보신 후netstat -ano | findstr :9001그리고 작업 관리자에서 세부정보 탭에서 해당 process id 로 동작하는 프로그램을 중단 시켜 주십니다. 이어서 아래 명령어로 다시 기동해 보십시요.astro dev restart --verbosity debug 감사합니다.

astro dev start에서 building 시간이 깁니다.

안녕하십니까,첫 build는 image 다운로드하는 Network 속도만 양호하다면 대부분 5분 안에 완료될 것입니다.한 시간이 넘었다면 첫번째, 네트웍 연결이 양호한지, 아님 너무 느린 공공 네트웍에 연결되었는지 확인부탁드립니다.네트웍이 느리지 않는데도 계속 안되면먼저 ctrl + c 로 종료 시키고astro dev start --verbosity debug 와 같이 수행해서 어디까지 진행되고 있는지 확인해 주십시요.잘 안되면 다시 글 부탁드립니다. 감사합니다.