[참고] 크롤링과 데이터베이스 - 스키마 구현/크롤링 시작 (업데이트) 11:52category=soup.select()에서 category가 원래는 리스트로 나오는 것으로 이해하고 있었는데 리스트가 아니라 딕셔너리형태로 나오는 이유가 궁금합니다

 안녕하세요 저는 window 환경에서 강의를 수강하고 있고 docker-compose up시 react-app-test 컨테이너가 강제 종료되어 travis-ci에서 빌드까지 되지 않고 있는 문제를 겪고 있습니다. 참고로 docker-compose up 으로 react-app 실행 시 react-app 은 정상적으로 실행 react-app-test 컨테이너는 부적절한 해체로 인한 테스트 누출로 인해 강제 종료 된 것 같습니다. )이 때문인지 travis에선 아래 코드와 같은 오류 내용이고 build에 실패하였습니다.이를 해결할 방법이 있을까요?root: deprecated ked sudo(the key 'sudo' has no effect anymore)아래 사진을 보면 Build config를 보면 에러 코멘트처럼 sudo가 사라진 것을 확인할 수 있습니다. 현 문제 해결 및 다른 에러 발생리로딩이 되는 지 확인한다고 app.js의 text 내용을 자주 바꿨는데 그에 맞춰 app-test.js는 바꿔주지 않아 영상 초반에 나오듯 렌더링할 텍스트가 맞지 않아 나는 오류였습니다.렌더링 문제가 해결되자 정상 작동은 하는데 리로딩이 안됩니다.... 

나름 대로 개인 프로젝트 만들어가는중입니다.요 강의에서 Zookeeper과 Kafka 분리 설치 및 3노드 구성하여 클러스터 구축 완료...제가 오라클 DBA 14년차이지만 이게 저랑 잘맞는거 같습니다. 좋은 강의 끝까지 열심히 들을게요수고하세요~

데이터 분석을 위한 환경 구축 (업데이트)4:27data import 덤프기능을 사용하는 이유가 궁금합니다 이전에 배웠던대로 student.sql파일로 실행할때처럼 file->open sql.script->student.sql 이런 방식과 차이점이 어떤것인가요?그리고 create database bestproducts; 를 하기 전 오류가 뜨는 이유와 치면 오류가 왜 사라지는지 궁금합니다

안녕하세요. 전 열심히 잔재미코딩 선생님 강의 수강하고 있는 수강생입니다. 크롤링 기본,고급 강의 수료했고지금 열심히 SQL 듣고 있는 중입니다.  이 다음 단계로 MongoDB 건너띄고 판다스 강의로 넘어가도 강의 듣는데 문제없을까요?  조언 부탁드립니다. 감사합니다.

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요.자바 클라이언트에서 메세지 전송시 아래와 같은 오류가 발생합니다.저는 m1 유저라 UTM으로 가상환경 구성하였고,터미널에서 테스트시에는 이전 수업내용은 잘 작동하였는데, 자바클라이언트에서 오류가 발생하네요어떻게 해결하면 좋을까요? 

패턴으로 익히는 파이썬과 MySQL - 데이터 입력과 검색9:09fetch함수는 별도로 테이블을 지정하지않고 데이터베이스만 지정하는 것(fetch앞에있는 cursor로부터) 같은데 그러면 한 데이터베이스에 있는 모든 레코드를 출력해주는 것인가요?

pymysql 소개 및 설치14:30cursor=db.cursor()에서 pymysql을 db앞에 안붙이는 이유는 db안에 pymysql.이 포함되어있기 때문이라고 이해하는 것이 맞나요?

설치중 해당 오류가 발생합니다.어떤게 원인일까요? 전에 꺼놨던 서비가 원인일까 전부 재기동해봤지만 동일하네요...

[연습] 실제 데이터 기반, 데이터베이스 직접 만들어보기111:55데이터타입 varchar text 차이가 궁금합니다 '그리고 강의내에서 varchar의 경우 int와 달라서 auto_increment를 사용할수없다고 하셨는데 auto_increment는 숫자에만 가능해서 그런건가요?

처음에 강의를 보면서 주키퍼와 브로커를 띄우면 문제없이 실행되는데, 다음날 다시 실행하려고 하면 kafka.common.InconsistentClusterIdException: The Cluster ID 8Q9ArKFaQjG9sOAyuBI3DQ doesn't match stored clusterId Some(golWFU1QQCWt7dC6LX9zhw) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.위와 같은 메시지가 뜨면서 브로커가 실행을 못합니다. data 디렉토리에 생성된 meta.properties를 삭제하고 다시 실행하면 문제없이 동작하는데, 번거롭기도 하고, 실제로도 이렇게 사용하는게 맞는건가 하는 의문도 드네요. 해당 부분에 대해 조언 좀 부탁드리겠습니다. :)

SQL로 테이블 변경하기11:34alter table에서 변경할 컬럼 타입을 넣을때 not null을 안써주면 원래 not null이었으면 null이어도 되는걸로 바뀌는 건가요? 이처럼 변경할 컬럼 타입에 원래 컬럼에 있던 타입에 관련된 것을 안써주면 리셋되는 건가요?

안녕하세요! 설명을 너무 잘 해주셔서 유익하게 잘 듣고 있습니다 ㅎㅎWakeup을 이용하여 Consumer를 효과적으로 종료하기 부분에서 질문이 있는데요,프로그램이 종료되는 시점에 새로운 쓰레드를 만들어 실행하는 함수인 addShutdownHook() 안에 mainThread.join() 부분이 잘 이해되지 않습니다. 새로운 스레드가 ConsumerNetworkClient의 wakeup을 부르고 메인 스레드가 종료될 때까지 기다려야 해서 mainThread.join()을 부른다고 하셨는데, 메인 스레드의 종료 절차(메모리 정리 등?)를 마칠 때까지 기다린다는 의미가 맞을까요? addShutdownHook() 함수가 프로그램이 종료될때 실행되는 함수인데 그 안에 종료를 기다리는 함수가 또 들어있어 헷갈렸습니다. 그리고 만약 mainThread.join()이 메인 스레드가 종료를 마칠 때까지 기다리는 게 맞다면, mainThead.join()을 먼저 부르고 kafkaConsumer.wakeup()을 이후에 호출해도 문제가 없는지도 궁금합니다~

안녕하십니까 수업 잘 수강하고 있습니다!수업을 수강하며 pyspark를 통해 예전에 했던 프로젝트의 데이터를 전처리부터 머신러닝까지 적용해보는 중인데, 전처리 과정에서 데이터를 수정해야 하는 경우에 대하여 질문이 있습니다.spark의 경우 pandas처럼 바꾸고 싶은 컬럼의 값만 바꿀 수 있지가 않고, withColumn을 통해 새로운 컬럼을 만들어내는 형식으로 대체가 가능한걸로 알고 있습니다.단순히 컬럼별로 기준을 정해서 바꾸는 거면 withColumn으로도 가능하지만, 만약 개별 줄마다 값을 변경해야 할 경우 for문을 써서 바꿔야 하는 경우가 있는데, 이렇게 할 경우 제 현재 작업 환경(로컬)이 노드가 하나여서 그런지 Java.lang.OutOfMemoryError이 뜨더군요. 그래서 기존에 하던 pandas에서 하던 것 처럼 하려면, toPandas로 바꿔서 해도 되긴 합니다만.. 그러면 pyspark를 이 단계에서는 굳이 사용해봐야 의미가 없고, 또한 나중에 in-memory에서는 처리를 하기 힘든 큰 데이터의 경우에서는 pandas를 사용하지 못하니 방법이 아예 사라지게 됩니다. 그래서 질문은, 만약 이 경우처럼 세세하게 한줄한줄마다 값을 수정할 필요가 있을 경우, 어떻게 하는 것이 좋을지 궁금합니다. 또, spark dataframe을 toPandas로 변환할 경우 그냥 Pandas dataframe으로 불러오는 것과 차이점이 있는지도 여쭤보고 싶습니다.

https://wisdom-cs.tistory.com/m/32광고는 아니고... 제가 그냥 뒤적이다가 안되서 찾은건데 여기 말대로 하니까 되네요.결국 보면 해당 강의 참고해서 정리한거같은데 도움이 되셧으면 좋겟네요

안녕하세요 zookeeper 실행 완료하고이제 마지막으로 Kafka 를 실행하면 완료 되는데요. (이미지 안보이시면 ㅠ,ㅠhttps://cdn.inflearn.com/public/files/posts/769307aa-6074-40cd-9d9d-94ffb82f7508/cccccc.PNG) 기본 default port 가 9092 설정된 상태에서 실행하면 이미 사용된 포트라고 에러가 발생 됩니다.혹시나 해서 9093 으로 설정해도 문제가 발생되네요... 참고로 꼭!! 9092 포트로 설정하고 프로세스 올리고 싶습니다 ㅠ,.ㅠ 그래서 혹시 9092 포트가 사용되고 있나 netstat -ano | findstr :9093 명령어 통해 확인을 해도 사용하는 포트가 없다고 나오는데요... 무슨 문제일까요?... 참고로 OS는 윈도우 입니다.  

안녕하세요 강사님 혹시 리뉴얼 일정이...?CI 도커강의 리뉴얼 일정이 아직 멀었겠죠???

연결이 거부된다고 뜹니다 ㅠ

만약 그렇다면 켜서 설치되어 있는 것들과 강의를 보면서 설정값들을 확인해 보고 싶은데 어떻게 하는지 모르습니다. 공식문서도 어딜 봐야 할 지 모르겠어서요.파일럿 프로젝트 진행하는 데에는 아무 문제가 없다는 걸 알지만 그래도 하나씩 짚어보고 싶어요.

영상처럼 호스트 이름을 입력하면 아래에 체크박스가 체크할수 없게 되어있고 그전 영상처럼 현재 관리되는 호스트를 클릭하면 JDK나 SSH 로그인 정보를 제공합니다. 라는 구간이 스킵이 되는데 현재 관리되는 호스트로 진행해도 아무 문제 없을까요?