쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
안녕하세요 저는 비전공자이고 풀스택 전과정 + 고급 크롤링 강의를 듣고있는 수강생입니다. 우선 너무 좋은 강의 정말 잘 듣고 있습니다. 저는 코딩을 아예처음 접하고있어서 어느쪽으로 가고싶은지 전혀 갈피가 없었는데요. 하다보니 데이터과학이 제가 하고싶었던 분야라는것을 알게되었습니다. 항상 외주로 개발자를 구해서 돈을 주고 프로그램을 제작하는것을 자주해왔는데요. 개발비로도 2000만원이상을 쓴것 같습니다. 그런데 제가직접 해보고자 이곳을 찾아왔고, 데이터 과학이 제가 생각한 분야라는것을 고급크롤링 강의들으면서 알게되었습니다. 그런데 궁금한점은 개발자에게 외주를 맡기면서 항상 GUI 방식의 프로그램을 받아서 그것으로 크롤링 및 자동화 프로그램들을 주로 외주를 맡겨왔었는데요. 강의 내용을 계속보고있는데 GUI 에 관한건 없더라구요. 제가 못찾는건지 별도 다른강의가 있는건지 알고싶습니다. 저는 GUI에 자동화 소스를 버튼처럼만드는 그런 프로그램을 만들고 싶거든요 ! 강의내용의 질문은 아니지만, 그 강의가있다면 추가로 구매해서 수강하고싶습니다. 답변 부탁드립니다
datagrip에서 복구 하려고 하면 postgre 관련 cli 가 필요합니다. 아래와 같이 우선 실행 $ brew install libpq $ echo 'export PATH="/opt/homebrew/opt/libpq/bin:$PATH"' >> ~/.zshrc $ source ~/.zshrc $ psql --version psql (PostgreSQL) 15.2 Path to pg_restore 에서 CMD+SHIFT+G 눌러서 brew로 설치한 디렉토리로 이동 이후 복구 하면 됩니다
안녕하세요. 다름 아니라 Spring Boot가 3.XX 버전으로 업데이트가 되면서, 해당 버전을 사용하시는 분들은 1.3.176버전으로 H2 이용 시 404에러가 발생합니다. 해당 에러를 해결하려면 최신 버전으로 H2를 사용하여야 하는데요. 최신 버전으로 H2를 사용하면 1.3.176 이하 버전처럼 db가 자동 생성 되지 않습니다. 그래서 해결 방법을 찾았는데요. 이 방법은 제가 어떻게 어떻게 하다 보니 발견한 방법이라서 옳다고 할 수는 없겠지만, H2를 테스트용으로만 사용하기 때문에 띄우기만 하면 되므로 문제 없을 것 같아 공유드립니다. 우선 pom.xml에서 h2 dependency를 추가하였다면, 아래 이미지처럼 왼쪽 프로젝트 창의 External Libraries 리스트에서 h2를 찾을 수 있습니다. 해당 h2 jar파일을 우클릭하면 탭이 뜨는데 Open Library Settings(F4)를 선택하면 h2 jar 파일의 위치를 확인할 수 있습니다. 그럼 해당 위치로 가셔서 jar파일을 더블 클릭하여 실행시키면 브라우저에서 H2 콘솔이 실행됩니다. (h2 jar 파일 우클릭 시 탭에서 Open in > Directory Path(Ctrl + Alt + F12)를 선택하면 Show Explorer탭이 뜨고, jar 파일 선택하면 폴더로 바로 이동 됩니다) 이 때 우측 하단의 트레이를 확인해보시면 H2 Database Engine이 실행된 것도 확인할 수 있습니다. 이제 브라우저의 H2 콘솔에서 Generic H2 (Embedded) 를 선택하시고 강의 내용대로 아래 이미지처럼 작성해주세요. 연결 시험(Test Connection)을 눌러보면 아래 이미지처럼 db가 없다고 나올 것입니다. 그렇지만 걱정 마시고 이 상태에서 연결을 눌러보세요. db가 생성된 화면을 만날 수 있습니다. 이제 db가 생성이 된 것입니다. 그렇기 때문에 뒤로 가기를 눌러 다시 로그인 화면이 뜬 후에 연결 시험(Test Connection)을 눌러보면 아까와는 다르게 Test Successful이라는 성공 메세지를 만날 수 있습니다. (그러나 이것은 브라우저의 H2 콘솔 URL의 포트를 보시면 아시겠지만, 저희 프로젝트에서 db가 만들어진 것이 아닙니다. 이에 대해서는 아래를 읽어주세요) 제가 H2 경험이 별로 없어서 해당 방식이 Embedded, In memory, Server 모드 3가지 중 어떤 방식인지 잘 모르지만 서버 방식으로 추측됩니다. 서버 방식은 H2를 따로 외부에서 띄워 놓고 접근해서 사용하는 것을 말하는 것 같은데요. 그렇기 때문에 저희가 만들어 놓은 프로젝트 URL인 localhost :{랜덤포트}/h2-console 에서 H2 사용 시 Embedded로 선택하여 Embedded 모드로 실행하면 연결 오류가 그대로 발생합니다. 그래서 강의와는 다르게 아래 이미지처럼 Server를 선택하여 외부(여기서는 프로젝트 외부에서 H2를 따로 동작시켜 db를 만들어준 것을 말함)의 H2에 접근하도록 연결해야 합니다. 연결 방법은 아래와 같이 URL을 적어주면 됩니다. Saved Settings와 JDBC URL 입력 항목을 유의해주세요. 이렇게 설정해준 후, Test Connection 버튼을 눌러보면 연결 테스트가 성공한 것을 확인할 수 있습니다. 마찬가지로 연결 버튼을 클릭해보면 연결도 잘 됩니다. 이제 이 상태에서 강의를 이어서 진행하면 문제 없을 것입니다. ※ 추가적으로, 외부에서 서버를 켜놓고 접속하는 것이기 때문에 오른쪽 트레이의 H2 Database Engine을 우클릭하여 종료하면 프로젝트의 H2 콘솔에서 연결이 불가합니다. 그러니 프로젝트 작업 시에는 트레이를 종료하지 않도록 유의해주세요. ※ 그리고, H2 Engine을 따로 받아서 서버 모드로 사용하면 DB 상태가 유지되지만, 이 방법은 프로젝트의 h2 jar 파일을 통해 진행하다보니 DB 상태가 유지되는지 알 수 없습니다. 오른쪽 트레이에서 H2를 재실행시키면 다시 DB를 만들어야 하는 것 같더라고요. 참고 부탁드려요~ [추가] Users Microservice - JPA①, ② 강의에서 H2 DB에 연결해 DB를 연결해주는데요. 위의 과정은 Embedded가 아닌 Server 로 처리하기 때문에 설정이 다릅니다. application.yml 파일에서 아래와 같이 설정해주세요. 유의하실 부분은 spring.datasource.url 부분과 spring.jpa.generate-ddl 부분입니다. url 만으로는 처리가 안되길래 jpa에서 db 생성하도록 generate-ddl을 true로 설정하였습니다. spring: application: name: user-service h2: console: enabled: true settings: web-allow-others: true path: /h2-console datasource: driver-class-name: org.h2.Driver url: jdbc:h2:tcp://localhost/mem:testdb username: sa jpa: generate-ddl: true
안녕하세요. 과학기술정보통신부 주관 지역ICT이노베이션스퀘어 확산사업 으로 블록체인 고급 프로젝트 과정 개발 교육 진행중입니다. 수강혜택으로 수료증발급, 블록체인 자격증 응시 기회까지 제공해드리고 온라인수강, 전액무료, 누구나 과정을 이수할 수 있으니 신청해보세요. 학생, 취업준비생, 재직자, 이직자 예정자분들 병행 추천드립니다! https://blog.naver.com/kjc_sh/222852299901
안녕하세요 인공지능팩토리 커뮤니티매니저입니다. 여름은 일 년 중 가장 뜨겁고 무더운 계절이기도 하지만 가장 화창하고 푸르른 계절 중 하나이기도 합니다. 시원한 바다와 음료가 생각나기도 하구요 여러분은 어떻게 여름을 보내실 지 계획을 세우셨나요? 이번 여름을 저희 AIFactroy와 함께 보내실 수 있도록 경진대회 소식을 준비해봤습니다 이번 대회는 바로 롯데멤버스 채용특전과 더불어 총 상금 1,000만원이 걸린 "(채용 특전) 제7회 롯데멤버스 빅데이터 경진대회"입니다! 주제는 고객 구매 데이터에 기반한 예측 모델 개발 및 개인화 마케팅 전략을 제안하는 것입니다. 여러분의 역량을 펼치어 좋은 결과로 이어지길 응원하겠습니다~ 롯데멤버스 경진대회 1634×336 132 KB 공모 주제 : 고객 구매 데이터에 기반한 예측 모델 개발 및 개인화 마케팅 전략 제안 기간 및 일정 (UTC+ 9(한국) 기준) 참가신청 : 2022. 6. 2. (목) ~ 2022. 7. 3. (일) 24:00 데이터 다운로드 및 분석결과물 제출 : 2022. 6. 20. (월) ~ 2022. 8. 12. (금) 24:00 사전설명회 : 2022. 6. 29. (수) 16:00 참가신청서 https://forms.gle/9zDNGE1rhKfEFmrH7 상금 및 채용특전 (총 상금 1,000만원 + 채용특전) 대상 1팀 : 500만원 최우수상 1팀 : 200만원 우수상 3팀 : 각 100만원 장려상 3팀 : 각 L.POINT 30만 P ※ 우수상 이상 수상팀 참여인원 대상, 22~23년 데이터 유관 직무 신입/인턴 지원 시 서류전형 1회 면제 참가대상 엘포인트 회원 : 국내/해외 대학생 및 대학원생, 대학교 졸업 후 2년 이내의 미취업자 개인 또는 팀 (최대 3인) 문의 : 인공지능팩토리: cs@aifactory.page 대회 상세 보기 [ AIFactory ] AF_포스터 618 1070×1511 146 KB 하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
초반 h2 database 접근 시에 embedded mode 접근 시에는 잘 되는데, (jdbc:h2:~/jpashop) server mode 접근 시에 (jdbc:h2:tcp://localhost/~/jpashop) 접근이 안 되는 문제가 있었습니다. Connection is broken: "java.io.EOFException: localhost" [90067-199] 90067/90067 (도움말) 와 같은 오류가 나는 것으로 보아 접근이 안 되는 것 같아 보였고요, 해서 직접 h2 database 를 기동해 보았는데 Web Console server running at http://localhost:8082 (others can connect) TCP server running at tcp://localhost:51689 (others can connect) PG server running at pg://localhost:5435 (only local connections) 위와 같이 tcp server 는 51689 포트로 뜨는 것을 확인했고, localhost: 51689 로 변경하여 접속하여 해결 되었습니다. 실행시에 tcpPort 옵션으로 변경하여 실행이 가능하므로, 고정 포트로 테스트하였습니다. `java -jar "$dir/h2-1.4.199.jar" -webAllowOthers -tcpAllowOthers -tcpPort 8043` 으로 했습니다. 삽질 공유 드립니다.
