안녕하세요. 김영한님. 수업에 직접적으로 언급된 내용은 아니지만 업무를 하다 궁금한게 생겨 이렇게 질문 드립니다. 현재 회사에서 사용하는 Spring 프로그램이 https://www.egovframe.go.kr/wiki/doku.php?id=egovframework:rte2:psl:dataaccess:mybatisguide "3.1 기존 DAO 형태로 사용하는 경우"를 따르고 있습니다. DAO라고 명시된 파일은 mybatis에 접근하는 sqlSession만 작성해서 return하고, 그 전에 Service에서 모든걸 처리하고 필요한 해당 DAO를 Service가 호출 하여 DB에 접근합니다. 궁금한 부분은 강의에서 언급된 @Repository를 사용한 interface 로 Service에서 필요한 로직을 처리하고, Service 마지막에 sqlSession으로 return 해주것과 큰 차이가 있는지 궁금합니다. 왜 굳이 한번더 감싸(?) 주는지 잘모르겠습니다. 이렇게 구현해야 할 특별한 이유가 있을까요?
이전 강의에서도 새로운 html을 만들 때 깃 add cancle 이 있을때 add를 하지 않는 경우가 있었습니다. 들으면서 왜 add를 하지 않는지에 대한 의문이 들어서 질문 남깁니다. 이 부분은 그냥 본인 마음대로 하면 되는것인가요 아니면 하지 말아야하는 이유가 존재해서 그런건가요?
안녕하세요, 강사님 덕분에 AWS 의 기본 개념에 대해 잘 이해할 수 있어 정말 좋았습니다. 다음에는 아래의 내용으로 중/고급자를 위한 AWS 강의 개설 부탁 드립니다. ================================================== AutoScaling with Multi AZ, ELB, Nginx, Global Accelator, WAF, Aurora for mysql, Route 53 for dns Shiled Advanced ( to protect DDoS), ECS( or EKS)를 유기적으로 Hands-On으로 진행하는 강의를 준비해주시면 감사하겠습니다.
안녕하세요 backend개발자 이지만 DB에대해서 깊게 알고싶어서 질문드립니다. Redo Log Buffer에서 DML을 모아서 처리한다고 하셨는데요 . 데이터가 변경되기전에 다른곳에서 데이터를 조회하게된다면 redo log buffer 에서 아직 처리되지 않은 튜플은 어떻게 처리가 될까요? Commit 되기 전의 데이터를 보게될 까요... ? 그렇다면 그런경우 해당 데이터의 정합성에 문제가 있을 수 있는건가요?
고수가 되는 파이썬 : 동시성과 병렬성 문법 배우기 Feat. 멀티스레딩 vs 멀티프로세싱 (Inflearn Original)
안녕하세요, Queue모듈로부터 queue 인스턴스를 생성하는데요, 이 인스턴스는 main함수의 스택에 존재하는 게 아닌가요? 서로 다른 쓰레드 간에는 스택은 공유하지 않는데 어떻게 pipeline을 서로 다른 쓰레드에서 접근 가능한지 궁금하여 문의드립니다. queue 인스턴스가 힙에 존재하나요?
먼저 강의 항상 잘 보고 있습니다 선생님!!! 제가 editForm 아래에 <div class ="col" > <button class ="w-100 btn btn-danger btn-lg" onclick =" location . href = 'item.html' " th :onclick =" |location.href='@{/basic/items/{itemId}/edit/delete (itemId = ${item.id})}'| " type ="button" > 삭제 </button> </div> 추가후 컨트롤러에 @GetMapping ( "/{itemId}/edit/delete" ) public String editDelete ( @PathVariable Long itemId) { itemRepository .delete(itemId) ; return "redirect:/basic/items/" ; } 추가하여 지우는걸 브라우저에서 성공 했습니다. 다름이 아니라 DeleteMapping 을 사용하여 지우고 싶은데 form method = "delete"로 해도 안되서 질문을 남겨봅니다. 위에 방식대로 하면 실행이 됩니다만 혹시 DeleteMapping 을 사용해서 할 방법이 있을까요??
비밀번호 확인 작업하는데 isMatch가 undefined가 뜨면서 계속 false 가 뜹니다. User.js에서 isMatch 가 undefined로 뜨면서 그대로 callback 되면서 index.js 에 오는거 같습니다. 에러를 확인해 보니 Error: data and hash must be strings라는 것이 뜨는데 잘 모르겠습니다. 지금도 구글링 하면서 찾아보고 있는데 잘 안되네요;; https://github.com/Jaeki-Kwon/React-Node-singUp 깃허브 주소입니다. 조언 부탁드립니다.. User.js index.js 이용해주세요.
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하세요 배운 내용을 토대로 응용을 해보고 있는데요, 네이버 뉴스의 내용을 크롤링 하고 싶어서 크롤링한 걸 재크롤링 하는 방법을 써봤습니다. 그런데 href 추출까지는 잘 되는데요, (print로 확인 해보면 잘 크롤링 됨) 그걸 다시 파싱하는 코드를 넣으니까 에러가 납니다. 여기서 뭘 어떻게 건드려야 할지 모르겠어요ㅠ import requests from bs4 import BeautifulSoup keywords = ["인공지능"] for keyword in keywords: url = "https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query={0}".format(keyword) #기사 링크 추출 search_url = requests.get(url) soup = BeautifulSoup(search_url.text, "lxml") urls = soup.select("a.info:nth-of-type(2)") for burl in urls: # print(burl["href"]) #본문 url 다시 파싱 res_info = requests.get(burl["href"]) soup_info = BeautifulSoup(res_info.content, "lxml") title = soup_info.select("h3#articleTitle") print(title)
지난주 상품 업로드 사진관련 질문드렸던 학생입니다 banner 에서도 동일한 문제가 발생중이며, Carousel로 돌아가긴 하지만 모든 이미지가 사진 없음으로 뜨며, 개발자 도구 확인 결과 banner에서 404 Not Found 오류 발생중이였습니다 저번 문제에 이어서 이미지 관련 문제가 해결이 되지 않습니다.
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 settings.py에 대해서 질문 드립니다. 아래 검은 배경은 settings.py이며, 질문은 초록색이고 흰색은 셋팅한 결과입니다. 네이버 상품(약 10~100만개) 긁어오기로 크롤링 연습중입니다. Q. 이 숫자를 키우면 속도가 빨라지고 낮추면 속도가 느려지는 것 같습니다. 동시 요청 처리 갯수 때문 인 것 같은 데요. 구글링 해본바 너무 요청속도가 빠르면 네이버에서 제 ip를 막을수도 있다는 글을 봤습니다. 혹시 어느 정도 수치가 적당할지 조언 부탁드립니다. CONCURRENT_REQUESTS = 64 #이거는 웹 도메인 동시병렬처리 갯수라고 알고 있습니다. 바로위 셋팅한 기능과 어떤 차이가 있는지 궁금합니다. 또한 크롤링 실행 후 네이버에서 제ip를 막지 않을 정도이면서 빠른 데이터 수집가능하게하려면 어느정도 수치가 적당할지 조언 부탁드립니다. CONCURRENT_REQUESTS_PER_DOMAIN = 16 #이 부분은 동시 IP 병렬 처리 갯수 지정하는 곳으로 알고 있습니다. 아래와 같이 셋팅해서 써봤으나 속도가 100배 이상 느려지는 것 같습니다. 랜덤 ip를 사용하면서 해당 사이트에서 벤 먹지 않기위해서는 랜덤 ip 관련 셋팅을 어떻게 할 수 있을지 조언 부탁드립니다. CONCURRENT_REQUESTS_PER_IP = 16 ROTATING_PROXY_LIST = [ '195.7.9.141:8080' , '105.208.44.183:53480' , '96.9.77.71:8080' , '103.87.207.188:48792' , '139.59.102.4:8080' , '103.109.59.242:53281' , '219.92.3.149:8080' , '192.241.172.93:8080' , '85.15.152.39:3128' , '81.255.13.197:8080' , '177.86.201.22:8080' , '13.231.68.213:8081' , '78.42.42.35:3128' , '45.248.94.60:30858' , '194.5.237.193:1038' , '149.28.213.28:80' , '115.75.2.213:38351' , '75.119.144.28:80' , '103.35.171.233:55443' , '193.29.104.79:3128' , ] DOWNLOADER_MIDDLEWARES = { 'rotating_proxies.middlewares.RotatingProxyMiddleware' : 610 , 'rotating_proxies.middlewares.BanDetectionMiddleware' : 620 } #이 부분은 매 요청마다 쿠키를 삭제하는 기능으로 알고 있습니다. 제 사용법이 적절한지 조언 부탁립니다. COOKIES_ENABLED = False TELNETCONSOLE_PORT = None ..~~ 각 yield마다 meta에 dont_merge_cookies:true를 넣어준 상태입니다. yield scrapy.Request( url =i[ 'link' ], callback = self .product_1, meta ={ 'dont_merge_cookies' : True }) # 이 부분은 매 요청마다 랜덤 user-agent를 주기위해 셋팅했습니다. 하지만 실행하면, 속도가 100배 이상 느려 지는 것 같습니다. 어떻게 하면 최대한 빠르게 매요청마다 랜덤 user-agent를 보낼 수 있을지 조언부탁드립니다. DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware' : None , 'scrapy.downloadermiddlewares.retry.RetryMiddleware' : None , 'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware' : 400 , 'scrapy_fake_useragent.middleware.RetryUserAgentMiddleware' : 401 , } FAKEUSERAGENT_PROVIDERS = [ 'scrapy_fake_useragent.providers.FakerProvider' , 'scrapy_fake_useragent.providers.FakeUserAgentProvider' , 'scrapy_fake_useragent.providers.FixedUserAgentProvider' , ] # 만약 매 요청마다 random user-agent와 random ip를 네이버 쇼핑에 던질 수 있으면, 딜레이 시간 없애고 동시요청 갯수를 수천개로 늘려도, 밴 걸릴 확률이 낮을까요 ?
polo4800@gmail.com 입니다. 감사합니다.^^ - 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
