이런 사이트는 어떻게 크롤링 한 건 가요?
193
작성한 질문수 7
쿠팡과 관련된 글을 크롤링한 것 같은데 어떤 방식으로 크롤링 하면 괜찮을까요?
답변 1
0
안녕하세요. 우선 각자 원하시는 크롤링에 대해서는 양해를 부탁드립니다.
이 부분은 다음과 같은 공지도 한번 참고해보시면 좋을 것 같고요. 말씀하신 사이트는 크롤링으로 할 수도 있고, 아니면 쿠팡파트너스라는 Open API 를 써도 될 것 같습니다. 감사합니다.
------------------
오늘은 한가지 공지를 드려요~~
그동안 정말 다양하고 많은 분들께서 수강을 해주고 계시는데요. 그러다보니, 질문/답변 란에 동일한 이야기를 드릴 때가 많아서 공유를 드려요.
질문/답변 란에, 각자 원하시는 크롤링 코드 관련 문의를 해주시는 경우가 꽤 있었는데요. 그 때마다, 가급적 배려를 드리는 차원으로, 가볍게 볼 수 있는 부분에 대해서만 답변을 드리기는 했습니다. 하지만, 해당 질문/답변 란은 본 강의 영상과 관련한 질문이 있을 때를 답변해드리는 것이 기본 취지인 것 같아요.
온라인 수학 강의를 수강하면서, 강의에 나온 수학공식을 사용하는 강의 외에 각자 풀고 있는 수학 문제를 질문하고, 이를 풀어드리는 강의는 본 적이 없는데요. 마찬가지로 본 강의를 수강하시면서, 각자의 코드나, 각자 원하시는 크롤링 코드를 작성해드리거나, 함께 풀어나가는 것은 현실적으로 큰 무리가 있습니다.
더군다나 본 강의가 평생 수강이 가능하기 때문에, 이를 지원해드릴 경우, 본 강의를 들으면 내가 원하는 크롤링 코드는 모두 해결해드려야 하는 오해 아닌 오해도 생길 수 있고요. 심지어, 저도 실제 코드를 작성해봐야 해서, 코드를 작성하느라 답변이 늦어지면, 다른 답변이 늦어질 수도 있어서, 다른 수강생분들께도 문제가 될 수 있을 것 같습니다.
그래서, 질문/답변란에 문의를 주실 때에는 각자의 원하시는 크롤링 코드 관련 문의는 안해주시면 감사하겠습니다. 이 부분 꼭 양해를 부탁드립니다.
코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다
0
622
1
scrapy를 jupyter 환경에서 할 수 있나요
0
357
1
[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.
0
309
1
[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문
0
218
1
[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문
0
276
1
xml을 parsing할때 <을 < 로 인식합니다.
0
332
1
pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ
0
289
3
PhantomJS 문의
0
292
1
selenium 문의
0
326
1
브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의
0
3002
1
on error 해결 방법 질문
0
354
1
[팁] 윈도우 cmd 커맨드
0
345
1
[팁]Chrome User Agent 아는법
0
324
1
실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문
0
252
1
동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?
0
234
1
CSS Selector 에서 질문이 있습니다.
0
432
2
pip install scrapy 오류
0
479
1
셀레니움 실행불가
0
1575
1
실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.
0
224
1
언제 get_text()를 사용하고 또 언제 .text를 사용하나요?
0
284
1
강의교안자료 받을수있을까요?
0
261
1
[강의 9:27관련 질문] price, title 열 위치
0
157
1
div에 있는 클래스가 2개이면 어떻게 하나요?
0
365
1
css 셀렉터에 대해 질문이 있습니다.
0
143
1





