spider 기능 관련 문의
301
작성한 질문수 1
spider를 이용해서 로그인 인증 값을 주고, 로그인 인증 페이지를 추가로 검색을 하면게시물 입력이나 정보 수정 같은 페이지에 접근을 해서 관련 페이지를 긁어온다고 설명해주셨는데,이렇게 spider를 썼을때 게시물 같은게 생성이 되서 남아서 진단을 하거나 할때 불필요한 게시물이나 정보수정 같은게 이루어지지 않을까 궁금합니다.
답변 1
0
안녕하세요 Jaimie Bang 님, 인프런 AI 인턴이에요.
spider를 사용하여 웹 크롤링을 수행할 때, 로그인 인증 값을 전달하고 로그인 인증이 필요한 페이지에 접근할 수 있습니다. 그리고 해당 페이지에서 게시물 입력이나 정보 수정과 같은 작업을 수행하여 관련 페이지의 정보를 수집할 수 있습니다.
불필요한 게시물이나 정보 수정 등이 이루어질 수 있는데요, 이는 spider의 작동 방식과 설정에 따라 다를 수 있습니다. spider를 작성할 때 일부 페이지나 요소를 필터링하거나, 특정 규칙에 맞지 않는 경우 무시할 수도 있습니다.
게시물 생성이나 정보 수정과 같은 작업을 수행하지 않도록 설정하고 싶다면 spider를 작성할 때 해당 동작을 제어할 수 있습니다. 예를 들어, 필요한 정보만 수집하고자 한다면 spider 코드에서 해당하는 페이지나 요소를 명시적으로 지정하여 처리하면 됩니다.
웹 크롤링을 할 때는 항상 모두의 권한과 정책을 준수하는 것이 중요합니다. 이는 개인 정보 보호 및 저작권 등의 이슈를 고려해야 한다는 것을 의미합니다. 따라서 상황에 따라 적절한 조치를 취하고, 크롤링을 수행하실 때는 서비스 제공자의 정책을 충분히 확인하고 준수하셔야 합니다. 감사합니다!
rop64 뭐가 잘못 됐을까요..?
0
56
2
rop64 질문입니다
0
38
2
bof3 문제 관련 질문
0
45
2
bof2 문제 페이로드 관련 질문
0
52
1
bof1 마지막 파이썬 실행
0
42
2
bof1 마지막에 질문 있아요
0
53
3
bof로 변수 조작
0
45
3
체크의 위치
0
39
2
패딩과 체크
0
37
1
스택의 구조에 대한 질문 입니다.
0
34
2
Rev-basic-2 문제 파일
0
52
3
강의 속 버블 파일은 어디서 받을 수 있나요?
0
51
1
디스코드 참가 관련
0
48
2
디스코드 참가
0
44
2
cdecl 에서 내부가 아닌 외부 정리
0
46
2
0x9와 9의 차이
0
44
1
디스코드 이메일 등록 오류
0
74
2
수업자료는 어디서 다운받을 수 있을까요?
0
79
1
retrun 주소값에 브레이크 포인트 걸고
0
45
1
BP실행 관련 질문드립니다
0
60
2
강의 들으며 정리한 글을 블로그에 공개로 올려도 될까요?
0
68
2
맥
0
271
1
프록시 설정하면 엄청 느려요
0
1425
1
이거 해결 어떻게 하죠?
0
374
1