172만명의 커뮤니티!! 함께 토론해봐요.
미해결
실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
안녕하세요! 차근차근 잘 보고 있습니다. 선생님이랑 똑같이 따라하고 있는데 저는 자꾸 에러가 나서요ㅠㅠ ".logo_naver"가 없어진거 같아서 다른걸 붙여서 했는데도 오류가 나는데 뭐가 잘못된 걸까요ㅠㅠㅠㅠ 답변이 선생님이랑은 다르게 이렇게 나와서요ㅠㅠ 똑같이 따라하는데 뭐가 잘못된 건지 모르겠어요ㅠㅠ
미해결
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요! 쌤 인프런, 유튜브 강의 보면서 잘 만들어 가고 있었는데 현재 코드에서 아무리 수정을 해도 css를 잘못 가져오는건지 오류가 생겨서 답답해서 질문 들고 왔습니다 현재 css 코드 찾기 좀 부탁드릴게요ㅠㅠ 안되는 항목 ✔ 연예뉴스 -> 내용을 못 가져옴 ✔ 스포츠뉴스 -> 제목, 날짜, 내용 다 못 가져옴 css를 여러개 바꿔서 넣어봐도 저는 자꾸 찾을 수 없다고 크롤링 됩니다 도와주세요,,,,,,, #네이버기사 크롤링 엑셀저장 import requests from bs4 import BeautifulSoup import time import pyautogui from openpyxl import Workbook #사용자입력 keyword = pyautogui.prompt("검색어를 입력하세요") lastpage = int(pyautogui.prompt("몇 페이지까지 크롤링 할까요?")) #엑셀 생성 wb = Workbook() #엑셀시트 생성 ws = wb.create_sheet(keyword) #열 너비 조절 ws.column_dimensions['A'].width = 60 ws.column_dimensions['B'].width = 30 ws.column_dimensions['C'].width = 60 ws.column_dimensions['D'].width = 150 #행 번호 row = 1 #페이지 번호 pageNum = 1 for i in range(1, lastpage*10, 10) : print(f"{pageNum}페이지 크롤링중입니다 =================") response = requests.get(f"https://search.naver.com/search.naver?where=news&query={keyword}&sm=tab_opt&sort=1&photo=0&field=0&pd=3&ds=2024.04.11&de=2024.15.20&news&query={keyword}&start={i}") html = response.text soup = BeautifulSoup(html, 'html.parser') articles = soup.select("div.info_group") #뉴스기사 div 10개 추출 for article in articles: links = article.select("a.info") #리스트 time.sleep(0.7) if len(links) >= 2: #링크가 2개 이상이면 url = links[1].attrs['href'] #두번째 링크의 href를 추출 response = requests.get(url, headers={'User-agent': 'Mozilla/5.0'}) html = response.text soup_sub = BeautifulSoup(html, 'html.parser') content = soup_sub.select_one("#newsct_article") if content: content_text = content.get_text(separator="\n") else: content_text = "내용을 찾을 수 없습니다." title = None date = None #만약 연예 뉴스라면 if "entertain" in response.url: title = soup_sub.select_one(".end_tit") date = soup_sub.select_one("div.article_info > span > em") content = soup.select_one("#articeBody") #만약 스포츠 뉴스라면 elif "sports" in response.url: title = soup_sub.select_one(".Main_article_title") content = soup.select_one("._article_content") else: title = soup_sub.select_one(".media_end_head_headline") date = soup_sub.select_one("span.media_end_head_info_datestamp_time._ARTICLE_DATE_TIME") #본문 내용안에 불필요한 div, p제거 divs = content.select("div") for div in divs: div.decompose() paragraphs = content.select("p") for p in paragraphs: p.decompose() print("=======제목======= \n", title.text.strip() if title else "제목을 찾을 수 없습니다.") print("=======날짜======= \n", date.text if date else "날짜를 찾을 수 없습니다.") print("=======URL======= \n", url) print("=======내용======= \n", content.text.strip() if content else "내용을 찾을 수 없습니다") # 'else' 블록에서 'date' 변수 정의는 여기서 끝나도록 수정 ws['A1'] = '제목' ws['B1'] = '날짜' ws['C1'] = 'URL' ws['D1'] = '내용' ws[f'A{row}'] = title.text.strip() if title else "제목을 찾을 수 없습니다." ws[f'B{row}'] = date.text.strip() if date else "날짜를 찾을 수 없습니다." ws[f'C{row}'] = url ws[f'D{row}'] = content_text.strip() if content else "내용을 찾을 수 없습니다." row=row+1 #마지막 페이지 여부 확인하기 next_button = soup.select_one("a.btn_next") if next_button: isLastPage = next_button.attrs.get('aria-disabled', None) if isLastPage == 'true': print("마지막 페이지 입니다.") break pageNum = pageNum+1 wb.save(f"{keyword}_4월_뉴스기사_크롤링(4)_내용까지_0411~0415(3).xlsx")
해결됨
Windows 시스템 프로그래밍 - 기본
DLL 명시적 링크에서 파일 오류가 생기는데 해결이 안됩니다. 구글 검색이랑 여기저기 다 해봤는데 나오는 게 없어서 질문 합니다. 일단 코드 입니다. 질문 내용은 코드 밑에 다가 적어 두겠습니다. DLL 파일 이름 = Dll1.dll main 파일 이름 = dlltest.cpp 경로는 강의와 동일 합니다. main() 파일 #include <iostream> #include <Windows.h> #include <tchar.h> using namespace std; //void WINAPI DllTestFunction(int pParam); int main() { HINSTANCE Hin = ::LoadLibraryA("..\\x64\\Debug\\Dll1.dll"); DWORD Error1 = ::GetLastError(); if (Hin == NULL) { printf("falied LOADLIBARARY"); } DWORD(WINAPI * dllfun)(void) = NULL; dllfun = (DWORD (WINAPI*)(void)) ::GetProcAddress(Hin, "DllFunction"); Error1 = ::GetLastError(); std::cout << Error1 << std::endl; dllfun(); if (dllfun == NULL) { std::cout<<"failed dllfun()"<<std::endl; wprintf(_T("falied dllfun()")); return 0; } std::cout << "ddd" << std::endl; FreeLibrary(Hin); return 0; } DLL 파일 #include "pch.h" #include<stdio.h> #include<Windows.h> #include<iostream> #include<tchar.h> #pragma once extern "C" __declspec(dllexport) DWORD WINAPI DllFunction(void); DWORD WINAPI DllFunction(void); BOOL APIENTRY DllMain( HMODULE hModule, DWORD ul_reason_for_call, LPVOID lpReserved ) { switch (ul_reason_for_call) { case DLL_PROCESS_ATTACH: case DLL_THREAD_ATTACH: case DLL_THREAD_DETACH: case DLL_PROCESS_DETACH: break; } return TRUE; } DWORD WINAPI DllFunction(void) { wprintf(_T("DLL TEST: DllTestFunction(param:)")); std::cout << "failed DLLfun dllfun()" << std::endl; return 0; } 현재 증상 dllfun(GetProcAddress로 얻은 함수 주소)가 자꾸 NULL로 나와서 실행이 안됩니다. 현재까지 확인된 내용 Hin(LoadLibraryA) 모듈 핸들을 얻었는 데 NULL은 안 뜨나 디버깅을 했더니 This Program cannot be run in Dos mode 라고 나옵니다. dllfun(GetProcAddress로 얻은 함수 주소)은 NULL이 확실합니다. 밑에 코드 몇번 변경하면서 확인 됬습니다. GetLastError()을 dllfun()에 127( 지정된 프로시저를 찾을 수 없습니다."라는 오류가 생성됩니다.)이 나옵니다 현재까지 시도 경로 조정 절대경로, 상대 경로 다해봤습니다. 함수 이름 변경 extern "C" ~ 이것도 파일 양쪽에 다 넣어보고 한쪽에도 넣어보고 했습니다. 구글 검색해도 원하는 내용이 안나옵니다. Hin의 자료 형을 HMODULE, HINSTANCE 다해봤습니다. 환경변수 조정 v3에 걸려서 꺼보고 실행 exe 파일위치를 기준으로 경로 조정 빌드도 해봤는데 안됩니다. 대략 이 정도 입니다. 원인이랑 해결방법이 궁금 합니다.
해결됨
독하게 시작하는 C 프로그래밍
안녕하세요 강사님 섹션 12 [필수 실습 문제] '*' 출력 놀이 응용 관련해서 질문이 있습니다 강사님께서는 if 문을 사용하셔서 문제를 해결하셨는데 저는 for문만 사용했습니다 수업시간에 강사님께서 말씀하신 puts("*")만 사용해서 연속으로 별을 찍는 것이 아니고 저만의 논리가 있으면 프로그래밍에서 방법은 상관없는 건가요? 특정한 정답이 있는건지 궁금합니다.
해결됨
Windows 시스템 프로그래밍 - 기본
안녕하세요! 프로세스 파트 마지막 강의를 듣다가 궁금한 점이 있어 질문 남겨봅니다! static 파트는 r 와 rw가 가능한 곳으로 나뉜다고 말씀해주셨고 보통 r만 가능한 영역은 문자열이 담기게 된다고 이해했습니다. rw 가 가능한 영역은 어떤 데이터기 담기는 지 알 수 있을끼요??
미해결
홍정모의 따라하며 배우는 C언어
if(isPrime)이라고만 했을 때의 작동 원리가 궁금합니다. for문에서 해당이 안 되면 true가 계속 유지가 되는 건데 if(isPrime)이라고 하면 true라고 기본적으로 세팅이 된 건가요?
해결됨
독하게 시작하는 C 프로그래밍
안녕하세요 수업 잘 듣고 있습니다. c언어를 처음 배워서 모르는 것이 많아서 이상한 질문이라도 양해 부탁 드리겠습니다. c 부터 c++까지 4가지 강의를 쭉 들어보려고 구매를 했는데 열심히 해보겠습니다. 독하게 c 필수 실습 문제 2번째 것을 보며 디버그를 하다가 궁금증이 생겨서 질문 드립니다. 제가 질문을 두서 없이 했습니다. 양해바랍니다ㅜ 그리고 만일 질문의 내용이 수업을 따라가다 보면 알 수 있는 내용이라면 질문에 대한 답은 안 해주시고 그렇게만 써주시면 될 것 같습니다. 첫 번째 char형 배열은 선생님 말씀처럼 잘 확인을 했는데 두 번째 int형 변수는 저런 식으로 나와서 잘 모르겠습니다. 메모리를 가리키는 주소 자체?도 메모리 인가요? 다만 위 사진에서는 주소 자체 메모리는 안보이고 그 주소가 가리키는 메모리만 보여줘서 주소 자체 메모리는 안 보일 뿐인가요? 그렇게 되면 위 그림에서 0x00....43과 대응되는 ??은 못 쓰는 메모리가 되는 것인가요? 주소 자체?도 메모리라면 그곳에는 주소 뿐 아니라 정수도 저장할 수 있는 것 처럼 보이는데 맞나요? 주소 부분과 정수 부분이 구분 되어있는 건가요? 아니면 정수 부분도 주소로 쓰일 수 있는 건가요? 위 사진에서 제가 67을 썼더니 주소가 0x00..43으로 나왔고 그것을 가리키는 메모리는 ??이 나왔습니다. 이것은 10진 수를 16진수로 바꾼 주소 자체에 그대로 매칭 시켜서 저장했다는 소리 같은데, 그러면 모든 정수는 이렇게 매칭 시켜서 중복되면 그 하나를 돌려 쓰게 되는 것인가요? 뭔가 머리가 복잡해져서 그대로 질문을 했지만.... 말씀해주셔도 모를 것 같고 복잡할 것 같습니다. 지금 단계에서는 그냥 넘어가고 뒤에 배우다 보면 다 알려주시는 부분인가요?? 아니면 따로 알아야 할까요??
해결됨
독하게 시작하는 C 프로그래밍
선생님께서 전강의에서 가르쳐주신 파일의 현재경로(프로젝트파일이 있는 폴더)로 con파일을 연거 같은데 그 폴더에는 con이 없네요 ㅠㅠ 요 파일은 별도로 관리되는 파일이라서 경로를 넣을 필요가 없는건가요?
해결됨
윤파고의 정보처리기사 DB/프로그래밍 All-In-One
2021년 3회차 1번문제에서 heap 주소가 200이라고 하셨는데 이 부분에서 왜 200인지에 관한 설명이 나와있지 않아서 질문 드립니다!
해결됨
독하게 시작하는 C 프로그래밍
안녕하세요 강사님 섹션 12 반복문 필수 실습 문제 별 찍기 관련해서 질문있습니다. 변수 i=0; 초기화를 맨위나 while문 바로 위에 선언하면 실행이 잘되는데 변수 i=0; 초기화를 맨위나 while문 바로 위에 둘 다 선언하면 if 문까지만 실행이되고 그 아래 while문은 실행되지 않을까요? 그런데 또 맨위쪽과 while문 바로 위 모두 변수를 한번씩 선언하고 코드 실행 후 맨위나 while문 바로 위에 둘 다 선언했더니 정상적으로 작동이 됩니다 마지막으로 원래 return 0; 을 main함수 맨 밑에만 주로 썼는데 강사님께서 이 문제에서는 return 0;을 if 문 끝날때 쯤에도 한번 쓰셨는데 이유를 알 수 있을까요? 솔직히 return 0;의 의미를 0의 값을 반환해서 최종적으로 함수를 실행되게 한다는 것 빼고 확실하게 모르겠습니다.
해결됨
윤파고의 정보처리기사 DB/프로그래밍 All-In-One
구글링도 해봤는데 좀 애매해서 후치연산자를 좀 엄밀하게 설명해주셨으면 좋겠어요. 해당 문제 a += ++a % b++ ? c*d : b/c 에서 b/c를 계산 할때 후치연산자를 먼저 적용하고 연산하시던데 해당 줄의 전부를 모두 계산하고 최종 a에 대입까지 완료하고 나서야 후치연산자를 계산하는게 아닌가요? 구글링으로 찾아보니 컴파일러에 따라 연산 구조가 달라 순서도 다르다고 하던데 정확히 연산 우선순위에서 어떤시점에 후지연산이 적용 되는건지 알려주세요.
해결됨
독하게 시작하는 C 프로그래밍
예제에서 name의 datatype을 char로 지정하셨는데 마지막에 printf문에서 출력할 때 형식 문자를 %c가 아니라 %s로 하시더라고요. 이 이유가 gets_s함수 때문인가요?? 만약에 맞다면 gets_s함수는 문자에서 문자열로 바꿔주는 역할을 하나요? 아니면 배열을 써서 바뀐 건가요..??
해결됨
독하게 시작하는 C 프로그래밍
안녕하세요 선생님 질문이 있습니다. 포인터 변수에 할당되는 공간의 크기가 8Byte인것이 64bit 프로세서를 사용해서 그런것이라면 32bit 프로세서에서는 포인터 변수에 할당되는 공간의 크기가 4Byte라고 이해해도 될까요? 감사합니다.
미해결
모두의 한국어 텍스트 분석과 자연어처리 with 파이썬
안녕하세요 선생님 대학교에서 캡스톤디자인을 수행하고 있는 학생입니다. 판결문에서 사건의 원인,판결 결과,가중·감소 처벌 요소,키워드를 추출하고 싶은데 어떤 기술을 사용해야할지 막막하여 질문올리게 되었습니다. 거대언어모델은 지양하라고 교수님께서 말씀하셨습니다..ㅜ 조언을 주신다면 감사하겠습니다.
해결됨
CUDA 프로그래밍 (2) - C/C++/GPU 병렬 컴퓨팅 - 벡터 vector 더하기
안녕하세요 저번 Vector Addition 수업에서는 256M(256 x 1024 x 1024)개의 연산을 수행하기 위해서 <<<256*1024, 1024>>>로 커널을 런치하여 Block의 개수에는 제한이 없는 것 처럼 보였는데, 15-5강의에서는 SM의 Thread Block은 32개 까지 가능이라고 하셔서 헷갈리는데 두 개의 Thread Block 개념이 다른 것인지 궁금합니다.
해결됨
CUDA 프로그래밍 (2) - C/C++/GPU 병렬 컴퓨팅 - 벡터 vector 더하기
안녕하세요. 먼저 좋은 CUDA 강의를 제공해주셔서 감사합니다. 다름이 아니라 15-4 강의에서 Warp를 동시에 돌린다는 말에 질문이 있습니다. Warp 스케줄링을 저는 아래와 같이 비교하여 이해하였습니다. CPU: Core -> 여러개의 쓰레드 GPU: SM -> 여러개의 Warp 강의 내용처럼, CUDA에서 Warp별로 스케줄링을 관리를 한다면 모든 SP의 Clock들이 같은 Instruction을 수행(SM내 SP들의 Clock들은 Sync가 맞음)하여야 Warp단위로 스케줄링이 가능할 것 같은데, 제 생각이 맞는지 궁금합니다. 감사합니다.
해결됨
Airflow 마스터 클래스
안녕하세요 강사님! dags_python_with_ templates.py 파일에서 show_templates 함수를 아무 인자도 넣지 않고 실행을 시키는데요, dag 실행시 출력되는 키워드 인자들은 에어플로우 태스크 객체에 기본으로 입력되는 값들인가요? 정확한 원리가 궁금하여 여쭤봅니다
미해결
홍정모의 따라하며 배우는 C언어
10분 36초에서 다음 코드를 실행시 "오류 C2075 str2 초기화에는 중괄호로 묶인 이니셜라이저 목록이 필요합니다."하면서 오류가 납니다.. 구글하고 네이버 서치하고 이거저거 다해봤는데 도저히 모르겠어요..
미해결
홍정모의 따라하며 배우는 C언어
#include <stdio.h> int main() { /*int a = 0; int int_arr[10] = { 0,1,2,3,4,5,6,7,8,9 }; printf("%i %i %i\n", int_arr[0], int_arr[1], int_arr[9]);*/ //printf("%i\n", int_arr[10000]); char c = 'a'; char str1[10] = "Hello"; // null character char str2[10] = ('H', 'i'); printf("%c\n", c); printf("%s\n", str1); printf("%s\n", str2); /*printf("%hhi %hhi %hhi %hhi %hhi\n", str2[0], str2[1], str2[2], str2[3], str2[4]);*/ //char str3[10] = "Hello, World", // array size is not enough //char str3[20] = "Hello, \0World", //printf("%s\n", str3); return 0; }
해결됨
독하게 시작하는 C 프로그래밍
안녕하세요 강사님. 항상 자세한 강의 감사드립니다! 예제파일을 다운로드 받을려고 하는데 혹시 어디서 받을 수 있을까요..? 찾아보았지만, 찾을 수가 없어 부득이하게 질의드립니다!
