asyncio와 db 처리 관련 문의드려요.
316
작성한 질문수 18
안녕하세요. 강사님. 좋은 강의 감사드립니다.
수업을 끝내고 크롤링 내용을 몽고db에 저장하는 실습을 해보았는데요. 이와 관련하여 문의드립니다.
크롤링에 대한 결과물을 db에 저장한다고 하였을때,
fetch함수나 main함수나 모두 처리가 가능한데요. (fetch함수에서는 insert_one, main함수에서는 insert_many로처리)
사이트를 300개 정도 해보니 속도는 별 차이가 나지 않는것 같은데요. 실무적으로는 어떤 과정에서 데이터를 처리할까요?
두번째로
result_data = {"title":soup.select_one("title").text}
db_test.insert_one(result_data)
return result_data
이렇게 하면 신기하게 {'title': 'Daum', '_id': ObjectId('5fc8c897a96c07e83ed5d1ff') ID 값 까지 담겨서 리턴이 되더라고요. 이건 몽고DB의 속성인지, asyncio의 속성인지 혹시 아시는 부분이 있을까요??
답변 1
0
안녕하세요 J님
병렬처리가 꼭 좋은 성능 결과를 보장해 주지는 않습니다.
하드웨어는 싱글코어도 충분히 좋은 성능을 보여주고 있고
보통 동시성 처리는 많은 양의 데이터를 주기적으로 많은 요청을 받아 처리할 때 (특히 웹서버 등)에 활용될 수 있습니다.
몽고db id값은 자동 생성됩니다.
진도미확인 (진도가 안 넘어감)
0
40
1
RuntimeError: There is no current event loop in thread 'MainThread'
0
84
1
chapter 07-01 실행 오류
0
66
1
Chapter05-04 : sum_func의 합이 이중 출력됩니다.
0
77
2
45. 병렬성 2 - Futures(5-1) wait가 의도된 대로 동작하지 않습니다.
0
92
2
멀티스레딩 - 44. 병렬성 1 - Futures(4-2)
0
70
2
chapter05_02 클로저 질문사항 !
0
51
1
LV1 설정
0
87
2
매직 메소드의 호출 방법 차이 문의
0
131
2
왜 numbers리스트를 만들때 str으로 숫자를 감싸나요?
0
95
2
스크랩핑 실습 중 Mac OS 인증서 문제
0
129
1
AsyncIO 멀티 스크랩핑 실습 예제 관련 질문
0
167
1
강의자료가 영상과 다릅니다
0
255
2
closure.cell_contents 초기화 하기 문의
0
129
2
map함수 사용 시, list변환 방법 문의
0
335
2
__mul__ 백터 * 숫지, 백터 * 백터 처리
0
143
1
del처리후 질문입니다.
0
153
1
car_list(car1,car2,car3) 인스턴스 tuple 타입 문의
0
223
1
coroutine에 대한 질문
0
242
1
제너레이터 이터레이터 질문이 있습니다.
0
249
1
atom install package search not working
0
276
1
Magic Method - Not Implemented
0
395
1
가상환경 질문!
0
402
1
병렬처리 추가 질문이 있습니다.
0
244
1