Scraping code 관련 질문

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
- 먼저 유사한 질문이 있었는지 검색해보세요.
- 서로 예의를 지키며 존중하는 문화를 만들어가요.
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

 

 

 

 

파이썬 문법을 기본적인 것을 떼고 프레임워크와 함께 무언가 만들어볼라고 하던 찰나 FastAPI와 함께 크롤링까지 학습할 수 있어서 좋은 강의인 것 같습니다 : )

 

스크랩핑의 경우, json.load 관련하여 학습하다보니 serialize 개념에서 시작하여 json.dump와 json.loads 등등 과 parser 개념에 대해 학습할 수 있어서 너무 좋았습니다. 이것저것 학습하다보니 하루가 쑤욱 갔네요...

 

----------

----------

 

 

먼저 구글링을 하고 나서 질문드립니다.

 

1) 아래 코드에서 response 앞에 await이 올 수 있는 이유

 

 

async def fetch(session, url):
    print(f"{os.getpid()} | {threading.get_ident()} thread | url: {url}")
    async with session.get(url) as response:
        return await response.text

 

공식 문서에 따르면 await 뒤에는 코루틴, 태스크 또는 퓨처가 와야한다고 하는데, 위 코드에서 await이 올 수 있던 것은 여기서 response가 async with session.get(url)의 alias 여서 가능한건가요???

 

만약 그렇다면 with문은 context manager인 걸로 알고 있습니다. 자원을 할당해주고 다 사용하면 반환하는 역할인 것으로요. 그러면 이 with문이 어째서 코루틴에 속하는지 잘 모르겠습니다.

 

-------

 

 

2) html.parser

이 질문은 제가 이해한 게 맞는 건지 여쭤보는 질문입니다.

 

beautifulsoup(html, "html.parser") code 부분에서 html을 구문분석할 parser를 "html.parser"로 정한다는 의미인가요?

그리고, HTML parser란 HTML 코드를 읽고 취해서 DOM tree 구조를 생성하는 프로그램이라 이해하면 되나요??

이 부분은 구글링하여 학습했으나, 강사님의 내포하는 지식과 일치하는지 확인받을려는 질문입니다.

 

 

 

3) await을 넣는 위치

코루틴이란 진입점과 탈출점이 여러 개인 routine인 것으로 이해했고, 그 포인트들이 await과 return으로 만들어진다고 강의를 통해 이해했습니다. 그런데, 왜 이 위치에 await을 썼는가? 라는 의문에는 쉽게 답이 나오지 않는 것 같습니다.

 

from bs4 import BeautifulSoup
import asyncio
import aiohttp


async def fetch(session, url):
    async with session.get(url) as response:
        html = await response.text
        soup = BeautifulSoup(html, 'html.parser')
        cont_thumb = soup.find("div", "cont_thumb")
        for cont in cont_thumb:
            print(cont.find("p", "text_thumb"))

 

위 코드에서 await은 response.text 앞에 있는데요.

await의 위치는 작성자가 임의로 위치할 수 있는 건인지, 아니면 별도로 제가 모르는 내용이 있는 건지 알고 싶습니다.

 

 

 

4) config.py의 get_secret() 질문