ajax 통신 방식으로 바뀌었을때 대처법을 알고싶습니다.

네 감사합니다~!

결국 저도 브라우저의 개발자모드에서 사이트를 분석하는 방법외에 더 다른 방법을 사용하지는 않습니다. 다만 웹사이트를 많이 만들어보면 대략 어떻게 만들겠구나 하는 정도의 감이 생기는건 사실입니다. 그래서 웹 크롤링을 하는 분들께 웹사이트를 한번이상은 만들어보는걸 추천드리는 편입니다.

예를 들어 오늘자 실시간 검색어를 보자면 9위에 있는 "트럼프" 단어를 search 하면 api 주소가 검색 결과로 나오는걸 볼 수 있습니다. 물론 이렇게 쉽게 해결되는 경우도 있지만 그렇지 않는 경우가 더 많기도 합니다. 최악의 경우에는 사이트에서 사용되는 js 파일들을 하나하나 열어서 분석해봐야 하는 경우도 있습니다.