#python #anaconda #jupyter-notebook #visual-code #html #css #javascript #http

제목[re]웹스크래핑 질문2020-10-05 13:58
작성자

우선 url에 .aspx라는 확장자가 보입니다. 이는 ASP(Active Server Page)의 .NET확장자입니다.

ASP는 동적으로 서버에서 작동하는 페이지이며, 사용자가 보내는 값을 기반으로 처리 결과를 태그로 만들어 html을 만든뒤 클라이언트에 보내주는 방식입니다. url 기반 정적인 페이지가 아닌 동적으로 만들어 보내주는 방식이라 url이 변경되지 않는 것으로 보여집니다. 


mb-file.php?path=2020%2F10%2F05%2FF1443_4354345.png
 

mb-file.php?path=2020%2F10%2F05%2FF1445_12312sdr.png
 


크롬 DevTools(F12)를 켜고 해당 사이트에서 element inspect (Ctrl + Shift + C)기능으로 페이지 번호를 클릭하면


mb-file.php?path=2020%2F10%2F05%2FF1444_1231231.png

html의 이 부분이 페이지 번호 버튼을 만드는 것임을 확인할 수 있습니다.


여기서 javascript: doPostBack함수가 있는데

doPostBack함수는 눌린 버튼의 id(cphContents_cphContents_cphContents_ucPager_btnNo1)를 파라미터로 실행되는 것으로 보아 눌린 버튼id를 인자로 넘겨주며 페이지 새로고침을 실행한다고 예상할 수 있습니다.


웹 스크래핑을 하려면 서버에 버튼 id를 인자로 request를 만들어 POST 혹은 PostBack하는 방법을 알아보시면 될것 같습니다.

댓글