[웹크롤링] 02. requests 라이브러리

 

 

 

 

 

🙆‍♂️ requests 라이브러리

---

pypi에 등록되어 있는 다양한 프로젝트와 라이브러리 중 requests라는 라이브러리를 사용해서

파이썬 코드로 웹 사이트로 request를 보낼 것입니다.

https://pypi.org/project/requests/

requests

 

설치는 위의 문서를 통해서 할 수 있습니다.

저는 anaconda의 jupyter-notebook을 사용해서 따로 설치를 하지 않아도 있습니다!

 

import requests

이렇게 사용해도 되구

 

from requests import get

이렇게 사용해도 됩니다. 이렇게 사용할 것입니다.

 

 

from requests import get

webs=(
    "google.com",
    "airbnb.com",
    "https://www.naver.com",
    "twitter.com"
)


for web in webs:
    if not web.startswith("https://"):
        web = f"https://{web}"
    response = get(web)
    print(response)

이렇게 작성을 하고 실행을 해보면

 

airbnb는 많은 요청으로 인해 접속할 수 없다는 상태 코드를 받았습니다.

그런데 이제 출력 값을 <Response [200]>이 다뜨게 하는 것이 아니라 200만 나오게 하려면

 

for web in webs:
    if not web.startswith("https://"):
        web = f"https://{web}"
    response = get(web)
    print(response.status_code)

이렇게 숫자만 나옵니다. 이 코드를 이용해서 200이 return되면 어떤 것을 하도록 해보겠습니다.

 

answer={}
for web in webs:
    if not web.startswith("https://"):
        web = f"https://{web}"
    response = get(web)
    if response.status_code == 200:
        answer[web] = "Connect"
    else:
        answer[web] = "Fail"

print(answer)

 

이렇게 잘 나옵니다.