[web crawling] python requests & Beautiful Soup를 활용하여 원하는 정보 추출하기

1. 웹 크롤링(web crawling)을 배우는 이유

웹 크롤링이란 웹페이지(또는 웹 사이트, static document) 내에 있는 정보를 추출하는 행위, 즉 인터넷 콘텐츠를 색인화하는 과정을 의미함
데이터 분석에 활용하고싶은 데이터를 웹 페이지에서 추출할 수 있기때문에 중요함
Beautiful Soup 라이브러리는 html과 xml 문서를 parsing^[각주:1] 할 수 있고, Selenium은 동적 크롤링을 효과적으로 수행할 수 있는 라이브러리이다. 두 라이브러리의 차이가 궁금하다면 다음 링크를 클릭하여 참고
HTML의 기본적인 이해가 있어야함

2. requests & Beautiful Soup 활용

requests : 원하는 웹 페이지의 html 문서를 싹 긁어온다.
Beautiful Soup : html 문서에서 원하는 것을 골라서 정보를 추출한다.

[터미널에 입력하여 라이브러리 설치하는 코드]

pip install requests

[파이썬 코드]

# 라이브러리 불러오기
import requests
from bs4 import BeautifulSoup

# 원하는 사이트에 접속 : requests.get
url = "http://www.google.com"
response = requests.get(url)
print(response)  # <Response [200]>
print(response.text)  # HTML 문서 출력


'''잘못된 요청에 대한 예외 처리'''
# case 1
if response.status_code == 200:
    # 응답받은 text를 HTML 파싱
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    # print(soup)
    print(soup.prettify())  # HTML 들여쓰기하여 깔끔하게 보이게 해주는 함수
else:
    print('잘못된 요청입니다. 다시 확인 바람!')
    
    
# case 2
# 위의 if 제어문과 같은 효과
response.raise_for_status()  # 200번대 코드가 아니면 코드가 멈춤
print("문제가 없으면 이 부분 출력됩니다.", len(response.text))


'''파일 생성 및 저장하기'''
# with open('파일명', '옵션', 인코딩) as f
# 경로를 지정하지않으면 해당 디렉토리에 생성
with open('mypage.html', 'w', encoding ='utf-8') as f:
    f.write(response.text)

3. Beautiful Soup 함수 정리

find(name, attrs, recursive, string, **kwargs) : 해당 조건에 맞는 하나의 태그 가져옴(중복이면 가장 첫번째 태그) ➡️ 단일노드 반환(1개)
find_all(name, attrs, recursive, string, limit, **kwargs) : 해당 조건에 맞는 모든 태그 가져옴 ➡️ list 반환(복수개)

# example html
html = """
<html>
    <body>
        <div id="wrap">
            <ul>
                <li><a href="https://www.naver.com/">NAVER</a></li>
                <li><a href="https://www.daum.net/">DAUM</a></li>
                <li><a href="https://www.google.com/">GOOGLE</a></li>
            </ul>
        </div>
    </body>
</html>
"""

soup = BeautifulSoup(html, "html.parser")
print(soup.prettify())  # 확인

# html 코드 안에서 a태그를 찾아서 반환
print("find : ", soup.find('a'), type(soup.find('a')))  # 1개
print("find_all : ", soup.find_all('a'), type(soup.find_all('a')))  # 3개

'''
out:
find :  <a href="https://www.naver.com/">NAVER</a> <class 'bs4.element.Tag'>
find_all :  [<a href="https://www.naver.com/">NAVER</a>, <a href="https://www.daum.net/">DAUM</a>, <a href="https://www.google.com/">GOOGLE</a>] <class 'bs4.element.ResultSet'>
'''

get_text(), text : 텍스트만 추출

# with find
print(soup.find('a').get_text())
print(soup.find('a').text)

'''
out:
NAVER
NAVER
'''


# with find_all
# 여러개의 값이 있을 때 : for 반복문과 함께 활용
names = soup.find_all('a')
for name in names:
    print(name.text)
    print(name.get_text())
    
 
# 다른 예시
# GOO로 시작하는 사이트를 리턴받아서 출력
'''string.startswith() : 특정문자열로 시작하는지 확인'''
names = soup.find_all('a')
for name in names:
    if name.text.startswith('GOO'):
        print(name.text)

find('태그', attrs = { id (class) :'속성'}) : 태그의 속성을 찾는 방법

# 태그의 속성을 찾는 방법
name = soup.find('a', attrs = {'id':'final'})
name

# out : <a href="https://www.google.com/" id="final">GOOGLE</a>

copy selector를 사용한 select_one, select : 해당 url 웹 사이트에서 마우스 우클릭 ➡️ 검사 ➡️ 원하는 부분에 대한 html에서 selector copy! ➡️ select_one("붙여넣기")

[example 1]

## example
url = "https://kin.naver.com/search/list.naver?query=파이썬"

response = requests.get(url)

if response.status_code == 200:
    html = response.text
    soup = BeautifulSoup(html, "html.parser")
    title = soup.select_one("#s_content > div.section > ul > li:nth-child(2) > dl > dt > a")
    print(title.find('b').text)

else:
    print(response.status_code)
    print("다시 시도해주세욥!!!!!!!!")
    
# out: 파이썬

# -------------------------------------------------------------
# 검사 -> 원하는 태그 선택 -> 우클릭 -> copy -> copy selector
#s_content > div.section > ul > li:nth-child(2) > dl > dt > a
title = soup.select_one("#s_content > div.section > ul > li:nth-child(2) > dl > dt > a")
print(title.text)

# out : 파이썬 알려주실 분있나요?


# -------------------------------------------------------------
## 제목만 출력하기
# case 1
titles = soup.find_all('a', attrs = {'class':'_nclicks:kin.txt _searchListTitleAnchor'})

for title in titles:
    print(title.text)
    
    
# case 2
title = soup.find_all('dt')
result = []
for tl in title:
    result.append(tl.find('a').text)
print(*result, sep = "\n")


# case 3
titles = soup.select("li>dl>dt>a")
for title in titles:
    print(title.text)
   
   
'''
out:
파이썬 저장
파이썬 알려주실 분있나요?
파이썬 질문
파이썬머신러닝 공부가 필요합니다.
파이썬 셀레니움
파이썬이나 C언어 배우는 방법
파이썬에서는 i = 3 이런 게 에러가 나나요?
파이썬 csv파일 불러오기
파이썬은 자료형 어떻게 표현하나요?
파이썬 줄바꿈
'''

[example 2]

아마존 계열사인 알렉사(Alexa Internet.Inc) : 전 세계적으로 혹은 나라별로 웹 사이트의 순위 정보를 제공하는 사이트
해당 사이트에서 순위 5위까지의 랭킹 사이트 이름 추출

import requests
from bs4 import BeautifulSoup

url = "https://www.alexa.com/topsItes/countries/KR"

rank = requests.get(url).text
soup = BeautifulSoup(rank, 'html.parser')

# 태그로 호출하기
ranks = soup.select('p a')
ranks

# 순위 5위까지의 랭킹 사이트 이름만
for i in range(1, 6):
    print(f"{i}. {ranks[i].text}")
    
'''
out:
1. Google.com
2. Naver.com
3. Youtube.com
4. Tistory.com
5. Daum.net
'''
    

## DataFrame으로 변환하기
import pandas as pd

rank_dic = {'Website':ranks}
df = pd.DataFrame(rank_dic, columns = ["Website"])
df.drop(0, inplace = True)
df.head(5)

📁 함수 총 정리

라이브러리 구분	함수	기능
requests	response = requests.get({url})	원하는 웹 사이트(url)에 접속 (보통 response 변수에 정의함)
	response.status_code	응답 코드(Response) 반환
	response.text	HTML 문서 리턴
	response.raise_for_status()	200번대 응답코드가 아니면 예외를 발생시킴 (2XX : 성공, 200 : 서버가 요청을 제대로 처리했다는 뜻)
Beautiful Soup	soup = BeautifulSoup(html, 'html.parser')	응답받은 HTML 파싱 (보통 soup 변수에 정의함)
	soup.prettify()
	soup.find(name, attrs, recursive, string, kwargs)**	해당 조건에 맞는 하나의 태그 가져옴 (중복이면 가장 첫번째 태그) ➡️ 단일노드 반환(1개)
	soup.find_all(name, attrs, recursive, string, limit, kwargs)**	해당 조건에 맞는 모든 태그 가져옴 ➡️ list 반환(복수개)
	soup.find('태그', attrs = { id (class) :'속성'})	태그의 속성을 찾는 방법
	soup.get_text(), soup.text	텍스트만 추출
	soup.select_one, soup.select	copy selector을 사용하여 찾는 함수

📎 Reference

HTML 코드 구문을 요소별로 구분하고 처리하는 작업 [본문으로]

Hello Dona!

[web crawling] python requests & Beautiful Soup를 활용하여 원하는 정보 추출하기

1. 웹 크롤링(web crawling)을 배우는 이유

2. requests & Beautiful Soup 활용

3. Beautiful Soup 함수 정리

📁 함수 총 정리

📎 Reference

티스토리툴바