Pythonで実践！WEBスクレイピングの基礎と高度なテクニック徹底解説

pip install beautifulsoup4 requests

import requests
from bs4 import BeautifulSoup

# URLを指定
url = 'https://kodoloom.com/web-scraping-in-python/'

# ページを取得
response = requests.get(url)

# ページの内容を解析
soup = BeautifulSoup(response.text, 'html.parser')

# 特定の要素を抽出
title = soup.find('title').text
print(f'ページのタイトル: {title}')

import requests
from bs4 import BeautifulSoup

# URLを指定
url = 'https://kodoloom.com/web-scraping-in-python/'

# ページを取得
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# クラス名'class-text'を持つ要素を取得
class_text = soup.find('p', class_='class-text').text
print(f'クラス名で取得したテキスト: {class_text}')  # 出力結果： クラス名で取得したテキスト: サンプルテキスト1

# ID'id-text'を持つ要素を取得
id_text = soup.find('p', id='id-text').text
print(f'IDで取得したテキスト: {id_text}')  # 出力結果： IDで取得したテキスト: サンプルテキスト2

import requests
from bs4 import BeautifulSoup

# URLを指定
url = 'https://kodoloom.com/web-scraping-in-python/'

# ページを取得
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# class名'link-content'の<p>内の<a>タグを探しリンクを取得
link_tag = soup.find('p', class_='link-content').find('a')

# 取得したリンクのURL
link_url = link_tag.get('href')
print(f'取得したリンク先: {link_url}')  # 例: https://kodoloom.com/

# 取得したリンク先に移動し、タイトルを取得
link_response = requests.get(link_url)
link_soup = BeautifulSoup(link_response.text, 'html.parser')
link_title = link_soup.find('title').text
print(f'リンク先のページのタイトル: {link_title}')  # 例: Kode・Loom | 未来を紡ぐ、あなたのコードで。

import requests
from bs4 import BeautifulSoup
import time

# URLを指定
url = 'https://kodoloom.com/web-scraping-in-python/'

# ページを取得
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# class名'list-contents'の<ul>タグを探し、リストデータの取得
list_items = soup.find('ul', attrs={'class': 'list-contents'}).find_all('li')

# 各リストアイテムを1秒ごとに取得
for item in list_items:
    print(f'リストアイテム: {item.text}')

# 出力結果：
# リストアイテム: サンプルリスト1
# リストアイテム: サンプルリスト2
# リストアイテム: サンプルリスト3

import requests
from bs4 import BeautifulSoup
import time

# URLを指定
url = 'https://kodoloom.com/web-scraping-in-python/'

# ページを取得
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# <figure id="sample-table"> 配下の <table> タグの表データを取得
figure = soup.find('figure', id='sample-table')
table = figure.find('table')
rows = table.find_all('tr')

# 各行のデータを取得
for row in rows[0:]:
    columns = row.find_all('td')
    row_data = [column.text for column in columns]
    print(f'行データ: {row_data}')

# 出力結果：
# 行データ: ['1', '田中', '25']
# 行データ: ['2', '佐藤', '30']
# 行データ: ['3', '鈴木', '28']

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

# WebDriverのパスを指定してサービスを作成
service = Service('C:\\py\\SeleniumScraping\\chromedriver-win64\\chromedriver.exe')
driver = webdriver.Chrome(service=service)

# URLにアクセス
driver.get('https://kodoloom.com/web-scraping-in-python/')

# IDが'dynamic-content'の要素をページから取得し、スクロールして動的にロードされるコンテンツを取得
dynamic_content = driver.find_element(By.ID, 'dynamic-content')

# JavaScriptを使ってスクロールする
for _ in range(20):  # スクロールを20回繰り返す
    driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", dynamic_content)
    time.sleep(1)

# アイテムを取得
items = dynamic_content.find_elements(By.CLASS_NAME, 'item')

for item in items:
    print(f'取得したアイテム: {item.text}')

# WebDriverを終了
driver.quit()

"""
出力結果例：
取得したアイテム: アイテム1
取得したアイテム: アイテム2
取得したアイテム: アイテム3
取得したアイテム: アイテム4
取得したアイテム: アイテム5
取得したアイテム: アイテム6
取得したアイテム: アイテム7
取得したアイテム: アイテム8
取得したアイテム: アイテム9
取得したアイテム: アイテム10
取得したアイテム: アイテム11
取得したアイテム: アイテム12
取得したアイテム: アイテム13
取得したアイテム: アイテム14
取得したアイテム: アイテム15
︙
取得したアイテム: アイテム100
"""

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

# WebDriverのパスを指定してサービスを作成
service = Service('C:\\py\\SeleniumScraping\\chromedriver-win64\\chromedriver.exe')
driver = webdriver.Chrome(service=service)

# URLにアクセス
driver.get('https://kodoloom.com/web-scraping-in-python/')

# IDが'info-button'のボタンをクリックして情報を表示
info_button = driver.find_element(By.ID, 'info-button')
info_button.click()

# 1秒待機して、情報が表示されるのを待つ
time.sleep(1)

#  IDが'hidden-info'要素を探し、表示された情報を取得
hidden_info = driver.find_element(By.ID, 'hidden-info')
print(f'表示された情報: {hidden_info.text}')  # 出力結果： 表示された情報: これはクリックで表示される隠された情報です。

# WebDriverを終了
driver.quit()

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

# WebDriverのパスを指定してサービスを作成
service = Service('C:\\py\\SeleniumScraping\\chromedriver-win64\\chromedriver.exe')
driver = webdriver.Chrome(service=service)

# URLにアクセス
driver.get('https://kodoloom.com/web-scraping-in-python/')

# IDが'navigate-button'のボタンを探しクリック
navigate_button = driver.find_element(By.ID, 'navigate-button')
navigate_button.click()

# 新しいページのタイトルを取得する前にページがロードされるまで待機
time.sleep(2)

# 新しいページのタイトルを取得
new_title = driver.title
print(f'新しいページのタイトル: {new_title}')  # 出力結果： 新しいページのタイトル: Kode・Loom | 未来を紡ぐ、あなたのコードで。

# WebDriverを終了
driver.quit()

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

# WebDriverのパスを指定してサービスを作成
service = Service('C:\\py\\SeleniumScraping\\chromedriver-win64\\chromedriver.exe')
driver = webdriver.Chrome(service=service)

# URLにアクセス
driver.get('https://kodoloom.com/web-scraping-in-python/')

# IDが'passwordInput'の要素(テキストボックス)を探し、パスワードを入力して、IDが'checkButton'のボタンをクリック
password_input = driver.find_element(By.ID, 'passwordInput')
password_input.send_keys('password')  # 正しいパスワードを入力

check_button = driver.find_element(By.ID, 'checkButton')
check_button.click()

# 結果を取得する前に、メッセージが表示されるまで待機
time.sleep(1)

# IDが'checkButton'の要素を取得し結果を出力
result_message = driver.find_element(By.ID, 'resultMessage')
print(f'結果メッセージ: {result_message.text}')  # 出力結果： 結果メッセージ: 正しいパスワードです

# WebDriverを終了
driver.quit()

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

# WebDriverのパスを指定してサービスを作成
service = Service('C:\\py\\SeleniumScraping\\chromedriver-win64\\chromedriver.exe')
driver = webdriver.Chrome(service=service)

# URLにアクセス
driver.get('https://kodoloom.com/web-scraping-in-python/')

# 現在のページのタイトルを取得
original_title = driver.title
print(f'現在のページのタイトル: {original_title}')  # 出力結果： 現在のページのタイトル: Pythonで実践！WEBスクレイピングの基礎と高度なテクニック徹底解説 | Kode・Loom

# class名'link-open-new-tab'の<p>内の<a>タグを探しリンクを取得しクリック
link = driver.find_element(By.CSS_SELECTOR, "p.link-open-new-tab a")
link.click()

# 別タブが開くので、タブを切り替える
driver.switch_to.window(driver.window_handles[1])

# 新しいページのタイトルを取得する前にページがロードされるまで待機
time.sleep(2)

# 新しいページのタイトルを取得
new_title = driver.title
print(f'新しいページのタイトル: {new_title}')  # 出力結果： 新しいページのタイトル: Kode・Loom | 未来を紡ぐ、あなたのコードで。

# 新しいページを閉じ、元のページに戻る
driver.close()
driver.switch_to.window(driver.window_handles[0])

# 元のページのタイトルを取得して確認
original_title_after = driver.title
print(f'元のページのタイトルに戻りました: {original_title_after}')  # 出力結果： 元のページのタイトルに戻りました: Pythonで実践！WEBスクレイピングの基礎と高度なテクニック徹底解説 | Kode・Loom

# WebDriverを終了
driver.quit()

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

# WebDriverのパスを指定してサービスを作成
service = Service('C:\\py\\SeleniumScraping\\chromedriver-win64\\chromedriver.exe')
driver = webdriver.Chrome(service=service)

# URLにアクセス
driver.get('https://kodoloom.com/web-scraping-in-python/')

# クラス名'supplemental-element'を持つ要素を取得
element = driver.find_element(By.CLASS_NAME, 'supplemental-element')
print(f"元のフレームの要素テキスト: {element.text}")  # 出力結果： 元のフレームの要素テキスト: 補足する要素

# ID名'iframe'のインラインフレーム内のクラス名'supplemental-element'を持つ要素を取得
# iframeに切り替える
iframe = driver.find_element(By.ID, 'iframe')
driver.switch_to.frame(iframe)

# iframe内のクラス名'supplemental-element'を持つ要素を取得
iframe_element = driver.find_element(By.CLASS_NAME, 'supplemental-element')
print(f"iframe内の要素テキスト: {iframe_element.text}")  # 出力結果： iframe内の要素テキスト: 補足する要素

# 元のフレームに戻る
driver.switch_to.default_content()

# 再び元のページのクラス名'supplemental-element'を持つ要素を取得
element_after = driver.find_element(By.CLASS_NAME, 'supplemental-element')
print(f"元のフレームに戻った後の要素テキスト: {element_after.text}")  # 出力結果： 元のフレームに戻った後の要素テキスト: 補足する要素

# WebDriverを終了
driver.quit()

pip install pandas

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By

# 取得したデータを格納する辞書
data = {
    "Class Text": [],
    "ID Text": [],
    "List Items": [],
    "Table Rows": [],
    "Dynamic Items": [],
    "Hidden Info": []
}

# 1. BeautifulSoupを使った静的コンテンツのスクレイピング

# URLを指定
url = 'https://kodoloom.com/web-scraping-in-python/'

# ページを取得
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# クラス名'class-text'を持つ要素を取得
data["Class Text"].append(soup.find('p', class_='class-text').text)

# ID'id-text'を持つ要素を取得
data["ID Text"].append(soup.find('p', id='id-text').text)

# class名'list-contents'の<ul>タグを探し、リストデータの取得
list_items = soup.find('ul', class_='list-contents').find_all('li')

# 各リストアイテムを追加
for item in list_items:
    data["List Items"].append(item.text)

# <figure id="sample-table"> 配下の <table> タグの表データを取得
figure = soup.find('figure', id='sample-table')
table = figure.find('table')
rows = table.find_all('tr')

# 各行のデータを追加
for row in rows[1:]:  # ヘッダー行を除く
    columns = row.find_all('td')
    row_data = " | ".join([column.text for column in columns])
    data["Table Rows"].append(row_data)

# 2. Seleniumを使った動的コンテンツのスクレイピング

# WebDriverのパスを指定してサービスを作成
service = Service('C:\\py\\SeleniumScraping\\chromedriver-win64\\chromedriver.exe')
driver = webdriver.Chrome(service=service)

# URLにアクセス
driver.get(url)

# IDが'dynamic-content'の要素をページから取得し、スクロールして動的にロードされるコンテンツを取得
dynamic_content = driver.find_element(By.ID, 'dynamic-content')

# JavaScriptを使ってスクロールする
for _ in range(20):  # スクロールを20回繰り返す
    driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", dynamic_content)
    time.sleep(1)

# アイテムを追加
items = dynamic_content.find_elements(By.CLASS_NAME, 'item')

for item in items:
    data["Dynamic Items"].append(item.text)

# IDが'info-button'のボタンをクリックして情報を表示
info_button = driver.find_element(By.ID, 'info-button')
info_button.click()

# 1秒待機して、情報が表示されるのを待つ
time.sleep(1)

# IDが'hidden-info'要素を探し、表示された情報を追加
data["Hidden Info"].append(driver.find_element(By.ID, 'hidden-info').text)

# WebDriverを終了
driver.quit()

# 3. pandasを使ってCSVファイルに保存

# データの各リストの長さを揃える
max_length = max(len(data[key]) for key in data)
for key in data:
    data[key].extend([""] * (max_length - len(data[key])))

# DataFrameを作成してCSVファイルに保存
df = pd.DataFrame(data)
df.to_csv('scraped_data.csv', index=False, encoding='utf-8-sig')

print("データが 'scraped_data.csv' に保存されました。")