Beautiful Soupでクリック操作はできる？できない理由とSeleniumとの使い分けを解説

2025年10月25日

Pythonを使ったWebスクレイピングで非常に人気のあるライブラリ「Beautiful Soup」ですが、学習を進めるうちに「これでボタンクリックやフォーム入力はできないのか？」という疑問を持つことがあります。

結論から申し上げますと、Beautiful Soup単体では、ブラウザのクリック操作や文字入力はできません。

この記事では、Beautiful Soupがなぜクリック操作できないのか、その本来の役割と、クリック操作が必要な場合にどうすべきかを分かりやすく解説します。

Beautiful Soupの役割：HTMLの「解析」専門

Beautiful Soupの主な役割は、すでに入手済みのHTMLやXMLファイルの**「中身を解析（パース）する」**ことです。

例えるなら、手元にある新聞紙や書籍を広げ、その中から特定の記事や文章（データ）を効率よく見つけ出すための道具です。

以下のことは得意です。

特定のタグ（例：<h1>や<a>）を見つけ出す
タグの属性（例：hrefやclass）を取得する
階層構造をたどって目的のデータにアクセスする

しかし、Beautiful Soup自体には、Webサイトにアクセスして新聞紙や本（HTML）を手に入れたり、ページをめくる（クリックする）機能は搭載されていません。

なぜクリック操作ができないのか？

Webページ上のボタンクリックやフォーム入力といった動作の多くは、JavaScriptによって制御されています。これらの操作を実行するには、JavaScriptを実行できる本物の「ブラウザ」が必要です。

Beautiful Soupは、JavaScriptを実行するブラウザエンジンを持っていません。あくまで渡されたHTMLテキストデータを、その構造に基づいて「静的に」解析することに特化しているため、クリックという「動的な」操作は実行できないのです。

クリック操作を実現するライブラリ

では、クリックやログイン、スクロールといった動的な操作が必要な場合はどうすればよいでしょうか。

その場合は、**「ブラウザ自動化ツール」**と呼ばれる別のライブラリを使用します。代表的なものとして、以下の2つが挙げられます。

Selenium (セレニウム)
Playwright (プレイライト)

これらのライブラリは、PythonのコードからChromeやFirefoxといった本物のブラウザを遠隔操作できます。人間がブラウザで行うほぼ全ての操作（クリック、キーボード入力、スクロールなど）を自動化することが可能です。

正しい使い分けと「組み合わせ」

スクレイピングを行う際は、対象サイトの性質によってツールを使い分けるのが最も効率的です。

ケース1：静的なサイト（クリック操作が不要）

情報が最初からHTMLにすべて記載されており、クリックやスクロールなしでデータが取得できるサイトです。

使用する構成: requests + Beautiful Soup
流れ:
1. requestsライブラリで対象URLのHTMLを取得します。
2. 取得したHTMLをBeautiful Soupに渡し、解析してデータを抽出します。

ケース2：動的なサイト（クリック操作が必要）

ボタンをクリックしたり、下にスクロールしたりしないと目的の情報が表示されないサイトです。

使用する構成: Selenium (または Playwright) + Beautiful Soup
流れ:
1. Seleniumでブラウザを起動し、対象URLを開きます。
2. Seleniumの機能で、目的のボタンをクリックしたり、フォームに入力したりします。
3. 操作が完了し、目的のデータが表示された状態のHTMLをSeleniumから取得します（driver.page_sourceなど）。
4. 取得したHTMLをBeautiful Soupに渡し、解析してデータを抽出します。

このように、操作はSeleniumが担当し、解析はBeautiful Soupが担当するという「組み合わせ」が、動的なサイトに対するスクレイピングの王道パターンとなります。

SeleniumとBeautiful Soupを組み合わせたサンプルコード

以下に、Seleniumでブラウザを操作してHTMLを取得し、それをBeautiful Soupで解析する基本的なコード例を示します。

※このコードを実行するには、Seleniumライブラリと、操作したいブラウザに対応するWebDriver（例：ChromeDriver）が事前にインストールされている必要があります。

from selenium import webdriver
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import time

# 1. Seleniumでブラウザを起動
# (webdriver.Chrome()の部分は環境に合わせて変更してください)
driver = webdriver.Chrome()

# 2. 対象ページにアクセス
driver.get("http://example.com") # 例として使用するサイト

# ページ読み込みを少し待機
time.sleep(2)

# --- もしクリック操作が必要な場合、ここで行います ---
# 例： <a href="https://www.iana.org/domains/example">More information...</a> をクリックする場合
#
# try:
#     # リンクテキストで要素を見つける
#     more_info_link = driver.find_element(By.LINK_TEXT, "More information...")
#     more_info_link.click() # 要素をクリック
#     print("リンクをクリックしました。")
#     time.sleep(2) # クリック後のページ遷移を待機
# except Exception as e:
#     print(f"クリック処理中にエラーが発生しました: {e}")
# ---------------------------------------------------

# 3. Seleniumから操作後のHTMLを取得
html_source = driver.page_source

# 4. ブラウザを終了
driver.quit()

# 5. 取得したHTMLをBeautiful Soupで解析
soup = BeautifulSoup(html_source, 'html.parser')

# <h1>タグのテキストを取得して表示
h1_tag = soup.find('h1')
if h1_tag:
    print(f"ページのH1タイトル: {h1_tag.text}")
else:
    print("H1タグが見つかりませんでした。")