Python3 + Selenium + BeautifulSoup4: Chromeドライバを利用した実装例

91, 2019-08-07

目次

Python3でSeleniumのChromeドライバを利用したBeautifulSoupの作成例。
JavaScriptによる動的コンテンツのパースも可能。

from bs4 import BeautifulSoup                                                     
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def create_soup(url, timeout=30):
    """
    urlのコンテンツからBeautifulSoupを作成する。
    @return {BeautifulSoup}
    """
    options = Options()
    options.add_argument('--headless')
    options.add_argument('--disable-gpu')

    driver = webdriver.Chrome(chrome_options=options)
    driver.set_page_load_timeout(timeout)

    driver.get(url)
    src = driver.page_source
    driver.close()

    return BeautifulSoup(src, 'html.parser')

if __name__ == '__main__':
    soup = create_soup('http://localhost')
    print(soup)

Webアプリケーションの制作ならNARUPORT

Webアプリケーションの制作ならNARUPORTにお任せください。
Webアプリの他にもGUIアプリやChromeExtension, スクリプトの制作など可能です。
以下のお問い合わせフォームからご依頼ください!

投稿者名です。64字以内で入力してください。

必要な場合はEメールアドレスを入力してください(全体に公開されます)。

投稿する内容です。

スポンサーリンク

スポンサーリンク

スポンサーリンク

スポンサーリンク