PythonでのPhantomJSによるWebスクレイピングの方法について解説します。
Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。
なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。
今回は、Pythonに関する内容だね!
どういう内容でしょうか?
PythonでのPhantomJSによるWebスクレイピングの方法について詳しく説明していくね!
お願いします!
Webスクレイピングとは
Webスクレイピングとは、Webサイトから情報を抽出する処理のことです。
研究や商業目的で、Web上で公開されている情報(ニュースや統計データなど)を収集するために用いられる技術です。
PhantomJSとは
PhantomJSとはヘッドレスブラウザ(※)の1つです。(※)GUIを介さずに動作するブラウザのこと。
ChromeやFirefoxなどの通常のWebブラウザも「ヘッドレスモード」を備えています。
ヘッドレスブラウザは通常のWebブラウザと比較して起動が高速という利点があります。
そのため、本記事で紹介するようなスクレイピングや、Webアプリケーションのテストなどに頻繁に使用されています。
PhantomJSのインストール方法
Webブラウザ操作自動化の仕組み、Seleniumを用いてPhantomJSを動かします。
pipコマンドでSeleniumをインストールします。
pip install selenium
PhantomJSの公式サイトからPhantomJSをダウンロードします。
この記事ではWindows版を使用し、カレントディレクトリにphantomjs.exeを配置しました。
以下のコードを実行できれば、インストールに成功しています。
import selenium.webdriver driver = selenium.webdriver.PhantomJS()
なお、PhantomJSは開発を中断しているため、以下のような警告メッセージが表示されます。
警告メッセージの通り、今後はPhantomJSの代わりに、ChromeやFirefoxのヘッドレスモードを用いるのが良いでしょう。
UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '
PhantomJSによるWebスクレイピングの方法
以下のようなコードでWebドライバを初期化し、Webページにアクセスします。
import selenium.webdriver driver = selenium.webdriver.PhantomJS() driver.get(<アクセス先URL>)
以降、Webドライバのインスタンス(この例ではdriver変数)を通じて、Webページの内容を参照したり操作したりします。
実際に書いてみよう
TechAcademyのサイトでimg(画像)タグをスクレイピングし、URLを抽出してみます。
サンプルコード
import selenium.webdriver driver = selenium.webdriver.PhantomJS() driver.get('https://techacademy.jp/') elems = driver.find_elements_by_tag_name('img') for e in elems: print(e.get_attribute('src'))
実行結果
以下のようにURLが表示されました。
解説
はじめにSeleniumモジュールをインポートしました。
3行目でPhantomJSのWebドライバを初期化しました。
4行目でTechAcademyのサイトにアクセスしました。
5行目でimgタグを検索しました。
6,7行目で検索結果をループしながら、imgタグ内のsrc属性(URL)を表示しました。
監修してくれたメンター
橋本紘希
システムインテグレータ企業勤務のシステムエンジニア。 開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。 |
内容分かりやすくて良かったです!
ゆかりちゃんも分からないことがあったら質問してね!
分かりました。ありがとうございます!
オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。
初心者向けの書籍を使って人工知能(AI)や機械学習について学ぶことができます。
現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。
また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。
情報提供元:TechAcademyマガジン
記事名:「PythonでのPhantomJSによるWebスクレイピングの方法【初心者向け】」