Mac でお手軽スクレイピングツール

2019/02/25 Mon 06:47 · 1 min read · computer ·

ウェブサイトから必要な情報を一括で抜き出したいことは時々あるので、スクレイピングに挑戦してみることにした。

本当は、自動的に情報を取ってきて Slack や Twitter に投稿したり、メールで情報を受け取ったりしたいんだけど、まずは単に手動で情報を収集するだけにしてみた。

まず Web Scraper という Chrome の拡張機能。

これは Chrome の Developer Tools に Web Scraper という項目が追加されるので、そこで設定する。

最初は使い方に迷ったが、要はサイトの構造を教えて、その上でほしい情報を指定する。拾いたいパーツをクリックで追加できるし、ページ遷移（スクロールで読み込まれるサイトや「次へ」ボタンを押さないといけないものも含む）にも対応している。

CSV で書き出しができる。

スケジュールを組んで自動化したりするのにはクラウドの有料版がある。

＊＊＊

もう一つは kimono desktop edition だ。

これは Chrome 拡張機能、および Mac 用のアプリをインストールする。

Web Scraper よりは直感的に使える。ほしい部分をクリックで登録する。ページ遷移にも対応しているし、CSV、RSS、JSON で書き出せる。

スケジュール機能などはない。

＊＊＊

その他試してボツにしたツールもある。

Parsers は Chrome の拡張機能だが、全然情報を拾ってこなかった。

Parsers – Free web scraper – Parsers
https://parsers.me/

Agenty も Chrome の拡張機能。使いにくいし、利用には会員登録が必要だ。