Fess で note を検索する
全文検索システムの Fess で note を検索できる状態にするのに苦労した。note は独特の挙動をするページなので、普通に設定するだけでは全然 Fess の検索結果がヒットしない。
試行錯誤を繰り返して、なんとか検索できるようになったので、その設定方法をメモしておく。
今回は私の以下の note を素材にして設定してみる。
with a Christian Wife｜note
https://note.com/wacw
やりたいことは、note の全個別投稿を全文検索できる状態にすることだ。
まずは note のサイトの挙動を調べると以下のようなことが分かる。
・個人ページのトップページの URL は https://note.com/wacw である。重要なのは最後にスラッシュ（/）がないことだ。スラッシュ付きでアクセスすると、スラッシュなしの URL にリダイレクトされる（これはトップページ以外のアーカイブページなどでも同様）。この挙動のせいで、クローリング対象 URL をスラッシュありと、スラッシュなしの２種類登録する必要がある。
・個別ページは https://note.com/wacw/n/xxxxxxxxx のような URL 。
・トップページは最初「もっとみる」をクリックしないと続きが表示されない。さらに、スクロールを繰り返さないとすべてが表示されない（これに関しては特に考慮しなくて良いっぽい）。
これを理解した上で実際に Fess の設定をしていく。
「Admin ページ＞MENU＞Crawler＞Web」で新規に Web Crawling を作成し、以下のように設定する。
・Name
note（適当に設定）
・URLshttps://note.com/wacw
・Included URLs For Crawlinghttps://note.com/wacwhttps://note.com/wacw/.*
（ https://note.com/wacw/archives.* で登録すれば効率的にクローリングできそうだが、できなかった。）
・Excluded URLs For Crawling
（空白；デフォルト値）
・Included URLs For Indexinghttps://note.com/wacw/n/.*
・Excluded URLs For Indexing
（空白；デフォルト値）
・Config Parameters
（空白；デフォルト値）
・Depth
6（とりあえず 6 とした。5 以下だとすべてをインデックスできない。空白にして無制限にしてもいいかも。）
・Max Access Count
300（投稿数より大きめの値にする。空白にして無制限にしてもいいかも。）
・User Agent
Mozilla/5.0 (compatible; Fess/13.7; +http://fess.codelibs.org/bot.html)（デフォルト値）
・The number of Thread
1
・Interval time
10000ms （デフォルト値）
・Boost
1.0 （デフォルト値）
・Permissions
（デフォルト値）
・Virtual Hosts
（空白；デフォルト値）
・Status
Enabled
・Description
（空白；デフォルト値）
これでクローリングを実行すれば検索対象としてヒットするようになる。
特に note は自分のページの検索ができないので、Fess で検索できるようになったのはすごく便利だ。
参考：
［Chrome 拡張機能］ Web Scraper で note の記事一覧を取得する – with a Christian Wife
https://wacw.cf/2020/05/11/list-note-entries-with-web-scraper/
Recent Posts
Archives