jamadam weblog2

最近の変更点。

• html-validateオプションが追加され、html自体の構文チェックができるようになった。また、validator-nuとvalidateor-nu-urlオプションにより、validator.nuまたはローカルコピーを利用してhtml5のバリデーションができるようになった。
• depthオプションが追加され、深度でクロールを制限できるようになった。
• URLのマッチングオプションが増えて、細かな条件で動作させることができるようになった。
• レポートが、ページのサイズやmime-typeも報告するようになった。

mojo-checkbotがHTMLの構文エラーも報告するようになった。XML::LibXMLを事前にインストールすると–html-validateオプションが有効になります。挙動が若干微妙だけど。

CSSセレクタでgrepするxml-grepっての作った。Mojo::DOMとFile::Findで50行でできた。行番号出したいけど出せない。

リンクチェッカー「mojo-checkbot」がv0.26になった。主な変更点。

• embed, frame, iframe inputのsrc属性がクロールの対象となった。
• formダイアログの表示条件を変更し、action属性と、子要素のname属性が全て同一でなければ、別のフォームとみなしてダイアログを表示するようにした。
• ユーザー認証情報の使用範囲の条件にportの同一性を追加した。

mojo-checkbotがv0.24になった。

最近の変更点。目玉はform送信ダイアログの追加です。Basic認証やフォームでユーザー情報を送信する必要のある要認証サイトのチェックが楽になりました。

• formを検出した場合、レポートビュー上からデータ送信してクローラーのキューを追加可能とした。
• 401のユーザー認証を要求された場合、レポートビューからユーザー情報を送信可能とした。
• matchオプションがDeprecatedになり、代わりにmatch-for-checkとmatch-for-crawlを追加した。
• sleepオプションが全体のパフォーマンスに影響するのを改善した。

リンクチェッカー「mojo-checkbot」の最近の改良点。

• sleepオプションがリクエストの開始の間隔だったのを、終了と開始の間隔とした。
• evacuate / noevacuateオプションが追加された
• コマンドがシンプルになった
• レポートのステータスコード毎に非表示可能にした
• スタイルシート内のurl(…)もクロールするようになった。
• スキーム無指定のURIに対応

リンク切れ検索エンジン「mojo-checkbot」の最近の改良点。

• timeoutオプションが動作していなかったのを直した。
• resumeオプションを追加し、前回の結果を引き継ぐことができるようになった(EXPRERIMENTAL)。
• metaタグによるリダイレクト先もクロールするようになった。
• サーバー設定によるリダイレクトの際、今までは最終のURIのみをレポートしていたが、リダイレクト先とその参照元を別項目で報告するようにした(つまり302とかレポート上に現れるようになった)。
• Firefoxで巨大なjsonを取得するとパースエラーになるため、一度にFetchするデータは100件までとした。
• コマンドのヘルプを英語/日本語に対応した
• クローラー自体のエラーもブラウザで見れるようになった
• 200台のレポートを隠すチェックボックス
• mapタグもクロール対象
• メモリ使用量が減りそうな対策をたくさんしたけど、検証はしていない。

mojo-checkbotがある程度できてきたのでベータ版にしてみたよ。githubでゲットできます。最新のバージョン番号のタグがついたものを使ってください。

mojo-checkbotはクローラーにウェブサイト内のステータスコードを収集させつつ、ブラウザでレポートを見れるコマンドラインツールです。checkbotの機能限定版という感じですが、日本語が正常に表示されたり、ファイルを介さないのでシンプルだったり、レポートの見せ方を工夫したりと、色々改善しています。

mojo-checkbotはMojoliciousをベースにしています。Mojolicious本体は同梱されてるのでインストール不要ですが、Mojoliciousのバージョン2からperl5.10.1依存になったので、以前のバージョンで動くかは不明です(5.10.0では動いてる風)。要改善点はまだ多数あるので逐一更新して行きます。見た目がダサいので誰かデザインしてくれませんか。

    mojo checkbot [--start start URL] [--match match string] [--sleep seconds]
        [--ua useragent header] [--cookie cookie string] [--timeout seconds]
        [--evacuate second] [--noevacuate] [--resume]

DESCRIPTION

ウェブサイトのリンクチェッカーです。コマンドラインで開始URLを指定してデーモンを起動し、ブラウザでhttp://127.0.0.1:3000 を開くとチェック状況が逐一報告されます。リンクの収集とステータスコードの収集は再帰的に延々続きますので、matchオプションでURLフィルタをかけておくと、そのうち止まるかもしれません。

OPTIONS

下記のオプションが利用可能です:

クローラーオプション

--start            クロールをスタートするURLを指定します。
--match         チェック対象のURLを正規表現で指定します。
--sleep        クロールの間隔を指定します。
--ua            クローラーのHTTPヘッダに設定するユーザーエージェントを指定します。
--cookie        クローラーがサーバーに送信するクッキーを指定します。
--timeout      クローラーのタイムアウトする秒数を指定します。デフォルトは15です。
--evacuate     [EXPERIMENTAL]レポートをテンポラリーファイルに出力する間隔を指定します。
--noevacuate            [EXPERIMENTAL]resume用のファイル出力を無効化します。
--resume                [EXPERIMENTAL]前回の結果を復元し、再開します。

レポートサーバーオプション

--backlog       Set listen backlog size, defaults to SOMAXCONN.
--clients       Set maximum number of concurrent clients, defaults to 1000.
--group         Set group name for process.
--keepalive     Set keep-alive timeout, defaults to 15.
--listen        Set one or more locations you want to listen on,
                defaults to "http://*:3000".
--proxy         Activate reverse proxy support, defaults to the
                value of MOJO_REVERSE_PROXY.
--requests      Set maximum number of requests per keep-alive
                connection, defaults to 25.
--user          Set username for process.
--websocket     Set WebSocket timeout, defaults to 300.

EXAMPLE1

$ mojo checkbot --start http://example.com --match http://example.com/ --sleep 2
[Mon Oct 17 23:18:35 2011] [info] Server listening (http://*:3000)
Server available at http://127.0.0.1:3000.

EXAMPLE2

本プログラムはMojolicious::Liteをベースにしていますので、そちらのオプションも有効なはずです。

$ mojo checkbot --listen http://*:3001 --start http://example.com

EXAMPLE3

クッキーを指定して要認証サイトのチェックもできます。

$ mojo checkbot --start http://example.com --cookie \
    'key=value; Version=1; Domain=example.com; Path=/; expires=Fri, \
    28 Oct 2011 15:26:47 GMT'

https://github.com/jamadam/mojo-checkbot

Copyright (c) 2011 jamadam

Dual licensed under the MIT and GPL licenses:

• http://www.opensource.org/licenses/mit-license.php
• http://www.gnu.org/licenses/gpl.html

Mojolicious::Liteでウェブサイトのリンクチェックをするmojo-checkbotを作ってみてます。動作は恐ろしくノーチェックです。

$ mojo-checkbot.pl daemon --start http://example.com --match http://example.com/
[Mon Oct 17 23:18:35 2011] [info] Server listening (http://*:3000)
Server available at http://127.0.0.1:3000.

startオプションにURLを指定してdaemonを起動するとクロールが始まり、http://127.0.0.1:3000にブラウザでアクセスすると、チェックしたURLとそのステータスコードが表示されます。

matchオプションでURLを限定することができるので、とりあえずチェック対象を自サイト内にとどめることはできますが、今のところ低機能です。

SYNOPSIS

mojo-checkbot.pl daemon [--start start URL] [--match match string] [--sleep seconds]

入れたのでメモ。macportsをダウンロードしてインストール。

ターミナルにて

$ echo 'PATH=${PATH}:/opt/local/bin' >> ~/.bashrc
$ echo 'source .bashrc' >> ~/.bash_profile
$ source ~/.bashrc
$ sudo port instal git-core