リンク切れ検索エンジン「mojo-checkbot」がv0.16になった

 

リンク切れ検索エンジン「mojo-checkbot」の最近の改良点。

  • timeoutオプションが動作していなかったのを直した。
  • resumeオプションを追加し、前回の結果を引き継ぐことができるようになった(EXPRERIMENTAL)。
  • metaタグによるリダイレクト先もクロールするようになった。
  • サーバー設定によるリダイレクトの際、今までは最終のURIのみをレポートしていたが、リダイレクト先とその参照元を別項目で報告するようにした(つまり302とかレポート上に現れるようになった)。
  • Firefoxで巨大なjsonを取得するとパースエラーになるため、一度にFetchするデータは100件までとした。
  • コマンドのヘルプを英語/日本語に対応した
  • クローラー自体のエラーもブラウザで見れるようになった
  • 200台のレポートを隠すチェックボックス
  • mapタグもクロール対象
  • メモリ使用量が減りそうな対策をたくさんしたけど、検証はしていない。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です