トップ > SEO >クロールを記録する

クロールを記録する

カテゴリー：SEO

SEOを行う上で必要なことの一つにロボットがいつクロールして、その結果がいつ反映されるかとう地味な作業がある。意外と面倒なため、実際にこれを行わず、他者の状況を聞いていつ頃効果が出るはずだと想定することも多い様だが、本当は対象サイトを調べた方がいい。

手作業で行うと
　ログを開く
　クローラのログだけ抽出
　どのページがクロールされたか記録
　ファイルに記録し、履歴として蓄積

毎日これを繰り返し時々
　トップページのクロール数は月に何件
　第一階層ページのクロールは月に何件
　新規ページをつくった場合のクロールは何日後

などを把握する。

面倒ですね。
作ってみようと思います。

複数サイトを運営しているのでそれにも対応し、かつ、将来的にFTPで他のサーバーのログをGetできるようにすることも考え、プログラムはいくつかに分割します。DBとの連携部分はPHPで行います。

こんな感じですかね。

シェル生成
DBからログファイルの場所を取得

シェル実行
抽出プログラム名　日付　ファイル名　ユーザー名　

抽出プログラム
引数から日付　ファイル名　ユーザー名　ロボット名をもらう
クロールロボットの設定ファイルから情報を読み取る
ファイルを開き、対象日の対象対象ロボットのクロール跡を発見
日付、時間、ユーザー名、ロボット名、対象URL　DBに書き込む　IPアドレスを書き込む

表示プログラム１　ユーザー把握（デイリー）
引数から　ユーザー名　日付をもらう
DBから対象ユーザーのその月のロボット別クロール状況表示
DBから対象日の閲覧ページのログを表示

表示プログラム２　全体把握（デイリー）
引数から月をもらう
DBからユーザー別対象月のログをカウントする
表示する

表示プログラム３　特定URLのクロール記録（スポット）
引数でURLのをもらう
DBからそのURLのロボット別クロールの最近の１０件を表示

表示プログラムの定期的に実行し、メールで読めるようにする。
これで常に監視できるし、過去の履歴も簡単に追えますね。
プログラムも難しいところはなさそう。
さあ作ってみよう。

更新日：2003年12月07日09:45