デースケドガー ランキングトレーサー

05/04/10
結果が出ましたねー
審査するポイントがかかれていますが各ポイントの重み付けがどの程度なのか 厳格な物でなくていいので指標程度の物が公開されるといいけれど やっぱり難しいかな・・ｗ

05/04/06
しばらく放置してました^^;
えー、とりあえずグラフの幅を伸ばしました　これでコンテスト終了までOKのはず。

05/03/25
グラフ表示のCGIを書き直し中
機能追加が目的じゃないんだけど、処理をずらずらとシーケンシャルに書き足しながら作ってきたから正直綺麗なソースじゃないorz
ついでに色や表示範囲を変更出来るようにしよう・・

05/03/24
アーカイブ１で2回、アーカイブ２で1回　タイムアウトでデータ取りに失敗していたみたい(T^T)

05/03/23
ランキングデータアーカイブ １及び２で取得するランキングデータを24日0時以降の分は「ウェブ全体から検索」の設定で行うことにします。 ２３日までの分は「日本語のページを検索」の設定で取得したデータです。

05/03/22
ランキングデータアーカイブ１にグラフ表示機能を付けてみました
グラフで横軸のラインは最下位、圏外(検索結果に表れない)は横軸の下に青の線が出ます。

05/03/20
ランキングデータアーカイブ１でランキング推移を表示できなくなっていますorz
おそらくgrepを実行するときワイルドカード展開の結果コマンドラインの長さがシェルの制限を超えた気がします^^;
対応するまで少々お待ちを・・
ファイル名に「デースケドガー」をURLエンコードした文字列をプレフィックスに付けてるから・・　おそらくコマンドライン20Kくらいになってる^^;;;

ファイル名を短く修正したら動作しているようなので、やはりワイルドカード展開後のコマンド長が問題だったようです^^;
いままで１ファイル36バイトも使っていたのを10バイトまで縮めたのでコンテスト終了までは十分でしょう^^;

05/03/20
毎日 0時半過ぎ頃に ウェブ全体から検索 10件ずつ表示の設定で取得したデータのキャッシュを http://ibis.pajya.net/hiki/ibis/cache.html から参照出来るようにしてみます。
取得時のクエリは 「q=%E3%83%87%E3%83%BC%E3%82%B9%E3%82%B1%E3%83%89%E3%82%AC%E3%83%BC&num=10&hl=ja&ie=UTF-8&oe=UTF-8&start=数字」を使っています。
このデータは毎日上書きで更新されます。つまり見れるのは当日分だけです。
データがおかしいとか不具合は報告して頂ければ善処します。
このデータは、1件目から最後まで全てのエントリを配列にぶち込んでから、最後に表示した検索結果ページの最初の<div>ブロックを取得した配列の内容と置き換え、前後のフォーム等を削ったものです。
取得したデータをそのまま使っているので 関連ページ のリンクは使えません
なお、当サイトのランキングデータアーカイブは、日本語のページを検索の設定で取得しています。

05/03/19
URLにURLエンコードされた%表記が入っているページのランキングを表示できない不具合を修正しましたorz
まだ表示できないとか、今まで表示できていたのに表示できなくなった、違うページがでる、変なページが混ざる等、不具合を見つけたら報告お願いしますね

あらら・・、Web Studio Cielさんのページが突然消えましたね
google側から何かペナルティくらったのかな
ページもFlashじゃなくなってますね

05/03/18
ランキング推移をちゃんと表示できないパターンがあるみたい^^;
ちょっとプログラムを見直してみますね、少々お待ちくださいませ

05/03/17
やっとクロールが来た模様 ランキング200番台に一気に浮上しましたｗ

基本的に トラバ返し以外はあまりしないと思うけれど、今までトラバ使ったことがないので迷惑なトラバ飛ばしたりしていたら遠慮なく言ってくださいね～

あと、新しい試みとして こんなページもエントリしてみますｗ
４０４エラーページですが、コンテスト期間中は参加ページですｗ

それはさておき、リンク元を表示するのもリンク数を増やすことになると思って表示しないことにしてみました。

05/03/16
まだ不安定で出たり消えたりですが、当サイトがランキングに復活してきました。
記念にトラックバックを設置してみました。よろしくです

05/03/15
頑張りますとは言ったものの何をしたものか・・
static版のトラックバックでも導入してみるかなぁ・・

05/03/14
コメントつけてくれた方々ありがとうございます。がんばります～

05/03/13
相変わらずランキングに出てこない当ページではありますが
あったらうれしい何か新しい機能ってありますかね・・ｗ

05/03/12
いっこうに復活しません・・
やはりリンクの数が多すぎたんでしょうかｗ
今、googleのキャッシュに残っているこのページはランキング814位まで表示しているからなぁ・・^^;
早く次のクロールに来てくれることを願うしかないのか・・ｗ

05/03/11
出たり消えたりを繰り返しながら3/9の朝6時を最後にこのページがランキングから消えた
早く復活しないかなぁ^^;

05/03/10
キャッシュの参照とランキング推移の表示を直リンク許可しました。
サーバーの負荷を見ながらではありますが、あまりに負荷が高くならないようなら、期間中はこのまま行く予定です。

05/03/09
コンテスト公式ルールの１０件表示でのデータ取得を開始しました。
100件ずつ表示でのランキングデータはランキングデータアーカイブ１(毎時5分頃更新)
公式ルールの10件ずつ表示でのランキングデータはランキングデータアーカイブ２(毎18時半頃更新)

05/03/09
当サイトのランキングデータも総研さん^[外部]と同じように100件ずつ表示のデータを元にしています。
本当は公式ルールの10件ずつ表示でのデータをとったほうがいいのですがちょっと悩みどころ・・ 変更自体はデータ取得プログラムのパラメータ部分を１行書き換えるだけで対応できるはずなのですが 現在１００件ずつ８回にわけて取得しているデータが、１０件ずつ８０回になるわけで googleに高い負荷を与えないように１０秒の間隔を入れてデータを取得しているのですが そうすると、今まで８０秒で入手できたデータが８００秒必要になるんですよね・・ ８００秒というと１３分強ですが これを１時間に一度cronで動かすわけで、 当サイトはレンタルサーバ上で運営してるんですが、軽い処理だとはいえ １日のうち５時間動き続けることになります^^;。 データを取得する１０秒の間隔はgoogleの事を考えると縮めたくないし、 当面１００件ずつ表示のデータでいこうと思います。 週末くらいに 一日に一度１０件ずつ表示でのデータを取得してそのデータでのランキングを表示するものを今のものとは別に設置しようと思います。

全部一度に表示していたのが原因かどうかは不明ですが、100件だけ表示するようにしたら当サイトがランキングに復活した模様。
ま、相変わらず500番くらいのへたれなんですが・・orz

05/03/08
総研さん^[外部]にリンクして頂いたようで訪問者がぐっと増えました～ しかしなぜかこのページが 「デースケドガー」だけで検索した結果からはずれてしまった模様。 なんでだろ。 http://ibis.pajya.net/cgi/ranking.cgi?url=http://ibis.pajya.net/hiki/ibis/?SEO2 でみてみると 3/7の朝8時までは検索できていた。

検索結果最後の

ページ内のリンクが多すぎて表示されなくなったのかと思ったけれど 「デースケドガー ibis」で検索するとちゃんと検索結果に表れる。 そこからキャッシュも見ることができる。 googleで何かコンテスト対策がされたのかなぁ

という事で、このページ内ではランキング100位までの表示にしてみました。 キャッシュされたデータから 見るとすべての順位を見ることができます。 キャッシュから順位の推移を見ることができるようにしました。

• 2005-04-08 (金) 02:31:10 管理人 : なるほど　情報ありですー
• 2005-04-07 (木) 08:35:28 幸之介@総研 : 関連URLを2つ見つけてきました。http://jeff.ecjapan.jp/archives/000146.html^[外部] https://wtnb.mydns.jp/blog/?wl_mode=more&wl_eid=2503^[外部]
• 2005-04-07 (木) 04:01:10 管理人 : なるほど 4/1 11時　3/18 22時 にうちのアーカイブでも観測されてますね　グラフの抜けはダンスかデータ取り損ねだと思っていたら、こんなのも混ざっていたか^^;
• 2005-04-07 (木) 00:15:15 幸之介 : その時間帯、一瞬変わっていたんですよ。また戻ったようですけど。ソースは記録していませんが、それ用の正規表現を書き残しています。"e=747"が謎です。[以下PHPソース] preg_match_all("/<p\sclass=g><a\shref=\/url\?sa=U&start=\d{1,3}&q=(.+?)&e=747\s>(.+?)<\/a>/",$google_source,$google_list);
• 2005-04-06 (水) 23:41:10 管理人 : え？ 何か変わりました？
• 2005-04-06 (水) 04:25:19 幸之介@総研 : Googleが検索結果ページからのリンクをYahoo!のようにリダイレクトURLに仕様変更してますね…。
• 2005-03-26 (土) 02:35:31 管理人 : うーむ 今現在 http://www.google.co.jp/advanced_search?hl=ja^[外部] で、キーワードは「デースケドガー」だけ、100件ずつ、検索の対象にする言語「すべての言語」で 検索結果4番目のページ（301-400件目）の中に出てますか？
• 2005-03-26 (土) 01:26:46 Niya : 管理人様＞ご迷惑お掛けして申し訳ありません。下のフォームでも変更以前のグラフしか（汗）他のツールでも出たり出なかったりなので、ダメポかもしれません（･∀･；今も375に見えるのですがきっと幻なんです（爆）キニシナイで下さいね。ありがとうございました（･∀･）感謝！
• 2005-03-26 (土) 00:57:26 管理人 : うーん、dunceしているのかな 私の方ではブラウザから「ウェブ全体から検索」の方にチェックして「デースケドガー」を検索しても 301-400件目の範囲には出てこないのだけれど、いずれにしてもデータ取りした時のデータの中に入ってこないとどうしようもないので、頑張って「ウェブ全体から検索」の結果に現れるようにして頂くしか・・^^;　ランキングデータアーカイブ１の古い日付のキャッシュからでも、取得したデータに現れている分のランキングは表示できるのだけれど URLを直接指定して表示するフォームを下に置いておきます　まぁそれでも取れていないデータは表示のしようがないんだけど^^;
• 2005-03-25 (金) 23:45:54 Niya : 管理人さん＞全体では385番にいるのになんでなんでしょう・・・もうだめぽ_|￣|○ｶﾞｯｸﾘ
• 2005-03-25 (金) 21:15:44 管理人 : 24日の0時から コンテスト公式ルールの「ウェブ全体から検索」のデータなのですが、その設定だとNiyaさんのページ出てこないみたい　Danceなのか、全体ではまだ一度も出現していないのか・・　がんばってー><
• 2005-03-25 (金) 11:14:08 Niya : ”全体で検索”のアーカイブにやっぱりうちが入ってない・・・orz 38P辺りにいるんﾃﾞｰｽｹﾄﾞｶﾞｰ......
• 2005-03-23 (水) 22:21:38 PUREST : こちらのデースケドガー関連リンク集からリンク貼らせていただきました。
• 2005-03-21 (月) 00:20:30 管理人 : ぅぃぅぃ　頑張ってください～　って、こっちのランキングに新たな問題が・・ おそらくgrepする時のワイルドカード展開でコマンドラインの長さがシェルの制限を超えた気がする^^;
• 2005-03-20 (日) 22:50:27 幸之介@総研 : 試していただいた方法で、当方でもできました！うわーうれしいな。ありがとうございます。第3回のとき、参考にさせていただきます（笑）。
• 2005-03-20 (日) 19:35:11 管理人 : PHPはfopenで直接開けちゃうのかぁ まぁラッパがあるというだけですがPHPらしいと言えばらしいのかもｗ　と、それはさておき リファレンスみながら http://ibis.pajya.net/tmp/test.txt というのをやってみたけれど http://ibis.pajya.net/tmp/test.php のように表示されるみたい。 PHPのバージョンとか設定の問題かな
• 2005-03-20 (日) 17:46:28 幸之介@総研 : ちなみにPHPでランキング該当箇所を検出して配列にガシガシ格納して、MySQLにどしどしinsertして、1日1度、100位*10日分の1000回クエリを発行してランキングファイルを作ってます。
• 2005-03-20 (日) 17:42:29 幸之介@総研 : コレの後、$google = 'http://www.google.co.jp/search?num=100&ie=UTF-8&oe=utf-8&q=%E3%82%B4%E3%83%83%E3%82%B4%E3%83%AB';^[外部]コレもfopen ($google, "r");コレもfile($google);通らないのですよ～。（Yahooその他のサイトでは可能なのに…）
• 2005-03-20 (日) 17:41:05 幸之介@総研 : 毎回0時ごろにGoogle100件のソースをフォームからぶち込んでいます。なので物理的に10件表示のランキングはやってられません。
• 2005-03-19 (土) 15:34:27 管理人 : っと・・、fileがらみの関数で失敗するなら・・ PHPの動作モード（セキュリティレベル)がらみかもしれないですね
• 2005-03-19 (土) 15:18:48 管理人 : ちなみに、ここはmod_rewite使えないんですよね つω･`)
• 2005-03-19 (土) 15:16:25 管理人 : あら、総研さんは自動取得じゃなかったんですね^^; 自動はPHPに限らずcron（かat）だと思いますが。 あとはプログラムでゴリゴリHTTPで繋いで読み込んでるだけ（ちなみにrubyです）
• 2005-03-19 (土) 13:05:10 Niya : あ、それから私が使ってるhttp://niya.happy.nu/^[外部]っていうドメインはサーチエンジンで登録できないところがあるみたいです。jpやcomが無難そうです。netも大丈夫かな？
• 2005-03-19 (土) 13:03:03 Niya : %や?はSEO的にあまりよくないみたいですよね（･∀･；PukiWikiならmod_rewriteで短いhtmlにするとか必要かもしれません。次回はもっと色々考えようかと思ってます…（爆）総研さんのレポート勉強になります。
• 2005-03-19 (土) 04:02:54 幸之介@総研 : %の問題はゴッゴル総研でもつまづいていた問題です。http://www.goggoru.info/?tankan_date=2004-11-04^[外部] ランキングを自動取得していないという問題は残っているのですけどね。
• 2005-03-19 (土) 01:46:29 Niya : わざわざすみません、見れるようになりました（･∀･）お手数お掛けしました。
• 2005-03-18 (金) 18:26:13 Niya : まちがえました・・・・358辺りにいます。NIYA HAPPY
• 2005-03-18 (金) 18:22:25 Niya : 管理人さんへ＜はじめまして、NIYA HAPPYと申すものです。先日やっとここのアーカイブに入ることができたのですが、順位をクリックしても何も表示されないのです。もし宜しければ見ていただけないでしょうか…（T∀T）387番辺りにいます。NIYA HAPPY:http://niya.happy.nu/
• 2005-03-14 (月) 19:27:13 PUREST : http://www5e.biglobe.ne.jp/~purest/dersukedogar/^[外部]
• 2005-03-14 (月) 19:25:56 PUREST : １時間ごとのキャッシュをアーカイブしているのが凄いですね。
• 2005-03-14 (月) 10:57:20 MAC : 頑張って下さい
• 2005-03-13 (日) 17:51:34 Ｓ.ＳＡＳＡＫＩ［休日旅行人］ : Ｓ.ＳＡＳＡＫＩ［休日旅行人］http://homepage3.nifty.com/shounan_s_sasaki/index.html^[外部]
• 2005-03-07 (月) 16:29:55 休日旅行人 : 休日旅行人デースケドガー参戦