2012/10/16 火曜日

Gsearchにおいて時々アクセスできなくなることについて

Filed under: Gsearch,HP関係 — GRN @ 22:55:10  

現状時々、接続途切れてGsearchが繋がらなく現象があります。

この主な理由は、タグ・投稿者等の検索において対象のデータが多すぎるためです。

現在、削除されたデータを含めて600万以上のデータがあり、その中から対象が多いキーワードを検索すると時間がかかります。

そのようなキーワードが連続で検索されると、一時的にビジー状態になり、その検索が終わるまでサーバが反応しなくなります。

対処方法として、下記を行う予定です。

  • 検索範囲のデフォルトは最近1ヶ月にする
  • 対象が多すぎる検索(例えば10万件以上とか)は、結果を返さず、キーワードの追加・詳細検索をすすめるようにする

これを行えば、基本的にサーバがビジーで止まることはほとんど無くなると考えています。

結果を返さないようにする検索ヒット件数は、様子を見ながら変更していきます。

この他にも、何かいい案や代案がありましたら、ぜひコメント等で教えてください。

13件のコメント »

  1. お帰りなさい。

    連続して時間のかかる検索が着たら「混雑中・・・」等を表示して
    蹴られてもいいと思います。
    面倒でないなら同一IPからの時間のかかる検索は一定時間受け付けない等も。

    対象件数10万件は多いかと思います。
    ヒット件数を調べるだけで処理が重くなりませんかね?
    可能ならば数千件で調べるの自体打ち切ってもいいような。

    新規の登録を最優先で、ランキングと最近登録された動画さえ使えれば
    検索は空いている時間帯だけでも構わないです。

    登録と言えば「外部での視聴が許可されていません」の公式動画は
    新旧版とも登録出来ないようです。(旧版は非表示扱いで登録された)
    一般動画では問題ないので、公式だけ違う取得部分で問題が出るのかな?
    これは急ぐ事ではないので時間のある時にでも見てやってください。

    Comment by ニコビデ男 — 2012/10/17 水曜日 @ 1:24:22

  2. >ニコビデ男さん

    案ありがとうございます。
    とりあえず、サーバパラメータの見直しと期間指定をいれたら、かなり改善されました。アニメ等の検索も100秒以上から5秒以下になりました。
    これで、現状は大丈夫だと思います。

    >登録と言えば「外部での視聴が許可されていません」の公式動画は
    >新旧版とも登録出来ないようです。(旧版は非表示扱いで登録された)

    これは、動画のIDを教えてくれないでしょうか。

    Comment by GRN — 2012/10/21 日曜日 @ 13:30:55

  3. > ニコビデ男さん

    公式動画が動画によって3種類も表示方法があったので
    3種類に対応するようにんしました。
    他にもうまく行かない動画がありましたら、教えてください。

    Comment by GRN — 2012/10/22 月曜日 @ 2:00:47

  4. サーバの修復お疲れ様でした。

    外部での視聴が許可されていない最近の公式だと動画スレッドIDで
    1350433581
    1350537730
    等です。
    どちらも旧版では「非表示」で登録されています。

    Comment by ニコビデ男 — 2012/10/22 月曜日 @ 7:44:29

  5. >ニコビデ男さん

    >1350433581,1350537730

    TEST版で上記の動画がちゃんと登録されるように修正しました。

    Comment by GRN — 2012/10/22 月曜日 @ 18:15:06

  6. 修正ありがとうございます。

    前の書き込みの後で1350433581の方は外部許可に変更されたようで、
    運営の気まぐれにも困ったもんだw
    1350537730の方は未だに不許可だから修正の確認は大丈夫でしょうね。

    Comment by ニコビデ男 — 2012/10/23 火曜日 @ 7:32:02

  7. >ニコビデ男さん

    公式やチャンネル動画は、ページが統一されていなくて
    開発者泣かせです。
    削除されたあとのページも統一されていませんし大変です。

    Comment by GRN — 2012/10/27 土曜日 @ 13:19:40

  8. 大変でしょうね。

    あそこは斜め上ばかり目指している・・・いや、Qは右斜め下に進んだかw

    そういえば、公式動画の投稿者(チャンネル名)は正しいままで
    別な名前に書き換わらなくなったように見えますが、
    原因が分かって修正されたのかな?

    Comment by ニコビデ男 — 2012/10/28 日曜日 @ 11:07:07

  9. > ニコビデ男さん

    >そういえば、公式動画の投稿者(チャンネル名)は正しいままで
    >別な名前に書き換わらなくなったように見えますが、
    >原因が分かって修正されたのかな?

    これは、結局分からずじまいで、公式チャンネルのクローラを
    今回かなり修正したら、直ったみたいなのでそこにバグがあったのかもしれません

    Comment by GRN — 2012/10/29 月曜日 @ 11:43:50

  10. 結果オーライですね。

    公式動画を短時間で再更新する時にチャンネル名を新たに再取得しないで、
    直前に一般動画で取得した投稿者がそのまま変数に残っているのを
    セットしているのか?とか思っていましたが、直ったのなら何よりです。

    後は先祖返りしないように注意するだけですね。
    ソースをいじっているうちに忘れて元に戻しちゃうってよくあるからなぁw

    Comment by ニコビデ男 — 2012/10/29 月曜日 @ 19:56:53

  11. 旧サイトの個別ページが表示されなくなってます

    Comment by いつもありがとう — 2012/11/29 木曜日 @ 8:07:19

  12. >いつもありがとうさん

    気づきませんでした。
    先ほど修正しました。

    >ニコビデ男さん

    巻き戻りが無いように最近はGITを使ってます。

    Comment by GRN — 2012/11/29 木曜日 @ 9:22:23

  13. すばやい対応ありがとうございます。
    今回のトラブル大変だったようで・・・ほんとにお疲れ様でした。

    Comment by いつもありがとう — 2012/11/29 木曜日 @ 15:15:55

この投稿へのコメントの RSS フィード。 TrackBack URI

コメントする

  • ブログSEO対策 : track word 
  • SEO 
  •  
  •  
  •  
RSS feed meter for http://blog.guron.net  
41 queries. HTML convert time: 0.206 sec. © 2004-2007 GRN All rights reserved