事象発生日:2017-08-07
記事公開日:-
アクセス数:3748
Ubuntu Server 16.04.2 LTS
Apache HTTP Server 2.4.18 (Ubuntu)
Search Consoleにサイトマップ登録しろしろ言われてたので,サイトマップを登録した.
普通にサイトマップを作ればいいと思い,サイトマップページを作成した.
手動登録はめんどくさいので,blog記事一覧などは動的に生成.
さて,これを
Search Console > クロール > サイトマップ
より登録.
すると,
「エラー数:1 サイトマップが HTML ページです。サポートされている形式のサイトマップを使用してください。」
と怒られる.
えぇ....違うの...?
フォーマットが決まってるんですね.
XML形式が一番情報量が多くてよさそうだが,こんなもの生成するのがだるいので,テキスト形式で生成.
これくらいなら,URLの羅列なのでサイトマップページから一瞬で生成できる.
今度はきちんとSearch Consoleに登録できた.
上図のように,サイトマップにリストアップされたURLが全て送信されたようだ.
その後,数分でGoogle Botがやってきた.
ここまでは良かった....ここまでは....
53ページ全部にクロールしようとしたらしく,ApacheのDoS攻撃対策に引っかかり,アクセスブロックしてしまいました....
[Mon Aug 07 15:50:10.970424 2017] [:notice] [pid ***:tid ***] dosdetector: '66.249.69.159' is suspected as DoS attack! (counter: 11)
あれぇ....
クローラーはきちんと無視するように設定したはずなのだけれど....
Apacheって,2.2系と2.4系でだいぶ仕様が変わって,いろいろめんどくさくなっているのよね.
というわけで,Apacheの設定見直しを次の記事「」の「」でやります....
Apacheの設定を見直し,クローラーに対してはアクセスブロックをしないようにしたのち,サイトマップを更新,再度登録した.
正常に受理されたが,この度はGoogle Botの訪れを確認できていない.
相変わらず進展がないので,また少しこちらから動いてみた.
(散発的に動きすぎて,それぞれの事象に対する原因が切り分けられなくなってきた....(アホ))
「」の「」でも言及しているとおり,HPルートのURL削除が何か悪さをしていると思い,
Search Console > Google インデックス > ULRの削除 より,再登録(URL削除のキャンセル)を実施した.
[[ site:meltingrabbit.dip.jp ]]
のGoogle検索によって,
http://meltingrabbit.dip.jp/blog/article/2017042001/(【LaTeX】WindowsのSublime Text 3でのupLaTeX環境構築)
のindex登録が確認できた.
ただし,このページには,サイトマップを登録した後にはGoogle Botは訪れておらず,Fetch as Google による「index登録のリクエスト」が原因なのかもしれない.
しばらくは
<meta NAME="ROBOTS" CONTENT="INDEX,FOLLOW,NOARCHIVE">
なるページなどの様子を注視していきたい,
Search Console ヘルプ. サイトマップを作成、送信する. Retrieved August 7, 2017, from https://support.google.com/webmasters/answer/183668?hl=ja |
名前
Email (※公開されることはありません)
コメント