１．はじめに

この記事は，「」の「」の続きである．

２．動作環境

Ubuntu Server 16.04.2 LTS

Apache HTTP Server 2.4.18 (Ubuntu)

３．サイトマップの登録

Search Consoleにサイトマップ登録しろしろ言われてたので，サイトマップを登録した．

普通にサイトマップを作ればいいと思うじゃん？

普通にサイトマップを作ればいいと思い，サイトマップページを作成した．

「溶けかけてるうさぎ サイトマップ」

 

手動登録はめんどくさいので，blog記事一覧などは動的に生成．

 

さて，これを

Search Console > クロール > サイトマップ

より登録．

すると，

「エラー数：１ サイトマップが HTML ページです。サポートされている形式のサイトマップを使用してください。」

と怒られる．

えぇ...．違うの...？

ちゃんと作った

にちゃんと書いてあった．

フォーマットが決まってるんですね．

 

XML形式が一番情報量が多くてよさそうだが，こんなもの生成するのがだるいので，テキスト形式で生成．

これくらいなら，URLの羅列なのでサイトマップページから一瞬で生成できる．

 

今度はきちんとSearch Consoleに登録できた．

４．その後の挙動

Fetch as Google．サイトマップ．

上図のように，サイトマップにリストアップされたURLが全て送信されたようだ．

その後，数分でGoogle Botがやってきた．

 

ここまでは良かった...．ここまでは...．

53ページ全部にクロールしようとしたらしく，ApacheのDoS攻撃対策に引っかかり，アクセスブロックしてしまいました...．

[Mon Aug 07 15:50:10.970424 2017] [:notice] [pid ***:tid ***] dosdetector: '66.249.69.159' is suspected as DoS attack! (counter: 11)

Apache error.log

あれぇ...．

クローラーはきちんと無視するように設定したはずなのだけれど...．

Apacheって，2.2系と2.4系でだいぶ仕様が変わって，いろいろめんどくさくなっているのよね．

というわけで，Apacheの設定見直しを次の記事「」の「」でやります...．

５．再度サイトマップの登録

Apacheの設定を見直し，クローラーに対してはアクセスブロックをしないようにしたのち，サイトマップを更新，再度登録した．

正常に受理されたが，この度はGoogle Botの訪れを確認できていない．

６．2017.08.09 追記

相変わらず進展がないので，また少しこちらから動いてみた．

（散発的に動きすぎて，それぞれの事象に対する原因が切り分けられなくなってきた...．（アホ））

[2017.08.08 夜] HPルートのURLの削除の取り消し

「」の「」でも言及しているとおり，HPルートのURL削除が何か悪さをしていると思い，

Search Console > Google インデックス > ULRの削除 より，再登録（URL削除のキャンセル）を実施した．

Fetch as Google．URLの削除．

[2017.08.09 朝] index登録の確認

[[ site:meltingrabbit.dip.jp ]]

のGoogle検索によって，

http://meltingrabbit.dip.jp/blog/article/2017042001/（【LaTeX】WindowsのSublime Text 3でのupLaTeX環境構築）

のindex登録が確認できた．

 

ただし，このページには，サイトマップを登録した後にはGoogle Botは訪れておらず，Fetch as Google による「index登録のリクエスト」が原因なのかもしれない．

 

しばらくは

<meta NAME="ROBOTS" CONTENT="INDEX,FOLLOW,NOARCHIVE">

なるページなどの様子を注視していきたい，

７．参考サイト

Search Console ヘルプ. サイトマップを作成、送信する. Retrieved August 7, 2017, from https://support.google.com/webmasters/answer/183668?hl=ja

関連記事