MENU

溶けかけてるうさぎ HP GALLERY BLOG TOP RECENT ARTICLES POPULAR ARTICLES ABOUT THIS BLOG

CATEGORY

大学 (140) 仕事 (17) 航空宇宙 (104) 写真 (78) 旅行 (32) 飯・酒 (17) コンピュータ (119) その他 (44)

TAG

ARCHIVE

RECENT

【写真】撮影写真を Map 上に表示できるようにした 【カメラ】X100 シリーズが好きすぎる(主にリーフシャッタ) 【カメラ】X100V から X100VI に買い替えました 【自宅サーバー】Google Domains から Cloudflare にドメインを移管 【カメラ】FUJIFILM XF レンズのサイズ比較ができるようにしてみた

【Google Search Console】サイトマップの登録とその後の挙動

事象発生日:2017-08-07

記事公開日:-

アクセス数:3748

Google Search Consoleにサイトマップを登録した.

いろいろ想定外だった.

 

トップ画像の出典はこちら

1.はじめに

この記事は,「」の「」の続きである.

2.動作環境

Ubuntu Server 16.04.2 LTS

Apache HTTP Server 2.4.18 (Ubuntu)

3.サイトマップの登録

Search Consoleにサイトマップ登録しろしろ言われてたので,サイトマップを登録した.

普通にサイトマップを作ればいいと思うじゃん?

普通にサイトマップを作ればいいと思い,サイトマップページを作成した.

溶けかけてるうさぎ サイトマップ

 

手動登録はめんどくさいので,blog記事一覧などは動的に生成.

 

さて,これを

Search Console > クロール > サイトマップ

より登録.

すると,

「エラー数:1 サイトマップが HTML ページです。サポートされている形式のサイトマップを使用してください。」

と怒られる.

えぇ....違うの...?

ちゃんと作った

にちゃんと書いてあった.

フォーマットが決まってるんですね.

 

XML形式が一番情報量が多くてよさそうだが,こんなもの生成するのがだるいので,テキスト形式で生成.

これくらいなら,URLの羅列なのでサイトマップページから一瞬で生成できる.

 

今度はきちんとSearch Consoleに登録できた.

4.その後の挙動

Fetch as Google.サイトマップ.

上図のように,サイトマップにリストアップされたURLが全て送信されたようだ.

その後,数分でGoogle Botがやってきた.

 

ここまでは良かった....ここまでは....

53ページ全部にクロールしようとしたらしく,ApacheのDoS攻撃対策に引っかかり,アクセスブロックしてしまいました....

[Mon Aug 07 15:50:10.970424 2017] [:notice] [pid ***:tid ***] dosdetector: '66.249.69.159' is suspected as DoS attack! (counter: 11)
Apache error.log

あれぇ....

クローラーはきちんと無視するように設定したはずなのだけれど....

Apacheって,2.2系と2.4系でだいぶ仕様が変わって,いろいろめんどくさくなっているのよね.

というわけで,Apacheの設定見直しを次の記事「」の「」でやります....

5.再度サイトマップの登録

Apacheの設定を見直し,クローラーに対してはアクセスブロックをしないようにしたのち,サイトマップを更新,再度登録した.

正常に受理されたが,この度はGoogle Botの訪れを確認できていない.

6.2017.08.09 追記

相変わらず進展がないので,また少しこちらから動いてみた.

(散発的に動きすぎて,それぞれの事象に対する原因が切り分けられなくなってきた....(アホ))

[2017.08.08 夜] HPルートのURLの削除の取り消し

」の「」でも言及しているとおり,HPルートのURL削除が何か悪さをしていると思い,

Search Console > Google インデックス > ULRの削除 より,再登録(URL削除のキャンセル)を実施した.

Fetch as Google.URLの削除.

[2017.08.09 朝] index登録の確認

[[ site:meltingrabbit.dip.jp ]]

のGoogle検索によって,

http://meltingrabbit.dip.jp/blog/article/2017042001/(【LaTeX】WindowsのSublime Text 3でのupLaTeX環境構築)

のindex登録が確認できた.

 

ただし,このページには,サイトマップを登録した後にはGoogle Botは訪れておらず,Fetch as Google による「index登録のリクエスト」が原因なのかもしれない.

 

しばらくは

<meta NAME="ROBOTS" CONTENT="INDEX,FOLLOW,NOARCHIVE">

なるページなどの様子を注視していきたい,

7.参考サイト

Search Console ヘルプ. サイトマップを作成、送信する. Retrieved August 7, 2017, from https://support.google.com/webmasters/answer/183668?hl=ja

関連記事

コメントを投稿

名前

Email (※公開されることはありません)

コメント