MENU

溶けかけてるうさぎ HP BLOG TOP RECENT ARTICLES POPULAR ARTICLES ABOUT THIS BLOG

CATEGORY

大学 (85) 航空宇宙 (55) 写真 (25) 旅行 (14) 飯・酒 (11) コンピュータ (88) その他 (13)

TAG

ARCHIVE

2018 (92) 2017 (80) 2016 (0)

RECENT

【駅メモ】4年目に突入して,ようやく3000駅突破 【WebRTC】Raspberry Pi搭載ロボットをWebRTCで遠隔操作しようとして失敗した 【航空宇宙】航空宇宙アドベントカレンダー 始まります! 【Perl】YAPC::Tokyo 2019 のチケットを確保しました! 【カメラ】Canonから富士フイルムに乗り換えました

【Google Search Console】サイトマップの登録とその後の挙動

2017-08-07

Google Search Consoleにサイトマップを登録した.

いろいろ想定外だった.

 

トップ画像の出典はこちら

1.はじめに

この記事は,「」の」の続きである.

2.動作環境

Ubuntu Server 16.04.2 LTS

Apache HTTP Server 2.4.18 (Ubuntu)

3.サイトマップの登録

Search Consoleにサイトマップ登録しろしろ言われてたので,サイトマップを登録した.

普通にサイトマップを作ればいいと思うじゃん?

普通にサイトマップを作ればいいと思い,サイトマップページを作成した.

溶けかけてるうさぎ サイトマップ

 

手動登録はめんどくさいので,blog記事一覧などは動的に生成.

 

さて,これを

Search Console > クロール > サイトマップ

より登録.

すると,

「エラー数:1 サイトマップが HTML ページです。サポートされている形式のサイトマップを使用してください。」

と怒られる.

えぇ....違うの...?

ちゃんと作った

にちゃんと書いてあった.

フォーマットが決まってるんですね.

 

XML形式が一番情報量が多くてよさそうだが,こんなもの生成するのがだるいので,テキスト形式で生成.

これくらいなら,URLの羅列なのでサイトマップページから一瞬で生成できる.

 

今度はきちんとSearch Consoleに登録できた.

4.その後の挙動

Fetch as Google.サイトマップ.

上図のように,サイトマップにリストアップされたURLが全て送信されたようだ.

その後,数分でGoogle Botがやってきた.

 

ここまでは良かった....ここまでは....

53ページ全部にクロールしようとしたらしく,ApacheのDoS攻撃対策に引っかかり,アクセスブロックしてしまいました....

[Mon Aug 07 15:50:10.970424 2017] [:notice] [pid ***:tid ***] dosdetector: '66.249.69.159' is suspected as DoS attack! (counter: 11)
Apache error.log

あれぇ....

クローラーはきちんと無視するように設定したはずなのだけれど....

Apacheって,2.2系と2.4系でだいぶ仕様が変わって,いろいろめんどくさくなっているのよね.

というわけで,Apacheの設定見直しを次の記事「」の」でやります....

5.再度サイトマップの登録

Apacheの設定を見直し,クローラーに対してはアクセスブロックをしないようにしたのち,サイトマップを更新,再度登録した.

正常に受理されたが,この度はGoogle Botの訪れを確認できていない.

6.2017.08.09 追記

相変わらず進展がないので,また少しこちらから動いてみた.

(散発的に動きすぎて,それぞれの事象に対する原因が切り分けられなくなってきた....(アホ))

[2017.08.08 夜] HPルートのURLの削除の取り消し

」の」でも言及しているとおり,HPルートのURL削除が何か悪さをしていると思い,

Search Console > Google インデックス > ULRの削除 より,再登録(URL削除のキャンセル)を実施した.

Fetch as Google.URLの削除.

[2017.08.09 朝] index登録の確認

[[ site:meltingrabbit.dip.jp ]]

のGoogle検索によって,

http://meltingrabbit.dip.jp/blog/article/2017042001/(【LaTeX】WindowsのSublime Text 3でのupLaTeX環境構築)

のindex登録が確認できた.

 

ただし,このページには,サイトマップを登録した後にはGoogle Botは訪れておらず,Fetch as Google による「index登録のリクエスト」が原因なのかもしれない.

 

しばらくは

<meta NAME="ROBOTS" CONTENT="INDEX,FOLLOW,NOARCHIVE">

なるページなどの様子を注視していきたい,

7.関連記事

8.参考サイト

Search Console ヘルプ. サイトマップを作成、送信する. Retrieved August 7, 2017, from https://support.google.com/webmasters/answer/183668?hl=ja

コメントを投稿

名前

Email (※公開されることはありません)

コメント