Shifter Static の robots.txt について

Shifter では標準で robots.txt をデプロイのルートディレクトリに作成します。

robots.txt は、検索エンジンに対する以下の記述を含んでいます

  • /wp-admin/ へのアクセスしないように通知すること (Disallow: /wp-admin/ )
  • XML Stitemap のパス (動作の確認が取れている XML Sitemap 生成ツールは、 WordPress 標準のもの、 および Yoast SEO、WP Sitemap Configuration、XML Sitemap & Google News の各プラグイン)
  • (カスタムドメインが未適用の場合) サブディレクトを含め全てのコンテンツにアクセスしないように通知すること (Disallow: /)
    カスタムドメインを適用するとこの行が削除されます。

Shifter デフォルトドメインのサイトの robots.txt

User-agent: * 
Disallow: /wp-admin/ 
Sitemap: https://{RANDOM-WORDS}.on.getshifter.io/wp-sitemap.xml
Disallow: /

カスタムドメインがアタッチされたサイトの robots.txt

User-agent: * 
Disallow: /wp-admin/ 
Sitemap: https://{YOUR-CUSTOM-DOMAIN-NAME}/wp-sitemap.xml