robots.txt の仕様

Shifter は、成果物のルートに robots.txt
を自動的に作成します。このファイルには、検索エンジンのクローラーに指示するためのコードが含まれています。

robots.txt の役割

robots.txt
は、検索エンジンのクローラーに対して、ウェブサイトのどの部分をクロールすべきでないかを指示するために使用されます。

Shifter の robots.txt の特徴

Shifter が自動生成する robots.txt
は、以下の機能を提供します。

  • /wp-admin/ へのアクセス拒否 (例: Disallow: /wp-admin/)
  • サイトマップファイルのパスの指定 (WordPress のデフォルト、Yoast SEO、XML Sitemaps プラグインなどの XML サイトマップジェネレーターに対応)

サイトマップについて

詳細については、以下のサポートドキュメントまたは各プラグインの公式サイトを参照してください。

  • Yoast SEO
  • XML Sitemaps

robots.txt の生成条件

  • カスタムドメイン名が適用されていない場合:
    すべてのコンテンツへのアクセスを拒否することを検索エンジンのクローラーに伝えます。
  • サブディレクトリが有効になっている場合:
    すべてのコンテンツへのアクセスを拒否することを検索エンジンのクローラーに伝えます
    (例: Disallow: /)。

robots.txt の例

Shifter のデフォルトのアーティファクトに対する robots.txt の例:

User-agent: * 
Disallow: /wp-admin/ 
Sitemap: https://{RANDOM-WORDS}.on.getshifter.io/wp-sitemap.xml
Disallow: /

カスタムドメインが適用されたアーティファクトの robots.txtの例

User-agent: * 
Disallow: /wp-admin/ 
Sitemap: https://{YOUR-CUSTOM-DOMAIN-NAME}/wp-sitemap.xml