Search Consoleのrobots.txtテスターは2023年12月12日に廃止されてしまいました。 その後Search Consoleには「robots.txtレポート」という機能が追加されましたが、以前のrobots.txtテスターのように個別URLをチェックする機能がなく、「ちょっと求めてるツールじゃないんだ ...

サーチエンジンのロボット向けに用意する robots.txt が原因で、秘密のページの存在がバレてしまう可能性があることに気付いていますか？ バレる原因と、バレないようにする対策のご紹介です。 (1) HTML中に meta タグを使ってファイルごとに指示する方法(※1 ...

robots.txt設定の基本から実践的な書き方まで徹底解説。Googleガイドライン準拠の正しい設定方法で、サイトのクロール効率を最適化しSEO効果を高める方法をプロが伝授します。Search Console活用法も含めた完全ガイド。 robots.txtとは？検索エンジンとの重要な ...

robots.txtでは正規表現は使えない――改めて技術を正しく理解したいと心から思うミスがX（Twitter）のサイトに見付かった。今回のピックアップでは、この件に加えて、複数サイトを管理している人向けの便利なrobots.txt管理術をお届けする。 もちろん、ほか ...

生成AIを利用した検索エンジンの「Perplexity」に対して、検索エンジンやAIトレーニングなどのボット(クローラー)を制御できるテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが指摘さ ...

WordPressで構築している当サイトのrobots.txtを見直そうと思い、参考にした記事をいくつか紹介します。 [ad#ad-2] 下記は各記事のポイントをピックアップしたものです。 How to Write WordPress robots.txt for SEO robots.txtファイルは、ウェブを探し回る検索エンジンの ...