WEBLIC LLC

ブログ

ChatGPTのクロールをブロックする方法

AI

2023年9月28日

chatgpt

海外のSEO関連のウェブサイトを見ていたら、「上位100のウェブサイトのうち26%がGPTBotをブロックしている」という記事に目が留まりました。そこで今回は、ChatGPTのクロールをブロックする方法と、その記事を読んで得た印象や考えを共有したいと思います。

参照記事:Search Engine Land
https://searchengineland.com/more-popular-websites-blocking-gptbot-432531

この記事によると以下のサイトがGPTBotをブロックしているとのことです。

  • pinterest.com
  • indeed.com
  • theguardian.com
  • sciencedirect.com
  • usatoday.com
  • stackexchange.com
  • alamy.com
  • webmd.com
  • dictionary.com
  • washingtonpost.com
  • npr.org
  • cbsnews.com

ChatGPTのクロールはrobots.txtでブロック可能

元々、ChatGPT自体がサイトをクロールするわけではありませんが、サードパーティー製のプラグインを利用することで、プラグインがサイトにアクセスできるようになります。

プラグインによるクロールを防ぐためには、robots.txtに以下のコードを追加します。

User-agent: ChatGPT-User
Disallow:

ブロックの方法はChatGPTのドキュメントに詳しく記載されていますので、詳細を知りたい方はそちらを参照してください。

ドキュメント
https://platform.openai.com/docs/plugins/bot

ChatGPTのクロールはブロックすべき?

私の個人的な考えとしては、ChatGPTをブロックすべきではないと思います。私はWebをオープンでパブリックの場と見なしており、新しい技術の発展には協力的に取り組みたいと思っています。たとえウェブサイトがChatGPTをブロックしたとしても、少し手間をかければGoogleで検索することで、その情報はウェブ上で公開されている限り得られます。

ただし、盗用や著作権の問題については慎重に考慮し、適切な対策を講じる必要があります。これらの問題を解決し、適切に管理することで、新しい技術を積極的に受け入れたいですね。

関連記事

AI

Midjourneyで英語のプロンプトが苦手でもイメージ通り画像を生成する方法

画像生成AIのMidjourneyが強力にアップデートしました。Midjourneyは基本英語でプロ...

2023年11月30日

AI

Googleの生成AI「Bard」が他のGoogleサービスと連携可能に!

つい先日にブログ記事にGoogle生成AIのBardの次世代モデルのGemini Proは現状微妙と...

2023年12月21日

AI

ChatGPTのプラグイン「SEO.app」はホントにSEO対策に使えるのか試した結果…

サイト運用をしていて、気になるのがSEO対策!最近ではAIを活用して記事を書く方が増えていると思いま...

2023年8月21日

AI

Google AI(SGE)がGoogle検索に実装!今後のSEO対策はどうなるのか?

2023年8月30日に日本でもGoogle検索システムに新機能として生成AIによる検索体験(SGE ...

2023年9月5日

AI

ミッドジャーニーでリアルな画像をChatGPTを使って作る方法

今回はミッドジャーニーでリアルな画像を作る方法をお伝えします。私も含めて初心者が最初につまずくところ...

2023年9月14日

  • カテゴリー

  • RELATED SITES

    関連サイト

    • SAKAMOTO Blog
    Designed by WEBLIC合同会社