ChatGPTのクロールをブロックする方法

2023年9月28日

海外のSEO関連のウェブサイトを見ていたら、「上位100のウェブサイトのうち26％がGPTBotをブロックしている」という記事に目が留まりました。そこで今回は、ChatGPTのクロールをブロックする方法と、その記事を読んで得た印象や考えを共有したいと思います。

参照記事：Search Engine Land
https://searchengineland.com/more-popular-websites-blocking-gptbot-432531

この記事によると以下のサイトがGPTBotをブロックしているとのことです。

pinterest.com
indeed.com
theguardian.com
sciencedirect.com
usatoday.com
stackexchange.com
alamy.com
webmd.com
dictionary.com
washingtonpost.com
npr.org
cbsnews.com

ChatGPTのクロールはrobots.txtでブロック可能

元々、ChatGPT自体がサイトをクロールするわけではありませんが、サードパーティー製のプラグインを利用することで、プラグインがサイトにアクセスできるようになります。

プラグインによるクロールを防ぐためには、robots.txtに以下のコードを追加します。

User-agent: ChatGPT-User
Disallow:

ブロックの方法はChatGPTのドキュメントに詳しく記載されていますので、詳細を知りたい方はそちらを参照してください。

ドキュメント
https://platform.openai.com/docs/plugins/bot

ChatGPTのクロールはブロックすべき？

私の個人的な考えとしては、ChatGPTをブロックすべきではないと思います。私はWebをオープンでパブリックの場と見なしており、新しい技術の発展には協力的に取り組みたいと思っています。たとえウェブサイトがChatGPTをブロックしたとしても、少し手間をかければGoogleで検索することで、その情報はウェブ上で公開されている限り得られます。

ただし、盗用や著作権の問題については慎重に考慮し、適切な対策を講じる必要があります。これらの問題を解決し、適切に管理することで、新しい技術を積極的に受け入れたいですね。