引用失礼します。

今確認したら追加されてました！！
内容としてはpixivと同じですね。

クロスフォリオのrobots.txt、今なんとなく見に行ったら追加されてるじゃんん！！

これ偶然なのか私のこの投稿を見てメール送ってくれた方がいたのかわからんけど、とにかくありがとう！！！ありがとうございます！！！！

うちのサイトは検索避けのため全てのbotを弾いてるネットの海の孤島状態だけど、もしこれから作るって人は新聞社のサイトを参考にするのおすすめ

例えば産経新聞はこれ(勝手にお借りしてすみません)
ちなみにBytespiderなんかはrobots.txtを無視してくるゴミbotらしいので.htaccessで弾いた方が良さげ

クロスフォリオがrobots.txtで拒否している生成AI学習用クローラーがGoogle、ChatGPT、Facebookの3つで、pixivはクロスフォリオがブロックしているのに加え、Anthropic(Claude)、Apple、CC(Common Crawl)なんかも入っているんだよね

運営への信用という面では圧倒的にクロスフォリオ>>>越えられない壁>>>pixivなんだけど、技術面的な対策だとクロスフォリオの方が微妙なんかな、という気がする(bot対策は両方ともやっているので画像保存禁止くらい？)

Xfolioの公式ヘルプにインデックスさせない方法として「reCaptcha(bot避け)をONにする」とありますが、bot避け機能をONにされたポートフォリオでも検索エンジンにインデックスされています。

そもそもreCaptchaは基本的にウェブクローラーを拒否しないはずですので、bot避け機能をONにしたポートフォリオにはmetaタグでnoindexをつけるか、ヘルプの内容を書き直した方が良いと思います。

作品の内容上、検索避けをしなければならない人もいますし、ヘルプを信じている方もいると思いますので、ご対応願いたいです。よろしくお願いします。