note本家のrobots.txtと同一ではない。megalodon(ウェブ魚拓)、ia_archiver(Internet Archive)がDisallowに設定されているのは意図的と思われる。 https://note.com/robots.txt / 日経のrobots.txtと同一だった。 https://comemo.nikkei.com/robots.txt <blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4702568062960124290/comment/stp7" data-user-id="stp7" data-entry-url="https://b.hatena.ne.jp/entry/s/note.dig