robots ポリシーインスペクター

robots ポリシーインスペクター

サイトのrobots.txtを取得し、User-agentグループ化を解析し、パスがクロール許可されているかを即座に検証します。