Inspektur kebijakan robots

Inspektur kebijakan robots

Mengambil robots.txt situs, mengurai pengelompokan User-agent, dan segera memverifikasi apakah suatu jalur diizinkan untuk dirayapi.