Generatore Robots.txt
Generatore di regole robots.txt
Supporta righe multiple Allow / Disallow / Sitemap, assembla automaticamente il formato standard.
Il generatore online Robots.txt di GeekFormat permette di configurare User-agent, regole Allow/Disallow, dichiarazioni Sitemap e direttive Host tramite moduli visivi, generando in tempo reale file robots.txt conformi allo standard Robots Exclusion Protocol. La pagina si apre già con valori predefiniti di esempio, modificando qualsiasi campo l'anteprima si aggiorna istantaneamente, e con un clic copi per distribuire nella directory root del sito. Funziona interamente nel browser, senza inviare dati di configurazione a nessun server.
Raccomandazioni correlate
Informazioni su Robots.txt e il Protocollo di Esclusione dei Crawler
robots.txt è uno dei modi più basilari di comunicazione tra un sito e i crawler dei motori di ricerca, nome completo Robots Exclusion Protocol (Protocollo di Esclusione dei Robot, abbreviato REP). È un file di testo semplice posizionato nella directory root del sito che, tramite direttive semplici, informa i crawler dei motori di ricerca conformi quali parti del sito possono essere scansionate e quali parti non dovrebbero essere scansionate. robots.txt è stato proposto originariamente da Martijn Koster nel 1994; dopo quasi 30 anni di sviluppo, è stato formalmente standardizzato dall'IETF come RFC 9309 nel 2022.
La struttura base di robots.txt consiste in uno o più gruppi di regole (Group). Ogni gruppo di regole inizia con una o più righe User-agent, specificando i crawler ai quali le regole si applicano (* rappresenta tutti i crawler); seguite da diverse righe Allow e Disallow, specificando rispettivamente i prefissi di percorso consentiti e vietati alla scansione; alla fine del file possono essere aggiunte direttive non di gruppo come Sitemap e Host. I gruppi di regole sono separati da righe vuote. Un robots.txt tipico contiene: dichiarazione User-agent → regole di percorso Allow/Disallow → (opzionale) più gruppi User-agent → dichiarazione Sitemap → direttiva Host.
Il campo User-agent specifica il nome del crawler al quale le regole si applicano. Nomi comuni di crawler di motori di ricerca includono: Googlebot (ricerca Google), Bingbot (ricerca Bing), Baiduspider (ricerca Baidu), YandexBot (ricerca Yandex), DuckDuckBot (ricerca DuckDuckGo), Twitterbot (acquisizione card Twitter/X), facebookexternalhit (anteprima link Facebook), GPTBot (crawler OpenAI GPT), Bytespider (ricerca ByteDance/Toutiao), ecc. Usa User-agent: * come carattere jolly per corrispondere tutti i crawler non corrisposti individualmente.
Le direttive Allow e Disallow usano il principio di corrispondenza di prefisso (Prefix Matching): finché il percorso dell'URL inizia con il valore specificato, la regola corrisponde. Ad esempio, Disallow: /admin bloccherà /admin, /admin/, /admin/login.html, /administrator e tutti i percorsi che iniziano con /admin. Se vuoi corrispondere solo alla directory /admin/ precisamente, scrivi Disallow: /admin/ (con slash finale). Secondo lo standard RFC 9309, quando Allow e Disallow corrispondono simultaneamente, la regola con il percorso più lungo vince; a lunghezze uguali, Allow ha priorità. Questo significa che più specifica è la regola, maggiore è la priorità.
La direttiva Sitemap è usata per informare i motori di ricerca della posizione della sitemap, aiutando i crawler a scoprire e indicizzare le pagine del sito più efficientemente. Le righe Sitemap devono essere posizionate dopo tutti i gruppi di regole (o alla fine del file); gli URL devono essere indirizzi assoluti completi (includendo http:// o https://). Un robots.txt può dichiarare più Sitemap, ognuno su una riga indipendente. I siti grandi tipicamente suddividono più Sitemap (classificati per tipo di contenuto, frequenza di aggiornamento) e li gestiscono in modo unificato tramite un file di indice Sitemap.
La direttiva Host è una direttiva non standard ma ampiamente usata proposta da Yandex, usata per specificare il dominio preferito del sito (mirror principale). Ad esempio, quando example.com e www.example.com esistono simultaneamente, Host: example.com informa i motori di ricerca che example.com è quello preferito. Nota importante: Google ha dichiarato di non usare la direttiva Host, è necessario configurare il dominio preferito tramite Google Search Console; anche Bing non la supporta esplicitamente. La direttiva Host deve essere posizionata dopo Sitemap e apparire solo una volta.
Configurare correttamente robots.txt è importante per la SEO: primo, evita che i crawler sprechino budget di scansione su pagine senza senso (come pagine di risultati di ricerca, pagine di filtro, pagine di contenuto duplicato), permettendo loro di scansionare contenuto di valore in modo più efficiente; secondo, impedisce che pagine private o di basso valore (come admin, pagine di test, pagine di stampa) vengano indicizzate; terzo, guida proattivamente i crawler a scoprire nuove pagine tramite Sitemap. Ma attenzione: robots.txt è un accordo tra gentiluomini e non sostituisce misure di sicurezza reali; URL con Disallow che ricevono link esterni potrebbero comunque apparire nei risultati di ricerca mostrando l'URL (ma non ne verrà scansionato il contenuto); proibire completamente la scansione potrebbe influenzare la valutazione generale del peso del sito.
Errori comuni in robots.txt includono: ① percorso scritto in modo errato (come Disallow: admin senza slash iniziale, dovrebbe essere /admin); ② uso di espressioni regolari (il REP standard non supporta regex, solo Googlebot supporta caratteri jolly limitati * e $); ③ proibire la scansione di file JS/CSS (impedirà a Google di renderizzare le pagine); ④ Disallow: / (proibire tutto il sito, errore fatale che causerà la non indicizzazione completa); ⑤ problema di codifica del file (deve essere codifica UTF-8); ⑥ posizionato in una sottodirectory invece che nella root; ⑦ permessi del file che impediscono l'accesso (deve restituire codice di status 200 OK). Si consiglia di verificare dopo la generazione usando lo strumento di test robots.txt di Google Search Console o lo strumento di ispezione robots.txt di questa piattaforma.
Casi d'uso
- Configurare un robots.txt base prima del lancio di un nuovo sito, definendo chiaramente i percorsi consentiti e vietati alla scansione, guidando i motori di ricerca a scansionare correttamente
- Aggiornare le regole Disallow dopo la ristrutturazione del sito per evitare che vecchie directory continuino a essere scansionate e influenzino la distribuzione del peso SEO
- Aggiungere più indirizzi Sitemap per aiutare i motori di ricerca a scoprire più velocemente la struttura delle pagine del sito, migliorando l'efficienza di indicizzazione
- Bloccare directory amministrative (/admin), ambienti di test e directory private per evitare l'indicizzazione da parte dei crawler, riducendo i rischi di sicurezza
- Configurare la direttiva Host per specificare il dominio preferito del sito (con o senza www), riducendo i problemi di contenuto duplicato
- Configurare regole di scansione indipendenti per diversi crawler di motori di ricerca (Googlebot, Bingbot, Baiduspider, ecc.)
- Vietare temporaneamente l'accesso dei crawler a directory in manutenzione, riaprendo la scansione dopo il completamento degli aggiornamenti
- Generare file robots.txt in formato standardizzato, evitando errori di analisi dei motori di ricerca dovuti a errori di formattazione manuale
- Configurare Sitemap multipli (come sitemap di articoli, sitemap di prodotti, sitemap di immagini) per coprire tutti i tipi di contenuto del sito
- Dimostrare la configurazione delle regole robots.txt nello sviluppo frontend, insegnando il formato standard del protocollo dei crawler
- Utilizzare insieme allo strumento di ispezione robots.txt per verificare se le regole generate corrispondono alle aspettative, evitando di bloccare pagine importanti per errore
- Creare rapidamente un modello robots.txt, scaricarlo e adattarlo alla situazione reale del sito prima della distribuzione
Come utilizzare
- Nel campo di input User-agent, specifica il crawler target (il predefinito * rappresenta tutti i crawler dei motori di ricerca)
- Nell'area Allow, inserisci i percorsi consentiti alla scansione, una regola per riga (come /, /blog/)
- Nell'area Disallow, inserisci i percorsi vietati alla scansione, una regola per riga (come /admin, /private)
- Nell'area Sitemap, aggiungi indirizzi di sitemap XML (supporta più righe); nell'area Host, inserisci il dominio preferito
- L'area di anteprima a destra mostra in tempo reale il contenuto robots.txt generato; dopo aver confermato, clicca il pulsante copia per distribuire
Funzionalità
- Configurazione indipendente di regole multiple: User-agent, Allow, Disallow, Sitemap e Host hanno aree di input separate, con regole classificate chiaramente senza confusione
- Generazione con anteprima in tempo reale: il contenuto di robots.txt si aggiorna istantaneamente dopo ogni modifica, senza bisogno di cliccare manualmente sul pulsante genera, ciò che vedi è ciò che ottieni
- Regola predefinita di fallback: quando Allow e Disallow sono vuoti, viene generato automaticamente Allow: /, evitando file vuoti che causano comportamento incerto del crawler
- Supporto per Sitemap multipli: l'area Sitemap supporta input su più righe, ogni URL genera una riga indipendente di dichiarazione Sitemap, ideale per siti con più Sitemap
- Copia e distribuzione con un clic: il risultato generato supporta la copia negli appunti con un clic, pronto per essere incollato direttamente nella directory root del sito
- Esempio predefinito precompilato: la pagina si apre già con una configurazione di esempio (User-agent: *, Allow: /, Disallow: /admin /private, Sitemap, Host), i principianti possono consultarla e modificarla direttamente
- Output in formato standard: segue rigorosamente la specifica Robots Exclusion Protocol, con riga User-agent prima, righe di regola dopo, Sitemap/Host alla fine, compatibile con tutti i motori di ricerca
- Elaborazione intelligente dei percorsi: rimuove automaticamente spazi iniziali/finali da ogni riga, filtra righe vuote, evitando che spazi extra invalidino le regole
- Layout reattivo a colonne: su PC divisione sinistra-destra (configurazione/anteprima), su mobile disposizione alto-basso, funziona bene su desktop e cellulare
- Anteprima con font monospaziato: l'area di anteprima utilizza font monospaziato per visualizzare il risultato, mantenendo il formato robots.txt ordinato e chiaro
- Supporto per direttiva Host: permette di configurare il dominio preferito Host (supportato da motori di ricerca come Yandex), riducendo i problemi di contenuto duplicato del dominio
- Esecuzione interamente locale nel browser: tutte le operazioni di configurazione e generazione avvengono in JavaScript locale nel browser, senza inviare dati a server
- Utilizzo immediato senza dipendenze: basta aprire la pagina per usarlo, senza registrazione o login, senza installare alcun software
- Integrazione con strumento di ispezione: i link correlati portano direttamente allo strumento di ispezione robots.txt, permettendo di verificare immediatamente se le regole sono corrette dopo la generazione
Domande frequenti
A cosa serve robots.txt? Perché un sito dovrebbe avere questo file?
robots.txt è un file di testo semplice posizionato nella directory root del sito, usato per dire ai crawler dei motori di ricerca (come Googlebot, Bingbot, Baiduspider, ecc.) quali percorsi possono essere scansionati e quali sono vietati. È l'implementazione del Robots Exclusion Protocol (Protocollo di Esclusione dei Robot), ed è il file centrale per la gestione della scansione del sito e le impostazioni SEO di base. Sebbene non sia obbligatorio, quasi tutti i siti regolari configurano robots.txt per guidare il comportamento dei crawler.
Dove deve essere posizionato il file robots.txt?
robots.txt deve essere posizionato nella directory root del sito ed essere accessibile direttamente all'indirizzo http://tuo-dominio/robots.txt. Ad esempio https://example.com/robots.txt. Attenzione: non posizionarlo in sottodirectory (come /blog/robots.txt non è valido), i crawler cercano questo file solo nella directory root. Il nome del file deve essere tutto in minuscolo: robots.txt, non Robots.txt o ROBOTS.TXT.
Cosa viene generato quando Allow e Disallow sono vuoti?
Quando Allow e Disallow non sono compilati, il generatore produce automaticamente Allow: / come regola di fallback, indicando che tutto il sito può essere scansionato. Questo evita di generare file vuoti o robots.txt incompleti con solo la riga User-agent, prevenendo comportamento incerto del crawler dovuto a regole poco chiare.
Posso configurare più indirizzi Sitemap?
Sì. L'area Sitemap supporta input su più righe; ogni URL genera una riga indipendente di dichiarazione Sitemap. Ad esempio, i siti grandi hanno tipicamente più file sitemap (sitemap di articoli, sitemap di prodotti, sitemap di immagini, ecc.), puoi inserire un URL Sitemap completo per riga (deve essere un percorso assoluto completo, includendo http:// o https://).
Qual è la funzione della direttiva Host? Tutti i motori di ricerca la supportano?
La direttiva Host è usata per specificare il dominio preferito del sito (come example.com o www.example.com), aiutando i motori di ricerca a identificare il dominio principale e riducendo i problemi di contenuto duplicato tra versioni www e non-www. Attualmente la direttiva Host è supportata principalmente da motori di ricerca come Yandex; Google non la usa direttamente, preferendo configurare il dominio preferito tramite Google Search Console. Si consiglia di configurarla ma di non dipendere completamente da essa.
Cosa significa User-agent: *? Come configurare regole per crawler specifici?
User-agent: * significa che le regole si applicano a tutti i crawler (l'asterisco è un carattere jolly). Se hai bisogno di configurare regole indipendenti per un motore di ricerca specifico, imposta User-agent con il nome specifico del crawler, come Googlebot (Google), Bingbot (Bing), Baiduspider (Baidu), Twitterbot (Twitter/X), ecc. Puoi configurare più gruppi User-agent separati da righe vuote.
robots.txt protegge realmente le directory sensibili dall'accesso?
No. robots.txt è solo un accordo tra gentiluomini; i crawler dei motori di ricerca conformi rispettano le regole, ma crawler malintenzionati e scanner di hacker possono ignorarlo completamente. Non dipendere da robots.txt per proteggere contenuto realmente sensibile (come password admin, dati sulla privacy degli utenti); le directory sensibili dovrebbero usare autenticazione lato server (protezione con password, whitelist IP) e altre misure di sicurezza reali. La funzione di robots.txt è guidare i crawler conformi, non fornire protezione di sicurezza.
Quali sono le regole di corrispondenza dei percorsi per Disallow?
La regola Disallow usa la corrispondenza di prefisso: Disallow: /admin corrisponderà a /admin, /admin/, /admin/login.html, /administrator e tutti i percorsi che iniziano con /admin. Se vuoi corrispondere solo al contenuto della directory /admin/, scrivi Disallow: /admin/ (con slash finale). Disallow: (valore vuoto) significa non vietare nessun percorso (cioè tutto consentito). Attenzione: le regole distinguono maiuscole e minuscole.
Come distribuire il robots.txt generato sul sito?
Clicca il pulsante copia per copiare il contenuto generato negli appunti; sul server, crea un file di testo semplice chiamato robots.txt, incolla il contenuto e carica il file nella directory root del sito (tipicamente web root, public_html, www o directory dist). Dopo la distribuzione, accedi a https://tuo-dominio/robots.txt per verificare che funzioni; puoi anche usare lo strumento di test robots.txt di Google Search Console per convalidare le regole.
Quanto tempo impiegano le modifiche a robots.txt per avere effetto?
La prossima volta che il crawler del motore di ricerca visita il tuo sito, eseguirà nuovamente la scansione del file robots.txt; generalmente ha effetto in alcune ore o alcuni giorni. Se vuoi che i motori di ricerca scoprano l'aggiornamento il prima possibile, invia una richiesta di aggiornamento robots.txt in Google Search Console o Bing Webmaster Tools. Attenzione: le pagine già indicizzate potrebbero rimanere nei risultati per un po' anche dopo Disallow; la rimozione completa richiede l'uso del tag noindex o dello strumento di rimozione URL.
Quando Allow e Disallow sono in conflitto, quale ha priorità?
Secondo RFC 9309 (standard formale del Robots Exclusion Protocol), quando i percorsi delle regole Allow e Disallow hanno la stessa lunghezza, Allow ha priorità su Disallow; quando le lunghezze differiscono, la regola con il percorso corrispondente più lungo ha priorità. Ad esempio, nel conflitto tra Allow: /blog e Disallow: /blog/, l'accesso a /blog/post.html corrisponderà a Disallow (percorso più lungo /blog/ > /blog), mentre l'accesso a /blog stesso corrisponderà a Allow. In parole semplici: più specifica è la regola, maggiore è la priorità.
Posso aggiungere commenti in robots.txt?
Sì, le righe che iniziano con # sono righe di commento; i crawler ignorano il contenuto dopo #. I commenti possono essere scritti su una riga separata o alla fine di righe di regola (contenuto dopo #). Ad esempio: # Block admin area o Disallow: /admin # admin panel. Aggiungere commenti appropriati aiuta te e i membri del team a capire la funzione di ogni regola.
Gli URL Sitemap devono essere percorsi assoluti?
Sì, la direttiva Sitemap deve usare URL assoluto completo (includendo protocollo e dominio), come Sitemap: https://example.com/sitemap.xml. Non usare percorsi relativi (come /sitemap.xml), perché i crawler potrebbero accedere al tuo sito da domini diversi (come example.com e www.example.com), e i percorsi relativi impedirebbero ai crawler di determinare l'indirizzo corretto.
I dati di configurazione vengono inviati al server?
Assolutamente no. Tutte le configurazioni e le operazioni di generazione di robots.txt avvengono localmente nel tuo browser tramite JavaScript; i percorsi, i domini e gli altri dati di configurazione inseriti non vengono inviati a nessun server esterno. La pagina può essere usata offline (funzioni base) dopo il caricamento; chiudendo la pagina, i dati vengono cancellati automaticamente senza lasciare tracce.
Il robots.txt generato può essere usato su qualsiasi sito?
Sì, il generatore produce un file di testo semplice nel formato standard Robots Exclusion Protocol, adatto a qualsiasi server Web (Nginx, Apache, IIS, Caddy, ecc.) e qualsiasi piattaforma di creazione siti (WordPress, Shopify, Next.js, Django, Rails, ecc.). Basta distribuirlo nella directory root del sito e garantire l'accesso pubblico.
Risoluzione dei problemi
L'accesso al file generato restituisce errore 404?
Verifica che il file robots.txt sia stato caricato nella directory root del sito (non in sottodirectory), il nome del file sia tutto in minuscolo robots.txt, e i permessi del file siano impostati per la lettura pubblica (generalmente permesso 644 è sufficiente). Dopo il caricamento, accedi direttamente a https://tuo-dominio/robots.txt nel browser per confermare che il contenuto sia visibile. La posizione della directory root varia per server: Nginx/Apache generalmente è /var/www/html/ o /usr/share/nginx/html/, Vercel/Netlify generalmente è la directory public/.
Le regole Disallow non funzionano, le pagine sono ancora indicizzate?
Possibili cause: ① il crawler non ha ancora eseguito nuovamente la scansione di robots.txt (attendi alcuni giorni o invia l'aggiornamento in Search Console); ② corrispondenza del prefisso di percorso errata (come Disallow: admin senza /, dovrebbe essere Disallow: /admin/); ③ la pagina era già indicizzata prima di aggiungere Disallow (le pagine già indicizzate non vengono rimosse automaticamente); ④ crawler malintenzionati non rispettano robots.txt; ⑤ esiste una regola Allow in conflitto che copre Disallow (Allow ha priorità quando il percorso è più lungo). Per la rimozione completa dall'indice, usa il tag noindex.
Google Search Console segnala che robots.txt sta bloccando pagine?
Questo generalmente significa che pagine importanti sono state bloccate da Disallow accidentalmente. Verifica se ci sono regole Disallow troppo ampie in robots.txt (come Disallow: / o Disallow: /*?); conferma che i file CSS/JS non siano vietati (Google ha bisogno di scansionare questi file per renderizzare le pagine). Usa lo strumento di test robots.txt di Search Console per inserire URL specifici e testare quale regola sta bloccando.
Ho impostato accidentalmente Disallow: / e tutto il sito è stato vietato alla scansione?
Rimuovi o modifica immediatamente quella regola, cambia robots.txt in Allow: / o cancella la riga Disallow: /, carica il file aggiornato sul server. Quindi invia una richiesta di aggiornamento robots.txt in Google Search Console e invia la sitemap per accelerare la nuova scansione. Le pagine già rimosse dall'indice potrebbero richiedere da giorni a settimane per essere nuovamente indicizzate.
Glossario
- robots.txt
- File di testo semplice posizionato nella directory root del sito, conforme al Robots Exclusion Protocol, usato per informare i crawler dei motori di ricerca conformi quali percorsi sono consentiti/vietati alla scansione.
- Robots Exclusion Protocol (REP)
- Protocollo di Esclusione dei Robot, proposto nel 1994 e standardizzato come RFC 9309 nel 2022, è lo standard de facto per la comunicazione delle regole di scansione tra siti e crawler.
- User-agent
- Campo iniziale di un gruppo di regole, specifica il nome del crawler al quale si applicano le successive regole Allow/Disallow; il carattere jolly * corrisponde a tutti i crawler.
- Disallow
- Direttiva di divieto di scansione, specifica i prefissi di percorso a cui i crawler non dovrebbero accedere. Ad esempio, Disallow: /admin vieta la scansione di tutti i percorsi che iniziano con /admin.
- Allow
- Direttiva di autorizzazione alla scansione, specifica i percorsi esplicitamente consentiti ai crawler. Usata per aprire sottopercorsi specifici sotto un percorso padre Disallow.
- Sitemap
- Direttiva di dichiarazione della mappa del sito, informa i motori di ricerca dell'URL completo della sitemap XML del sito, aiutando i crawler a scoprire e indicizzare efficientemente tutte le pagine.
- Host
- Direttiva di dominio preferito, specifica il dominio principale del sito (come example.com vs www.example.com); supportato da Yandex, Google si configura tramite Search Console.
- Crawler/Bot/Spider
- Crawler/robot/ragno, programma automatizzato dei motori di ricerca che accede alle pagine web e raccoglie contenuti, come Googlebot, Bingbot, Baiduspider, ecc.
- Googlebot
- Crawler web del motore di ricerca Google, responsabile dell'acquisizione del contenuto delle pagine per l'indicizzazione e il ranking di Google, è uno dei crawler più comuni.
- Crawl Budget
- Budget/quota di scansione, limite di frequenza di scansione e quantità di pagine che i motori di ricerca allocano per ogni sito. Configurare robots.txt adeguatamente evita di sprecare la quota di scansione.
- Prefix Matching
- Regola di corrispondenza di prefisso, metodo di corrispondenza del percorso di robots.txt. Il percorso dell'URL che inizia con il valore della regola corrisponde con successo; più lunga è la regola, maggiore è la priorità.
- noindex
- Tag meta HTML o direttiva di intestazione HTTP (X-Robots-Tag: noindex), dice ai motori di ricerca di non indicizzare la pagina nei risultati di ricerca. Diversamente dal Disallow di robots.txt, noindex è un modo più affidabile per la rimozione dall'indice.
Nomi User-agent dei Crawler dei Motori di Ricerca Comuni
Nomi User-agent usati durante la configurazione di regole per crawler specifici:
| Nome Crawler | Motore di Ricerca | Scopo |
|---|---|---|
* | Tutti i crawler | Carattere jolly, corrisponde tutti i crawler non configurati individualmente |
Googlebot | Crawler delle pagine web di Ricerca Google | |
Bingbot | Bing/Microsoft | Crawler delle pagine web di Ricerca Bing |
Baiduspider | Baidu | Crawler delle pagine web di Ricerca Baidu |
YandexBot | Yandex | Crawler delle pagine web di Ricerca Yandex |
GPTBot | OpenAI | Crawler per la raccolta di dati di addestramento di ChatGPT |
Twitterbot | X/Twitter | Crawler per l'anteprima delle card di link della piattaforma X |
facebookexternalhit | Crawler per l'anteprima dei link di Facebook |
Esempi di Regole robots.txt Comuni
Configurazioni di regole comuni per diversi scenari di siti:
| Regola | Effetto |
|---|---|
Disallow: /admin/ | Vieta la scansione di tutto il contenuto nella directory /admin/ |
Disallow: /*? | Vieta la scansione di URL con parametri di query (Googlebot supporta il carattere jolly *) |
Disallow: /search | Vieta la scansione delle pagine dei risultati di ricerca interna |
Allow: /public/ | Autorizza esplicitamente la scansione della directory /public/ |
Disallow: / | ⚠️ Vieta la scansione di tutto il sito (errore fatale, usare con cautela!) |
Allow: / | Autorizza la scansione di tutto il contenuto del sito |
Tabella di Riferimento Rapido delle Direttive Standard robots.txt
Direttive standard e utilizzi definiti da RFC 9309:
| Direttiva | Ambito | Esempio di Formato | Descrizione |
|---|---|---|---|
User-agent | Inizio gruppo | User-agent: * | Specifica il nome del crawler al quale le regole si applicano |
Disallow | Nel gruppo | Disallow: /admin | Prefisso di percorso vietato alla scansione |
Allow | Nel gruppo | Allow: /public | Prefisso di percorso consentito alla scansione |
Sitemap | Non di gruppo | Sitemap: https://example.com/sitemap.xml | Dichiara la posizione della sitemap (URL assoluto) |
# | Qualsiasi posizione | # This is a comment | Riga di commento, ignorata dai crawler |
Privacy & Security
Tutte le operazioni di questo Generatore Robots.txt vengono eseguite interamente in locale sul tuo browser: gli input di configurazione come User-agent, regole di percorso, Sitemap e Host vengono tutti assemblati in tempo reale tramite JavaScript nella memoria del browser per generare il testo robots.txt, senza essere inviati in rete a nessun server. La pagina è pronta per l'uso dopo il caricamento, non utilizza tracciamento tramite Cookie e non raccoglie alcun dato utente. Dopo aver chiuso o aggiornato la pagina, tutto il contenuto di configurazione viene cancellato automaticamente, senza archiviazione persistente nel browser.
Authoritative References
- Generatore Authorization Header
- Parser Cache-Control
- Content-Disposition Parser
- Generatore CORS Header
- Ispettore CORS
- Generatore CSP
- Generatore di codice cURL
- Controllo Propagazione DNS Globale
- Lookup DNS
- Parser Forwarded Header
- Generatore Hreflang
- Analizzatore HSTS
- Parser Cookie HTTP
- Verifica Header HTTP
- Tester Richieste HTTP
- Ricerca codici di stato HTTP
- Ricerca IP
- Convertitore IPv4
- IPv4 Range Expander
- Cassetta degli attrezzi IPv6
- Link Header Parser
- MX Lookup
- Port Checker
- URL Parameter Builder
- Rate Limit Header Parser
- Controlla Catena di Reindirizzamento
- Generatore Robots.txt
- Robots.txt Inspector
- Security Headers Checker
- Generatore Security.txt
- Parser Set-Cookie
- Site Network Audit
- Generatore Sitemap
- Sitemap Inspector
- Verificatore Certificati SSL
- Calcolatore di Sottoreti
- Analizzatore URL
- Parser User-Agent
- Generatore di Link UTM
- Test WebSocket
- Qual è il Mio IP
- Ricerca WHOIS