Com tornar a enviar un fitxer Robots.txt actualitzat o nou

robots txt

La nostra agència s'encarrega consultoria de cerca orgànica per a diversos proveïdors de SaaS de la indústria. Un client amb qui recentment vam començar a treballar havia fet una pràctica bastant estàndard, col·locant la seva aplicació en un subdomini i traslladant el lloc del fulletó al domini principal. Aquesta és una pràctica estàndard, ja que permet al vostre equip de producció i al vostre equip de màrqueting fer les actualitzacions necessàries sense cap dependència de l'altre.

Com a primer pas per analitzar el seu estat de cerca orgànica, vam registrar els dominis de fullets i d'aplicacions a administradors web. Va ser llavors quan vam identificar un problema immediat. Els motors de cerca van bloquejar la indexació de totes les pàgines de l’aplicació. Vam anar a la seva entrada robots.txt a administradors web i vam identificar immediatament el problema.

Mentre es preparaven per a la migració, el seu equip de desenvolupament no volia que el subdomini de l'aplicació s'indexés per cerca, de manera que van prohibir l'accés als motors de cerca. El fitxer robots.txt és un fitxer que es troba a l'arrel del vostre lloc - domini.com/robots.txt - que permet al motor de cerca saber si han de rastrejar o no el lloc. Podeu escriure regles per permetre o no permetre la indexació a tot el lloc o camins específics. També podeu afegir una línia per especificar el fitxer del mapa del lloc.

L' robots.txt El fitxer tenia la següent entrada que impedia rastrejar i indexar el lloc als rànquings de resultats de cerca:

Usuari-agent: * Desautoritzar: /

S'hauria d'haver escrit així:

Agent d'usuari: * Permetre: /

Aquest últim proporciona permís a qualsevol motor de cerca que rastregi el lloc perquè pugui accedir a qualsevol directori o fitxer del lloc.

Genial ... així que ara que el robots.txt l'arxiu és perfecte, però, com ho sap Google i quan revisaran el lloc de nou? Bé, podeu sol·licitar que Google comprovi el vostre fitxer robots.txt, però no és massa intuïtiu.

Aneu a la Google Search Console Search Console fins al Rastreig> Tester robots.txt. Veureu el contingut del fitxer robots.txt rastrejat més recentment al provador. Si voleu tornar a enviar el fitxer robots.txt, feu clic a Envia i apareixerà una finestra emergent amb algunes opcions.

torneu a enviar robots.txt

L’opció final és Demaneu a Google que actualitzi. Feu clic al botó blau Envia al costat d'aquesta opció i, a continuació, torneu a la pàgina Rastreig> Tester robots.txt opció de menú per tornar a carregar la pàgina. Ara hauríeu de veure el fitxer robots.txt actualitzat juntament amb un segell de data que mostra que s’ha rastrejat de nou.

Si no veieu cap versió actualitzada, podeu fer clic a Envia i seleccionar Veure la versió penjada per anar al fitxer robots.txt real. Molts sistemes guardaran aquest fitxer a la memòria cau. De fet, IIS genera aquest fitxer dinàmicament en funció de les regles introduïdes a través de la seva interfície d’usuari. El més probable és que hagueu d’actualitzar les regles i actualitzar la memòria cau per publicar un nou fitxer robots.txt.

robots-txt-tester

Què et sembla?

Aquest lloc utilitza Akismet per reduir el correu no desitjat. Esbrineu com es processa el vostre comentari.