Hoe u 'n opgedateerde of nuwe Robots.txt-lêer kan indien

robots txt

Ons agentskap hanteer organiese soekadvies vir verskeie SaaS-verskaffers in die bedryf. 'N Kliënt waarmee ons onlangs begin werk het, het 'n redelike standaard gebruik om hul aansoek op 'n subdomein te plaas en hul brosjure na die kerndomein te skuif. Dit is 'n standaardpraktyk, aangesien dit u produksiespan en u bemarkingspan in staat stel om na behoefte opdaterings aan te bring sonder enige afhanklikheid van die ander.

As 'n eerste stap in die ontleding van hul organiese soektoggesondheid, het ons die brosjure en toepassingsdomeine by Webmasters geregistreer. Dit is toe dat ons 'n onmiddellike probleem identifiseer. Al die aansoekbladsye word deur die soekenjins geblokkeer. Ons het na hul robots.txt-inskrywing in Webmasters navigeer en die probleem onmiddellik geïdentifiseer.

Terwyl hulle vir die migrasie voorberei het, wou hul ontwikkelingspan nie hê dat die subdomein van die toepassing deur die soektog geïndekseer moes word nie, en daarom het hulle toegang tot soekenjins verbied. Die robots.txt-lêer is 'n lêer wat in die wortel van u werf gevind word - u domein.com/robots.txt - waarmee die soekenjin kan weet of hulle die webwerf moet deurkruis al dan nie. U kan reëls skryf om indeksering op die hele werf of spesifieke paaie toe te laat of toe te laat. U kan ook 'n reël byvoeg om u sitemap-lêer te spesifiseer.

Die Robots.txt lêer het die volgende inskrywing wat verhoed het dat die webwerf kon deursoek en op die ranglys van die soekresultate geïndekseer kon word:

Gebruikersagent: * Nie toelaat nie: /

Dit moes soos volg geskryf wees:

Gebruikersagent: * Laat toe: /

Laasgenoemde verleen toestemming aan enige soekenjin wat die webwerf deursoek en toegang tot enige gids of lêer op die werf.

Groot ... so nou dat die robots.txt lêer is perfek, maar hoe weet Google en wanneer sal hulle die werf weer besoek? Wel, u kan absoluut versoek dat Google u robots.txt nagaan, maar dit is nie te intuïtief nie.

Gaan na die Google Search Console Search Console Kruip> robots.txt-toetser. U sal die inhoud van die robots.txt-lêer wat die afgelope tyd deurkruis is, in die toetser sien. As u u robots.txt-lêer weer wil indien, klik op Submit en 'n pop-up sal met 'n paar opsies vorendag kom.

stuur robots.txt weer in

Die finale opsie is Vra Google om op te dateer. Klik op die blou Submit-knoppie langs die opsie en navigeer dan terug na die Kruip> robots.txt-toetser kieslysopsie om die bladsy te herlaai. U moet nou die opgedateerde robots.txt-lêer sien, tesame met 'n datumstempel wat wys dat dit weer gekruip is.

As u nie 'n opgedateerde weergawe sien nie, kan u klik op stuur en kies Kyk na opgelaaide weergawe om na u werklike robots.txt-lêer te navigeer. Baie stelsels sal hierdie lêer in die kas sit. In werklikheid genereer IIS hierdie lêer dinamies op grond van reëls wat deur hul gebruikerskoppelvlak ingevoer word. U moet waarskynlik die reëls opdateer en die kas herlaai om 'n nuwe robots.txt-lêer te publiseer.

robotte-txt-toetser

Wat dink jy?

Hierdie webwerf gebruik Akismet om spam te verminder. Leer hoe jou opmerking verwerk is.