🌞 Sumer Sale — Jopa 70% alennus web hostingista ja domaineista
aktivoi nyt
Usein kysytyt kysymykset • Raskeleva

Mikä on robots.txt-tiedosto?

Robots.txt-tiedosto hallitsee hakukoneiden pääsyä sivustolle, sallien tai rajoittaen sisällön indeksointia. Opi, kuinka luoda ja konfiguroida se tehokkaasti.

Näkymät 866Päivitettu 1 anJulkaistu 15/10/2018jolloin Cătălin Adrian

Johdanto

robots.txt tiedosto on yksinkertainen tekstitiedosto, joka on osa Robottien Poissulkuprotokollaa (REP). Se sisältää ohjeita hakukoneille siitä, kuinka päästä käsiksi sivustoon ja indeksoida se. Jotta se olisi tehokas, robots.txt tiedosto on sijoitettava sivuston juurihakemistoon (esimerkiksi https://domeniu.ro/robots.txt).

Robots.txt-tiedoston tärkeys

robots.txt-tiedosto on tärkeä botteja koskevien vuorovaikutusten hallitsemiseksi sivustolla. On olemassa monia botteja, jotka voivat aggressiivisesti indeksoida sivustoa, mikä voi vaikuttaa sen suorituskykyyn. Tämän tiedoston avulla voit:

  • Hallinnoi hakukoneiden pääsyä sivuston sisältöön.
  • Sallii indeksoinnin vain halutuilla boteilla (esim. Google, Bing).
  • Rajoita pääsyä arkaluontoisiin kansioihin tai tiedostoihin.

Käyttöesimerkit

1. Tietyntyyppisen hakukoneen estäminen

Estääksesi pääsyn Bing-hakukoneelta (bingbot), lisää seuraavat rivit robots.txt-tiedostoon:


Käyttäjä-agentti: bingbotKielletty: /

Selitys:
Käyttäjä-agentti: Määrittelee hakukoneen, johon asetukset koskevat.
Estä: Määrittelee sivuston osat, joihin robotti ei pääse. Symboli / estää pääsyn koko sivustolle.

2. Estä kaikki hakukoneet

Estääksesi kaikkia hakukoneita pääsemästä sivustolle, käytä:


User-agent: *Kielletty: /

Selitys: Symboli * (jokeri) Käyttäjä-agentti kentässä koskee kaikkia hakukoneita, ja / estää pääsyn koko sivustolle.

3. Pääsyn rajoittaminen tiettyihin kansioihin tai tiedostoihin

Estääksesi pääsyn kansioon ja tiettyyn tiedostoon, konfiguroi:


User-agent: *Disallow: /blog/Epäile: /newsletter.php

Selitys: Kaikki hakukoneet estetään indeksoimasta kansiota /blog/ ja tiedostoa newsletter.php.

Robots.txt-tiedoston luominen

Luodaksesi robots.txt tiedoston, voit käyttää online-generaattoria, joka auttaa sinua nopeasti ja virheettömästi mukauttamaan sääntöjä. Esimerkkejä online-generaattoreista löydät haun kautta: Robots.txt-generaattori.

Kun olet luonut tiedoston, ylläpidä se sivuston juurihakemistoon tiedostohallinnan tai FTP-asiakkaan avulla.