Firma de web design
Creare si promovare pagini web
Telefon
0730 518 614
Email:
office@2webdesign.ro

Despre fisierul robots.txt – exemple comenzi utilizare

Recomanda articolul

robots.txt este un fisier ce trasmite robotilor diferitelor motoare de cautare ce pot accesa si ce nu pot accesa dintr-un website. Acest fisier trebuie incarcat in folderul principal al website-ului (root, www…. ). Când un robot accesează un website primul lucru care îl face este să acceseze fişierul robots.txt, citeşte acest fişier şi în funcţie de regulile care sunt stabilite acolo, robotul continuă(într-un mod filtrat) sau nu scanarea acelui site.  Exista posibilitatea de a folosi un generator Robots.txt pentru a crea un fisier robots.txt simplu si eficace. Un astfel de generator il puteti gasi prin intermediul Google Webmasters Central.  Acesta permite sau respinge accesul spiderilor motoarelor de cautare la fisiere sau foldere.

* User-agent – permite sa selectam robotul dorit
* Disallow – parametru ce permite transmite motoarelor de cautare paginile care sunt accesibile.
Cum  sa restrictionezi doar unele pagini :

User-agent: *
Disallow: /administrator/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Cum restrictionez toti robotii pe website: ?

User-agent: *
Disallow: /

 

 

Share

Avand o experienta de aproape un deceniu in materie de web design si propulsati de o nemarginita pasiune pentru programare va invitam sa ne vizitati situl si sa va bucurati de cele mai interesante articole din domeniu.

Comments

  1. Cum se poate seta ca un anume fisier dintr-un director blocat sa fie totusi indexat ?

    de ex eu am :

    User-agent: *

    Disallow: /images/

    dar am in acest director fisierul oferta.pdf pe care as vrea sa il indexeze totusi

    /images/banners/oferta.pdf

    Multumesc de ajutor.

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *