- Nu ai niciun produs în coș.
Despre fisierul robots.txt – exemple comenzi utilizare
robots.txt este un fisier ce trasmite robotilor diferitelor motoare de cautare ce pot accesa si ce nu pot accesa dintr-un website. Acest fisier trebuie incarcat in folderul principal al website-ului (root, www…. ). Când un robot accesează un website primul lucru care îl face este să acceseze fişierul robots.txt, citeşte acest fişier şi în funcţie de regulile care sunt stabilite acolo, robotul continuă(într-un mod filtrat) sau nu scanarea acelui site. Exista posibilitatea de a folosi un generator Robots.txt pentru a crea un fisier robots.txt simplu si eficace. Un astfel de generator il puteti gasi prin intermediul Google Webmasters Central. Acesta permite sau respinge accesul spiderilor motoarelor de cautare la fisiere sau foldere.
* User-agent – permite sa selectam robotul dorit
* Disallow – parametru ce permite transmite motoarelor de cautare paginile care sunt accesibile.
Cum sa restrictionezi doar unele pagini :
User-agent: *
Disallow: /administrator/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
Cum restrictionez toti robotii pe website: ?
User-agent: *
Disallow: /
Disallow: /
2WebDesign
Cu o experienta de peste un deceniu in materie de web design si propulsati de o nemarginita pasiune pentru online va invitam sa ne vizitati site-ul si sa va inspirati citind cele mai interesante articole din domeniu.
Recommended Posts
Google – o schimbare majora in algoritmul de cautare prin Hummingbird
27 septembrie 2013
Promovare site – Optimizare – Servicii SEO
22 august 2013
Servicii de publicitate online – firma web site design
21 august 2013
Cum se poate seta ca un anume fisier dintr-un director blocat sa fie totusi indexat ?
de ex eu am :
User-agent: *
Disallow: /images/
dar am in acest director fisierul oferta.pdf pe care as vrea sa il indexeze totusi
/images/banners/oferta.pdf
Multumesc de ajutor.