Analizam in cadrul acestui articol fisierul robotx.txt, un fisier de o importanta majora in evolutia unui site web. Fisierul robots.txt are rolul de a informa robotii motoarelor de cautare pentru a accesa o pagina sau pentru a nu accesa o pagina din cadrul unui website.
robots txt
Ce este fisierul robots.txt?
Este defapt un fisier txt in care adaugam linii de comenzi prin care anuntam robotii ce pot si ce nu pot accesa din site-ul nostru.

Linii de comenzi:
User-agent: * – directiva pentru toti robotii;
Disallow:/ – directiva pentru blocarea accesului;

Exemple de comenzi

Pentru a permite tuturor robotilor acces complet utilizati:
User-agent: *
Disallow:
Pentru a nu permite accesul robotilor in anumite directoare utilizati:
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /plughin/
Pentru a nu permite accesul la o pagina din site utilizati:
User-agent: *
Disallow: /directory/page.html/
Pentru a permite accesul doar unui singur robot utilizati:
User-agent: Bing
Disallow:

Ca o nota de recomandare de foarte multe ori regasim in fisierul robots.txt, si indicativul pentru sitemap, pentru a le permite accesul rapid la locatia sitemap.

Exemplu pentru indicativul sitemap:
Sitemap: http://w w w.siteulmeu.ro/sitemap.xml

Exemplu fisierul robots.txt setat pentru Joomla

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Exemplu fisierul robots.txt setat pentru Woldpress

User-agent: *
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-admin/
Disallow: /wp-includes/

Am expus o parte din solutiile cele mai des intalnite, atunci cand adaugam un fisier robots.txt. Pentru Woldpress este indicat sa se adauge ulterior intrucat in pachetul de instalare nu este inlcus. Fisierul despre care vorbim aici, poate fi configurat dupa bunul plac atunci cand doriti ca, anumiti roboti sau chiar toti sa nu aiba acces la anumite parti din site-ul dumneavoastra.

Exemple de roboti folositi de motoarele de cautare:

Google – googlebot
Google Image – googlebot-image
Google Mobile – googlebot-mobile
MSN Search – msnbot
MSN PicSearch – psbot
Yahoo – yahoo-slurp
Yahoo MM – yahoo-mmcrawler
Yahoo Blogs – yahoo-blogs/v3.9
Ask/Teoma – teoma
Cuil – twiceler
GigaBlast – gigabot
Scrub The Web – scrubby
DMOZ Checker – robozilla
Nutch – nutch
Alexa/Wayback – ia_archiver
Baidu – baiduspider
Naver – naverbot, yeti
SingingFish – asterias

LĂSAȚI UN MESAJ

Please enter your comment!
Please enter your name here

Acest sit folosește Akismet pentru a reduce spamul. Află cum sunt procesate datele comentariilor tale.