Analizam in cadrul acestui articol fisierul robotx.txt, un fisier de o importanta majora in evolutia unui site web. Fisierul robots.txt are rolul de a informa robotii motoarelor de cautare pentru a accesa o pagina sau pentru a nu accesa o pagina din cadrul unui website.
Ce este fisierul robots.txt?
Este defapt un fisier txt in care adaugam linii de comenzi prin care anuntam robotii ce pot si ce nu pot accesa din site-ul nostru.
Linii de comenzi:
User-agent: * – directiva pentru toti robotii;
Disallow:/ – directiva pentru blocarea accesului;
Exemple de comenzi
[su_spacer size=”7″]
[su_note note_color=”#D8E7EA”]Pentru a permite tuturor robotilor acces complet utilizati:
User-agent: *
Disallow:[/su_note]
[su_spacer size=”10″]
[su_note note_color=”#D8E7EA”]Pentru a nu permite accesul robotilor in anumite directoare utilizati:
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /plughin/[/su_note]
[su_spacer size=”10″]
[su_note note_color=”#D8E7EA”]Pentru a nu permite accesul la o pagina din site utilizati:
User-agent: *
Disallow: /directory/page.html/[/su_note]
[su_spacer size=”10″]
[su_note note_color=”#D8E7EA”]Pentru a permite accesul doar unui singur robot utilizati:
User-agent: Bing
Disallow:[/su_note]
[su_spacer size=”10″]
Ca o nota de recomandare de foarte multe ori regasim in fisierul robots.txt, si indicativul pentru sitemap, pentru a le permite accesul rapid la locatia sitemap.
[su_note note_color=”#77d6fd”]Exemplu pentru indicativul sitemap:
Sitemap: http://w w w.siteulmeu.ro/sitemap.xml[/su_note]
[su_note note_color=”#fcfcfc”]
Exemplu fisierul robots.txt setat pentru Joomla
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/[/su_note]
[su_spacer size=”10″]
[su_note note_color=”#D8E7EA”]
Exemplu fisierul robots.txt setat pentru Woldpress
User-agent: *
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-admin/
Disallow: /wp-includes/[/su_note]
Am expus o parte din solutiile cele mai des intalnite, atunci cand adaugam un fisier robots.txt. Pentru Woldpress este indicat sa se adauge ulterior intrucat in pachetul de instalare nu este inlcus. Fisierul despre care vorbim aici, poate fi configurat dupa bunul plac atunci cand doriti ca, anumiti roboti sau chiar toti sa nu aiba acces la anumite parti din site-ul dumneavoastra.
Exemple de roboti folositi de motoarele de cautare:
Google – googlebot
Google Image – googlebot-image
Google Mobile – googlebot-mobile
MSN Search – msnbot
MSN PicSearch – psbot
Yahoo – yahoo-slurp
Yahoo MM – yahoo-mmcrawler
Yahoo Blogs – yahoo-blogs/v3.9
Ask/Teoma – teoma
Cuil – twiceler
GigaBlast – gigabot
Scrub The Web – scrubby
DMOZ Checker – robozilla
Nutch – nutch
Alexa/Wayback – ia_archiver
Baidu – baiduspider
Naver – naverbot, yeti
SingingFish – asterias
