Zure webgunearen erroko robota.txt fitxategia web arakatzaileei esango diezazuke arakatzen diren direktorio eta fitxategi arakatzaileek bezala. Robot.txt fitxategi bat erabiltzea erraza da, baina gogoratu behar dituzu zenbait gauza:
- Black hat-eko web-robotak zure robots.txt fitxategiari ez ikusi egingo dio. Motak ohikoenak dira malwareko bot-ak eta robotak biltzeko helbide elektronikoak bilatzen dituzte.
- Programatzaile berriek robotak.txt fitxategiari jaramonik egiten ez dieten robotak idazten dituzte. Hau normalean akatsez egiten da.
- Edonork zure robots.txt fitxategia ikus dezake. Beti dira robots.txt izenekoak eta beti gordetzen dira webgunearen erroan.
- Azkenean, norbaitek robot.txt fitxategiaren bidez baztertzen ez duen orrialde batetik fitxategi edo direktorio batera estekatzen baldin badago, bilatzaileek hala ere aurkitu dezakete.
Ez erabili robots.txt fitxategiak zer den garrantzitsua ezkutatzeko. Horren ordez, pasahitz seguruetan informazio garrantzitsua jarri behar duzu edo guztiz utzi weba.
Adibide hauek nola erabili
Kopiatu testua zuk nahi duzuna gertuen dagoen laginean, eta itsatsi ezazu zure robots.txt fitxategian. Aldatu robota, direktorioa eta fitxategien izenak hobespenen konfigurazioarekin bat etortzeko.
Bi oinarrizko robotak.txt fitxategiak
Erabiltzaile-agente: *
Ezeztatu: /
Fitxategi honek sartzen duen edozein robot (Erabiltzaile-agentea: *) gunean orrialde guztiei ez ikusi egin beharko litzaieke (Desautatu: /).
Erabiltzaile-agente: *
debekatu:
Fitxategi honek sartzen duen edozein robot (Erabiltzaile-agentea: *) onartzen du gunearen orrialde guztietan ikusteko (Desautatu:).
Hau ere egin dezakezu zure robots.txt fitxategia hutsik edo zure webgunean ez daukazu.
Babestu Zuzentarau Espezifikoak Robotetik
Erabiltzaile-agente: *
Ezgaitu: / cgi-bin /
Ezeztatu: / temp /
Fitxategi honek sartzen dituen edozein robot (Erabiltzaile-agentea: *) direktorioak / cgi-bin / eta / temp / (Disallow: / cgi-bin / Disallow: / temp /) ez ikusi egin behar ditu.
Babestu orriak berariaz Robotetik
Erabiltzaile-agente: *
Ezeztatu: /jenns-stuff.htm
Ezeztatu: /private.php
Fitxategi honek sartzen dituen edozein robot (Erabiltzaile-agentea: *) fitxategiak /jenns-stuff.htm eta /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php) ez ikusi egin behar ditu.
Zure webgunean sartzeko robota zehatz bat saihestea
Erabiltzaile-agente: Lycos / xx
Ezeztatu: /
Fitxategi honek Lycos bot (Erabiltzaile-agente: Lycos / xx) ez du onartu gunean edonon (Disallow: /) onartzen.
Baimendu bakarrik Robot Sarbide Berezian
Erabiltzaile-agente: *
Ezeztatu: /
Erabiltzaile-agente: Googlebot
debekatu:
Fitxategi honek lehenik eta behin gainidazten zituen robot guztiak ez ditu onartzen, eta, beraz, esplizituki Googlebot (Erabiltzaile-agente: Googlebot) guztiek dute sarbidea (Disallow:).
Lerro anitzak konbinatu nahi dituzun esklusioak zehaztasunez lortzeko
Erabiltzaile-agentearen lineak oso biak barne erabiltzea hobe da, Erabiltzaile-agente bezala: *, zuk nahi duzun bezalakoa izan daiteke. Gogoratu robotek fitxategia irakurtzen duzula. Beraz, lehenengo lerroek robot guztiek blokeatu egiten dutela esaten badute, eta gero fitxategian robotak guztiz sar daitezen baieztatzen du, robotak guztia edukiko du.
Ziur ez bazaude ziur zure robots.txt fitxategia behar bezala idatzi baduzu, Google-ren Webmaster tresnak erabil ditzakezu zure robots.txt fitxategia egiaztatzeko edo beste bat idazteko.