Robots.txt వివరించబడింది

Robots.txt క్లుప్తంగా వివరించబడిందిః

మీ సైట్కు రోబోట్ యాక్సెస్ను పరిమితం చేయడానికి ఉపయోగించినప్పుడు, పనిలో ఉన్న కంటెంట్ మరియు సున్నితమైన సమాచారం వంటి ఉపయోగకరమైన సాధనం Robots.txt. ఈ సమయంలో రోబోట్లను సైట్ యొక్క ఇండెక్స్ భాగాలకు నెట్టే అనుమతి ఆదేశం కోసం రోబోట్స్ ఎక్స్క్లూజన్ స్టాండర్డ్ వర్కింగ్ గ్రూప్ నుండి ఎటువంటి ఆమోదం లేదు. ఇది ఇప్పటికీ మీ వెబ్సైట్కు అంతర్గతంగా మరియు బాహ్యంగా లింక్ చేయడం ద్వారా ప్రారంభించవచ్చు.

మీ వెబ్సైట్ వినియోగ గణాంకాలను సమీక్షించేటప్పుడు'robots.txt'అనే ఫైలుకు సంబంధించిన సూచనను మీరు గమనించవచ్చు. రోబోట్లు (సెర్చ్ ఇంజిన్ స్పైడర్స్) ఏ ఫైళ్లు మరియు డైరెక్టరీలను సూచిక చేయకూడదో గమనించడానికి ఉపయోగించే ప్రాథమిక ఆకృతీకరణ ఫైల్ ఇది.

మీ వెబ్సైట్ యొక్క root లో robots.txt అనే ఫైల్ను కలిగి ఉండటం ముఖ్యం (http://www.yourdomain.com/robots.txt)robots.txt యొక్క ప్రాథమిక ఉపయోగం ఏమిటంటే రోబోట్లు ఏ ఫైల్లు మరియు డైరెక్టరీలను సూచిక చేయకూడదో గమనించడం.

robots.txt ఫైల్ నిర్మాణం యొక్క వాక్యనిర్మాణంలో 2 భాగాలు ఉన్నాయిః యూజర్ ఏజెంట్ లైన్ మరియు డిస్అల్లో లైన్.

వాక్యనిర్మాణం ఈ క్రింది విధంగా ఉంటుందిః

వినియోగదారు-ఏజెంట్
మీ సైట్ను సందర్శించే రోబోట్ల జాబితాను మీ వెబ్సైట్ యొక్క గణాంక లాగ్లలో చూడవచ్చు. వినియోగదారు-ఏజెంట్ల జాబితాను ఇక్కడ చూడవచ్చుhttp://www.robotstxt.org/wc/active.html

ఒక నిర్దిష్ట రోబోట్ను యూజర్-ఏజెంట్ వాక్యనిర్మాణంలో సూచించవచ్చు.

యూజర్-ఏజెంట్ః గూగుల్బాట్

అన్ని robots.txt ఫైళ్ళను సరిపోల్చడానికి వైల్డ్ కార్డును కూడా ఉపయోగించవచ్చు.

వినియోగదారు-ఏజెంట్ః *

అనుమతించవద్దు
వాక్యనిర్మాణంలోని ఈ విభాగం ఏ ఫైళ్లు మరియు డైరెక్టరీలను సూచిక చేయకూడదని పేర్కొంటుంది.

మీకు'addresses.html'అనే పేజీ ఉంటే, రోబోట్ దానిని ఇండెక్స్ చేయకూడదనుకుంటే, యూజర్-ఏజెంట్ వాక్యనిర్మాణం తర్వాత ఈ క్రింది పంక్తిని జోడించండిః

అనుమతించవద్దుః addresses.html

మీరు రోబోట్ను డైరెక్టరీ స్థాయిలో కూడా పరిమితం చేయవచ్చు. మీ వెబ్సైట్లోని డైరెక్టరీ'/ బిల్లింగ్'ఇండెక్సింగ్ నుండి పరిమితం చేయబడితే, యూజర్-ఏజెంట్ వాక్యనిర్మాణం తర్వాత ఈ క్రింది వచనాన్ని ఉంచండి.

అనుమతించవద్దుః/బిల్లింగ్ /

ఒక సైట్లోని అన్ని ఫైళ్ళను నోట్ చేయడానికి వైల్డ్ కార్డును కూడా ఉపయోగించవచ్చు.

అనుమతించవద్దుః /

నా robots.txt ఫైలులో నేను ఎలా వ్యాఖ్యానించగలను?
కోడింగ్ వ్యాఖ్యలను ఏదైనా వచనానికి ముందు'#'ను ఉంచడం ద్వారా robots.txt ఫైలులో ఉంచవచ్చు. ఒక ఉదాహరణ ఏమిటంటేః

#గూగుల్బాట్ను యూజర్-ఏజెంట్గా పేర్కొంటుంది.
యూజర్-ఏజెంట్ః గూగుల్బాట్

మీ వ్యాఖ్యలను ఆదేశం కంటే వేరొక పంక్తిలో ఉంచడం మంచి పద్ధతి. అలాగే, నిర్దేశిక పంక్తుల ప్రారంభంలో తెల్లని స్థలాన్ని పరిమితం చేయండి.


ఉపయోగించడానికి robots.txt ను ఉంచడంః
ఇప్పుడు మనకు robots.txt యొక్క కార్యాచరణ తెలుసు కాబట్టి, దానిని ఆచరణలో పెడదాం.

మీరు అన్ని రోబోట్లను మీ వెబ్సైట్లోని అన్ని పేజీలను సందర్శించడానికి అనుమతించాలనుకుంటే, మీరు robots.txt ఫైల్లోని మీ వాక్యనిర్మాణంలో "*" వైల్డ్ కార్డును ఉపయోగించాలి.

వినియోగదారు-ఏజెంట్ః *
అనుమతించవద్దుః

మీ సైట్ యొక్క అన్ని ఇండెక్సింగ్ను అనుమతించడానికి, మీ robots.txt ఫైలులో ఈ క్రింది వచనాన్ని నమోదు చేయండిః

వినియోగదారు-ఏజెంట్ః *
అనుమతించవద్దుః /

'బిల్లింగ్'అనే డైరెక్టరీలోని ఇండెక్సింగ్ పేజీల నుండి రోబోట్లను అనుమతించవద్దు.

వినియోగదారు-ఏజెంట్ః *
అనుమతించవద్దుః/బిల్లింగ్ /

"బిల్లింగ్" మరియు "అడ్రస్" అనే డైరెక్టరీలలోని ఇండెక్సింగ్ పేజీల నుండి రోబోట్లను అనుమతించవద్దు.

వినియోగదారు-ఏజెంట్ః *
అనుమతించవద్దుః/బిల్లింగ్ /
అనుమతించవద్దుః/చిరునామా /

మీ సైట్ నుండి గూగుల్బాట్ను అనుమతించవద్దు.

యూజర్-ఏజెంట్ః గూగుల్బాట్
అనుమతించవద్దుః /

మీ సంప్రదింపు పేజీని (contact-us.html) యాక్సెస్ చేయకుండా గూగుల్బాట్ను అనుమతించవద్దు.

యూజర్-ఏజెంట్ః గూగుల్బాట్
అనుమతించవద్దుః/సంప్రదించండి-us.html

మీ సంప్రదింపు పేజీని (ఎబౌట్-యుస్/కాంటాక్ట్-us.html) యాక్సెస్ చేయకుండా గూగుల్బాట్ను అనుమతించవద్దు.

యూజర్-ఏజెంట్ః గూగుల్బాట్
అనుమతించవద్దుః/ఎబౌట్-అస్/కాంటాక్ట్-us.html

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *