Txt sahihi ya Roboti kwa tovuti ya html huunda nakala za vitendo kwa roboti za injini tafuti, kuwaambia wanachoweza kuangalia. Faili hii mara nyingi hujulikana kama Itifaki ya Kutengwa kwa Robot. Kitu cha kwanza ambacho roboti hutafuta kabla ya kutambaa kwenye tovuti ni robots.txt. Inaweza kuelekeza au kuiambia Ramani ya Tovuti isiangalie vikoa fulani. Unapotaka injini tafuti kutafuta kile kinachopatikana mara nyingi, basi robots.txt haihitajiki. Ni muhimu sana katika mchakato huu kwamba faili imeumbizwa ipasavyo na haielezi ukurasa wa mtumiaji na data ya kibinafsi ya mtumiaji.
Kanuni ya kuchanganua roboti
Injini ya utafutaji inapokutana na faili na kuona URL iliyopigwa marufuku, haiitambai, lakini inaweza kuifahamisha. Hii ni kwa sababu hata kama roboti haziruhusiwi kutazama maudhui, zinaweza kukumbuka viungo vya nyuma vinavyoelekeza kwenye URL iliyokatazwa. Kwa sababu ya ufikiaji uliozuiwa kwa kiungo, URL itaonekana katika injini za utafutaji, lakini bila vipande. Ikiwa akwa mkakati unaoingia wa uuzaji, txt sahihi ya Roboti kwa bitrix (Bitrix) inahitajika, hutoa uthibitishaji wa tovuti kwa ombi la mtumiaji kwa vichanganuzi.
Kwa upande mwingine, ikiwa faili haijaumbizwa vyema, hii inaweza kusababisha tovuti isionekane kwenye matokeo ya utafutaji na isipatikane. Mitambo ya kutafuta haiwezi kupita faili hii. Mpangaji programu anaweza kutazama robots.txt ya tovuti yoyote kwa kwenda kwenye kikoa chake na kuifuata na robots.txt, kwa mfano, www.domain.com/robots.txt. Kwa kutumia zana kama vile sehemu ya uboreshaji ya SEO ya Unamo, ambapo unaweza kuingiza kikoa chochote, na huduma itaonyesha taarifa kuhusu kuwepo kwa faili.
Vikwazo vya kuchanganua:
- Mtumiaji ana maudhui yaliyopitwa na wakati au nyeti.
- Picha kwenye tovuti hazitajumuishwa katika matokeo ya utafutaji wa picha.
- Tovuti bado haiko tayari kwa onyesho kuorodheshwa na roboti.
Kumbuka kwamba maelezo ambayo mtumiaji angependa kupokea kutoka kwa mtambo wa kutafuta yanapatikana kwa mtu yeyote anayeweka URL. Usitumie faili hii ya maandishi kuficha data nyeti. Ikiwa kikoa kina hitilafu ya 404 (haijapatikana) au 410 (iliyopitishwa), injini ya utafutaji huangalia tovuti licha ya kuwepo kwa robots.txt, katika hali ambayo inazingatia kuwa faili haipo. Hitilafu zingine kama vile 500 (Hitilafu ya Seva ya Ndani), 403 (Imeharamishwa), muda umekwisha, au "haipatikani" huheshimu maagizo ya robots.txt, hata hivyo, kupita kunaweza kucheleweshwa hadi faili ipatikane.
Kuunda faili ya utafutaji
NyingiProgramu za CMS kama vile WordPress tayari zina faili ya robots.txt. Kabla ya kusanidi vyema Roboti txt WordPress, mtumiaji anahitaji kujifahamisha na uwezo wake ili kujua jinsi ya kuipata. Ikiwa mpangaji programu ataunda faili mwenyewe, lazima itimize masharti yafuatayo:
- Lazima iwe katika herufi ndogo.
- Tumia usimbaji wa UTF-8.
- Hifadhi katika kihariri maandishi kama faili (.txt).
Wakati mtumiaji hajui pa kuiweka, huwasiliana na mchuuzi wa programu ya seva ya tovuti ili kujua jinsi ya kufikia mzizi wa kikoa au nenda kwenye dashibodi ya Google na kuipakua. Kwa utendakazi huu, Google inaweza pia kuangalia kama kijibu kinafanya kazi ipasavyo na orodha ya tovuti ambazo zimezuiwa kwa kutumia faili.
Muundo mkuu wa txt sahihi ya Roboti kwa bitrix (Bitrix):
- Legend robots.txt.
- , huongeza maoni ambayo hutumika kama madokezo pekee.
- Maoni haya yatapuuzwa na vichanganuzi pamoja na makosa yoyote ya mtumiaji.
- Wakala-Mtumiaji - huonyesha ni injini gani ya utafutaji maagizo ya faili yameorodheshwa.
- Kuongeza nyota () huambia vichanganuzi kuwa maagizo ni ya kila mtu.
Inaonyesha roboti mahususi, kwa mfano, Googlebot, Baiduspider, Applebot. Kutoruhusu huwaambia watambazaji ni sehemu gani za tovuti hazipaswi kutambaa. Inaonekana kama hii: Wakala wa mtumiaji:. Nyota ina maana "bots zote". Hata hivyo, unaweza kubainisha kurasa kwa maalumroboti. Ili kufanya hivyo, unahitaji kujua jina la roboti ambayo mapendekezo yake yamewekwa.
Txt sahihi za roboti za Yandex zinaweza kuonekana kama hii:
Ikiwa roboti haitakiwi kutambaa kwenye tovuti, unaweza kuibainisha, na ili kupata majina ya mawakala wa watumiaji, inashauriwa kujifahamisha na uwezo wa mtandaoni wa useragentstring.com.
Uboreshaji wa ukurasa
Mistari miwili ifuatayo inachukuliwa kuwa faili kamili ya robots.txt, na faili moja ya roboti inaweza kuwa na mistari mingi ya mawakala wa watumiaji na maagizo ambayo yanazima au kuwezesha kutambaa. Umbizo kuu la txt sahihi ya Roboti:
- Wakala wa mtumiaji: [jina la mtumiaji la wakala].
- Usiruhusu: [Mfuatano wa URL ambao haujatambazwa].
Katika faili, kila safu ya maagizo inaonyeshwa kama tofauti, ikitenganishwa na mstari. Katika faili iliyo karibu na saraka ya mtumiaji wa wakala, kila sheria inatumika kwa seti maalum ya mistari iliyotenganishwa na sehemu. Ikiwa faili ina sheria ya mawakala wengi, roboti itazingatia tu kundi mahususi zaidi la maagizo.
Sintaksia ya kiufundi
Inaweza kufikiriwa kama "lugha" ya faili za robots.txt. Kuna istilahi tano ambazo zinaweza kuwepo katika umbizo hili, zile kuu ni pamoja na:
- Wakala-Mtumiaji - Kitambazaji kwenye wavuti chenye maagizo ya kutambaa, kwa kawaida huwa injini ya utafutaji.
- Usiruhusu ni amri inayotumiwa kumwambia wakala wa mtumiaji kukwepa(kutokuwepo) kwa URL mahususi. Kuna sharti moja tu lililokatazwa kwa kila moja.
- Ruhusu. Kwa Googlebot inayopata ufikiaji, hata ukurasa wa mtumiaji unakataliwa.
- Kuchelewesha-Kutambaa - hubainisha ni sekunde ngapi mtambaji atahitaji kabla ya kutambaa. Kijibu kisipoithibitisha, kasi huwekwa kwenye dashibodi ya Google.
- Ramani ya tovuti - Hutumika kupata ramani zozote za XML zinazohusiana na URL.
Miundo inayolingana
Inapokuja suala la kuzuia URL haswa au kuruhusu txt halali ya Roboti, utendakazi unaweza kuwa mgumu sana kwani hukuruhusu kutumia kulinganisha mchoro kufunika idadi ya vigezo vinavyowezekana vya URL. Google na Bing zote zinatumia herufi mbili zinazotambua kurasa au folda ndogo ambazo SEO inataka kuwatenga. Vibambo hivi viwili ni asteriski () na ishara ya dola ($), ambapo:ni kadi-mwitu inayowakilisha mfuatano wowote wa wahusika. $ - inalingana na mwisho wa URL.
Google inatoa orodha kubwa ya sintaksia za violezo vinavyowezekana ambazo humfafanulia mtumiaji jinsi ya kusanidi vizuri faili ya txt ya Roboti. Baadhi ya matukio ya matumizi ya kawaida ni pamoja na:
- Zuia nakala za maudhui yasionekane katika matokeo ya utafutaji.
- Weka sehemu zote za tovuti kuwa za faragha.
- Hifadhi kurasa za ndani za matokeo ya utafutaji kulingana na taarifa wazi.
- Onyesha eneo.
- Zuia injini za utafutaji kuorodhesha fulanifaili.
- Inabainisha kuchelewa kwa kutambaa ili kuacha kupakia upya wakati wa kuchanganua maeneo mengi ya maudhui kwa wakati mmoja.
Inakagua uwepo wa faili ya roboti
Ikiwa hakuna maeneo kwenye tovuti yanayohitaji kutambaa, basi robots.txt haihitajiki hata kidogo. Ikiwa mtumiaji hana uhakika kuwa faili hii ipo, anahitaji kuingiza kikoa kikuu na kukiandika mwishoni mwa URL, kitu kama hiki: moz.com/robots.txt. Idadi ya roboti za utafutaji hupuuza faili hizi. Walakini, kama sheria, watambazaji hawa sio wa injini za utaftaji zinazoheshimika. Ni aina ya watumaji taka, vijumlisho vya barua na aina zingine za roboti otomatiki ambazo hupatikana kwa wingi kwenye Mtandao.
Ni muhimu sana kukumbuka kuwa kutumia kiwango cha kutengwa kwa roboti sio kipimo madhubuti cha usalama. Kwa kweli, baadhi ya roboti zinaweza kuanza na kurasa ambazo mtumiaji anaziweka ili kuchanganua hali. Kuna sehemu kadhaa zinazoingia kwenye faili ya kawaida ya ubaguzi. Kabla ya kumwambia roboti ni kurasa zipi ambazo hazipaswi kufanya kazi, unahitaji kubainisha ni roboti gani ya kuzungumza nayo. Mara nyingi, mtumiaji atatumia tamko rahisi linalomaanisha "bots zote".
Uboreshaji wa SEO
Kabla ya kuboresha, mtumiaji lazima ahakikishe kuwa hazuii maudhui yoyote au sehemu za tovuti zinazohitaji kuepukwa. Viungo vya kurasa zilizozuiwa na txt sahihi ya Roboti havitaheshimiwa. Hii ina maana:
- Ikiwa hazijaunganishwa kwa kurasa zingine zinazopatikana kwa injini tafuti yaani. kurasa,haijazuiwa na robots.txt au roboti ya meta, na nyenzo zinazohusiana hazitatambazwa na kwa hivyo haziwezi kuorodheshwa.
- Hakuna kiungo kinachoweza kupitishwa kutoka ukurasa uliozuiwa hadi mahali pa kiungo. Ikiwa kuna ukurasa kama huo, ni bora kutumia njia tofauti ya kuzuia kuliko robots.txt.
Kwa sababu kurasa zingine zinaweza kuunganishwa moja kwa moja kwa ukurasa ulio na maelezo ya kibinafsi na ungependa kuzuia ukurasa huu kutoka kwa matokeo ya utafutaji, tumia mbinu tofauti, kama vile ulinzi wa nenosiri au data ya meta ya noindex. Baadhi ya injini za utafutaji zina mawakala wengi wa watumiaji. Kwa mfano, Google hutumia Googlebot kwa utafutaji wa kikaboni na Googlebot-Image kwa utafutaji wa picha.
Maajenti wengi wa watumiaji kutoka injini moja ya utafutaji hufuata sheria sawa, kwa hivyo hakuna haja ya kubainisha maagizo kwa kila moja ya kutambaa kadhaa, lakini kuweza kufanya hivyo kunaweza kusawazisha utambazaji wa maudhui ya tovuti. Injini ya utafutaji huhifadhi yaliyomo kwenye faili, na kwa kawaida husasisha yaliyomo kwenye akiba angalau mara moja kwa siku. Mtumiaji akibadilisha faili na kutaka kuisasisha haraka kuliko kawaida, anaweza kuwasilisha robots.txt URL kwa Google.
Mitambo ya utafutaji
Ili kuelewa jinsi Robots txt inavyofanya kazi kwa usahihi, unahitaji kujua kuhusu uwezo wa injini tafuti. Kwa kifupi, uwezo wao upo katika ukweli kwamba wanatuma "scanners", ambayo ni programu ambazokuvinjari mtandao kwa habari. Kisha huhifadhi baadhi ya maelezo haya ili kuyapitisha kwa mtumiaji baadaye.
Kwa watu wengi, Google tayari ni Mtandao. Kwa kweli, wao ni sahihi, kwani hii labda ni uvumbuzi wake muhimu zaidi. Na ingawa injini za utafutaji zimebadilika sana tangu kuanzishwa kwao, kanuni za msingi bado ni sawa. Watambaji, pia hujulikana kama "boti" au "buibui", hupata kurasa kutoka kwa mabilioni ya tovuti. Mitambo ya kutafuta inawapa maelekezo ya mahali pa kwenda, huku tovuti mahususi pia zinaweza kuwasiliana na roboti na kuwaambia ni kurasa zipi mahususi wanazopaswa kuangalia.
Kwa ujumla, wamiliki wa tovuti hawataki kujitokeza katika injini tafuti: kurasa za wasimamizi, lango la nyuma, kategoria na lebo, na kurasa zingine za maelezo. Faili ya robots.txt pia inaweza kutumika kuzuia injini za utafutaji zisikague kurasa. Kwa kifupi, robots.txt huwaambia watambazaji wa wavuti nini cha kufanya.
Piga Marufuku Kurasa
Hii ndiyo sehemu kuu ya faili ya kutengwa kwa roboti. Kwa tamko rahisi, mtumiaji huambia roboti au kikundi cha roboti kisitambae kurasa fulani. Syntax ni rahisi, kwa mfano, kukataa ufikiaji wa kila kitu kwenye saraka ya "admin" ya tovuti, andika: Usiruhusu: /admin. Laini hii itazuia roboti kutoka kutambaa yoursite.com/admin, yoursite.com/admin/login, yoursite.com/admin/files/secret.html, na kitu kingine chochote chini ya saraka ya msimamizi.
Ili kutoruhusu ukurasa mmoja, bainisha kwa urahisi katika mstari usioruhusu: Usiruhusu: /public/exception.html. Sasa ukurasa wa "isipokuwa".haitahama, lakini kila kitu kingine katika folda ya "umma" kitahama.
Ili kujumuisha kurasa nyingi, ziorodheshe tu:
Mistari hii minne ya txt sahihi ya Roboti ya ulinganifu itatumika kwa wakala yeyote wa mtumiaji aliyeorodheshwa juu ya sehemu yarobots.txt ya
Ramani ya tovuti:
Amri zingine:moja kwa moja - usiruhusu kutambaa kwenye wavuti kuorodhesha cpresources/ au mtoaji/.
Wakala wa Mtumiaji:Usiruhusu: /cpresources/.
Kataa: / muuzaji / Usiruhusu: /.env.
Kuweka viwango
Mtumiaji anaweza kubainisha kurasa mahususi za roboti tofauti kwa kuchanganya vipengele viwili vilivyotangulia, hivi ndivyo inavyoonekana. Mfano wa txt sahihi ya Roboti kwa injini zote za utafutaji umewasilishwa hapa chini.
Sehemu za "msimamizi" na "faragha" hazitaonekana kwa Google na Bing, lakini Google bado itaona saraka ya "siri", wakati Bing haitaonekana. Unaweza kutaja sheria za jumla za roboti zote kwa kutumia wakala wa mtumiaji wa nyota, na kisha kutoa maagizo maalum kwa roboti katika sehemu zifuatazo. Kwa ujuzi hapo juu, mtumiaji anaweza kuandika mfano wa Robots txt sahihi kwa injini zote za utafutaji. Washa tu kihariri chako cha maandishi unachokipenda na uwaambie roboti hawakubaliki katika sehemu fulani za tovuti.
Vidokezo vya kuboresha utendaji wa seva
Maandishi madogo nikihariri cha maandishi chenye matumizi mengi na kiwango cha dhahabu kwa watengeneza programu wengi. Vidokezo vyake vya upangaji vinategemea uwekaji msimbo mzuri, zaidi ya hayo. watumiaji wanathamini uwepo wa njia za mkato katika programu. Ikiwa mtumiaji anataka kuona mfano wa faili ya robots.txt, anapaswa kwenda kwenye tovuti yoyote na kuongeza "/robots.txt" hadi mwisho. Hii hapa ni sehemu ya faili ya robots.txt ya GiantBicycles.
Programu hutoa uundaji wa kurasa ambazo watumiaji hawataki kuonyesha katika injini za utafutaji. Na pia ina mambo machache ya kipekee ambayo watu wachache wanajua kuyahusu. Kwa mfano, wakati faili ya robots.txt inaiambia roboti wapi isiende, faili ya ramani ya tovuti hufanya kinyume na inawasaidia kupata kile wanachotafuta, na ingawa injini za utafutaji pengine tayari zinajua ambapo ramani ya tovuti iko, haipatikani. njiani.
Kuna aina mbili za faili: ukurasa wa HTML au faili ya XML. Ukurasa wa HTML ni ule unaoonyesha wageni kurasa zote zinazopatikana kwenye tovuti. Katika robots.txt yake yenyewe, inaonekana kama hii: Ramani ya tovuti://www.makeuseof.com/sitemap_index.xml. Ikiwa tovuti haijaorodheshwa na injini tafuti, ingawa imetambazwa mara kadhaa na roboti za wavuti, unahitaji kuhakikisha kuwa faili iko na kwamba ruhusa zake zimewekwa ipasavyo.
Kwa chaguo-msingi, hii itafanyika kwa usakinishaji wote wa SeoToaster, lakini ikihitajika, unaweza kuiweka upya kama hii: Faili robots.txt - 644. Kulingana na seva ya PHP, ikiwa hii haifanyi kazi kwa mtumiaji, itawezekana. inashauriwa kujaribu yafuatayo: Faili robots.txt - 666.
Kuweka ucheleweshaji wa kuchanganua
Agizo la kucheleweshwa kwa njia ya kupita hujulisha hakikainjini za utafutaji ni mara ngapi zinaweza kuorodhesha ukurasa kwenye tovuti. Inapimwa kwa sekunde, ingawa injini zingine za utaftaji huitafsiri kwa njia tofauti kidogo. Baadhi ya watu wanaona kutambaa kuchelewa 5 wanapoambiwa wangoje sekunde tano baada ya kila uchanganuzi ili kuanza inayofuata.
Wengine hutafsiri hili kama agizo la kuchanganua ukurasa mmoja pekee kila sekunde tano. Roboti haiwezi kuchanganua haraka ili kuhifadhi kipimo data cha seva. Ikiwa seva inahitaji kulinganisha trafiki, inaweza kuweka ucheleweshaji wa kupita. Kwa ujumla, katika hali nyingi, watumiaji hawana haja ya kuwa na wasiwasi kuhusu hili. Hivi ndivyo ucheleweshaji wa kutambaa kwa sekunde nane unavyowekwa - Kuchelewesha-Tamba: 8.
Lakini si injini zote za utafutaji zitatii agizo hili, kwa hivyo unapokataza kurasa, unaweza kuweka ucheleweshaji tofauti wa kutambaa kwa injini fulani za utafutaji. Baada ya maagizo yote katika faili kusanidiwa, unaweza kuipakia kwenye tovuti, kwanza uhakikishe kuwa ni faili rahisi ya maandishi na ina jina robots.txt na inaweza kupatikana kwenye yoursite.com/robots.txt.
Boti bora ya WordPress
Kuna baadhi ya faili na saraka kwenye tovuti ya WordPress ambazo zinahitaji kufungwa kila wakati. Saraka ambazo watumiaji wanapaswa kutoruhusu ni saraka ya cgi-bin na saraka za kawaida za WP. Baadhi ya seva haziruhusu ufikiaji wa saraka ya cgi-bin, lakini watumiaji lazima waijumuishe katika maagizo ya kutoiruhusu kabla ya kusanidi vizuri Roboti txt WordPress
saraka za Kawaida za WordPress,ambayo inapaswa kuzuia ni wp-admin, wp-yaliyomo, wp-inajumuisha. Saraka hizi hazina data ambayo mwanzoni ni muhimu kwa injini za utafutaji, lakini kuna hali ya kipekee, yaani, kuna saraka ndogo inayoitwa vipakiwa katika saraka ya maudhui ya wp. Orodha hii ndogo lazima iruhusiwe katika faili ya robot.txt kwani inajumuisha kila kitu kinachopakiwa kwa kutumia kipengele cha upakiaji cha midia ya WP. WordPress hutumia lebo au kategoria kuunda yaliyomo.
Kategoria zitatumika, basi ili kutengeneza txt sahihi ya Roboti kwa Wordpress, kama ilivyobainishwa na mtengenezaji wa programu, ni muhimu kuzuia kumbukumbu za lebo kutoka kwa utafutaji. Kwanza, wao huangalia hifadhidata kwa kwenda kwenye paneli ya "Utawala"> "Mipangilio"> "Permalink".
Kwa chaguo-msingi, msingi ni lebo, ikiwa sehemu ni tupu: Usiruhusu: / tag /. Iwapo kategoria inatumiwa, basi lazima uzime kitengo katika faili ya robot.txt: Usiruhusu: /category/. Kwa chaguo-msingi, msingi ni lebo, ikiwa uwanja ni tupu: Usiruhusu: / tag /. Iwapo kategoria inatumiwa, basi lazima uzime kitengo katika faili ya robot.txt: Usiruhusu: / kategoria /.
Faili zinazotumiwa hasa kuonyesha maudhui, zitazuiwa na faili sahihi ya txt ya Roboti ya Wordpress:
Mipangilio ya msingi ya Joomla
Baada ya mtumiaji kusakinisha Joomla, unahitaji kutazama mpangilio sahihi wa txt wa Roboti za Joomla katika usanidi wa kimataifa, ambao unapatikana kwenye paneli dhibiti. Mipangilio mingine hapa ni muhimu sana kwa SEO. Kwanza tafuta jina la tovuti na uhakikishe hivyojina fupi la tovuti hutumiwa. Kisha wanapata kikundi cha mipangilio upande wa kulia wa skrini hiyo hiyo, inayoitwa mipangilio ya SEO. Ile ambayo hakika italazimika kubadilika ni ya pili: tumia URL ya kuandika upya.
Hii inaonekana kuwa ngumu, lakini kimsingi inasaidia Joomla kuunda URL safi zaidi. Inaonekana zaidi ikiwa utaondoa mstari wa index.php kutoka kwa URL. Ukiibadilisha baadaye, URL zitabadilika na Google haitaipenda. Hata hivyo, wakati wa kubadilisha mpangilio huu, hatua kadhaa lazima zichukuliwe kwa wakati mmoja ili kuunda txt sahihi ya roboti kwa Joomla:
- Tafuta faili ya htaccess.txt katika folda ya mizizi ya Joomla.
- Weka alama kuwa.htaccess (hakuna kiendelezi).
- Jumuisha jina la tovuti katika mada za kurasa.
- Tafuta mipangilio ya metadata chini ya skrini ya kimataifa ya usanidi.
Roboti kwenye wingu MODX
Hapo awali, MODX Cloud iliwapa watumiaji uwezo wa kudhibiti tabia ya kuruhusu faili ya robots.txt kutolewa kulingana na kugeuza kwenye dashibodi. Ingawa hii ilikuwa muhimu, iliwezekana kwa bahati mbaya kuruhusu kuorodhesha kwenye tovuti za uwekaji jukwaa/dev kwa kugeuza chaguo kwenye Dashibodi. Vile vile, ilikuwa rahisi kuzima uwekaji faharasa kwenye tovuti ya uzalishaji.
Leo huduma itachukua uwepo wa faili za robots.txt katika mfumo wa faili isipokuwa vifuatavyo: kikoa chochote kinachoishia na modxcloud.com kitatumika kama Kutoruhusu: /maelekezo kwa mawakala wote wa watumiaji, bila kujali uwepo. au kutokuwepo kwa faili. Tovuti za uzalishaji zinazopokea trafiki halisi ya wageni zitahitaji kutumia kikoa chao ikiwa mtumiaji anataka kuorodhesha tovuti yao.
Mashirika mengine hutumia txt sahihi ya Robots kwa modx ili kuendesha tovuti nyingi kutoka kwa usakinishaji mmoja kwa kutumia Contexts. Kesi ambayo hii inaweza kutumika itakuwa tovuti ya uuzaji ya umma pamoja na tovuti ndogo za ukurasa wa kutua na ikiwezekana intraneti isiyo ya umma.
Kwa kawaida hii imekuwa vigumu kufanya kwa usakinishaji wa watumiaji wengi kwa kuwa wanashiriki mzizi sawa wa mtandao. Kwa MODX Cloud, hii ni rahisi. Pakia tu faili ya ziada kwenye tovuti inayoitwa robots-intranet.example.com.txt iliyo na maudhui yafuatayo na itazuia uwekaji faharasa na roboti zinazofanya kazi vizuri na majina mengine yote ya wapangishaji hurudi kwenye faili za kawaida isipokuwa kuwe na nodi zingine za majina.
Robots.txt ni faili muhimu inayomsaidia mtumiaji kuunganisha kwenye tovuti kwenye Google, mitambo mikuu ya utafutaji na tovuti nyinginezo. Ikiwa kwenye mzizi wa seva ya wavuti, faili huelekeza roboti za wavuti kutambaa kwenye tovuti, kuweka folda ambazo zinafaa au zisifanye index, kwa kutumia seti ya maagizo inayoitwa Itifaki ya Kutengwa kwa Bot. Mfano wa txt sahihi ya Roboti kwa injini zote za utafutaji obots.txt ni rahisi sana kufanya na SeoToaster. Menyu maalum imeundwa kwa ajili yake katika paneli dhibiti, kwa hivyo roboti haitalazimika kufanya kazi kupita kiasi ili kupata ufikiaji.
