Kazi ya kiboreshaji cha SEO ni ya kiwango kikubwa sana. Wanaoanza wanashauriwa kuandika algorithm ya uboreshaji ili wasikose hatua zozote. Vinginevyo, ukuzaji hautaitwa kuwa umefanikiwa, kwa kuwa tovuti itapata hitilafu na makosa kila mara ambayo itabidi kusahihishwa kwa muda mrefu.
Moja ya hatua za uboreshaji ni kufanya kazi na faili ya robots.txt. Kila rasilimali inapaswa kuwa na hati hii, kwa sababu bila hiyo itakuwa vigumu zaidi kukabiliana na uboreshaji. Hutekeleza majukumu mengi ambayo itabidi uelewe.
Msaidizi wa Roboti
Faili ya robots.txt ni hati ya maandishi ambayo inaweza kutazamwa katika Notepad ya kawaida ya mfumo. Wakati wa kuunda, lazima uweke encoding kwa UTF-8 ili iweze kusoma kwa usahihi. Faili hufanya kazi na http, https na itifaki za FTP.
Hati hii ni msaidizi wa kutafuta roboti. Iwapo hujui, kila mfumo hutumia "buibui" ambao hutambaa kwa haraka kwenye Mtandao Wote wa Ulimwenguni kurudisha tovuti husika kwa hoja.watumiaji. Roboti hizi lazima ziwe na ufikiaji wa data ya rasilimali, robots.txt hufanya kazi kwa hili.
Ili buibui wapate njia yao, unahitaji kutuma hati ya robots.txt kwenye saraka ya mizizi. Ili kuangalia ikiwa tovuti ina faili hii, weka "https://site.com.ua/robots.txt" kwenye upau wa anwani wa kivinjari. Badala ya "site.com.ua" unahitaji kuingiza rasilimali unayohitaji.
Utendaji wa hati
Faili ya robots.txt huwapa watambazaji aina kadhaa za maelezo. Inaweza kutoa ufikiaji wa sehemu ili "buibui" ichunguze vipengele maalum vya rasilimali. Ufikiaji kamili hukuruhusu kuangalia kurasa zote zinazopatikana. Marufuku kamili huzuia roboti hata kuanza kuangalia, na huondoka kwenye tovuti.
Baada ya kutembelea nyenzo, "buibui" hupokea jibu linalofaa kwa ombi. Kunaweza kuwa na kadhaa kati yao, yote inategemea habari katika robots.txt. Kwa mfano, ikiwa uchanganuzi ulifaulu, roboti itapokea msimbo 2xx.
Labda tovuti imeelekezwa upya kutoka ukurasa mmoja hadi mwingine. Katika kesi hii, roboti hupokea msimbo 3xx. Ikiwa kanuni hii hutokea mara nyingi, basi buibui itaifuata hadi inapokea jibu lingine. Ingawa, kama sheria, hutumia majaribio 5 tu. Vinginevyo, hitilafu maarufu ya 404 inaonekana.
Ikiwa jibu ni 4xx, basi roboti inaruhusiwa kutambaa maudhui yote ya tovuti. Lakini katika kesi ya msimbo wa 5xx, hundi inaweza kuacha kabisa, kwa kuwa hii mara nyingi inaonyesha makosa ya seva ya muda.
Ya niniunahitaji robots.txt?
Kama unavyoweza kuwa umekisia, faili hii ni mwongozo wa roboti kwa mzizi wa tovuti. Sasa inatumika kuzuia ufikiaji wa maudhui yasiyofaa:
- kurasa zenye taarifa za kibinafsi za watumiaji;
- angazia tovuti;
- matokeo ya utafutaji;
- fomu za kuwasilisha data, n.k.
Ikiwa hakuna faili ya robots.txt kwenye mizizi ya tovuti, roboti itatambaa maudhui yote kabisa. Ipasavyo, data zisizohitajika zinaweza kuonekana kwenye matokeo ya utaftaji, ambayo inamaanisha kuwa wewe na wavuti mtateseka. Ikiwa kuna maagizo maalum katika hati ya robots.txt, basi "buibui" itayafuata na kutoa taarifa anayotaka mmiliki wa rasilimali.
Kufanya kazi na faili
Ili kutumia robots.txt kuzuia tovuti dhidi ya kuorodhesha, unahitaji kufahamu jinsi ya kuunda faili hii. Ili kufanya hivyo, fuata maagizo:
- Unda hati katika Notepad au Notepad++.
- Weka kiendelezi cha faili ".txt".
- Ingiza data na amri zinazohitajika.
- Hifadhi hati na uipakie kwenye mzizi wa tovuti.
Kama unavyoona, katika mojawapo ya hatua ni muhimu kuweka amri za roboti. Wao ni wa aina mbili: kuruhusu (Ruhusu) na kukataza (Kukataza). Pia, baadhi ya viboreshaji vinaweza kubainisha kasi ya kutambaa, seva pangishi na kiungo cha ramani ya ukurasa wa nyenzo.
Ili kuanza kufanya kazi na robots.txt na kuzuia kabisa tovuti kutoka kwenye faharasa, lazima pia uelewe alama zinazotumiwa. Kwa mfano, katika hatitumia "/", ambayo inaonyesha kuwa tovuti nzima imechaguliwa. Ikiwa "" inatumiwa, basi mlolongo wa wahusika unahitajika. Kwa njia hii, itawezekana kubainisha folda mahususi inayoweza kuchanganuliwa au la.
Hulka ya roboti
"Buibui" kwa injini za utaftaji ni tofauti, kwa hivyo ikiwa unafanyia kazi injini kadhaa za utaftaji mara moja, basi itabidi uzingatie wakati huu. Majina yao ni tofauti, ambayo ina maana kwamba ikiwa unataka kuwasiliana na roboti maalum, utahitaji kutaja jina lake: "Wakala wa Mtumiaji: Yandex" (bila quotes).
Iwapo unataka kuweka maelekezo kwa injini zote za utafutaji, basi unahitaji kutumia amri: "Wakala wa Mtumiaji: " (bila nukuu). Ili kuzuia tovuti isiwe katika faharasa kwa kutumia robots.txt, unahitaji kujua mahususi wa injini tafuti maarufu.
Ukweli ni kwamba injini za utafutaji maarufu zaidi Yandex na Google zina roboti kadhaa. Kila mmoja wao ana kazi zake. Kwa mfano, Yandex Bot na Googlebot ni "buibui" kuu wanaotambaa kwenye tovuti. Kwa kujua roboti zote, itakuwa rahisi kusawazisha uwekaji faharasa wa rasilimali yako.
Mifano
Kwa hiyo, kwa usaidizi wa robots.txt, unaweza kufunga tovuti kutoka kwenye indexing kwa amri rahisi, jambo kuu ni kuelewa unachohitaji hasa. Kwa mfano, ikiwa unataka Googlebot isikaribie rasilimali yako, unahitaji kuipa amri inayofaa. Itakuwa kama: "Wakala wa Mtumiaji: Googlebot Usiruhusu: /" (bila nukuu).
Sasa tunahitaji kuelewa ni nini kilicho katika amri hii na jinsi inavyofanya kazi. Kwa hivyo "Wakala wa Mtumiaji"inatumika ili kutumia simu moja kwa moja kwa moja ya roboti. Ifuatayo, tunaonyesha ni ipi, kwa upande wetu ni Google. Amri ya "Usiruhusu" lazima ianze kwenye mstari mpya na kuzuia roboti kuingia kwenye tovuti. Alama ya kufyeka katika kesi hii inaonyesha kwamba kurasa zote za rasilimali zimechaguliwa kwa ajili ya utekelezaji wa amri.
Katika robots.txt, unaweza kuzima uwekaji faharasa kwa injini zote za utafutaji kwa amri rahisi: "Wakala wa Mtumiaji:Usiruhusu: /" (bila nukuu). Tabia ya nyota katika kesi hii inaashiria roboti zote za utafutaji. Kwa kawaida, amri kama hiyo inahitajika ili kusitisha uwekaji faharasa wa tovuti na kuanza kazi kuu juu yake, ambayo vinginevyo inaweza kuathiri uboreshaji.
Ikiwa rasilimali ni kubwa na ina kurasa nyingi, mara nyingi huwa na taarifa za umiliki ambazo labda hazifai kufichuliwa, au zinaweza kuathiri vibaya ukuzaji. Katika hali hii, unahitaji kuelewa jinsi ya kufunga ukurasa kutoka katika indexing katika robots.txt.
Unaweza kuficha folda au faili. Katika kesi ya kwanza, unahitaji kuanza tena kwa kuwasiliana na bot maalum au kila mtu, kwa hiyo tunatumia amri ya "Mtumiaji-wakala", na chini tunataja amri ya "Disallow" kwa folda maalum. Itaonekana kama hii: "Usiruhusu: / folda /" (bila nukuu). Kwa njia hii unaficha folda nzima. Ikiwa ina faili fulani muhimu ambayo ungependa kuonyesha, basi unahitaji kuandika amri hapa chini: "Ruhusu: /folder/file.php" (bila nukuu).
Angalia faili
Ikiwa unatumia robots.txt kufunga tovuti kutokaUmefaulu kuorodhesha, lakini hujui ikiwa maagizo yako yote yalifanya kazi ipasavyo, unaweza kuangalia usahihi wa kazi.
Kwanza, unahitaji kuangalia uwekaji wa hati tena. Kumbuka kwamba lazima iwe pekee kwenye folda ya mizizi. Ikiwa iko kwenye folda ya mizizi, basi haitafanya kazi. Ifuatayo, fungua kivinjari na uweke anwani ifuatayo hapo: "https://yoursite. com/robots.txt" (bila nukuu). Ukipata hitilafu katika kivinjari chako cha wavuti, basi faili haiko inapostahili kuwa.
Maelekezo yanaweza kuangaliwa katika zana maalum ambazo hutumiwa na takriban wasimamizi wote wa tovuti. Tunazungumza juu ya bidhaa za Google na Yandex. Kwa mfano, katika Google Search Console kuna upau wa zana ambapo unahitaji kufungua "Crawl", na kisha kukimbia "Robots.txt File Inspection Tool". Unahitaji kunakili data zote kutoka kwa hati kwenye dirisha na uanze skanning. Hundi sawa kabisa inaweza kufanywa katika Yandex. Webmaster.
