Robots.txt faylini yozish bo'yicha tezkor qo'llanma

Qidiruv mexanizmi o'rgimchak yoki bilan bog'lanishning yagona yo'li palyaço, deb nomlangan fayl orqali amalga oshiriladi robots.txt. Yoki yaxshiroq. Veb-sayt taklifingizni Google-ga yuborganingizda, u juda katta miqdordagi ma'lumotlarga duch keladi.

Qanday qilib o'zingizga kerak bo'lgan hamma narsani topa olmasligingizni his qiladigan darajada katta darslik bilan maslahatlashasiz? Siz maslahatlashing maslahat. Xo'sh: robots.txt fayli veb-saytingiz indeksidir.

Bu to'ldirish oson hujjat bo'lib, qidiruv tizimi brauzeriga nimani izlash kerakligini aytadi. Qisqasi: siz unga saytingiz nimadan iboratligini tushunishga yordam berasiz, shunda algoritm sizga qilgan ishingizga mos keladigan reytingni berishi mumkin.

Har kim robots.txt faylini yoza oladimi?

Qisqa javob ha. Halol javob - yo'q. Robots.txt faylining grammatikasi nihoyatda sodda va uning tarkibi bir necha qatorlardan iborat bo'lsa-da, qo'llarini qaerga qo'yishni biladigan mutaxassis veb-masterning yordamiga tayangan ma'qul. Axir, veb-saytingiz joylashuvini buzish uchun kichik xatolik kifoya qiladi va shuning uchun barcha SEO operatsiyalarini hatto boshlashdan oldin to'xtatib qo'ying.

Boshlashdan oldin bir narsani bilib oling: har kim domendan keyin /robots.txt yozish orqali istalgan saytning robots.txt fayliga murojaat qilishi mumkin. Siz hatto Google-ga murojaat qilishingiz mumkin!

Bunday faylni maxsus dasturlarni yuklab olmasdan yozishingiz mumkin. Aslida, bloknotdan foydalanish va .txt formatida saqlash kifoya.

Keling, birgalikda robots.txt faylini yozamiz: sarlavha

Keling, boshidan boshlaylik, chunki buni qilish har doim mantiqiy. Faylning ochilishi, aniqrog'i, sarlavha butunlay o'rgimchak nomiga bag'ishlangan bo'lib, undan oldin har doim bir xil bo'lgan kichik so'zlar mavjud. Faraz qilaylik, siz Google e'tiborini qozonishni xohlaysiz. Shunday qilib, birinchi qator quyidagicha bo'ladi:

Foydalanuvchi-agent: Googlebot

Bu juda qisqa satr Googlega keyingi hamma narsa albatta uni qiziqtirishini aytadi. Agar siz ushbu turdagi faylni o‘qiyotgan barcha brauzerlar hujjat bilan tanishishini istasangiz, Googlebot-ni oddiy *, a yulduzcha.

Endi siz qaysi o'rgimchakni, ya'ni VOZni ko'rsatganingizdan so'ng, siz ko'rsatishingiz kerak bo'ladi Shuningdek, u NIMA o'qishi kerak.

Kodning har bir satri, ta'rifiga ko'ra, mashinaning harakatiga mos keladi. Robots.txt faylidagi har bir buyruq mashina qilmasligi kerak bo'lgan narsaga mos kelishi o'z-o'zidan ma'lum. Va bu haqiqatan ham samarali yozishga imkon beradigan kalit. Biz DISALLOW buyrug'i haqida gapiramiz.

DISALLOW buyrug'i nima?

Il taqiqlash buyrug'i istisno qilish orqali fikr yuritish imkonini beradi. Boshqacha qilib aytadigan bo'lsak, birinchi navbatda nima qilmaslik kerakligi aytilganda - siz istisno qilish orqali fikr yuritasiz. Ruxsat bermaslikdan tashqari ruxsat berish ham mavjud, bu blokdan istisno.

Agar siz yaxshi robotlar faylini yozmoqchi bo'lsangiz, aksincha o'ylashingiz kerak bo'ladi, shuning uchun siz Googlega nima o'qimasligi kerakligini aytishingiz kerak bo'ladi. Agar siz yozsangiz:

Ruxsat berish:

O'rgimchak hech qanday tormozsiz butun saytingizni o'qiydi.

Agar “Ruxsat bermaslik:”dan keyin qiya chiziq qo‘ysangiz (shuning uchun Ruxsat bermaslik: /), sayt qidiruv tizimlariga kiritilmaydi, nuqta nuqta.

Ruxsat bermaslik: /kataloglar/

So'z katalogini o'rgimchak ko'rinishidan rad etmoqchi bo'lgan papka bilan almashtiring. Muayyan fayl bilan ham xuddi shunday qilishingiz mumkin.

Ruxsat bermaslik: /myfile.html

DIQQAT tinish belgilari va harflar, katta yoki kichik harflar. Ushbu turdagi fayllar ushbu turdagi "arzimas narsalar" ni yuqori darajada o'z ichiga oladi, lekin ular katta farq qiladi.

Nima uchun Googleni saytingizning katta qismini o'qishni to'xtatasiz? Ushbu turdagi faylni yozganingizda, qaysi fayllar qidiruv tizimida ko'rinmasligi kerakligini tushunish kerak, lekin ularni suiiste'mol qilmasdan. Biroq, shuni bilingki, ushbu faylning aniq manzilini biladigan har qanday holatda ham unga kirish imkoniyatiga ega bo'ladi.

ALLOW buyrug'i nima?

Faylda buyruq bilan istisno qo'shishingiz mumkin Ruxsat bering. Grammatika bir xil, biroq u RUQSAT QILMAGAN ba'zi istisnolarni yaratadi, bu esa o'rgimchak uchun qiziqarli tadqiqot chegaralarini ochishga imkon beradi.

Kichik namunaviy fayl:

Foydalanuvchi-agent: Googlebot

Ruxsat bermaslik: /rasmlar/

Ruxsat bering: /images/holidays.jpg

Asosan biz Googlebot-ga rasm papkasini ko'rib chiqmaslikni aytdik, uning ichidagi ma'lum bir fotosurat, ya'ni bayramlardan tashqari.

Va bu, bolalar, shunday. Biz birinchi robots.txt faylimizni yozdik. Albatta, haqiqiy sayt uchun qiladigan ishimiz biroz boshqacha bo'lishi mumkin, lekin unchalik emas. Agar shubhangiz bo'lsa, har doim ixtisoslashgan veb-masterdan maslahat oling. Biz sizga buni o'zingiz yozishga harakat qilishingizni maslahat beramiz, birinchi navbatda, uni o'zingizga tekshirish uchun yuborishingiz kerak, shunda asoslarni o'zlashtirasiz va saytingiz qanday ishlashini yaxshiroq tushunasiz.

robots.txt va sayt xaritalari o'rtasidagi bog'liqlik qanday?

Sayt xaritasi - bu saytdagi barcha havolalarni o'z ichiga olgan maxsus plaginlar tomonidan yaratilgan fayl. O‘rgimchak saytga kirgach, avvalo robotlarni o‘qiydi, so‘ng saytni emaklaydi. Agar robot skanerlash paytida sayt xaritasi manzilini topsa, butun jarayon ancha osonlashadi.

Yuqoridagi kodga quyidagilarni qo'shing:

Sayt xaritasi: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

Yakunida

Barcha robot fayllari bir xil. Bu shuni anglatadiki, Google uchun yozilgan Robotlar fayli Bing uchun ham yaxshi ishlaydi va bir xil grammatikaga amal qiladi.

Yaxshi tashkil etilgan robots.txt fayli sizga imkon beradi brauzer vaqtini tejash. Tushkunlikka tushmang: bu muvaffaqiyat sari birinchi qadam!