:: مقالات ::
آشنایی با فایل robots.txt
تاریخ ارسال : 1395/9/15
بازدید : 280

از زمان شکل گیری ابزار ارتباطی نوین به نام اینترنت یا شبکه جهانی، قوانین و قواعدی نیز به همراه آن وضع شد که در بحث بهینه سازی سایت یا سئو (Search Engine Optimization) واضعان آن قواعد و قوانین، عمدتا موتورهای جستجوگر معروفی چون گوگل (google)، بینگ (bing)، یاهو (yahoo) و... بوده اند، بدین ترتیب با هم اندیشی توسعه دهنده گان وب و مهندسین این شرکت ها، به تدریج استانداردها و قواعدی برای مدیران سایت ها تدوین شد که یکی از این قواعد، کنترل رفتار ربات های خزنده (bots) موتورهای جستجو به وسلیه ایجاد و تنظیم فایلی به نام robots.txt در ریشه سایت است؛ بدین وسیله می توان تا حدودی رفتار ربات ها را در نحوه جستجو و ایندکس صفحات مدیریت کرد، در ادامه به چگونگی انجام این کار و همچنین بایدها و نبایدهای استفاده از این امکان اشاره خواهیم کرد.

فایل robots.txt چیست؟
فایل robots.txt یک فایل متنی ساده است که می توان آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه سایت قرار می گیرد (یعنی به طور مستقیم در فولدر wwwroot یا همان public_html و در بالاترین سطح) به طوری که اگر بعد از آدرس سایت، عبارت robots.txt را تایپ کنیم، این فایل در دسترس باشد:

http://www.example.com/robots.txt

فایل robots.txt مشخص می‌کند که ربات‌ها به کدام بخش از سایت دسترسی داشته باشند ضمن اینکه قادر هستند که مشخص کنند کدام ربات به کدام بخش از سایت دسترسی داشته باشد.

درصورتی‌که وب‌سایتی فایل robots.txt را در داخل سایت قرار نداده باشد، ربات‌ها به فرض اینکه اجازه دسترسی به تمام قسمت‌های سایت را دارند، تمام صفحات سایت را بررسی می‌کنند.

هر سایت باید فقط یک فایل robots.txt داشته باشند مگر اینکه وب‌سایت دارای چند ساب دامین باشد که در آن صورت باید برای هرکدام از ساب دامین ها یک فایل robots.txt در نظر گرفته شود.

زمانی که یک ربات در سایت شما به دنبال فایل robots.txt می‌گردد، ابتدا آدرس سایت را تشخیص داده و بعد از اولین اسلش نام robots.txt را قرار می‌دهد و به‌این‌ترتیب به فایل robots.txt سایت دسترسی پیدا می‌کند.

ضمنا جهت شناسایی فایل sitemap.xml توسط موتورهای جستجوگر، شما باید از کد زیر در robots.txt استفاده نمایید.

    Sitemap: http://www.example.com/sitemap.xml


ساخت فایل robots.txt

ساخت فایل robots.txt نیاز به نرم افزار پیچیده ای ندارد و شما به وسیله نرم افزار Notepad می توانید فایل خود را بسازید.

برای ساخت فایل robots.txt باید این مطلب را در نظر داشت که بهتر است این فایل در پوشه root سایت قرار گیرد.

یک فایل robots.txt معمولا از دو قانون ساده پیروی می کند، User-agent یا واسط کاربری (نوع خزنده یا ربات) و Disallow یا لینکی که دسترسی به آن را مسدود (یا مجاز) می کنیم؛ علاوه بر این، به یاد داشته باشید که در ابتدای آدرس دایرکتوری ها، باید از یک اسلش (/) نیز استفاده شود و در استفاده از حروف بزرگ یا کوچک نیز دقت کنید (به فرض دایرکتوری Image در مقایسه با image از دید ربات ها، معمولا دو آدرس متفاوت هستند).
به طور مثال اگر در فایل خود کد زیر را قرار دهیم:

 

User-agent: *
Disallow: /image/

ربات ها با پیروی از این قانون، دیگر محتوای فولدر image را بررسی نکرده و در نتایج جستجو آن را نمایش نمی دهند، هنگامی که از علامت * برای واسط کاربری استفاده می کنیم، در واقع منظور ما تمام ربات ها هستند.

چند مثال:

شما می‌توانید دسترسی تمام ربات‌ها را به تمام بخش‌های سایت مسدود کنید

    User-agent: *
    Disallow:  /


شما می‌توانید به تمام ربات‌ها اجازه دسترسی به تمام بخش‌های سایت را بدهید

    User-agent : *
    Disallow  : 


شما می‌توانید فقط به یک ربات اجازه دسترسی بدهید

    User-agent: Google
    Disallow:

    User-agent: *
    Disallow: /


شما می‌توانید دسترسی فقط یکی از ربات‌ها را مسدود کنید

    User-agent: BadBot
    Disallow: /

ارتباط با ما

تلفن

35245560-61 (031)

پست الکترونیک

info@shaya-co.ir

سامانه پیامک

50002060406020

ارتباطات مالی

شماره حساب ها
آدرس : اصفهان - خیابان جی - نبش خیابان شهید رجایی- ساختمان بعثت- واحد 10
کد پستی : 8156119347

فرم ارتباط با ما

پاسخ دهید: ٥١ + ٧