فایل robots.txt نقش مهمی رو در سراسر عملکرد سئوی سایت شما به عهده داره. بطور اساسی به شما اجازه میده که با موتور جستجو ازتباط برقرار کنید و به اون اجازه بدین که چه قسمت هایی از سایت شما رو باید شاخص گذاری یا index کنه.

آیا واقعا من به یه فایل robots.txt نیاز دارم؟

نگارش یک فایل robots.txt موتور جستجو رو از گشتن و شاخص گذاری سایت شما باز نمیداره. یعنی موتور جستجو طبق عادت همیشه سایت شما رو کامل بررسی میکنه و اینکه کدوم صفخه رو تو نتایج جستجو به کاربرا نشون بده یا نه رو میتونین داخل این فایل مشخص کنین.

ما شدیدا توصیه میکنیم که اگه فایل robots.txt رو روی سایتتون ندارین فورا یکی ایجاد کنید.

فایل robots.txt کجاست؟ چطور فایل robots.txt ایجاد میشه؟

فایل robots.txt معمولا در کنار پوشه ریشه یا اصلی سایت شما قرار میگیره. لازمه که شما بوسیله اف تی پی و یا سی پنل به مدیریت سایتتون وصل بشین تا این فایل رو ببینین.

فایل robots.txt فقط شبیه یه فایل متنی معمولیه و میتونین یا به ویرایشگر ساده مثل notepad بازکنین.

اگه هم شما این فایلو تو دایرکتوری ریشه سایتتون ندارین خیلی ساده میتونین اونو ایجاد کنین. فقط باید یه فایل متنی جدید روی کامپیوترتون ایجاد کنین و با عنوان robots.txt ذخیره کنین. و به سادگی داخل دایرکتوری ریشه ساتتون آپلوش کنین.

چگونه از فایل robots.txt استفاده کنیم؟

فرمت و ساختار برای فایل robots.txt واقعا خیلی ساده س. اولین خط معمولا اسم یه عامل کاربر میذارن. عامل کاربر دقیقا اسمیه که شما با اون نام ارتباط برقرار میکنین. بعنوان مثال، Googlebot یا Bingbot. میتونین از کاراکتر استریکس (*) برای ساختار کلی استفاده کنین.

خط بعدی در ادامه ساختار اجازه دادن و یا اجازه نداد برای موتور جستجو رو مشخص می کنه، پس موتورهای جستجو میفهمن که کدوم بخش های سایت شما رو باید شاخص گذاری کنند و اجازه شاخص گذاری کدوم قسمت ها رو هم نداند.

یه فایل robots.txt نمونه ساده:

تو این مثال فایل robots.txt وردپرس، ما تعیین کردیم که تمام نگارش های موتور جستجو میتونن پوشه upload رو که غالبا تصاویر ما داخل این پوشه س رو شاخص گذاری کنن.

در دو خط بعدی ما اجازه ندادیم به اونا تا دایرکتوری افزونه های وردپرس ما و همچنین فایل readme.html  رو شاخص گذاری کنن.

بهینه سازی فایل robots.txt برای سئو

در خطوط راهنما برای وبمسترها، گوگل به وبمسترها توصیه میکند که از فایل robots.txt برای مخفی کردن محتوای کم کیفیت استفاده نکنند. اگه به استفاده از فایل robots.txt برای توقف گوگل از شاخص گذاری دسته بندی، تاریخ و دیگر صفحات آرشیو خودتون فکر میکردین پس نباید انتخاب خوبی باشه.

یادتون باشه که هدف ازفایل robots.txt مشخص کردن ساختاریه که به موتورهای جستجو بگین با محتوای سایت شما چیکار کنن ن این که اجازه دسترسی به محتوا رو ازش بگیرین. بعبارت دیگه موتور جستجو تمام سایت شما رو زیر و رو میکنه ولی فقط صفحه ها و پوشه هایی رو برای قرار دادن تو نتایج جستجو مشخص میکنه که شما میخواین.

یه افزونه وردپرس هم هست که اجازه میده تا تگ های متا مثل nofallow و noindex رو تو صفحه آرشیو شما بذارین. افزونه wordpress seo pluginبه شما اجازه این کارو میده. ما نمیگیم که شما باید صفحات آرشیو سایتتون رو رو از حالت ایندکس خارج کنین! ولی اگه شما میخواین همچین کاری رو انجام بدین این راهشه

لازم نیست که صفخه ورود، دایرکتوری مدیریت و یا صفحه ثبت نام رو داخل فایل robots.txt قرار بدین چون صفحات ورود و ثبت نام تگ noindex را بعنوان تگ متا در وردپرس قرار داده است.

توصیه میشه که فایل readme.txt رو داخل فایل robots.txt قرار دهید. این فایل میتونه اطلاعات نسخه وردپرسی که شما دارین استفاده میکنه رو در اختیار فردی قرار بده که میخواد به سایت شما نفوذ بکنهو به هرحال هرنسخه ممکنه باگ برای نفوذ داشته باشه که با دونستن نسخه میشه از باگ های کشف شده برای نفوذ استفاده کرد. اگه داخل فایل ربات قرارش ندین براحتی میشه از طریق مرورگر این فایل رو خوند.

همچنین میتونین دایرکتوری افزونه وردپرس رو disallow کنین تا موتورهای جستجو این صفحه رو شاخص گذاری نکنن. این امنیت وردپرس شما رو بالاتر میبره چون ممکنه نفوذگر از افزونه که راهی برای نفوذ داره استفاده بکنه.

اضافه کردن xml نقشه سایت شما به robots.txt

اگه شما از افزونه yoast’s wordpress SEO  و یا افزونه دیگه ای که xml نقشه سایت تولید میکنه استفاده میکنین افزونه تلاش میکنه که بطور خودکار خطوط مربوط نقشه سایت رو به فایل robots.txt اضافه کنه.

هرچند اگه نتونست افزونه شما لینک xml نقشه سایت رو که میشه بصورت دستی به فایل robots.txt وارد کرد رو بهتون میده که شبیه زیره:

یک فایل robots.txt ایده آل چگونه باید باشد؟

خیلی از وبلاگ ها از فایل robots.txt خیلی ساده استفاده میکنند. محتوای اونا بر اساس نیاز خاص سایت تغییر میکنه:

فایل robots.txt به سادگی میگه که تمام محتوا و لینکهای مرتبط با نقشه سایت رو شاخص گذاری کن!

یه مثال دیگه از فایل robots.txt :