موج سئو بهینه سازی سایت و سئو سایت
Loading...عناوین
از آنجایی که گوگل و سایر موتورهای جستجو برای ایندکس کردن و سئو از ربات ها استفاده می کنند، بنابراین می توان گفت که ربات ها در سئو نقش دارند. اما چگونه؟ در این مقاله قصد داریم شما را با اهمیت ربات ها و نقش آنها در سئو به عبارتی نقش robots.txt در سئو و همچنین توجه به این فایل ها در طراحی سایت توضیح دهیم. در هنگام طراحی سایت ممکن است از فایل robots.txt استفاده کنید. برای این منظور ابتدا در مورد مفهوم این فایل توضیحاتی را ارائه می دهیم.
فایل robots.txt به گوگل، بینگ و دیگر روبات ها می گوید که به کدام صفحات در یک وب سایت دسترسی ندارند. در صورتی که شما از این فایل در برخی از صفحات در طراحی سایت خود استفاده کنید، موتور های جستجو آن صفحات را به اصطلاح crawl (خزیدن) نمی کنند و امکان دارد URL آن صفحات را در ایندکس خود ثبت نکنند.
علاوه بر این یک فایل robots.txt به موتورهای جستجو بیان می کند که نقشه سایت XML در کجا واقع شده است. پس از درک مفهوم فایل robots.txt به تاثیر این فایل در سئو و بهینه سازی سایت می پردازیم. برای این منظور در ادامه این مقاله با ما همراه باشید.
نحوه ی استفاده از ROBOT.TXT در سئو سایت
ربات ها می توانند در سئو سایت نیز نقش مهمی داشته باشند.
مثلا فرض کنید سایتی با آدرس www.abc.com می خواهد تا کاربران و موتورهای جستجو به صفحه ی www.abc.com/content.html وارد نشوند. در این صورت باید بدانید که ربات ها ابتدا آدرس www.abc.com.robots.txt را چک می کنند تا اگر در قسمت user-agent نام ربات خاصی بود که disallow شده بود، سایت برای آن ربات خاص غیر قابل ایندکس گذاری می شود.
دقت کنید که برای ندادن مجوز به ربات های مشخصی باید آنها را جدا وارد کنید. یعنی جلوی هر کلمه ی disallow نام یک ربات خاص را وارد کنید و اگر چند ربات مد نظرتان هست هر یک را جداگانه وارد کنید. مثلا:
User-agent: *
Disallow: /A/
Disallow: /B/
Disallow: /C/
ستاره * به این معنی است که تمام ربات ها به آن قسمت A و B و C از سایت شما دسترسی نخواهند داشت. حال اگر به جای * از مثلا google استفاده کنید، ربات های گوگل به محتوای سایت شما دسترسی نخواهند داشت. البته می دانید که این کار برای بهینه سازی سایت شما بد خواهد بود. موتورهای جستجویی مانند گوگل باید اجازه داشته باشند تا در صفحات شما بچرخند و ایندکس گذاری کنند.
بنابراین اگر بخواهیم به رباتی مانند گوگل یا سایر موتورهای جستجو اجازه بدهیم در سایت ما بخزند می توانیم از عبارت google یا bing در قسمت user-agent استفاده کنیم و سپس در سطر بعدی مثلا عبارت زیرا را بگذاریم:
Alllow:/wp-content/
جدا از موضوعاتی که تا به حال در مورد در دسترس گذرای یا غیر دسترس گذاری محتوای سایت برای ربات ها گفتیم، میتوان در راستای سئو سایت، فایل نقشه ی سایت را نیز در robot.txt بگذاریم تا ربات های گوگل بهتر به محتوای کل سایت ما دسترسی داشته باشند. مثلا به این صورت:
User-agent: *
Disallow
Sitemap: http: //www.ABC.com/page-sitemap.xml
با توجه به عبارت * در قسمت یوزر می دانیم که چنین کدی به همه ی ربات ها اجازه می دهد که در محتوای نقشه سایت شما بخزند.
ROBOT.TXT را کجا بگذاریم؟
فایل robot.txt را باید در بالاترین سطح داریکتوری سرور وب سایت خود بگذارید. به عبارتی اولین اسلش/ پس ازآدرس صفحه ی اصلی سایت شما. ربات ها به این قسمت می روند و دنبال عبارت robot.txt می گردند. پس باید فایل robot.txt را در جای مناسب بگذارید تا دیده شده و عمل کند. بنابراین قسمت خوشامدگویی welcome سایت بخش مناسبی می تواند باشد.
در نهایت حواسمان باشد که تمام حروف این ترکیب را با حروف کوچک بنویسم. دقیقا به صورت robot.txt
(5)جالب نیست!
(0)
