بسم الله الرحمن الرحیم

انجمن های تخصصی کدباکس

شبکه، امنیت، سرور، دیتاسنتر، سیستم عامل، هاستینگ، وبمستری، طراحی وب، نرم افزار، سخت افزار، گرافیک و ...

امروز چهارشنبه 19 سپتامبر 18, 11:01 am



مبحث جدیدپاسخ

 [ 1 پست ] 
نويسنده پيغام
پستارسال شده در: سه شنبه 15 سپتامبر 15, 7:57 am 
نماد کاربر

پست ها : 371
محل سکونت: فارس
سپاسگذاری کرده: 41 بار
سپاس دریافتی: 576 بار
کلیت:
این فایل چه کار می کنه
ربات های جستجوگر را هشیار می کنه که برای جستجو چه فایل هایی را نباید باز کنند و چه فایل هایی رو می تونند باز کنند
خاصیتش چیه
برای کاربر مهمترین خاصیتش حفظ امنیته و حفظ حریم های شخصی به این وسیله کاربر می تونه مدارک خصوصی و عکس های خانوادگیش رو با آرامش روی هاستش نگه داری کنه
برای ربات ها هم خاصیتش اتلاف کمتر وقت و انرژی در یک سایته و این امر دومین خاصیت فایل رو ایجاد می کنه
موتورها رو تشویق می کنه به یافتن نتایج جستجو ها در سایت هایی که robots.txt دارند و این یعنی بالا رفتن در رتبه ی گوگل و الکسا
این فایل باید در یک صفحه text only به وسیله ی notepad نوشته بشه و کد و علایم جدا کننده خاص مثل <> یا , و ” نیاز نداره ولی هر تکه از دستوراتش باید در یک سطر جدا باشه
این فایل بر پایه دو دستور Disallow و Allow و یک شاخصه User-agent نوشته می شه
Disallow محدوده ممنوع رو تعریف می کنه
Allow محدوده ی آزاد برای جستجو
User-agent محدوده کسانی که اجازه جستجو براشون مسدود یا باز شده
سایت گوگل سالم ترین نمونه ی این برگه رو نمایش داده
نگاه کنید:
http://www.google.com/robots.txt
و به این ترتیب کد زیر
کد:
User-agent: *
Disallow: /news
Allow: /news/directory

در این فایل اینگونه ترجمه می شه
هر نوع جستجوگر و رباتی (هیچ نوع)
نمی تونه پوشه news را جستجو کنه ولی می تونه زیر پوشه ی directory رو از این پوشه بخونه و جستجو کنه
برای بلوکه کردن جستجو در کل سایت
کد:
Disallow: /

برای مسدود کردن جستجوی یک پوشه
کد:
Disallow: /junk-directory/

برای مسدود کردن جستجو در یک صفحه
کد:
Disallow: /private_file.html

برای اینکه یک عکس در لیست یافته های گوگل دیده نشود
کد:
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

برای پاک کردن کل عکس های سایت از لیست جستجوی گوگل
کد:
User-agent: Googlebot-Image
Disallow: /

برای پاک کردن یک فرمت مشخص (مانند gif) از جستجوی گوگل
کد:
User-agent: Googlebot
Disallow: /*.gif$

برای صفحاتی که هنوز مطالبشون در حال تکمیله و یا آماده پذیرش آگهی نیست مطالب این صفحات در نتایج جستجو دیده نمی شه ولی گوگل اونها رو آنالیز می کنه و دسته بندی های لازم رو روشون انجام می ده
کد:
User-agent: *
Disallow: /
User-agent: Mediapartners-Google
Allow: /

خوب اینها تمام دانش مورد نیاز برای نوشتن این فایل بودند حالا برای شروع فولدرها و فایل هاتون رو روی هاست دسته بندی و لیست کنید و تلاش کنید هر گزینه را در یکی از شرایطی که بالا عنوان شد قرار دهید و یا برای دسته ی اخر که دسته ای کاملا مجاز خواهد بود جدا کنید
لیست نهایی شما به راحتی وضعیت هر فایل را مشخص می کنه
معمولا ما با کل ربات ها کار داریم و
کد:
user-agent :*

کارمون رو راه می ندازه که استفاده یکبار ازش در اولین سطر کافیه ولی اگر موردی مثل آخرین مورد ذکر شده بود
کد:
User-agent: Mediapartners-Google

نام ربات گوگل آنالیزه
نام بعضی از معروف ترین ربات ها هم عبارته از:
کد:
User-agent: IsraBot
# unless they're feeding search engines.
User-agent: UbiCrawler
User-agent: DOC
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: Teleport
User-agent: TeleportPro
User-agent: WebZIP
User-agent: linko
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: Download Ninja
User-agent: wget
# http://www.nameprotect.com/botinfo.html
User-agent: NPBot
# http://www.webreaper.net/
User-agent: WebReaper
User-agent: ia_archiver

که فکر کنم بجز IsraBot که ربات دائره المعارف وی کی پدیاست باقی ربات ها از نامشون و یا توضیح کوتاه قبلشون قابل تشخیصند
در آخرین خطوط این فایل آدرس های sitemap.xml را اضافه می کنید به این صورت
کد:
Sitemap: http://YourDomain.com/sitemap.xml
با توجه به اینکه فایل های هر سیستم مختص خودش هستند پس کپی کردن هیچ فایلی از هیچ جا کمکی بهتون نمی کنه و رفتن مراحل ساده بالا برای داشتن این فایل لازمه


نمايش پست ها از پيشين:  مرتب سازي بر اساس  

مبحث جدیدپاسخ

 [ 1 پست ] 


مباحث مرتبط

 مباحث   نويسنده   پاسخ ها   بازديدها   آخرين پست 
موضوع ناخوانده دیگری در این انجمن موجود نیست. فایل install.php در وردپرس

Hoseyn

3

6065

سه شنبه 28 جولاي 15, 2:43 am

M.Abooali نمایش آخرین ارسال

موضوع ناخوانده دیگری در این انجمن موجود نیست. مشکل جدی فایل xmlrpc.php در نسخه جدید وردپرس و راه حل آن

M.Abooali

0

3349

دوشنبه 29 ژوئن 15, 3:17 am

M.Abooali نمایش آخرین ارسال

موضوع ناخوانده دیگری در این انجمن موجود نیست. ۶ نکته مهم درباره سئو در سال ۲۰۱۷

site2017

0

560

جمعه 05 ژانويه 18, 11:30 pm

site2017 نمایش آخرین ارسال

موضوع ناخوانده دیگری در این انجمن موجود نیست. درباره منسوجات بی بافت

minomani

0

1215

دوشنبه 05 دسامبر 16, 7:48 am

minomani نمایش آخرین ارسال

موضوع ناخوانده دیگری در این انجمن موجود نیست. اطلاعاتی درباره اکسیژن ساز خانگی

yaraasadi

0

0

سه شنبه 11 سپتامبر 18, 6:16 am

yaraasadi نمایش آخرین ارسال

 


چه کسي حاضر است ؟

کاربران حاضر در اين انجمن: Google [Bot] و 9 مهمان


شما نمي توانيد مبحث جديدي در اين انجمن ايجاد کنيد
شما نمي توانيد به مباحث در اين انجمن پاسخ دهيد
شما نمي توانيد پست هاي خود را در اين انجمن ويرايش کنيد
شما نمي توانيد پست هاي خود را در اين انجمن حذف کنيد
شما نمي توانيد فايل هاي پيوست در اين انجمن ارسال کنيد



بخش ها