گوگل بات چیست و چگونه کار می کند؟

وب سایت شما محلی برای درج و ارایه اطلاعات و محصولات تان است. از مطالبی که منتشر می کنید تا محصولاتی که برای عرضه به فروش می گذارید، این داده ها به روش های مختلف برای کاربران و مخاطبین شما قابل دسترسی هستند. اما در قبال موتور جستجو و دست یابی افراد به سایت شما از طریق نتایج جستجو، روش کار بسیار متفاوت و پیچیده تر است. شاید برای دسترسی یک مشتری به محصولی تنها یک QR کد کافی باشد تا بصورت مستقیم دسترسی صورت پذیرد اما، شرایط برای حضور شما در صفحه SERP به وسیله ابزارهایی میسر می شود که به آنها ربات یا Bot می گوییم. در این مقاله همراه ما باشید تا به بررسی و نحوه کار ربات های گوگل بپردازیم.

بات گوگل – Google Bot چیست؟

ربات های گوگل در واقع کراولر یا خزنده های وب هستند که توسط موتور جستجو برای جمع آوری اطلاعات مورد نیاز و ایجاد فهرستی قابل جستجو از داده ها استفاده می شود. Googlebot ها انواع گوناگون دارند و شامل خزنده های موبایل و دسکتاپ و همچنین خزنده های اخبار، تصاویر و ویدیوها می شوند.

کراولر Googlebot desktop: بررسی و ایندکس نسخه دسکتاپ سایت.

کراولر Googlebot mobile: بررسی و ایندکس نسخه موبایل سایت.

کراولر Googlebot Video: بررسی ویدئوهای موجود در سایت.

کراولر Googlebot Images: بررسی و ایندکس تصاویر موجود در سایت.

کراولر Googlebot News: بات مخصوص سایت های خبری و محتوای News.

کراولر Google Bot Ads: نظارت بر کیفیت تبلیغات موجود در سایت.

بات های ‌بیشتری هم وجود دارد که گوگل برای وظایف بخصوص از آنها استفاده می‌کند. خزنده ها برای شناسایی بهتر یک نام دارند که به آنها user agent گفته شده و صفحات وب را بر اساس آنچه که کاربر بر روی مرورگر کروم میبیند، مشاهده می کنند. Googlebot ها روی هزاران دستگاه اجرا می شوند و سرعت خزش شان به نحوی است که بر روی بارگذاری سایت تاثیر نگذارند.

گوگل بات چگونه یک سایت را خزش و ایندکس می کند؟

گوگل با فهرستی از آدرس هایی که از منابع مختلف جمع آوری می کند مانند صفحات، نقشه های سایت، فیدهای RSS و URL های ثبت شده در کنسول جستجوی گوگل یا API Indexing، آنچه را که می خواهد بخزد را اولویت بندی می کند و سپس آنها را ذخیره می کند. این صفحات برای یافتن لینک های داخلی و خارجی و همچنین ردیابی سایر پیوندها پردازش و در کنار جاوا اسکریپت و CSS که برای نمایش یک صفحه به آن نیاز هست، کراول شده و ذخیره می شوند.

سرویس رندر صفحات به موتور جستجو اجازه می دهد تا تجربه کاربری و نحوه نمایش محتوا بر پایه کدها را ارزیابی کند. بدین ترتیب می توان فهمید این صفحه چیست و درباره چه چیزی صحبت می کند و درباره تبلیغات، عناصر پنهان و بسیاری ویژگی های بیشتر نیز اطلاعاتی را استخراج می کند.

بیایید کمی بیشتر در خصوص رندر صفحات بدانیم، جایی که این سرویس در سال 2019 بروزرسانی بزرگی را تجربه کرد. در آن زمان رندرینگ وب به evergreen ارتقا پیدا کرد تا برای این مهم بتوان از آخرین ورژن کروم بهره برد. زمانی که صفحه ای توسط گوگل رندر می شود، چگونگی آن را می توانید در مرورگر خود شاهد باشید.

رندرینگ به موتور های جستجو این توانایی را می دهد تا محتوا را براساس نحوه ارتباط برقرار کردن انسان با یک صفحه اولویت بندی و به موتورهای جستجو این اجازه را می دهد تا بفهمد موقیت اطلاعات در یک مرورگر چگونه است و عناصر مختلفی به چه شکل قابل مشاهده هستند.

موضوع بسیار مهمی که وجود دارد این است که وقتی بات ها در تلاش هستند تا محتوا را برای کراول و ایندکس اولویت بندی کنند، به سراغ آنچه که کاربران در حال استفاده هستند بروند. وقتی یک صفحه را در کنسول جستجو برای تست لایو بررسی می کنید، حتما از لود شدن کامل کدها و دیگر اجزا تشکیل دهنده صفحه از طریق اسکرین شات گزارش موجود مطمئن شوید. شاید شما بتوانید یک صفحه را به خوبی مشاهده کنید اما بات ها و رندرها گاها بدرستی بارگذاری نمی شوند.

روش کار گوگل بات چگونه است؟

با ایجاد یک نقشه سایت و ثبت آن در کنسول جستجو، مسیر را برای دسترسی گوگل بات فراهم می کنید. اما اشتباه نکنید، نقشه سایت و درست بودن همه چیز در این زمینه ربطی به رتبه بندی بیشتر در نتایج جسجو ندارد. در حقیقت با این کار شما صفحات و محتوایی که می خواهید گوگل برای ایندکس کردن در نظر بگیرد را معرفی می کنید.

اما این همه راه نیست، ینک سازی داخلی و خارجی شما نیز به شناسایی و ثبت پیوندهای تان منجر می شود. شناسایی سایت شما توسط اکانت های رسمی گوگل، منابع گرداوری اطلاعات و بک لینک ها نیز به این مساله کمک می کنند. با روی کار آمدن فاکتورهایی مانند سرعت، کیفیت و میزان ارزش قابل انتقال، لزوم وجود یک استراتژی مدون بیش از هر وقت دیگری احساس میشود. پس اینکه سایت مپ را در کنسول ثبت کنید و آن را در robots.txt تعریف کنید تنها بخش کوچکی از کار است که باید حتما بصورت صحیح انجام شود.

این سازوکار باعث می شود تا کراولرها یا همان بات ها بتوانند با شاخص هایی که در نظر میگیرند، صفحات را بررسی و برای ایندکس در نظر بگیرند. هرچقدر نقشه سایت شما بهتر و محتوای تان بهینه باشد، مسیرها نیز راحت تر خزش می شوند. اینجاست که اهمیت پیلار کلاستر و یا محتوای بنیادی حائز اهمیت می شوند زیرا به بات ها نقشه ای دقیق از استراتژی محتوایی تان ارایه می کنند.

شناسایی صفحات توسط گوگل بات ها چگونه است؟

برای آشنایی با نحوه خواندن صفحات و پیوندها توسط کراولرها باید سری به کنسول جستجو بزنید. در بخش نقشه ها با در نظر گرفتن لینک های سالم و یا وجود مشکلاتی که بصورت خطا نمایش داده می شوند، می توان از بخش coverage با مسایل مربوط به نحوه خواندن توسط بات ها روبرو شد.

به شناسایی و درج پیوندها در نقشه گوگل به کنسول فچ شدن می گوییم. به این ترتیب وقتی یکی از نقشه ها را برای ثبت در بخش سایت مپ درج می کنید، با کلیک بر روی fetch، بات ها شروع به بررسی و خواندن صفحات موجود در نقشه سایت می کنند. ممکن است برخی پیوندها با تگ های ربات مسدود شده و یا مشکلاتی توسط پلاگین ها بوجود آمده باشد که با کدهای وضعیت و پیغام های داخلی، قابل شناسایی هستند.

بات ها از طریق نقشه سایت در صفحات و پیوندها می خزند و محتوای در دسترس را بر اساس فاکتورهای زیادی که الگوریتم ها بر آن نظارت دارند، ارزیابی و برای ایندکس شدن در نظر میگیرند. پس اگر صفحاتی وجود داشته باشد که در اجرای کدهای داخلی مشکل داشته باشند و یا تصاویرشان حجم بالایی برخوردار باشند، قطعا کاندید مناسبی برای کاربران و مخطابین نخواهند بود.

فاکتورهایی مانند سرعت باز شدن برگه، کیفیت محتوا، حجم تصاویر، لینک های داخلی و عدم استفاده از المان های مخرب و غیره همگی برای خزش و ایندکس بسیار حیاتی است. اگر با کنسول جستجوی گوگل به خوبی آشنا باشید، بخش بزرگی از گزارش عملکرد کراولرها را خواهید داشت.

کنترل خزش بات های گوگل

توسط Robots.txt: این فایل در ریشه سایت شما قرار گرفته و اجازه خزش و منع آن را برای بات های گوگل مشخص می کند. می توان تعدادی از بات ها را محدود و سایر بات ها را برای خزش باز گذاشت. حتی قادر هستید تا یک پوشه یا مسیر بخصوص را از خزش بات ها منع نمایید تا کنترل بهتری برای بودجه خزش داشته باشید.

تگ های Nofollow یا Nofollow: که به منزله اجازه طی مسیر لینک یا عدم دسترسی و دنبال کردن پیوندی است. تگ نوفالو به بات می گوید این لینک را نباید دنبال کنی و تگ فالو نیز اجازه دنبال کردن پیوند را می دهد.

تغییر نرخ خزش: در کنسول جستجوی گوگل گزارش هایی مبنی آمار مربوط به کراول بات ها را به نمایش گذاشته و اطلاعات بسیار دقیقی می دهد. در این بخش می توانید میزان و نرخ خزش را نیز مدیریت کنید که برای سطح حرفه ای کاربرد دارد و در حالت عادی بهتر است بصورت پیشفرض باشد.

کنترل ایندکس صفحات سایت

ساده ترین راه برای جلوگیری از ایندکس محتوا این است که اگر واقعا ارزش نمایه سازی ندارد، آن را حذف کنید. اما سایت های بسیاری هستند که مطالبی دارند و صرفا این اطلاعات به منزله نمایه شدن نیست. دسترسی به محتوا را محدود کنید: محافظت از مطالب و محتوا به وسیله رمز عبور یا احراز هویت مانع از دیده شدن می‌شود. همچنین تگ noindex به موتورهای جستجو می گوید که صفحه شما را ایندکس نکند. در کنسول جستجو نیز ا استفاده از ابزار حذف پیوندها قادر هستید از خزش مجدد و ایندکس آپدیت نیز جلوگیری کنید.

بات های گوگل واقعی یا مخرب

بسیاری از ابزارهای مربوط به بهینه سازی سئو و برخی ربات های مخرب وانمود می کنند که Googlebot هستند. این وضعیت ممکن است به آنها امکان دسترسی به وب سایت هایی را بدهد که در نتیجه به مسدود شدن شان بیانجامد. در گذشته، برای تأیید بات های اصلی نیاز به جستجوی مبتنی بر DNS داشتید اما گوگل این کار را آسان‌ تر و فهرستی از IP های عمومی را ارایه کرده که می‌توانید از آنها برای تایید اینکه درخواست‌ها از طرف Google هستند یا خیر استفاده کنید. این اطلاعات با گزارش موجود در سرور تان قابل تصدیق است.

همچنین در بخش گزارش آمار خزش – Crawl Stats کنسول جستجوی گوگل نیز اطلاعات زیادی درباره نحوه خزیدن گوگل در وب سایت شما وجود دارد و بدین ترتیب می توانید ببینید کدام کراولرها از طرف گوگل بوده و در حال خزش چه فایل هایی در چه زمان هایی هستند.

لیست IP های مربوط به بات های گوگل

طراحی سایت و تولید محتوا برای گوگل یا برای کاربر؟

صفحه ای که به کاربر در کم ترین زمان، بهترین اطلاعات را بدون مزاحمت المان های اضافه ارایه کند و تجربه کاربری خوبی را در برای اش به ارمغان بیاورد، می تواند حاوی محتوای غنی باشد. این صفحه رابطه مستقیمی با ابزار Page Experience دارد زیرا جدا از اطلاعاتی که مخاطبین سراغ اش را میگیرند، آنها باید بتوانند با موبایل شان صفحه را مطالعه کنند، آدرس ها امن باشند و سرعت بارگزاری اطلاعات نیز باعث انصراف شان نگردد.

هرچند در این مقاله در حال بررسی بات های گوگل هستیم اما نباید صرفا به این فکر کنیم که تنها با بیان یک شرح در خصوص موضوع یا مقدمه چینی های طولانی می توان دِلِ موتورِ جستجو را بدست آورد، بلکه کاربر و مخاطب جایگاهی بالاتر و ارزشمند تر دارند. فکر کردن به اینکه چه چیزی یک فرد را به نتیجه دلخواه اش می رساند، هرچند به تنهایی مستلزم روش های بهینه سازی است اما، باعث می شود بتوانیم طبیعی تر بیاندیشیم و رفتار کنیم تا محتوایی ارگانیک برای اشخاص تولید نماییم.

ایجاد انگیزه برای کاربر، با تحمیلِ مطالب به او فرق دارد و همینطور زمینه ساز دستیابی به شاخصِ ارزش آفرینی و محبوبیتِ گوگل برای مخاطبین اش است.

خصوصیات عنوان و متای نوشته شده برای موتور جستجو، نه برای کاربر

• مخاطب با شک و تردید به صفحه مراجعه می کند
• بر روی صفحه پیمایش نا منظم دارد
• اغلب با مطالعه بخشی از محتوا، تصمیم میگیرد از صفحه خارج شود
• در بخش نظرات تعاملی ندارند و فیدبکی از آنها دریافت نمی شود
• نظرات و کامنت ها همگی توسط وب مستر نوشته شده، نه سایر کاربران
• بعضی جملات و عبارات معنی و مفهوم خاصی ندارند
• عنوان و شرح متا با محتوای داخل صفحه ارتباط مستقیم ندارد
• مخاطب احساس می کند که محتوای پیش رو برای شخصی ثالث است

خصوصیات عنوان و متای نوشته شده برای کاربر انسانی، نه موتور جستجو

• خواندن عنوان برای مخاطب راحت و روان است
• بر روی صفحه با انگیزه و حس ماجراجویی پیمایش می کند
• با مطالعه بخشی از محتوا، برای ادامه آن باز مراجه می کند
• در بخش نظرات می خواهد با سایرین تعامل داشته باشد و سوالات اش را بپرسد
• عنوان و شرح متای صفحه با محتوای داخل صفحه ارتباط کامل دارد
• مخاطب با مطالعه محتوا علاقه مند می شود بیشتر بداند
• شرح متا بصورت خلاصه و منحصر بفرد بوده، اغلب نیازی به استفاده از واژه کلیدی نمی باشد

اگر محتوا در سطحی وسیع دارای کلمات کلیدی اصلی و یا واژه های مربوط به آن است، برای عنوان و متای توضیحات باید از واژه های هم معنی و مترادفی استفاده کنید که کاربر با مشاهده آن بتواند پی به ماهیت مطلب ببرد. مخاطب با قرار گرفتن در برابر حجم وسیعی از عبارات اصلی که روی آنها بارها تاکید شده، متوجه می شود که نویسنده، می خواسته به هر شکلی با آنها در نتایج گوگل رشد داشته باشد. این یک تفکر استراتژیک اشتباه است زیرا خواننده ی مقاله شما نیازی به این ندارد که واژه ای را بارها بخواند و خود را در یک چرخه ی فلوچارتی تصور نماید. پس اگر در عنوان و شرح متا از کلمات کلیدی اصلی بهره می برید، تلاش کنید در ابتدای مقاله تان، واژه های مترادف و عبارات هم معنی را بکار بگیرید تا ذهن خواننده را اشباع ننمایید.

جمع بندی

بات های گوگل صرفا نقش خزنده را ندارند، آنها می آیند تا صدها فاکتور رتبه بندی را با کمک الگوریتم ها و قوانین هوض مصنوعی مورد سنجش قرار داده و با ماشین لرنینگ، آنچه که هست را یاد بگیرند. کراولرها رفتار شما را در سایت فرامیگیرند تا بر مبنی آن ریتم خزش و ایندکس را تنظیم کنند. اینک یک سایت خبری با تولید محتوای روزانه هستید یا یک سایت فروشگاهی با تعدادی محصول که حضور مشتری بیشتر مورد نظر است، مواردی هستند که باید توسط شما در نظر گرفته شده و کار را برای گوگل راحت تر کنید. در نظر داشته باشید، کیفیت محتوا توسط مخاطبینی ارزیابی می شود که سایت شما را از صدر نتایج پیدا کرده اند، نه اینکه شما آن را مطلبی ارزشمند بپندارید.