مقالات سئو سایت 22 آذر 1400 35 دقیقه مطالعه علی سخا

موتور جستجو چطور کار می کند؟ (Crawling - Indexing - Ranking)

همانطور که میدانید موتورهای جستجو وظیفه ی پاسخگویی به کاربران را بر عهده دارند و شاید لقب موتور پاسخگو برای آن مناسب تر و گویا تر باشد. این ابزار هوشمند وظیفه ی کشف، درک و سازماندهی محتوای اینترنتی را به منظور ارائه مرتبط ترین نتایج به کاربر را داشته و برخی...

همانطور که میدانید موتورهای جستجو وظیفه ی پاسخگویی به کاربران را بر عهده دارند و شاید لقب موتور پاسخگو برای آن مناسب تر و گویا تر باشد. این ابزار هوشمند وظیفه ی کشف، درک و سازماندهی محتوای اینترنتی را به منظور ارائه مرتبط ترین نتایج به کاربر را داشته و برخی اوقات هم بدون رتبه بندی و به طور مستقیم به کاربر پاسخ خواهد داد. برای اینکه محتوای شما در نتایج گوگل قابل مشاهده باشد شما در قدم اول باید سئو وبسایت خود را بهبود ببخشید وگرنه راهی برای نمایش وب سایت شما در SERP گوگل وجود نخواهد داشت.

موتور جستجو چطور کار می کند؟

موتور جستجو به ترتیب سه فرآیند زیر را طی می کند:خزش (Crawling): خزنده ها،فضای وب را برای یافتن محتوای جدید جستجو می کنند. جستجوی کد و محتوا برای هر آدرس جدیدایندکس (Indexing): محتوای یافت شده در طول فرایند خزش، ذخیره و سازماندهی می شود تا با جستجوهای کلیدی در سرپ گوگل نمایش داده شود.رتبه بندی (Ranking): در این قسمت موتور جستجو، محتوا را بر اساس فاکتورهای مشخصی که البته تعداد قابل توجهی از آن ها برای ما ناپیداست و وزن دهی آن ها به صورت تجربی بدست آمده، رتبه بندی می کند و به کاربر تحت جستجوی کلمات کلیدی خاص نمایش می دهد.

خزش یا کرال موتور جستجو چیست؟

خزش یا کرال، فرآیندی است که در آن موتور جستجو، مجموعه ای از ربات ها را که به crawler معروف هستند برای یافتن محتوای جدید در سرتاسر فضای وب پراکنده می کند. این محتوا می تواند یک صفحه وب، تصویر، pdf، ویدئو و... باشد. اما صرف نظر از قالب، محتوا توسط آدرس (پیوند) یافت می شود.

ایندکس موتور جستجو به چه معناست؟

موتورهای جستجو اطلاعاتی را که از مرحله خزش پیدا کرده اند، به صورت فهرست ذخیره و پردازش می کنند تا آماده ارائه به کاربران باشد.

رتبه بندی موتور جستجو چیست؟

پس از انجام مرحله ایندکس، موتور جستجو محتوا را بر اساس ارتباط موضوعی، عنوان، آدرس، اعتبار دامنه و... به صورت نسبی رتبه بندی کرده و تحت جستجوی کلمات به کاربر نشان می دهد.نکته: ممکن است شما وبسایت خود را برای دسترسی برخی از خزنده ها مسدود کنید یا به موتور جستجو دستور دهید که صفحات مشخصی را در فهرست خود ذخیره نکنند. اگر می‌خواهید محتوای شما توسط کاربران پیدا شود، ابتدا باید مطمئن شوید تا برای خزنده‌های گوگل قابل دسترسی و فهرست بندی باشد. در غیر اینصورت از نتایج گوگل نامرئی خواهید شد.

رتبه بندی چطور انجام میشود

خزش: آیا موتور جستجو می تواند صفحه شما را پیدا کند

همانطور که تا الان مطالعه فرمودید، اطمینان از اینکه سایت شما مورد خزش و ایندکس قرارگرفته باشد پیش نیاز نمایش وبسایت شما در نتایج گوگل است. یکی از راه‌های بررسی صفحات ایندکس شده، استفاده از عملگر "site:yourdomain.com" است که یک جستجوی پیشرفته را برای شما رقم خواهد زد. برای این کار کافی است در موتور جستجوی گوگل عبارت "site:yourdomain.com" را تایپ کنید. این عملگر تمام نتایجی که از این دامنه می شناسد را برای شما لیست خواهد کرد.با اینکه تعداد نتایجی که گوگل به شما نمایش می دهد دقیق نیست اما این عملگر یک دید جامع از اینکه کدام صفحات وب سایت ایندکس شده را به شما ارائه خواهد داد.برای دستیابی به گزارش دقیق تر کافی است از سرچ کنسول استفاده کنید و از بخش index coverage را بررسی کنید.نکته: اگر در نتایج گوگل نمایش داده نمی شوید ممکن است به یکی از دلایل زیر باشد:

سایت شما کاملا جدید است و هنوز بودجه خزش ندارد.
سایت شما هیچگونه لینک خارجی ندارد.
ساختار سایت شما، فرایند خزش را برای بات های گوگل سخت کرده است.
صفحات شما noindex است و خزنده اجازه جمع آوری اطلاعات از آن را ندارد.
سایت شما توسط گوگل پنالتی شده است.

چطور به موتور جستجو، درخواست خزش ارسال کنیم؟ (+ رفع مشکل)

استفاده از سرچ کنسول یا اپراتور site: استفاده کرده اید و متوجه نقص در خزش و ایندکس برخی از صفحات خود شده اید، باید از یک سری ترفندها برای معرفی صفحه خود به گوگل استفاده کنیداستفاده از نقشه سایت و یا رفع خطاهای آن که در سرچ کنسول به شما نمایش داده می شود. بهبود محتوا از لحاظ کیفی و کمیتغییر آدرس صفحه و تست آن پلاگین های خود را تک به تک غیرفعال کنید و صفحه خود را به سرچ کنسول معرفی کنید و نتیجه را تحت نظر بگیرید. گاهی اوقات افزونه ها موجب بروز مشکل برای بات های گوگل خواهند شد.بسیاری از سایت های وردپرسی در قالب خود ایراداتی دارند که ممکن است موجب اخلال در روند خزش خواهند شد. برای تشخیص این موضوع کافی است یکبار قالب خود را غیر فعال کنید و محتوای خود را برای ایندکس به سرچ کنسول معرفی کنید. از صفحات قدرتمند خود به صفحه ای که ایندکس نمی شود لینک داخلی ایجاد کنید و نتیجه را بررسی کنید.

خزش یا کراول چیست

بهینه سازی بودجه خزش

بودجه خزش میانگین تعداد آدرس هایی است که بات گوگل قبل از خروج از سایت شما مورد بررسی قرار می دهد. بهینه سازی بودجه خزش تضمین می کند که کرالر زمان خود را برای مشاهده صفحات بی اهمیت شما هدر نخواهد داد. بهینه سازی بودجه خزش در سایت‌های بسیار بزرگ که ده‌ها هزار صفحه دارند از اهمیت بالایی برخوردار است، اما هرگز ایده بدی نیست که خزنده‌ها را از دسترسی به محتوایی که برایتان مهم نیست منع کنید. برای این کار کافی است از داخل سایت مپ صفحات را از index به noindex تغییر دهید.

اشتباهات رایج که موجب عدم خزش وبسایت شما می شود

ناوبری تلفن همراه که نتایج متفاوتی نسبت به دسکتاپ نشان می دهد.
استفاده از کدهای جاوا اسکریپت در پیمایش. (گوگل برخی اوقات در خزش کدهای جاوا اسکریپت ضعف دارد.)
شخصی سازی و نمایش پیمایش منحصر به فرد به برخی بازدید کنندگان
فراموش کردن لینک سازی داخلی به صفحات بالا دست و مهم

ایندکسینگ: موتور جستجو چطور وبسایت شما را تفسیر می کند؟

هنگامی که مطمئن شدید که سایت شما توسط کرالرهای گوگل دیده شده، کار بعدی آن است که مطمئن شوید که قابل ایندکس شدن نیز می باشد. اینکه سایت شما توسط موتور جستجو قابل کشف و خزیدن است، لزوماً به این معنی نیست که در فهرست گوگل ذخیره می شود. در بخش قبلی در مورد crawling و چگونگی کشف صفحات وب توسط موتورهای جستجو صحبت کردیم.ایندکسینگ فرایندی است که صفحات شما در دیتابیس گوگل ذخیره می شوند. پس از اینکه خزنده یک صفحه را پیدا کرد، موتور جستجو آن را درست مانند یک مرورگر رندر می کند. در فرآیند انجام این کار، موتور جستجو، محتوای آن صفحه را تجزیه و تحلیل می کند و تمام این اطلاعات را در فهرست خود ذخیره می کند.

آیا می توانم ببینم کرالر گوگل سایت من را چطور می بیند؟

البته؛ نسخه ذخیره شده صفحه شما(cached version) تصویری از آخرین باری که بات گوگل صفحه شما را خزش کرده را به شما نمایش خواهد داد. گوگل صفحات وب را طبق برنامه های زمانی مشخص و متفاوتی مورد خزش و ذخیره قرار می دهد. سایت‌های شناخته ‌شده‌ بیش از وب‌سایت های ناآشنا مورد توجه قرار می گیرند. شما می‌توانید با کلیک کردن روی پیکان کشویی کنار URL در SERP گوگل و انتخاب گزینه «Cached» مشاهده کنید که نسخه ذخیره‌شده یک صفحه از نگاه ربات چگونه است.نکته: شما همچنین می توانید نسخه متنی وبسایت خود را به طور مستقل مشاهده کنید و ببینید آیا محتوای متنی شما به طور کامل مورد خزش قرار میگیرد یا خیر.

رنکینگ: چطور موتورهای جستجو آدرس ها را رتبه بندی می کنند؟

چطور موتورهای جستجو بهترین و مرتبط ترین نتایج را با توجه به جستجوی کاربر برای ما نمایش می دهند؟ این موضوع به عنوان رتبه بندی یا مرتب سازی نتایج جستجو بر اساس مرتبط ترین تا کم ارتباط ترین مطالب توسط گوگل شناخته می شود.برای تعیین ارتباط، موتورهای جستجو از الگوریتم‌هایی استفاده می‌کنند تا بتوانند اطلاعات ذخیره‌شده دسته بندی و مرتب کنند. این الگوریتم ها، در طول سالیان اخیر به منظور بهبود کیفیت نتایج جستجو تغییرات فراوانی کرده اند. برخی از این به روز رسانی ها بسیار جزئی و در راستای بهبود کیفیت عملکرد موتور جستجو هستند و برخی دیگر از این به روز رسانی ها با تمرکز بر بهبود عملکرد الگوریتم بوده و برای مقابله با یک مشکل خاص طراحی شده اند.

چرا الگوریتم ها بروزرسانی می شوند؟

با وجود اینکه گوگل هیچوقت جزئیات الگوریتم ها و بروزرسانی های دوره ای خود را فاش نمی کند اما ما می دانیم که هدف گوگل از انجام تنظیمات الگوریتم بهبود کلی کیفیت جستجو است.به همین دلیل است که در پاسخ به سؤالات بروز رسانی الگوریتم، گوگل همیشه یک پاسخ می دهد:

We’re making quality updates all the time

این موضوع بیانگر آن است که اگر سایت شما پس از آپدیت خاصی از گوگل دچار تغییر شد، شما می بایست وبسایت خود را با تنظیمات و دستورالعمل های جدید گوگل تطبیق دهید تا بتوانید در مسیر سابق خود باقی بمانید یا رشد کنید.

موتور جستجو چه می خواهد؟

موتورهای جستجو همیشه یک چیز را می خواستند: ارائه پاسخ های مفید و دقیق.اگر این پاسخ درست باشد، پس چرا به نظر می رسد که سئو اکنون با سال های گذشته تفاوت دارد؟برای درک بهتر، پاسخ را با یک مثال پیش خواهم برد:اگر شما قصد داشته باشید یک زبان دوم جدید یاد بگیرید، در ابتدا، درک آن زبان بسیار ابتدایی و البته سخت است. با گذشت زمان، درک شما عمیق تر خواهد شد و معناشناسی را فرا خواهید گرفت. معنای ضمنی کلمات، جملات، اصطلاحات و رابطه بین کلمات و عبارات. در نهایت، با تمرین کافی، شما آنقدر در زبان دوم پیشرفت خواهید کرد تا بتوانید تفاوت‌های ظریف را درک کنید و به سؤالات مبهم یا ناقص نیز پاسخ دهید.هنگامی که موتورهای جستجو تازه شروع به یادگیری زبان ما کردند، آموزش آن ها کار سختی بود و ما برای آنکه بتوانیم محتوای خود را به خزنده های گوگل بفهمانیم مجبور بودیم از کلمات کلیدی خود بارها و بارها استفاده کنیم. نتیجه این رویکرد آن بود که محتوای ما سرشار از کلمات کلیدی شود و خواننده نتواند به شکل موثر از آن برای رفع نیاز خود استفاده کند!اما این هدفی نبود که موتورهای جستجو به دنبال آن هستند.در آن دوره ای که موتور جستجو فاقد هوش و پیچیدگی های امروزی بود اصطلاح 10 پیوند آبی برای توصیف ساختار مسطح سرپ گوگل ابداع شد. هر زمان جستجو انجام می شد، گوگل نتایج را به صورت صفحه های ده لینکی به کاربر نمایش می داد.از مهم ترین ویژگی های سرپ گوگل می توان به موارد زیر اشاره کرد:

تبلیغات کلیکی
Featured snippets
نتایج محلی
گراف دانش
Site links
مرتبط ترین نتایج

موقعیت صفر گوگل

موقعیت صفر اصطلاحی است که برای توصیف بلوک برجسته در بالای صفحه نتایج جستجوی گوگل استفاده می شود. گوگل برای اولین بار در سال 2014 موقعیتی را به نام صفر برای پاسخگویی سریع به جستجوی کاربران معرفی کرد تا مستقیما از همان صفحه نتایج و بدون نیاز به کلیک به سوالات کاربر پاسخ دهد. اطلاعات موجود در موقعیت صفر شامل خلاصه پاسخی که از یکی از صفحات موجود در وب استخراج شده به همراه لینک صفحه می باشد. که از دید گوگل بهترین و دقیق ترین جواب به جستجوی کاربر است.از آنجا که گوگل به دنبال ارائه بهترین پاسخ به هر کاربر است ، محتوای انتخاب شده برای موقعیت صفر را بر اساس نزدیکی ارتباط آن با جستجوی کاربر و از میان سایت هایی که سئو بهتری دارند انتخاب می کند. این قطعه برجسته موقعیت صفر نامیده می شود و دقیقا بعد از تبلیغات در بالای نتایج جستجو نمایش داده می شود و وب سایتی که این پاسخ از آن گرفته شده ، به عنوان برترین وب سایت در جستجوی طبیعی شناخته می شود.

پوزیشن صفر گوگل

جمع بندی

در این مقاله که از سری مقالات دوره آموزش سئو آکادمی آمانج خدمت شما ارائه شد من سعی کردم آنچه در پشت پرده موتور جستجو رخ می دهد را برای شما توضیح دهم. مهم ترین فرآیندهایی که گوگل برای نمایش صفحات شما طی می کند شامل: خزش، ایندکس و رتبه بندی به طور کامل در این بخش برای شما تشریح شد و خطاهایی که در این بخش ها ممکن است با آن مواجه شوید خدمت شما معرفی شد.امیدوارم مطالعه این مقاله برای شما مفید بوده باشد.