خزش یا کراول (Crawl) چیست؟
• خزش یک فرآیند است.
• فرایند خزش توسط خزنده‌های موتورهای جستجو انجام می‌شود.
• به خزنده‌های موتور جستجو؛ اسپایدر (spider)، بات یا کراولر (crawler) نیز گفته می‌شود.
• در فرآیند خزش، موتورهای جستجو ربات‌‌هایشان را به صفحات وب ارسال می‌کنند.
• ربات‌ها اطلاعات صفحه را می‌خوانند و در بانک اطلاعاتی موتورهای جستجو ثبت می‌کنند که این ثبت شدن در نتایج جستجو، ایندکس(index) شدن نام دارد.
• خزنده‌های موتورهای جستجو توسط لینک، صفحات جدید را پیدا می‌کنند.
واژه‌های خزش و ایندکس معمولا اشتباه یا جابجا استفاده می‌شوند. خزش اولین فرآیند یک موتور جستجو برای شناختن و خواندن صفحه شما و نمایش آن در نتایج جستجو است.
اگر یک صفحه خزش شود لزوما به این معنا نیست که رتبه گرفته است. پس یک صفحه سایت، اول باید خزش شود و سپس (در صورت نبود مشکل) ایندکس شود.
صفحاتی که در سایت ایجاد می‌شوند یا صفحاتی که آپدیت می‌شوند باید خزش شوند. اما گوگل چطور متوجه می‌شود؟
روش‌هایی وجود دارد که گوگل را متوجه ساخت یا بروزرسانی صفحه میکند:
• داشتن یک نقشه سایت XML همراه با آدرس صفحه (URL) که در گوگل ثبت شده باشد.
• لینک داخلی که به صفحه داده می‌شود.
• بک لینک که به صفحه اشاره می‌کنند.
• درخواست ایندکس در ابزار سرچ کنسول گوگل
برای اطمینان از اینکه صفحه شما خزش شده است، سایت شما باید حاوی نقشه سایت باشد و نقشه سایت باید در سرچ کنسول گوگل بارگذاری شده باشد. سپس در سرچ کنسول میتوانید ببینید که چه چیزی ثبت و ایندکس شده است.
چنانچه یک صفحه خزش شود؛ گوگل آنالیز میکند که آیا محتوا جدید است یا نه، یا به عبارت دیگر چیزی برای ارائه به اینترنت دارد یا نه، سپس تصمیم می‌گیرد که آیا قابلیت رتبه‌بندی دارد یا خیر.
همچنین زمانی که گوگل صفحه‌ای را خزش میکند، به لینک‌های آن صفحه نگاه میکند و ربات گوگل آن صفحات را هم بررسی میکند.
روش‌های جلوگیری از خزش
در خیلی از موارد ما نمی‌خواهیم یک صفحه سایت خزش و ایندکس شود. چون ارزش خاصی ندارد و محتوای تکراری دارد.
در ادامه با ۲ روش برای جلوگیری از خزش آشنا خواهید شد:
متا تگ no index
متا تگ نوایندکس یک از مهم‌ترین متا تگ های سئو است و در بخش head کدهای HTML یک صفحه قرار می‌گیرد. نمونه کد نوایندکس را در قسمت پایین بینید.
<meta name="robots" content="no index" />
وقتی این کد در هر صفحه‌ای قرار بگیرد به ربات‌های گوگل می‌گوید این صفحه را ایندکس نکن. بنابراین صفحه مورد نظر خزش نمی شود.
فایل robots.txt
robots.txt یک فایل است که در شاخه اصلی وب‌سایت قرار می‌گیرد. مثلا: example.ir/robots.txt
درون این فایل می‌توان کدهایی قرار داد تا یک صفحه یا یک پوشه سایت در حالت نوایندکس قرار گیرد. البته کار کردن با این فایل کمی خطرناک است و چنانچه تخصص کافی ندارید درون این فایل تغییری انجام ندهید
کرال دپس( crawl depth) چیست؟
یک فرایند از ربات‌های گوگل در ایندکس کردن صفحات سایت‌های اینترنتی است که نقش بسیار اساسی در سئو سایت دارد. با استفاده از این قابلیت شما میتوانید در زمان بسیار کوتاهی صفحات سایت خود را به گوگل معرفی کرده و صفحات جدید را نیز سریعاً ایندکس کنید.
در ادامه مطالب مهمی میخوانیم:
1. کرال دپس به چه معنی است؟
2. در فرایند crawl depth چه کاری انجام می‌شود؟
3. عمق خزش در معماری سایت
4. هدف از کرال دپس و اولویت‌بندی آن در سایت چیست؟
5. نقش کرال دپس در سئو
کرال دپس به چه معنی است؟
کرال دپس یا عمق خزیدن در واقع به تعداد صفحاتی اطلاق می‌شود که موتورهای جستجو و ربات‌های گوگل در یک بار خزش به آن‌ها دسترسی پیدا می‌کنند. در این عمق‌بندی، صفحه‌ی اصلی سایت شما دارای عمق 0 خواهد بود.
تمام صفحاتی که با یک بار کلیک از صفحه‌ی اصلی می‌توان وارد آن‌ها شد، عمق 1 خواهند داشت. صفحاتی هم که در صفحات عمق 1 به آن‌ها لینک داده می‌شوند، در عمل خزش ربات‌های گوگل، با عمق 2 تعریف می‌شوند. این روند به همین صورت ادامه پیدا میکند .
با این تعریف به راحتی می‌توان متوجه شد که عمق خزش یا همان کرال دپس در واقع ورود خزنده‌های گوگل به صفحات زیرین سایت شما است. این تعریف می‌تواند نقش بسیار مهمی در سئو سایت و همچنین رتبه‌بندی خود سایت و رتبه‌بندی صفحات سایت داشته باشد.
در فرایند crawl depth چه کاری انجام می‌شود؟
حال سؤال اینجاست که در فرایند crawl depth چه اتفاقی میافتد؟ برای اینکه این فرایند آغاز شود، گوگل یک لینک از سایت شما را نیاز دارد. بعد از شناسایی اولین لینک، فرایند crawl depth به شرح زیر شروع و انجام می‌شود:
- - در قدم اول Googlebot یا ربات گوگل با استفاده از یک لینک وارد یک صفحه از سایت شما می‌شود؛
- - در ورود اول گوگل همه‌ی قسمت‌های این صفحه را ارزیابی و ایندکس میکند؛
- - سپس گوگل در فرایند crawl depth وارد تک به تک تمام لینک‌های موجود در آن صفحه می‌شود؛
- - این فرایند تا ایندکس شدن تمام لینک‌ها و پیوندهای موجود در صفحات ادامه پیدا می‌نماید.
گوگل چگونه یک سایت را ایندکس میکند؟
وقتی شما در حال جستجوی یک کلمه یا عبارت در گوگل هستید، نتایج این جستجو بایستی از جایی که قبلاً در آن ذخیره شده است، استخراج شود. اطلاعاتی مانند متن، عکس، فیلم و ... همگی قبلاً توسط گوگل، ایندکس و در فضایی در گوگل ذخیره شده‌اند و در هنگام جستجو به نمایش در می‌آیند.
کاربرد کرال دپس برای ایندکس شدن همه‌ی صفحات دقیقاً در همین قسمت خود را نشان می‌دهد. با توجه به اینکه ربات گوگل هر چند وقت یک بار همه‌ی سایت‌ها را مورد بررسی قرار می‌دهد، ایجاد لینک‌ها در صفحات وب سایت راهنمایی بسیار عالی برای این ربات خواهد بود.
نقش کرال دپس در سئو
حال که با مفهوم عمق خزش آشنا شده‌اید، درک نقش کرال دپس در سئو می‌تواند ساده‌تر باشد. اما برای درک بهتر این موضوع بایستی خود را جای خزنده‌های گوگل بگذارید و سایت خود را از دید آن‌ها ببینید.
یک سایت اینترنتی در عین داشتن ظاهری ساده، می‌تواند دارای پیچیدگی‌های بسیار زیادی باشد. پیچیدگی‌هایی که درک آن حتی برای خود مدیر سایت نیز گاها مشکل بوده و ممکن است اشتباهاتی در آن داشته باشد. کاربرانی که وارد سایت شما می‌شوند تنها به دنبال رسیدن به هدف خود بوده و کاری با بقیه‌ی اجزای آن ندارند.
حال اگر معماری سایت شما به درستی چیده شده باشد، کاربر می‌تواند به راحتی هدف خود را پیدا کند. اما خزنده‌های گوگل در سایت شما به دنبال صفحه و یا هدف خاصی نیستند. آن‌ها برای ارزیابی و ایندکس کردن تمام صفحات سایت شما به آن ورود کرده‌اند.
نقش کرال دپس در سئو دقیقاً در همین موضوع خلاصه می‌شود. شما برای اینکه سئوی قدرتمندی در سایت خود داشته باشید در کنار همه‌ی ترفندها اعم از محتوای عالی، ظاهر زیبا و ... بایستی شرایط لازم برای ایندکس کردن آن‌ها در گوگل را نیز فراهم آورید.
اشاره کردیم که صفحات سایت با عمق صفحه بیشتر دیرتر ایندکس می‌شوند و عموماً دارای رتبه‌های پایینی در گوگل نیز می‌باشند. از این رو شما باید در استراتژی سئو سایت خود این واقعیت را نیز در نظر بگیرید. برخی از نکات مهم در تدوین استراتژی سئو برحسب حقیقت‌های کرال دپس به شرح زیر است:
- - در درجه‌ی اول این شما هستید که باید عمق صفحات سایت خود را برای خزش راحت‌تر گوگل اولویت‌بندی نمایید.
- - مسلماً لینک دهی به صفحات با ارزش برای کاهش کرال دپس می‌تواند یکی از پارامترهای مهم در استراتژی سئو باشد.
- - بهینه سازی سئو سایت بدون در نظر گرفتن عمق خزیدن معنایی نخواهد داشت.
- - همچنین شما در تدوین معماری سایت خود نیز باید از این پارامتر الهام بگیرید.
- - کرال دپس در واقع می‌تواند مشخص کننده‌ی استراتژی لینک‌های داخلی سایت شما نیز باشد.
گوگل هر چند وقت یک بار کرال دپس را روی سایت انجام می‌دهد؟
این سؤال یکی از سؤال‌های مهم در سئو سایت می‌باشد. پاسخ به این سؤال می‌تواند روند استراتژی سئو و محتوای سایت شما را دست‌خوش تغییراتی کند. در درجه‌ی اول باید بدانید که پاسخ این سؤال برای هر سایت متفاوت است. به این معنی که کرال دپس برای هر سایت بسته به پارامترهای مختلف می‌تواند بازه‌ی زمانی متفاوتی داشته باشد. اما چه پارامترهایی در تعیین این بازه‌ی زمانی تأثیرگذار خواهند بود؟
1- نوع محتوا و کیفیت محتوای سایت؛
2- فاصله‌ی زمانی قرار گرفتن محتواهای جدید در سایت؛
3- تعداد بازدید کاربران از آن؛
4- بک لینک‌های خارجی سایت؛
5- شرایط خاص اعم از اخبار مهم و روزهای پرترافیک کاربران اینترنتی.
مجموعه‌ای از این عوامل است که تعیین میکند گوگل هر چند وقت یک بار عمل کرال دپس را در هر سایتی انجام می‌دهد. از این رو است که این بازه‌ی زمانی برای هر سایتی یکسان نخواهد بود. تأثیر هر یک از این پارامترها نیز روی بازه‌ی زمانی حضور ربات‌های گوگل در سایت شما متفاوت است.
برای مثال شما هر چقدر محتوای با ارزش تری داشته باشید، گوگل سعی میکند سریعتر محتواهای سایت شما را به کاربران نشان دهد. یا اگر در زمان‌هایی خاص به صورت روزانه محتوای جدیدی در سایت قرار می‌دهید، گوگل با تشخیص این روند سعی میکند در بازه‌های زمانی مشخص نسبت به کرال دپس سایت شما اقدام نماید.
همچنین تعداد بک لینک‌های خارجی به سایت شما نیز در این امر تأثیر خواهد داشت. از این گذشته در هر سال روزهایی هستند که ربات‌های گوگل در آن روزها فعالیت بیشتری داشته و ممکن است سایت‌های بیشتری را ایندکس کنند؛ زمان‌هایی مانند برخی اتفاقات سیاسی یا اقتصادی و یا هر روزی که باعث شود تعداد کاربران اینترنت به صورت فزاینده‌ای افزایش یابد.
برای افزایش کرال دپس در سایتمان چه کاری می‌توانیم انجام دهیم؟
اقداماتی هم وجود دارند که با استفاده از آن‌ها می‌توان کرال دپس سایت را بهینه نمود و افزایش داد. برخی از مهم‌ترین این اقدامات به شرح زیر هستند:
1- بهینه سازی عمق صفحه
در قدم اول باید سعی کنیم عمق صفحات سایت را بهینه کنیم. برای این منظور شما باید مسیرهای کوتاه‌تری برای رسیدن به صفحات مختلف سایت خود در نظر بگیرید.
2- استراتژی مشخص بک لینک داخلی سایت داشته باشید.
شما بایستی با داشتن یک استراتژی قدرتمند برای لینک‌های داخلی سایت خود هدایت‌گر خزنده‌های گوگل به سمت صفحات مورد نظر خود باشید.
3- در سیستم مدیریت محتوای سایت خود از برچسب‌ها و متاتگ‌ها برای هدایت خزنده‌ها استفاده کنید.
4- سایت مپ یا نقشه XML سایت خود را حتماً در یک بازه‌ی زمانی مشخص به روز رسانی کنید.
5- افزایش سرعت سایت نیز تأثیر بسزایی روی بهینه سازی و افزایش کرال دپس سایت شما خواهد داشت.
برای اینکه سایت خود را راحت‌تر و بهینه‌تر به ربات‌های گوگل بشناسانید بایستی از کاربردهای کرال دپس اطلاع داشته باشید و از ترفندهای ذکر شده برای بهینه سازی آن در سایت خود نیز استفاده کنید.
.
بودجه خزش مهم است!
بودجه خزش تعداد صفحاتی هستند که در یک بازه زمانی مثلا یک‌ماهه از یک سایت خزش می‌شوند.
بهینه سازی بودجه خزش یکی از مهم‌ترین مفاهیم سئو تکنیکال است و از آنجا اهمیت دارد که خزش برای گوگل هزینه دارد و گوگل دوست ندارد هزینه کند. از اینرو باید کارهایی برای وب‌سایت انجام شود تا بودجه خزش سایت؛ استاندارد شود.
حتما می‌دانید که لینک سازی در سئو خیلی مهم است. بخشی از لینک سازی مربوط به داخل سایت می‌شود که به آن لینک سازی داخلی گفته می‌شود که تاثیری در افزایش بودجه خزش ندارد.
اما لینک‌های ورودی (بک‌لینک) به سایت شما بودجه خزش سایت شما را بیشتر میکند. این موضوع؛ اهمیت بالای بک لینک سازی را نشان می‌دهد که باعث می‌شود لینک‌های زیادی به سایت شما داده شود. البته کیفیت بالای صفحه‌ای که به شما لینک می‌دهد، توانایی شما را در رتبه گرفتن بالا می‌برد.
امیدواریم از این مقاله لذت برده باشید.
شما میتوانید مقالات مرتبط را که موضوعات انها بهم مرتبط هستند را از طریق این لینک ها مطالعه کنید.
برای مطالعه بیشتر کلیک کنید
این مقالعه به موضوع لینک سازی داخلی نیز مرتبط است. اینجا کلیک کنید
نظرتان را درباره این مطلب بنویسید !
ارسال دیدگاه