Google ve Yandex Botları Sitemi Aşırı Yavaşlatıyor

Google ve Yandex botları sitemi aşırı bir şekilde yavaşlatıyor çözümü nedir sorusunu biraz önce beni arayan ve kurumsal bir internet sitesi olan kullanıcıdan aldım. Kendisine tüm detayları telefon üzerinden anlattım ancak aynı bu makaleme gelen bütün kullanıcılarında detaylı bir şekilde bilgilenmesini istiyorum. Öncelikle sizlere sorunun ne olduğunu detaylı bir şekilde anlatayım ve daha sonrasında da çözüm yollarını paylaşayım.

Google ve Yandex Botlarının Sitenizi Yavaşlatması

Google ve Yandex botları, sitenizde bulunan içerikleri belirli periyotlar dahilinde indexleyebilmek ve yaşanan değişimleri inceleyebilmek için amacı ile tarama işlemleri gerçekleştirirler. Arama motorlarının amacı kullandığınız sunucuya, ya da hostingin bağlı olduğu sunucunun bant genişliğine fazla yük getirmeden sayfalarınızı taramaktır. Ancak gerek yazılımınızdan kaynaklı gerekse de bu botların aşırı yoğun bir şekilde sitenizi taramaya çalışmasından kaynaklı olarak siteniz yavaşlayabilmektedir. Sitenizde ulaşılamayan sayfaların olması, aşırı şekilde yönlendirmeler gerçekleştirilmesi, sorgu sayılarının fazla olması, on binlerce indexe sahip olmanız bu yavaşlığı tetikleyen sebepler arasında yer almaktadır.

Yazılımsal çözümü bu noktada bir kenara bırakalım. Hepiniz bir an önce bu sorundan kurtulmak istiyorsunuz bunu biliyorum. Bu sebeple hızlı bir şekilde Google ve Yandex botlarının tarama hızları yani istekte bulunma hızlarını değiştirerek siteniz üzerinde oluşan yavaşlığın nasıl çözüme kavuşturulacağını sizlerle paylaşayım. Ama bu yazıyı yazarken hem aklımda olan ancak sonradan hatırladığım noktayı da yazayım.

GOOGLE ve YANDEX iplerini Biliyorum Engelleyeyim mi ?

Sakın böyle bir şey yapmayın:) Genelde sistemcilerinin direk önerisi bu olur. Ancak bu seferde sitenizi taramak için gelen botların önüne geçmiş olursunuz. Unutmayın bu botlar sitenize hangi yazılar, görseller, içerikler, yorumlar ve benzeri alanların eklendiğini ve zamanla hangi değişikliklerin yaşandığını öğrenmek için gelirler. Tabi ardından arama motorlarındaki sıralamanızı belirlerler. Sizler bu botları engellerseniz hem sayfalarınızın sıralaması düşebilir hem de dizinden silinme ihtimali ile karşı karşıya kalabilirsiniz.

Google ve Yandex Botları Tarama Hızlarının Yavaşlatılması

Google ve Yandex sitenizi tararken bazı durumlarda istemeden de olsa sizlere zarar verdiklerini bilmektedirler. Her ne kadar bu tarama işlemleri yani Google botlarının sitenizi ziyaretleri tam optimize bir şekilde yapılsa da sunucunuzun kaynakları binlerce sayfanın hızlı bir şekilde taranmasını kaldıramayacak kapasitede olabilmektedir. Bütün bu sebeplerden dolayı Google ve Yandex tarama hızlarını yavaşlatmanıza manuel bir şekilde izin vermektedir.

GOOGLE Botlarının Tarama Hızı Nasıl Yavaşlatılır

Google botlarının tarama hızını yavaşlatabilmeniz için sitenizin webmaster tools’a kayıtlı olması gerekir. Daha önce webmaster tools hakkında herhangi bir bilgi birikiminiz yok ise ya da hiç deneyimlemediyseniz hemen kısaca ne yapmanız gerektiğini anlatayım. Bir adet gmail hesabı açınız. Ardından Google’a webmaster tools yazarak ilk çıkan sonuca giriş yapınız ve ardından sitenizi webmaster tools hesabınıza ekleyiniz. Sitenize bir kod eklemeniz gerekecektir ya da bir dosya atmanız. Gerekli doğrulama işlemlerini yaptıktan sonra webmaster toolsa sitenizi kayıt etmiş olursunuz. Bu kısmı çok kısa bir sürede geçtim çünkü Google ve Yandex botlarının sitenizi yavaşlatığınızı bilecek kadar tecrübe sahibi iseniz yapılması gerekenin sizler için ne kadar kolay olduğunu tahmin edebiliyor ve zaman kaybı yaşamanızı istemiyorum.

Haydi şimdi hızlı bir şekilde webmaster tools hesabı üzerinden tarama hızı nasıl yavaşlatılır anlatayım. Webmaster Tools hesabınıza giriş yapınız. Ardından eklemiş olduğunuz sitenin içerisine giriş yapınız. Sağ üstte bulunan çark işaretine (ayarlar) tıkladıktan sonra “Site Ayarları” kısmına tıklayınız. Hemen altta tarama hızını göreceksiniz. Bu alanda Google sitemizi optimize etsin (önerilir) alanı işaretlidir. Hemen onun altında bulunan “Google’un maksimum tarama hızını sınırla” alanına tıklayınız. Hemen aşağıda tarama hızını dilediğiniz gibi ayarlayabilmeniz için bir alan gelecektir. İşte bu alandan tarama hızını arttırabilir ve yavaşlatabilirsiniz.

YANDEX Botlarının Tarama Hızı Nasıl Yavaşlatılır

Google’da olduğu gibi Yandex botlarının da sitenizi taramasından kaynaklı aşırı kaynak tüketimi yaşanması ile karşı karşıya kalınabilir. Yandex botlarının tarama hızlarının yavaşlatılabilmesi için ise Crawl-delay dirtektifi kullanılmaktadır. Dilerseniz bu alanı direk olarak Yandex üzerinden sizlerle paylaşayım.

Sunucu aşırı yüklüyse ve indirme isteklerini işlemeye yetişemiyorsa, “Crawl-delay” yönergesini kullanın. Bu yönerge, bir sayfayı indirme işleminin bitmesi ile sonraki sayfayı indirmeye başlama arasında geçmesi gereken en az süreyi (saniye olarak) arama robotuna belirtmeyi sağlar. robots.txt dosyasını işlerken standarda tam olarak uymayan robotlarla uyumluluğu sağlamak amacıyla, “User-Agent” kaydı ile başlayan gruba, “Disallow” (“Allow”) yönergesinden hemen sonra “Crawl-delay” yönergesinin eklenmesi gerekir.

Yandex arama robotu Crawl-Delay için kesirli değerleri (örneğin 0.5) destekler. Böyle bir ayar arama robotunun her yarım saniyede bir sitenize uğramasını garanti etmez, ancak robota daha fazla serbestlik vererek site dolaşımını hızlandırmayı sağlar.

Örnekler:

User-agent: Yandex 
Crawl-delay: 2 # 2 saniyelik zaman aşımı belirtir

User-agent: * 
Disallow: /search 
Crawl-delay: 4.5 # 4.5 saniyelik zaman aşımı belirtir

Kaynak: https://yandex.com.tr/support/webmaster/controlling-robot/robots-txt.xml

Yukarıdaki iki işlemi yaptıktan sonra Google ve Yandex botlarını sitenizi daha yavaş bir şekilde tarayacaklardır. Bunun sonucu olarak sürekli karşılaştığınız site yavaşlamaları, sitenizin kapanma sorunu, aşırı kaynak kullanımının önüne geçebileceksiniz. Bu aralıkta yazılımınız üzerinde bir geliştirme yaparsanız ya da sunucu kaynağınızı arttırırsanız eğer eski ayarlarınıza dönebilirsiniz.

Aklınıza takılan bir soru olursa eğer hemen aşağıda bulunan yorum aracılığı ile bana sorabilirsiniz.