Google’da içeriklerinizin taranmaması ve SERP sonuçlarına dahil edilmemesi için kullanabileceğiniz 2 farklı yöntem var. Birisi robots.txt, diğeriyse noindex etiketidir.

Robots.txt ile noindex etiketi arasında büyük bir fark bulunur ve ne zaman kullanılması gerektiği oldukça önemli durumdadır. Eğer bir sayfanın taranmasını fakat SERP üzerinde gözükmemesi istiyorsanız noindex etiketini kullanmalısınız. Fakat bir sayfanın hiç taranmaması ve SERP’e dahil olmamasını istiyorsanız robots.txt dosyasını kullanmalısınız.

Robots.txt ve Noindex

Robots.txt dosyası veya noindex, ikisi de arama motorlarına yardımcı olabilecek olan 2 farklı uygulamadır. Her 2 yöntemde 1 internet sitesinin nasıl çalışabileceğine dair yönergeleri arama motorlarına iletir. Fakat ikisinin birbirinden farklı kullanım amacı vardır ve birbirleriyle karıştırılmamalıdır.

Noindex Ne Zaman Kullanılmalıdır?

Noindex etiketini herhangi bir sayfaya dahil ettiğinizde arama motorları o sayfayı tarar fakat SERP’e dahil etmez. Noindex etiketini, HTML sayfasının robots meta etiketi bölümüne yerleştirerek kullanabilirsiniz.

HTML sayfanızın robots meta etiketi kısımlarına dahil ettiğiniz noindex etiketi, sayfanın robotlar tarafından görüntülenebilmesini fakat arama motorlarına dahil edilmemesini sağlayacaktır.

Robots.txt Ne Zaman Kullanılmalıdır?

Robots.txt dosyası, internet sitesi içerisindeki URL’lerin erişimine engel olur. ‘’Disallow’’ ile birlikte çalışır ve URL’e giriş yapmak isteyen arama motoru botuna izin vermez. Bu sayede bot, içeriği tarayamaz ve dizine dahil edemez.

Herhangi bir sayfanın botlar tarafından işlenmesine, taranabilmesine ve dizine dahil edilmesine engel olmak robots.txt dosyasındaki ‘’disallow’’ bölümünden yararlanmalısınız.

Genellikle Yapılan Hata Nedir?

Çoğu internet sitesi sahibi, aynı sayfa için hem ‘’noindex’’ etiketi hem de robots.txt üzerinde ‘’disallow’’ kullanır. Bu durum, arama motoru botlarınca sorunlara yol açabilir.