[ 검색엔진 최적화 ] 특정 페이지만 색인 방지하는 코드 활용 방법과 중요성

특정 페이지만 색인 방지하는 중요성과 활용 방법

검색엔진 색인은 웹사이트의 내용을 검색엔진이 서버에 관련 정보를 저장하여, 사용자가 검색 시 관련된 정보를 빠르게 제공할 수 있도록 합니다. 그런데 왜 선별적 색인을 해야 할까요? 색인된 페이지는 검색 순위에 따라 노출되며, 그 노출로 검색할 수 있지만, 모든 웹페이지가 반드시 색인되어야 하는 것은 아닙니다.

검색엔진의 선별적 색인의 중요성

오히려 사이트의 운영자는 특정 페이지나 콘텐츠를 검색엔진의 색인에서 제외하거나 색인이 되지 않도록 설정하는 것이 더 중요한 작업이 될 수도 있습니다. 특정 조건에서의 선별적 색인 또는 색인 방지는 웹사이트의 SEO에서 색인이 되는 것보다 더 중요할 수 있으며, 사이트를 최적화할 수 있는 방법 중 하나입니다.

특정 조건에서 색인이 되도록 하는 이유

선별적 색인의 이유는 중복 콘텐츠와 이중 URL, 비슷한 콘텐츠로 발생하는 저품질을 예방하는 방법이기 때문입니다.

1. 중복된 페이지나 관리용 페이지, 로그인 페이지, 개인정보 보호 정책 페이지 등은 검색엔진의 색인에서 제외하는 것이 좋습니다. 이러한 페이지는 검색 결과에 노출될 필요가 없으며, 다른 중요한 페이지들이 색인될 수 있는 자리를 차지하지 않도록 해야 합니다.
2. 특정 페이지나 콘텐츠가 검색엔진에 노출되기를 원치 않는 경우, 반대로 중요한 페이지는 색인되도록 설정하여 검색결과에 노출되도록 합니다.
3. 검색엔진 크롤러가 해당 페이지를 반복적으로 크롤링하는 데 많은 자원을 소모합니다. 이는 웹사이트의 서버에 불필요한 부하를 줄 수 있으며, 서버 비용을 증가시키는 원인이 될 수 있습니다.
4. 사용자에게 도움이 되지 않는 페이지나 텍스트, 광고 콘텐츠 등이 검색결과에 나타나지 않도록 제어함으로써, 사이트의 품질을 높이고 사용자 경험을 개선할 수 있습니다.

검색엔진 색인 방법

색인 코드

검색엔진 색인 제어는 주로 메타 태그(Meta Tag)를 사용하여 이루어집니다.

그 중 가장 많이 사용되는 태그는 robots meta tag입니다. 이 태그는 검색엔진에게 해당 페이지를 색인할지(index) 또는 색인하지 않을지(noindex)와 해당 페이지의 링크를 따라갈지(follow) 아니면 따르지 않을지(nofollow)를 지정할 수 있습니다.

예시 코드

1. 색인하지 않도록 설정 (Noindex, Nofollow) 검색엔진이 해당 페이지를 색인하지 않도록 하고, 링크도 따라가지 않게 하는 설정입니다.
   • noindex: 검색엔진이 해당 페이지를 색인하지 않도록 합니다.
   • nofollow: 페이지 내 링크를 따라가지 않도록 합니다.

<meta name="robots" content="noindex, follow">

• 색인하고 링크를 따라가도록 설정 (Index, Follow) 기본적으로 검색엔진은 모든 페이지를 색인하고, 링크를 따라가도록 설정되어 있지만, 명시적으로 설정할 수도 있습니다.

<meta name="robots" content="index, follow">

• 색인하지 않고 링크는 따라가도록 설정 (Noindex, Follow) 페이지 자체는 색인하지 않지만, 해당 페이지 내의 링크는 크롤링하고 색인할 수 있도록 합니다.

<meta name="robots" content="noindex, follow">

선별적, 부분적 색인 자동화 방법

검색엔진 최적화(SEO)에서 특정 페이지나 경로를 색인하지 않도록 설정하는 방법은 중요합니다. 하지만 모든 페이지에 대해 색인 방지 설정을 적용하는 것은 바람직하지 않을 수 있습니다.

예를 들어,

특정 페이지나 URL에만 색인 방지를 설정하고 싶은 경우에는 선별적 색인 방지 방법을 사용해야 합니다. 일반적으로 헤드 태그에 메타 태그를 직접 적용하는 방법은 모든 페이지에 동일한 설정이 적용되기 때문에, 특별한 이유가 없으면 사용하지 않는 것이 좋습니다.

대신, 특정 조건에서만 색인 방지를 설정하는 방법을 사용하면 더욱 효율적으로 SEO를 관리할 수 있습니다.

특정 조건에서만 색인하지 않도록 하는 코드

다음은 특정 조건, 예를 들어 https://everydayhub.tistory.com로 시작하는 URL에서만 색인 방지를 적용하는 자동화된 코드입니다. 이 방법을 사용하면, 페이지의 URL이 특정 조건을 만족할 때만 noindex 메타 태그를 동적으로 삽입하여 색인 방지 기능을 적용할 수 있습니다.

noindex 태그로 인해 색인이 불가능한 페이지

코드 예시

특정 조건에서만 색인을 하지 않게 하는 예시 코드 입니다.

<script>
document.addEventListener('DOMContentLoaded', () => {
    if (window.location.href.startsWith('https://everydayhub.tistory.com')) {
        const metaTag = document.createElement('meta');
        metaTag.name = 'robots';
        metaTag.content = 'noindex, follow';
        document.head.appendChild(metaTag);
    }
});
</script>