콘텐츠
Google, Yahoo 및 Bing과 같은 인터넷 검색자는 다른 웹 사이트에 대한 링크 및 사이트 맵을 사용하여 정보를 찾습니다. 이러한 검색 엔진은 가장 모호한 정보를 찾아 색인에 포함시킬 수 있으며 이러한 유형의 검색 기술은 사용자에게 장단점이 있습니다.
내부 네트워크 페이지
내부 네트워크 페이지는 사용자가 볼 수 있도록 많은 클릭이 필요한 웹 사이트의 페이지입니다. 이 페이지는 검색 엔진이 정상적으로 추적 할 수없는 제품, 콘텐츠 또는 검색 데이터베이스 일 수 있습니다. 검색 엔진 크롤링을 방지하는 이러한 유형의 기술의 장점은 웹 사이트 소유자가 검색 엔진 색인에 포함 된 제품, 구매, 정보 및 기타 중요한 링크를 가질 수 있다는 것입니다. 이렇게하면 인터넷에서 웹 사이트 소유자에게 더 많은 가시성을 제공합니다.
개인 정보
크롤링하는 검색 엔진의 단점은 개인 정보가 개인 정보에 관계없이 색인되는 것입니다. 보안 번호, 재무 데이터 또는 지리적 위치와 같은 정보는 개인 웹 사이트에 게시 된 경우에도 색인을 생성 할 수 있습니다. 검색자는 사용자에게 "robots.txt"라는 파일을 사용하여 일부 색인 정보를 차단할 수있는 기능을 제공했습니다. 예를 들어 Google과 같은 검색 엔진을 사용하면 사이트 소유자가 불쾌한 정보를 제거한 후 색인에서 삭제 된 URL을 제거 할 수 있습니다.
자동화
웹 사이트 소유자는 다른 웹 사이트 또는 자신의 사이트에 일부 링크를 남겨 두어 색인을 생성 할 수 있습니다. 이 관행을 "백 링크"라고합니다. 이 기능을 사용하는 웹 사이트는 검색 엔진에 의해 자동으로 추적되며, 검색 엔진은 웹 사이트를 매핑하고 색인을 생성 할 수 있습니다. 이것은 그들이 검색 엔진에 도메인 이름을 제출할 필요가 없으므로 웹 사이트 소유자의 상황을 편하게합니다. 색인 자동화를 사용하면 인터넷 독자가 쉽게 검색 할 수 있습니다.
