荔枝视频直播大片免费软件
Menu

鞍山營銷網站製作:返回robots

<返回列表

鞍山營銷網站製作:返回robots

鞍山營銷網站製作:返回robots.txt文件的含義
  作為一個網站建設和優化公司,有必要返回robots.txt文件,讓荔枝视频成人版來看看這個文件的含義。
  
  Robots.txt是一個純文本文件,用於聲明您不希望蜘蛛訪問的站點部分,或指定蜘蛛爬行的部分。不是一項規則,而是一項需要蜘蛛有意識地遵守的習俗的慣例。
  
  當蜘蛛訪問某個站點時,它會首先檢查該站點是否有robots.txt
  
  如果找到,蜘蛛將根據文件的內容確定爬網的範圍。
  
  如果文件不存在,則蜘蛛直接沿著鏈接爬行。

鞍山營銷網站製作:返回robots


  
  robots.txt的作用
  
  1.防止搜索引擎抓取私人或重要內容
  
  2,節省服務器資源,從而提高服務質量
  
  3.減少重複並提高網站質量
  
  4,指定站點地圖文件的位置
  
  用戶代理: *
  
  對於哪個搜索引擎蜘蛛
  
  這裏*表示搜索引擎類型,*是通配符
  
  允許
  
  定義為允許蜘蛛抓取部分或文件
  
  允許:/ 鞍山營銷網站製作 cgi-bin /
  
  這裏的定義是允許訪問cgi-bin目錄。
  
  允許:/ * .htm $
  
  $指的是匹配行終止符
  
  *指的是匹配任何字符
  
  不允許
  
  定義為防止蜘蛛爬行部分或文件
  
  禁止:/ admin /
  
  這裏的定義是禁止抓取管理目錄。
  
  不允許:/cgi-bin/*.htm
  
  禁止在/ cgi-bin /目錄中對後綴為“.htm”的所有URL進行爬網。
  
  不允許: /**
  
  不要抓鞍山營銷網站製作取網站中包含問號“”的所有網址
  
  
  
  
  Sitemap:網址的全名(包括http://部分)
  
  告訴搜索引擎蜘蛛這個頁麵是站點地圖
  
  robots.txt文件主要限製整個站點或目錄的蜘蛛訪問,而robots元標記主要用於特定頁麵。
  
  
最新網站設計資訊
企業網站建設

企業網站建設優化一條龍,多年品牌網站設計,營銷網站開發,手機網站製作,響應式網站設計

聯係荔枝视频成人版

電話:15557455058QQ:1611387063 郵箱:[email protected]

聯係荔枝视频app黄旧版本總監微信

微信

Copyright © 2010-2020 荔枝视频最受男士欢迎的网站建站版權所有

網站建設企業網站建設網站建設公司網站製作公司網站開發公司 站點地圖