<tt id="q85uj"><address id="q85uj"></address></tt>

  1. <tt id="q85uj"><span id="q85uj"></span></tt>
    <i id="q85uj"><address id="q85uj"></address></i>

    <u id="q85uj"></u>

  2. <b id="q85uj"><address id="q85uj"></address></b>
    <ruby id="q85uj"></ruby><acronym id="q85uj"></acronym>
      <tt id="q85uj"><address id="q85uj"></address></tt>
      Menu

      鞍山營銷網站制作:返回robots

      <返回列表

      鞍山營銷網站制作:返回robots

      鞍山營銷網站制作:返回robots.txt文件的含義
        作為一個網站建設和優化公司,有必要返回robots.txt文件,讓我們來看看這個文件的含義。
        
        Robots.txt是一個純文本文件,用于聲明您不希望蜘蛛訪問的站點部分,或指定蜘蛛爬行的部分。不是一項規則,而是一項需要蜘蛛有意識地遵守的習俗的慣例。
        
        當蜘蛛訪問某個站點時,它會首先檢查該站點是否有robots.txt
        
        如果找到,蜘蛛將根據文件的內容確定爬網的范圍。
        
        如果文件不存在,則蜘蛛直接沿著鏈接爬行。

      鞍山營銷網站制作:返回robots


        
        robots.txt的作用
        
        1.防止搜索引擎抓取私人或重要內容
        
        2,節省服務器資源,從而提高服務質量
        
        3.減少重復并提高網站質量
        
        4,指定站點地圖文件的位置
        
        用戶代理: *
        
        對于哪個搜索引擎蜘蛛
        
        這里*表示搜索引擎類型,*是通配符
        
        允許
        
        定義為允許蜘蛛抓取部分或文件
        
        允許:/ 鞍山營銷網站制作 cgi-bin /
        
        這里的定義是允許訪問cgi-bin目錄。
        
        允許:/ * .htm $
        
        $指的是匹配行終止符
        
        *指的是匹配任何字符
        
        不允許
        
        定義為防止蜘蛛爬行部分或文件
        
        禁止:/ admin /
        
        這里的定義是禁止抓取管理目錄。
        
        不允許:/cgi-bin/*.htm
        
        禁止在/ cgi-bin /目錄中對后綴為“.htm”的所有URL進行爬網。
        
        不允許: /**
        
        不要抓鞍山營銷網站制作取網站中包含問號“”的所有網址
        
        
        
        
        Sitemap:網址的全名(包括http://部分)
        
        告訴搜索引擎蜘蛛這個頁面是站點地圖
        
        robots.txt文件主要限制整個站點或目錄的蜘蛛訪問,而robots元標記主要用于特定頁面。
        
        
      最新網站設計資訊
      企業網站建設

      企業網站建設優化一條龍,多年品牌網站設計,營銷網站開發,手機網站制作,響應式網站設計

      聯系我們

      電話:18868949445QQ:1611387063 郵箱:[email protected]

      聯系云軒總監微信

      微信
      夫妻性生生活视频 - 视频 - 在线观看 - 电影影院 - 品赏网