企億推信息網(wǎng)
        專注網(wǎng)絡(luò)推廣服務(wù)

        robots文件的相關(guān)知識(shí)點(diǎn)您了解多少呢?

        網(wǎng)站優(yōu)化的時(shí)候,優(yōu)化師會(huì)為網(wǎng)站添加上robots文件,robots文件是做什么用的?robots文件是告訴搜索引擎蜘蛛這個(gè)地址是網(wǎng)站地圖,如果我們有網(wǎng)站隱私文件要屏蔽搜索引擎蜘蛛不讓其抓取時(shí),可以在robots.txt中寫上路徑地址,并且我們可以在robots文件中添加Sitemap網(wǎng)址,幫助網(wǎng)站的抓取機(jī)會(huì)。

        robots文件示例:

        User-agent: *

        Disallow: /bin/

        Sitemap: https://www.zhongtao.net/sitemap.xml

        有頁面不想被搜索引擎收錄我們可以是用robots meta標(biāo)簽來解決,robots.txt文件主要是限制整個(gè)站點(diǎn)或者目錄的蜘蛛訪問,而robots meta標(biāo)簽則主要是針對(duì)某個(gè)具體的頁面,此標(biāo)簽放在頁面中,專門用來告訴搜索引擎蜘蛛如何抓取該頁的內(nèi)容。

        我們接下來看看robots meta標(biāo)簽有幾種使用方式:

        1.在content部分robots meta標(biāo)簽有4個(gè)指令選項(xiàng),分別是:index、follow、noindex、nofollow。

        follow 指令表示搜索引擎蜘蛛可以爬行該頁面上的鏈接。

        notollow 指令與 follow指令相反,表示搜索引擎蜘蛛不可以爬行該頁面上的鏈接。

        index 指令告訴搜索引擎蜘蛛可以抓取該頁面。

        noindex 指令與index指令相反,表示搜索引擎蜘蛛不可以抓取該頁面。

        2. robots meta標(biāo)簽中,name="robots"表示所有的搜索引擎,也可以針對(duì)某個(gè)具體的搜索引擎。

        robots文件的相關(guān)知識(shí)點(diǎn)您了解多少呢?(圖1)

        未經(jīng)允許不得轉(zhuǎn)載:啟新網(wǎng)站SEO優(yōu)化 » robots文件的相關(guān)知識(shí)點(diǎn)您了解多少呢?
        分享到: 更多 (0)
        加載中~
        国产精品亚洲av色欲三区| 亚洲AV永久无码精品一百度影院| 最新国产精品视频| 国产精品久久久久久久久| 一区二区三区日韩精品| 国产亚洲精品美女久久久| 久久无码人妻精品一区二区三区| 日韩a视频在线观看| 在线观看国产精品日韩av| 国产精品资源在线观看| 久久久久久国产精品免费免费| 国产精品成人在线| 精品一区二区三区在线成人| 久久99精品久久久久久青青日本| 久久这里只有精品首页| 亚洲精品乱码久久久久久中文字幕 | 日韩一级视频在线观看播放| 精品久久久久久亚洲综合网| 九九精品免费视频| 国产精品久久久久aaaa| 国产成人精品久久免费动漫| 麻豆一区二区三区精品视频| 5555国产在线观看精品| 精品日产卡一卡二卡国色天香| 亚洲精品视频在线播放| 56prom在线精品国产| 亚洲第一精品电影网| 69国产成人综合久久精品91| 99精品在线免费观看| 青青青国产精品一区二区| 四虎国产精品永久免费网址| 亚洲AV无码久久精品蜜桃| 国产成人精品午夜福利| 久久国产精品老人性| 久久99热成人精品国产| 久久永久免费人妻精品下载| 人妻少妇乱子伦精品| 69国产精品视频免费| 国产精品视频一区二区三区| 99久久国产热无码精品免费 | 日韩免费无码视频一区二区三区 |