網(wǎng)站正式發(fā)布后， 需要通過合理的方式盡快告知搜索引擎，引導(dǎo)蜘蛛爬行目標推廣頁面，重要的兩步如下。
第一步：建立Sitemap文件，將目標推廣的URL列表推送給搜索引擎。

        第二步：設(shè)立Robots文件，將不允許蜘蛛爬行的頁面在Robots里面定義清楚，然后把該文件上傳到網(wǎng)站根目錄下。

        在Robots和Sitemap文件中，如何精細化地做好鏈接定義和說明，并有效告知搜索引擎，對SEO的效果影響較大，因為這些都切切實實影響到蜘蛛是否知曉鏈接存在和能否有效爬行網(wǎng)站。

        在告知途徑上，主要有幾種方式。

        ●    通過Robots告 知搜索引擎可以爬行的路徑和禁止爬行的路徑。

        ●    通過直接提交網(wǎng)站首頁URL引導(dǎo)搜索引擎到達首頁，然后自行爬行內(nèi)鏈，完成對網(wǎng)站的抓取，這種方式比較簡單，但不是為理想的方式

  ●    通過直接提交網(wǎng)站Sitemap的方式引導(dǎo)搜索引擎過來爬行頁面。  Sitemap即站點地圖，扁平化告知搜索引擎網(wǎng)站的結(jié)構(gòu)和頁面地址，可以引導(dǎo)蜘蛛快速爬行到很多頁面。如果更精細化，可以設(shè)置頁面的權(quán)重和更新頻率等信息，幫助蜘蛛更有針對性地爬行網(wǎng)站