首先產生重復內容的主要原因

1、網址規(guī)范化問題。

網址規(guī)范化問題包括主域名的規(guī)范化和頁面URL地址規(guī)范化兩個方面，主域名的規(guī)范化需要規(guī)范化。另外是內頁URL的規(guī)范化，通常為了讓搜索引擎能夠更好的抓取網站內容，我們會將URL進行偽靜態(tài)處理，而一般的網站偽靜態(tài)之后，原始的動態(tài)URL依然存在并能夠訪問，這樣就造成了多個URL訪問相同網址。

2、內容的其他版本

很多網站除了提供正常的版本之外還提供一些其它的瀏覽版本，比如打印版本或者簡版，卻并沒有禁止搜索引擎去抓取這些頁面，而這些頁面也因此變成了重復內容頁面。

3、網站結構

很多網站在結構設計之初并沒考慮SEO方面的因素，結果是導致造成各種頁面版本，比如產品按價格，評論，時間排序等，特別是一些電子商務網站，這種頁面重復現象尤為嚴重。

4、URL任意加字符還是返回200狀態(tài)碼。

一些網站是因為網站程序和技術的原因，用戶在URL參數后面隨意加上一些字符都能夠正常訪問，并且頁面是和沒加之前的完全重復。

檢查頁面是否有重復版本有一個比較簡單的方法，就是將內容隨機選擇一句話加雙引號后進行搜索，從結果中就可以看到有多少個重復的頁面。因為通常來說隨機選一句話進行搜索完全生命的機率是比較小的。

其次重復內容的危害

很多做SEO的存在一個誤區(qū)，那就是認為如果網站上有重復內容就會被搜索引擎懲罰，其實倒沒有這么嚴重，搜索引擎會在所有的重復頁面中選擇一個認為*佳的版本去參與排名，其它相似的內容不會同時擁有排名。

那么問題也就來了，第一，搜索引擎如何去判斷哪個頁面是*正版的，是否和網站管理員想推薦的頁面一致，如果搜索引擎判斷失誤，把原創(chuàng)的頁面當成了復制內容，復制頁面當成了原創(chuàng)頁面，而你在進行推廣的過程中卻是原版，那就是做了無用功。另外同一個網站內的頁面存在多個復制內容會分散頁面權重，既然頁面在網站上出現了，就必然會有鏈接鏈向這個頁面，而如果鏈接是統(tǒng)一的，那以全部的權重都可以進行集中，同時相同頁面的收錄在一定程度上也占用了搜索引擎蜘蛛的抓取精力，減少了原本真正需要進行抓取頁面的收錄機率。

第三消除復制內容的方法

網址規(guī)范化問題*好的方法是一個頁面只對應一個URL，不要出現多個不同的版本，網站所有鏈接都指向這個URL。當然有些時候因為程度原來或者其它原因，無法完全統(tǒng)一為一個URL，那么我們可以采用以下三種方式進行集中權重。

1、301重定向

301能夠傳遞頁面的權重，目前來說主流搜索引擎都支持301重定向，可以將復制內容的頁面全部通過301**重定向的方式跳轉到原版頁面。

2、robots文件禁止

通過在robots.txt文件中禁止復制內容被搜索引擎抓取，也能有效的解決網址重復問題。

3、canonical標簽

canonical標簽是由谷歌，雅虎在2009年共同發(fā)布的一個新的標簽，目前百度也表示支持canonical標簽，這個標簽也可以用于解決網址重復的問題。

添加了以上標簽后，也就相當于告訴搜索引擎哪個網址是*規(guī)范原創(chuàng)的版本，其它復制內容都是指向這一個*一的網址，有一點頁面301傳遞權重的意思，但是301是頁面直接跳轉了，而加這個標簽后，頁面還是停留在原始地址