請問各位高手大大
假設我的網站有兩個網址
domain.com
sub.domain.com
請問我該如何防止搜尋引擎收錄sub這個子網域
有研究過robots.txt不過好像沒辦法做到？

johnnyman5888 wrote:
請問各位高手大大假設...(恕刪)

判斷User Agent String，建白名單或黑名單做比對

johnnyman5888 wrote:
請問各位高手大大假設...(恕刪)

你的sub domain 一定會有一個目錄
你在sub domain的目錄新增一個reboot.txt
直接 disallow 整個 sub.domail.com 不讓搜尋引擎蒐錄就好...

希望能夠幫上你

davechun wrote:
你的sub doma...(恕刪)

有些比較流氓的搜尋引擎不會去管robots.txt

eavictor wrote:
判斷User Agent String，建白名單或黑名單做比對

感謝回覆，不過看不太懂
可以請大大舉例嗎

davechun wrote:
你的sub domain 一定會有一個目錄

不是呢，我的兩個網址都是指向同一個網站
只是有無www的區別而已
http://domain.com
http://www.domain.com
我是希望搜尋引擎只收錄http://domain.com這個網址
但是google會自動把http://www.domain.com收錄進去

你的情況比較適合 "301 網址永久轉向"

johnnyman5888 wrote:
不是呢，我的兩個網址...(恕刪)

哎呀呀~ 你情況要說明清楚阿!!
我以為是不同網站呢!!
domain name 在瀏覽器裡預設 www.domain.com 跟 domain.com是一樣的解析
所以你只要在你http server裡面設定主機名域即可

要禁止搜尋引擎索引網頁內容
你可以使用robots.txt的方式
但並不是所有搜尋引擎都會照著robots.txt 檔案中的指示去做!
且若有其他網站連結至你的網站，
搜尋引擎還是有可能因此而收錄..

妳可以透過其他方式禁止，
例如透過受密碼保護的伺服器目錄來封鎖網址..
或是使用中繼標記(noindex)封鎖搜尋索引服務。

若還有相關問題未解決
可尋求seo行銷顧問協助!!

1. 防君子的方法 robot.txt， 大部分知名的搜索引擎都遵守這個協議
2. 不遵守這個協議的就在服務器端把userAgent是 ***Spider的請求都禁止

3. 如果還不滿意那就弄一些反爬蟲的辦法，把非瀏覽器發來的請求都禁止

johnnyman5888 wrote:
請問各位高手大大假...(恕刪)

以下內文出自: https://www.mobile01.com/topicdetail.php?f=506&t=4829806