「用Robots.txt來和搜尋機器人打交道」的迴響

由：高登

高登 — Thu, 03 Jun 2010 09:09:37 +0000

改好了，謝謝！

仔仔 — Thu, 03 Jun 2010 09:05:06 +0000

所以就你的網站一「家」要善待它，

有錯字呢...@_@...

風痕影 — Mon, 22 Jun 2009 03:45:54 +0000

根據 Google 的官方說法，那些用法確實不在標準裡
不過，剛才也查了 Yahoo! 和 MSN 的文件
結果他們也有支援...看來我好像白擔心了 XD|||

高登 — Sun, 21 Jun 2009 16:19:30 +0000

我們要提交的對象是Google所以請你看一下延伸閱讀裡面Google官方的說法，不要再道聽途說了！
至於有的Bot不遵循Robots.txt裡面的指示那是那些不照規矩來的Bot的問題不是robots.txt的問題，只要那些程式居心不良你再怎麼防都沒有用的！

風痕影 — Sun, 21 Jun 2009 15:01:56 +0000

啊，補充一下，這兩個東西對 Google 的機器人會是有效的
但對其他搜尋引擎就不一定了
這點你附的 Google 文件裡也有說

風痕影 — Sun, 21 Jun 2009 14:57:19 +0000

根據 http://www.robotstxt.org/robotstxt.html 的說法
路徑裡好像不能用萬用匹配符和正規表達式耶...
所以 * 和 $ 應該都是不能用的

cctsai — Tue, 13 Jan 2009 17:34:02 +0000

凡走過...
多少會...
留下痕跡...

高登 — Tue, 13 Jan 2009 06:43:34 +0000

To 阿達：在連結的小歪碎碎唸網站有一些可能原因的說明,應該就是那樣子沒錯

阿達 — Tue, 13 Jan 2009 06:37:46 +0000

不好意思
我還是不太懂

如果第一層有帳號密碼
那google怎麼進的去？？

高登 — Tue, 13 Jan 2009 06:35:03 +0000

這一篇寫太多專業術語了,下次改進!