建立索引列表提高搜索能力
建立一个具有良好搜索能力的网站*大的问题是如何让搜索索引知道哪些页面该列入搜索范围。通常，搜索引擎会首先定位在网站的首页，然后根据网页中的链接遍历整个网站的页面。这对于那些使用AHREF标签作为链接标志的网站来说确实有效，但是如今很多网站都采用了基于JavaScript的链接形式。由此引发的问题是，搜索引擎找不到页面中的链接，因此无法遍历整个网站的页面，造成搜索列表只能找到位于首页的几个标准形式的链接。
这种情况的解决方法很简单，就是在网站中建立一个页面，它包含所有你希望可以被搜索到的页面链接。如果这是一个电子商务网站，那么这个页面可能包含网站内所有产品页面的链接，如果是一个社区，那么这个页面可以包含所有讨论页面的链接。编写这样的页面也不需要什么特殊的脚本语言，完全是纯HTML页面，其中的内容基本上全部是用来表示链接的AHREF标签。它的作用只有一个，就是让搜索引擎快速找到网站内所有希望被搜索到的页面。
有时候当网站本身没有站点索引时，这个技术可以起到站点索引的效果。另外，通过服务器的文件系统或者通过IIS虚拟目录，你也可以创建一个类似的列表文件，这样的列表有可能包含站点下的所有文件。因此它可能会令搜索引擎搜索到站点下一些很久以前的孤立页面或文件。
不论如何，这样的一个搜索索引(searchcrawler)启始页应该具有METAROBOT标签，并告诉搜索引擎追踪该页内的所有链接但并不将该页面列入搜索结果。上面我们提到，这样的页面应该写成NOINDEX,FOLLOW，这样搜索引擎才可以按我们希望的方式遍历整个网站。
对于一些搜索引擎，尤其是内部网站的搜索引擎，可以直接将站点索引列表指定给搜索引擎。但是更多情况下，我们无法为搜索引擎指定页面索引。在这种情况下，只需要在首页建立一个标准链接，指向这个索引页就可以了。由于我们希望的是搜索引擎可以跟随这个索引中的链接进行搜索，因此没必要为首页上的这个链接添加任何可显示的文字内容。比如将下面这样的语句添加在首页即可：
消除页面中的干扰
在保证搜索引擎可以检索到全部页面后，我们要做的就是精简搜索结果，让用户获得最有价值的信息。*一步就是消除页面中会分散搜索引擎注意力的项目。举个例子来说，导航菜单对于搜索引擎来说基本没有用处，因为它们会出现在每个页面中，并且包含的内容完全相同。另一方面，客户可能并不能很精确的给出所要查询内容的关键词，而是仅仅给出一个模糊的词，这个词可能出现在网站的导航菜单里，也给搜索定位带来了麻烦。
不过要解决这些问题也不是没有办法。当搜索引擎访问一个网站时，它首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件，robot包含一个User-Agent(用户代理)字符串行，用于限定搜索引擎对其网站的访问范围，即告诉搜索引擎网站中哪些文件是允许它进行检索的。因此当搜索引擎发来请求时，则可以屏蔽掉页面中的菜单以及广告等与网页内容无关的信息。
通过这种机制，搜索引擎搜索到的内容都是与用户的需求紧密联系的，不会检索到与核心内容无关的信息，也不会将导航菜单中的关键字也列出在搜索结果中。
为页面添加正确标题
要优化搜索引擎的性能，还需要注意为页面添加正确的标题。大部分搜索引擎会在搜索结果中列出页面标题。同样，在META标签中使用KEYWORDS参数也可以在搜索结果中提高相应关键字的排名。
