新站首轮工作的核心不是急着把首页提交给搜索引擎,而是先把可抓取、可索引的基础做好,再用搜索引擎提交工具把关键页面告知搜索引擎。顺序错了,提交只会浪费时间和提交额度。
搜索引擎处理一个页面通常经过抓取、索引、排名三个阶段。抓取是蜘蛛发现并下载页面;索引是搜索引擎判断页面内容是否值得存入数据库;排名是用户搜索时决定页面展示位置。
搜索引擎提交主要作用于抓取和发现环节,不能保证索引,更不能保证排名。新站首轮要做的,是让搜索引擎有机会抓到正确页面,并让这些页面具备被索引的基本条件。
时间和人手有限时,按下面的顺序推进,前一步没完成,不要跳到后一步。
Disallow: / 挡住整站,也没有挡住首轮要提交的栏目。noindex,如果存在,该页面不会被索引,提交也没有意义。这个顺序的代价是前期检查花时间,但能避免提交一批根本不会被处理的页面。如果跳过检查直接提交,常见结果是提交成功但迟迟不收录,回头排查更费时间。
搜索引擎提交一般有两种方式:逐个 URL 提交和提交站点地图。新站首轮建议两者结合,但以站点地图为主。
提交后不要期待立刻收录。可以隔几天在站长工具里查看抓取和索引状态,确认是否有页面被抓取、是否有抓取异常。
提交不是终点,首轮工作还要留出检查环节。
如果发现页面被抓取但未索引,先检查内容质量和重复度,而不是继续重复提交。抓取和索引是不同环节,提交解决不了内容层面的问题。
如果站点已经有稳定抓取记录,只是新增了几个页面,可以省略全站 robots.txt 复查,直接检查新页面状态并提交。如果是全新域名、首次上线,建议完整走一遍上面的顺序。
判断标准很简单:搜索引擎是否已经知道这个站点的存在。完全不知道时,先保证可抓取,再提交;已经知道时,重点放在新页面的状态检查和提交上。
下一步:整理出首轮要提交的 URL 清单,逐条确认可访问、未被 robots.txt 或 noindex 挡住,再生成站点地图并提交。