网站的不被收录的原因：
1.有没有robots禁止，禁止的话，蜘蛛就不会抓取了
2.就是权限的问题，有的网站需要高权限才能抓取
3.还有就是网站被黑，打不开了
4.网站空间不稳定，网站速度太慢，也会抓取不了
5.还有就是网站动态太多，也会影响抓取
6.网站路径层次太深，一般不要超过5层，一般链接抓取字节是255个。
怎么判断网站有没有蜘蛛来抓取：
1.去服务器日志来查看
2.通过搜素引擎站长平台来查看，就是看抓取频次。
蜘蛛能够识别的内容：
1.能够直接识别有文字和链接
2.能够简介识别的是图片和视频，所以图片最 好做ALT说明，视频也做些相关文字介绍或者相关推荐
3.不能够识别的有JS等文件，所以懂前段技术的，可以简化JS，或者合并一些JS，尽量减少JS的文件。
