为什么网站内容无法被搜索引擎抓取？

  1、HTTPS安全实施
  如果你最近跳转到HTTPS时，可能没有机会审核或以其他方式出现了识别安全证书的安装问题，进行表面审核时可以帮助你确定是什么在影响HTTPS的转换。
  如果你最初购买SSL证书的时候没有考虑到网站稍后用于什么，那么可能会出现分歧。需要记住的一件事是，你在购买证书时必须非常谨慎，确保它涵盖了你想要的所有子域。
  如果不这样做，可能会导致一些问题，比如无法重定向URL。
  如果你没有获得完整的通配符证书，并且在子域上有URL参数（使用绝对URL），你的证书也没有覆盖这些URL，那么你无法将这些URL重定向到http://。
  这就是为什么在购买SSL证书时要注意你的选项的原因，因为它可能会对你的站点产生负面影响。
  2、错误的重定向或过多的重定向会导致网站性能下降
  如果不密切关注正在创建的重定向，也很容易创建冲突的重定向。
  此外，还很容易让重定向失去控制，导致每个网站URL有数十个或更多重定向，进而导致网站性能下降。
  解决此问题的简单方法是：确保你的重定向都是以1:1的比例创建的。
   3、HTTPS和 HTTP URLs上的内容不应该同时加载
  正确的做法是：其中一个重定向到另一个，而不是两者都重定向。如果同时加载两个，那么站点的版本安全就会出现问题。如果你在浏览器中输入网站的URL，请分别测试http://和http://。
  如果两个URL都加载，则会显示两个版本的内容，重复的URL可能导致重复的内容。
  为了确保不会再次遇到此问题，你需要执行以下操作之一，具体取决于站点的平台：
  在HTACCESS中创建完整的重定向模式（在Apache/CPanel服务器上）；
  使用WordPress中的重定向插件强制从 http://重定向。
  4、如何在Apache/Cpanel服务器的htaccess中创建重定向
  你可以在Apache/CPanel服务器的.htaccess中执行服务器级别的全局重定向。Inmotionhosting有一个很好的教程，教你如何在自己的web主机上强制重定向。
  如果强制所有web流量使用HTTPS，你需要用到以下代码。
  确保将此代码添加到具有类似前缀的代码之上（RewriteEngine On、RewriteCond等）。
  RewriteEngine On
  RewriteCond %{HTTPS} !on
  RewriteCond %{REQUEST_URI} !^/[0-9]+\..+\.cpaneldcv$
  RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\ Comodo\ DCV)?$
  RewriteRule (.*) http://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
  如果你只想重定向一个指定的域，你需要在你的htaccess文件中使用以下代码行：
  RewriteCond %{REQUEST_URI} !^/[0-9]+\..+\.cpaneldcv$
  RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\ Comodo\ DCV)?$
  RewriteEngine On
  RewriteCond %{HTTP_HOST} ^example\.com [NC]
  RewriteCond %{SERVER_PORT} 80
  RewriteRule ^(.*)$ http://www.example.com/$1 [R=301,L]
  注意事项：如果你对自己在服务器进行正确更改没有信心，请确保你的服务器公司或IT人员来执行这些修复。
   5、如果你正在运行WordPress网站，请使用插件
  修复这些重定向问题简单的方法就是使用插件，尤其是在运行WordPress网站时。
  许多插件可以强制 http://到 http://重定向，但这里有一些插件可以使这个过程尽可能轻松：CM HTTPS Pro、WP Force SSL、Easy HTTPS Redirection。
  关于插件的注意事项：如果你已经使用了太多的插件，请不要再添加。
  你可能需要调查你的服务器是否可以使用上述类似的重定向规则（例如，如果你使用的是基于NGINX的服务器）。
  这里需要声明：插件的权重会对网站速度产生负面影响，所以不要总是认为新的插件会对你有所帮助。