投稿
  1. 痴痴资讯网首页
  2. 技术学习
  3. 网站建设

WordPress纯代码实现搜索引擎蜘蛛爬行记录

痴痴资讯网 • • 网站建设 • 阅读 397

新站或网站收录有问题时，就会可能需求连续的搜索引擎蜘蛛的抓取环境。网站文章不收录时，第一时间就是要看看网站蜘蛛抓取的日志，但通过访问服务器的方式查看蜘蛛日志有点麻烦，我们可以用代码来实现给WordPress网站添加记录蜘蛛抓取日志的功能!

WordPress纯代码实现搜索引擎蜘蛛爬行记录

1.WordPress将以下代码复制主题functions.php文件中

  1. // 记录蜘蛛访问记录
  2. function get_naps_bot(){
  3. $useragent = strtolower($_SERVER[‘HTTP_USER_AGENT’]);
  4. if (strpos($useragent, ‘googlebot’) !== false){
  5. return ‘Googlebot’;
  6. }
  7. if (strpos($useragent, ‘msnbot’) !== false){
  8. return ‘MSNbot’;
  9. }
  10. if (strpos($useragent, ‘slurp’) !== false){
  11. return ‘Yahoobot’;
  12. }
  13. if (strpos($useragent, ‘baiduspider’) !== false){
  14. return ‘Baiduspider’;
  15. }
  16. if (strpos($useragent, ‘sohu-search’) !== false){
  17. return ‘Sohubot’;
  18. }
  19. if (strpos($useragent, ‘lycos’) !== false){
  20. return ‘Lycos’;
  21. }
  22. if (strpos($useragent, ‘robozilla’) !== false){
  23. return ‘Robozilla’;
  24. }
  25. return false;
  26. }
  27. function nowtime(){
  28. date_default_timezone_set(‘Asia/Shanghai’);
  29. $date=date(“Y-m-d.G:i:s”);
  30. return $date;
  31. }
  32. $searchbot = get_naps_bot();
  33. if ($searchbot) {
  34. $tlc_thispage = addslashes($_SERVER[‘HTTP_USER_AGENT’]);
  35. $url=$_SERVER[‘HTTP_REFERER’];
  36. $file=“robotslogs.txt”;
  37. $time=nowtime();
  38. $data=fopen($file,“a”);
  39. $PR=“$_SERVER[REQUEST_URI]”;
  40. fwrite($data,“Time:$time robot:$searchbot URL:$tlc_thispagen page:$PRrn”);
  41. fclose($data);
  42. }

创建robotslogs.txt文件在网站根目录下创建 robotslogs.txt 文件可写权限，最好是：777或755权限!

在完成上面的步骤之后，查看蜘蛛日志 访问域名+robots.txt即可！https://域名/robots.txt，例:https://www.chichizixun.com/robots.txt.

版权声明：本站部分文章来源或改编自互联网及其他公众平台，主要目的在于分享信息，版权归原作者所有，内容仅供读者参考，如本站内容侵犯了您的权益请联系我们，邮箱：1511977125@qq.com 我们核实后会及时处理，发布内容不代表痴痴资讯网立场，本文标题：WordPress纯代码实现搜索引擎蜘蛛爬行记录本文链接：https://www.chichizixun.com/1744.html

痴痴资讯网痴痴资讯网管理员
0
上一篇 2022年6月14日 am10:13
下一篇 2022年6月14日 pm5:30

相关推荐