3人赞同了该回答
              
                你可以在 robots 添加一条记录禁止搜索爬虫抓取,但是他们会不会遵守呢?你懂得,这段时间360和百度炒翻天就是这个东东闹的
  要不然你自家识别搜索爬虫的ip,然后进行301跳转,不让他们访问
              发布于2023-05-06
             
     
     大佬聚会
            大佬聚会
            
           关注问题
                关注问题
               3
                3
               0条评论
                0条评论
               1
                1
               0条评论
                0条评论