必应搜索首页的每日图片都很赞
伱对这个回答的评价是
如题,基于java做有没有好的方法,还是说我┅个一个的去搜然后合并展示??
每次请求一个爬虫后台拼数据,返回前台展示
做好高频查询词的统计,把高频词的结果存入数據库再次查到这个词的时候到数据库拿
目前就按照这个思路去做了,请问下效率上面是否有要注意的呢~~~~~因为我要去爬 百度、谷歌、必应、360、搜狗这五个搜索引擎的数据,效率上面是否会慢呢~~~
本版专家分:68004
可以爬吗这些 大网站没做限制?
不晓得啊。。问题肯定会有的,1000个用户查询你们服务器端就要发送5000个请求這个时间应该挺长,处理完之前这些线程都会存在内存中。
可以爬吗?这些 大网站没做限制
可以爬的,实在不行就去研究下Lucene这个貌似蛮成熟的~~~
已经解决了,现在是通过模拟各大搜索引擎的请求直接用几个iframe直接展示这几个页面就行了~~~
版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。