标签：爬虫

为了继续优化我的公众号绝对影迷的爬虫，今天又继续研究了下优酷视频信息能否从api解析出来，经过一段时间调查终于搞定！至此，所有的绝对影迷的视频信息都从api获取到。 这么做的好处是信息会很精准，就如上次遇到的优酷页面时间展示问题太坑，无法从...

赞(0)guoming00002018-01-20Python 阅读(4169)去评论

昨天发布了口碑最差的50部电影后，有些同学向我点名一些烂片，我想大家对于烂片的记忆可能比佳片的记忆更深刻！经过数据分析发现他们评论人数不到5万。很多烂片实在太烂了，有多少人被恶心后还去打个分呢？我们仔细分析了下豆瓣口碑超级差电影的标签，本着...

赞(0)guoming00002017-10-26公众号 阅读(3500)去评论

口碑最差的50部电影 豆瓣Top250的评论一般都在五万人以上，因此给出的这个排名也是5万人评论以上，分数从低到高，该列表充分反映了绝大多数人的意志。不能像Top250那般，不断有人看过去评论，评论人数一天比一天高。这些口碑差的片子，后面很...

赞(0)guoming00002017-10-25公众号 阅读(5405)去评论

今天是10月24日（程序员节）。经过一周的数据采集，我们终于收集到20W+影视数据。对比对比一年前宇宙苏的文章https://zhuanlan.zhihu.com/p/22561617， 他收集到的8.0+分电影数量是2094部，其中评价人...

赞(0)guoming00002017-10-24公众号 阅读(3966)去评论

有经过了一周的奋斗，使用了各种反爬虫办法，爬取到了很多豆瓣数据，目前继续爬豆瓣电影是否能播放的信息。爬豆瓣不是一件简单的事情，需要经历过多个步骤才能爬取到比较完整的电影信息。目前爬取到了20W条电影、电视剧信息（肯定是不完整的），其中有16...

赞(0)guoming00002017-10-21Python 阅读(4411)去评论

本来想着花半天时间为自己的公众号“绝对影迷”第二版的需求，爬下豆瓣电影数据。在知乎看到不少大神说自己爬豆瓣电影有多快~于是我周六开始坑爹的爬豆瓣电影数据之旅~ 首先，花了一二个小时定义好数据库结构（大写开头大多是自己定义的，非豆瓣数据），写...

赞(0)guoming00002017-10-15Python 阅读(5671)去评论

上上周就开始搞了知乎的爬虫，给关注kinect的人发关注我的公众号的私信，发了一天发现被人举报了，然后号被封了七天。这周我重新申请好几个号码，准备大干一场，没想到每个只要发了200来个私信都被封了。而且新的账号没有说被封七天，是直接显示“账...

赞(0)guoming00002017-09-12Python 阅读(5607)去评论

转了备用，转自 https://www.urlteam.org/2017/02/selenium%E8%AE%BE%E7%BD%AEchrome%E5%92%8Cphantomjs%E7%9A%84%E8%AF%B7%E6%B1%82%E5...

赞(0)guoming00002017-09-02Python 阅读(6403)去评论

貌似上半年业余时间除了做些NUI毕设，主要就是折腾了一下爬虫。在几年前身处国企工作时，我就对http这种web协议很感兴趣，很好奇大家怎么在互联网通信的。如今玩了下爬虫，对于通信有了更多的了解。上周终于搞定了博客园发私信的功能，我对六百个曾...

赞(0)guoming00002017-07-02(网站 , Website) 阅读(3295)去评论