延陵小明

2017-10-26小明阅读(322)评论(0)

昨天发布了口碑最差的50部电影后，有些同学向我点名一些烂片，我想大家对于烂片的记忆可能比佳片的记忆更深刻！经过数据分析发现他们评论人数不到5万。很多烂片实在太烂了，有多少人被恶心后还去打个分呢？我们仔细分析了下豆瓣口碑超级差电影的标签，本着...

2017-10-25小明阅读(285)评论(0)

口碑最差的50部电影 豆瓣Top250的评论一般都在五万人以上，因此给出的这个排名也是5万人评论以上，分数从低到高，该列表充分反映了绝大多数人的意志。不能像Top250那般，不断有人看过去评论，评论人数一天比一天高。这些口碑差的片子，后面很...

2017-10-24小明阅读(303)评论(0)

今天是10月24日（程序员节）。经过一周的数据采集，我们终于收集到20W+影视数据。对比对比一年前宇宙苏的文章https://zhuanlan.zhihu.com/p/22561617， 他收集到的8.0+分电影数量是2094部，其中评价人...

2017-10-21小明阅读(366)评论(0)

有经过了一周的奋斗，使用了各种反爬虫办法，爬取到了很多豆瓣数据，目前继续爬豆瓣电影是否能播放的信息。爬豆瓣不是一件简单的事情，需要经历过多个步骤才能爬取到比较完整的电影信息。目前爬取到了20W条电影、电视剧信息（肯定是不完整的），其中有16...

2017-10-15小明阅读(438)评论(0)

本来想着花半天时间为自己的公众号“绝对影迷”第二版的需求，爬下豆瓣电影数据。在知乎看到不少大神说自己爬豆瓣电影有多快~于是我周六开始坑爹的爬豆瓣电影数据之旅~ 首先，花了一二个小时定义好数据库结构（大写开头大多是自己定义的，非豆瓣数据），写...

2017-09-25小明阅读(355)评论(0)

supervisor是一个进程守护程序，之前搞ubuntu开发时我们也搞过类似的东西，但是很简单，不过是自己写的一个脚本，让一个程序死掉后再重新启动下。而这个supervisor可牛逼了，切看我介绍。 如何使用，有一篇文章（http://w...

2017-09-21小明阅读(397)评论(0)

最近在搞爬虫顺便学点相关知识，上一次我完全设计数据库还是研究生时，时隔几年用python搞最简单的sqlite数据库出了一堆问题，囧~很多东西还是要自己动手才知道会有多坑，一行一行bug的找~ KBdancer 发表于 2017-02-15...

2017-09-12小明阅读(528)评论(0)

上上周就开始搞了知乎的爬虫，给关注kinect的人发关注我的公众号的私信，发了一天发现被人举报了，然后号被封了七天。这周我重新申请好几个号码，准备大干一场，没想到每个只要发了200来个私信都被封了。而且新的账号没有说被封七天，是直接显示“账...

2017-09-07小明阅读(328)评论(0)

最近在学java/安卓，转来学习学习，不少地方C++语言也是可以借鉴的，同样能优化速度~ 前言 代码优化，一个很重要的课题。可能有些人觉得没用，一些细小的地方有什么好修改的，改与不改对于代码的运行效率有什么影响呢？这个问题我是这么考虑的，就...

2017-09-07小明阅读(483)评论(0)

http://news.mydrivers.com/1/547/547475.htm 没错，这也意味着phantomjs等将渐渐消失了，终于可以用上了无头的chrome，对爬虫来说是一大好事！ 近日，全平台Chrome浏览器正式版迎来更新，...