欢迎光临
我们一直在努力

Python

终于成功构造优酷视频信息的请求-小明编程

终于成功构造优酷视频信息的请求

为了继续优化我的公众号绝对影迷的爬虫,今天又继续研究了下优酷视频信息能否从api解析出来,经过一段时间调查终于搞定!至此,所有的绝对影迷的视频信息都从api获取到。 这么做的好处是信息会很精准,就如上次遇到的优酷页面时间展示问题太坑,无法从...

赞(0)guoming0000guoming0000阅读(4078)去评论
一个看电影的公众号:绝对影迷-小明编程

一个看电影的公众号:绝对影迷

Github Issue需求管理页面 绝对影迷公众号运营 历程 从年初了解python,搞网易的python爬虫,后来我买了服务器准备学公众号开发,想了下自己的兴趣,就做了这个有关电影的公众号:绝对影迷。 在公众号里,可以免费在线看2万部电...

赞(0)guoming0000guoming0000阅读(7057)去评论

继续爬豆瓣电影数据

有经过了一周的奋斗,使用了各种反爬虫办法,爬取到了很多豆瓣数据,目前继续爬豆瓣电影是否能播放的信息。爬豆瓣不是一件简单的事情,需要经历过多个步骤才能爬取到比较完整的电影信息。目前爬取到了20W条电影、电视剧信息(肯定是不完整的),其中有16...

赞(0)guoming0000guoming0000阅读(4343)去评论
爬豆瓣电影真不容易,弄了一天还没成功-小明编程

爬豆瓣电影真不容易,弄了一天还没成功

本来想着花半天时间为自己的公众号“绝对影迷”第二版的需求,爬下豆瓣电影数据。在知乎看到不少大神说自己爬豆瓣电影有多快~于是我周六开始坑爹的爬豆瓣电影数据之旅~ 首先,花了一二个小时定义好数据库结构(大写开头大多是自己定义的,非豆瓣数据),写...

赞(0)guoming0000guoming0000阅读(5579)去评论
聊聊进程守护supervior的使用-小明编程

聊聊进程守护supervior的使用

supervisor是一个进程守护程序,之前搞ubuntu开发时我们也搞过类似的东西,但是很简单,不过是自己写的一个脚本,让一个程序死掉后再重新启动下。而这个supervisor可牛逼了,切看我介绍。 如何使用,有一篇文章(http://w...

赞(0)guoming0000guoming0000阅读(6185)去评论

[转载]Python 中如何防止sql注入

最近在搞爬虫顺便学点相关知识,上一次我完全设计数据库还是研究生时,时隔几年用python搞最简单的sqlite数据库出了一堆问题,囧~很多东西还是要自己动手才知道会有多坑,一行一行bug的找~ KBdancer 发表于 2017-02-15...

赞(0)guoming0000guoming0000阅读(4147)去评论

搞了下知乎的爬虫,三个号都被封了

上上周就开始搞了知乎的爬虫,给关注kinect的人发关注我的公众号的私信,发了一天发现被人举报了,然后号被封了七天。这周我重新申请好几个号码,准备大干一场,没想到每个只要发了200来个私信都被封了。而且新的账号没有说被封七天,是直接显示“账...

赞(0)guoming0000guoming0000阅读(5573)去评论