Python

https://segmentfault.com/a/1190000006111096 mac也能这样，我的配置 [global] index-url=http://mirrors.aliyun.com/pypi/simple/ [inst...

赞(0)guoming00002019-05-14阅读(7575)评论(1)

使用pyinstaller遇到的问题 库找不到，使用–hidden-import解决，有多少就要添加多少，这里很坑 __file__不对，建议修改成绝对路径。官网有提供方法，可以获取执行的路径，也行。 supervisor启动二...

赞(0)guoming00002018-05-25阅读(3803)去评论

为了继续优化我的公众号绝对影迷的爬虫，今天又继续研究了下优酷视频信息能否从api解析出来，经过一段时间调查终于搞定！至此，所有的绝对影迷的视频信息都从api获取到。 这么做的好处是信息会很精准，就如上次遇到的优酷页面时间展示问题太坑，无法从...

赞(0)guoming00002018-01-20阅读(4150)去评论

Github Issue需求管理页面 绝对影迷公众号运营 历程 从年初了解python，搞网易的python爬虫，后来我买了服务器准备学公众号开发，想了下自己的兴趣，就做了这个有关电影的公众号：绝对影迷。 在公众号里，可以免费在线看2万部电...

赞(0)guoming00002017-11-21阅读(7115)去评论

有经过了一周的奋斗，使用了各种反爬虫办法，爬取到了很多豆瓣数据，目前继续爬豆瓣电影是否能播放的信息。爬豆瓣不是一件简单的事情，需要经历过多个步骤才能爬取到比较完整的电影信息。目前爬取到了20W条电影、电视剧信息（肯定是不完整的），其中有16...

赞(0)guoming00002017-10-21阅读(4392)去评论

本来想着花半天时间为自己的公众号“绝对影迷”第二版的需求，爬下豆瓣电影数据。在知乎看到不少大神说自己爬豆瓣电影有多快~于是我周六开始坑爹的爬豆瓣电影数据之旅~ 首先，花了一二个小时定义好数据库结构（大写开头大多是自己定义的，非豆瓣数据），写...

赞(0)guoming00002017-10-15阅读(5646)去评论

supervisor是一个进程守护程序，之前搞ubuntu开发时我们也搞过类似的东西，但是很简单，不过是自己写的一个脚本，让一个程序死掉后再重新启动下。而这个supervisor可牛逼了，切看我介绍。 如何使用，有一篇文章（http://w...

赞(0)guoming00002017-09-25阅读(6229)去评论

最近在搞爬虫顺便学点相关知识，上一次我完全设计数据库还是研究生时，时隔几年用python搞最简单的sqlite数据库出了一堆问题，囧~很多东西还是要自己动手才知道会有多坑，一行一行bug的找~ KBdancer 发表于 2017-02-15...

赞(0)guoming00002017-09-21阅读(4173)去评论

上上周就开始搞了知乎的爬虫，给关注kinect的人发关注我的公众号的私信，发了一天发现被人举报了，然后号被封了七天。这周我重新申请好几个号码，准备大干一场，没想到每个只要发了200来个私信都被封了。而且新的账号没有说被封七天，是直接显示“账...

赞(0)guoming00002017-09-12阅读(5598)去评论

转了备用，转自 https://www.urlteam.org/2017/02/selenium%E8%AE%BE%E7%BD%AEchrome%E5%92%8Cphantomjs%E7%9A%84%E8%AF%B7%E6%B1%82%E5...

赞(0)guoming00002017-09-02阅读(6383)去评论