初识Python

        第一次知道Python是我还在学做网站的时候,腾讯在线课堂有个老师问我要不要学Python。那时候刚听到这门语言,觉得太冷门了,至少不像C、Java那般如雷贯耳。对这门语言了解甚少,完全不知道它干什么的,不如学java。后来还是加了他们的学员群,第一次看到了python的代码,觉得很简洁,很漂亮。

我对Python的看法

      初识Python时觉得他冷门,后来听说SqlMap是他写的,我依稀想起那些年下载Python来运行SqlMap,才感觉原来Python也可以这么强大。到后来,Python越来越火越来越火,近两年Python真是火的不行(人工智能、大数据主力语言,数据分析),连一些大城市的小学生都开始学习Python了。最近也听说我们学校的创客空间开了Python的课程。学习Python之前看到知乎有一篇帖子,都是讲诉自己如何酷玩Python(有的爬12306信息,有的爬了推特用户的信息),那种自己去采集别人信息的感觉真好,看到别人组了一台服务器,插满了硬盘都被爬满了,我瞬间也想这么玩。

第一次使用Python

第一次使用Python应该是在去年的十一月份(2017-11-11)左右,那时候忙着学习C++算法参加信息学奥林匹克竞赛。由于有C++基础当我看到Python的语法教程时觉得这太简单了,于是就简单的看了一下语法随便练习练习,直接就在网易云课堂找了一个爬虫的教程跟着做了起来,就这样我了解到了requests和BeautifulSoup4库。遇到看不懂的基础语法,就去查一下菜鸟教程的手册。遇到不懂的函数就百度一下他的看法,遇到不懂的写法就先忽略跟着写下去(但是要明白他有什么作用),就这样老老实实的跟着一个台湾人写了一个爬新浪新闻的爬虫。随着F5的按下,一行行数据迭代在屏幕上。这种感觉很不错,喜欢。

第一次自主写爬虫

 第一次自主写爬虫具体是对哪个网站的爬取我也忘了,但是肯定是个妹子图网站。似乎爬起来简单又比较有趣吧,写的第一个爬虫简单,可能不到一百行。刚开始我想把他们的名称和链接地址存到数据库,后来发现Mysql一旦遇到中文的信息就无法插入(后来才知道是编码没有设置),开始用sqlite3。这种轻量级的数据库十分的方便,也很适合新手,Python3已经集成。所以我很快就上手了,开始把一些图片名称和链接地址存到数据库。把这些东西保存起来,也很有成就感,对于我一个小白而言。

 

直到现在我也没有写多少个爬虫,可能不超过十个从学习Python到现在(甚至更少)。因为都是基于requests和BeautifulSoup4库,并没有用到框架。写出来的爬虫都是针对单一的网站而不是具有一定调度机制的,比较单一。技术含量不高。

 

下面分享一个我写的第二个爬虫的截图  

 

 

 

 

 

标签: none

分类: 所有文章,爬虫与逆向

添加新评论