python学习总结.docx
- 文档编号:11823995
- 上传时间:2023-04-03
- 格式:DOCX
- 页数:21
- 大小:1.25MB
python学习总结.docx
《python学习总结.docx》由会员分享,可在线阅读,更多相关《python学习总结.docx(21页珍藏版)》请在冰豆网上搜索。
python学习总结
Python总结
Python总结ﻩ1
前言ﻩ2
(一)如何学习Python2
(二)一些Python免费课程推荐ﻩ3
(三)Python爬虫需要哪些知识?
4
(四)Python爬虫进阶6
(五)Python爬虫面试指南7
(六)推荐一些不错的Python博客ﻩ8
(八)Python爬虫入门ﻩ10
(九)Python开发公众号12
(十)Python面试概念和代码15
(十一)Python书籍ﻩ23
ﻬ
前言
知乎:
路人甲
微博:
玩数据的路人甲
公众号:
一个程序员的日常
在知乎分享差不多有一年多了,之前一直有朋友说我的回答能整理成书籍了,一直偷懒没做,最近有空认真整理了知乎上的回答和文章另外也添加了一些新的内容,完成了几本小小的电子书,这一本是有关于Python方面的、
还有另外几本包括我的一些数据分析方面的读书笔记、增长黑客的读书笔记、机器学习十大算法等等内容。
将会在我的公众号:
一个程序员的日常进行更新,同时也能够关注我的知乎账号:
路人甲及时关注我的最新分享用数据讲故事。
(一)如何学习Python
学习Python大致能够分为以下几个时期:
1。
刚上手的时候肯定是先过一遍Python最基本的知识,比如说:
变量、数据结构、语法等,基础过的特别快,基本上1~2周时间就能过完了,我当时是在这儿看的基础:
2、看完基础后,就是做一些小项目巩固基础,比方说:
做一个终端计算器,假如实在找不到什么练手项目,能够在 上面进行练习。
3、假如时间充裕的话能够买一本讲Python基础的书籍比如《Python编程》,阅读这些书籍,在巩固一遍基础的同时您会发现自己诸多没有学习到的边边角角,这一步是对自己基础知识的补充、
4、Python库是Python的精华所在,能够说Python库组成同时造就了Python,Python库是Python开发者的利器,因此学习Python库就显得尤为重要:
Python库特别多,假如您没有时间全部看完,不妨学习一遍常用的Python库:
5。
Python库是开发者利器,用这些库您能够做特别多特别多东西,最常见的网络爬虫、自然语言处理、图像识别等等,这些领域都有特别强大的Python库做支持,因此当您学了Python库之后,一定要第一时间进行练习。
如何寻找自己需要的Python库呢?
推荐我之前的一个回答:
6。
学习使用了这些Python库,此时的您应该是对Python十分满意,也十分兴奋能遇到如此的语言,就是这个时候不妨开始学习Python数据结构与算法,Python设计模式,这是您进一步学习的一个重要步骤:
7、当度过艰难的第六步,此时选择您要研究的方向,假如您想做后端开发,不妨研究研究Django,再往后,就是您自己自由发挥了。
(二)一些Python免费课程推荐
以下课程都为免费课程
1、python零基础相关
适用人群:
Python零基础的初学者、Web开发程序员、运维人员、有志于从事互联网行业以及各领域应用Python的人群
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
2、pythonweb方向
ﻭ
3、python爬虫ﻭ
4、python数据分析方向
(三)Python爬虫需要哪些知识?
要学会使用Python爬取网页信息无外乎以下几点内容:
1、要会Pythonﻭ2、明白网页信息如何呈现ﻭ3、了解网页信息如何产生
4、学会如何提取网页信息
第一步Python是工具,因此您必须熟练掌握它,要掌握到什么程度呢?
假如您只想写一写简单的爬虫,不要炫技不考虑爬虫效率,您只需要掌握:
Ø
Ø
Ø
Ø、
Ø
您甚至不需要掌握函数、异步、多线程、多进程,当然假如想要提高自己小爬虫的爬虫效率,提高数据的精确性,那么记住最好的方式是去系统的学习一遍Python,去哪儿学习?
假设差不多熟悉了最基础的Python知识,那么进入第二步:
明白网页信息如何呈现?
您首先要明白所需要抓取的数据是如何的呈现的,就像是您要学做一幅画,在开始之前您要明白这幅画是用什么画出来的,铅笔依然水彩笔。
、、估计种类是多样的,然而放到网页信息来说这儿只有两种呈现方式:
ﻭ1、HTML ()ﻭ2、JSON()ﻭHTML是用来描述网页的一种语言
JSON是一种轻量级的数据交换格式
假设您现在明白了数据是由HTML和JSON呈现出来的,那么我们紧接着第三步:
数据如何来?
数据当然是从服务器反馈给您的,为什么要反馈给您?
因为您发出了请求、
“Hi~ ,服务器我要这个资源”
“正在传输中。
。
、”ﻭ“差不多收到HTML或者JSON格式的数据”
这个请求是什么请求?
要搞清楚这一点您需要了解一下的基础知识,更加精确来说您需要去了解GET和POST是什么,区别是什么、也许您能够看看这个:
特别快乐您使用的是Python,那么您只需要去掌握好,requests能够帮您模拟发出GET和POST请求,这真是太棒了。
饭菜差不多备好,两菜一汤美味佳肴,下面就是好好享受了。
现在我们差不多拿到了数据,我们需要在这些错乱的数据中提取我们需要的数据,这时候我们有两个选择。
第一招:
万能钥匙
,再大再乱的内容,哪怕是大海捞针,只要告诉我这个针的模样我都能从茫茫大海中捞出来,强大的正则表达式是您提取数据的不二之选、
第二招:
笑里藏刀
或许我们有更好的选择,我们把原始数据和我们想要的数据的模样扔个这个Beautifulsoup,然后让它帮我们去寻找,这也是一个不错的方案,然而论灵活性,第二招依然略逊于第一招。
第三招:
双剑合璧
最厉害的招式莫过于结合第一招和第二招了,打破天下无敌手。
基础知识我都会,然而我依然写不了一个爬虫啊!
ﻭ客观别急,这还没完。
以下这些项目,您拿来学习学习练练手。
一些教学项目您值得拥有:
Ø
Ø
还不够?
这儿有特别多:
Ø
Ø
Ø
(四)Python爬虫进阶
爬虫无非分为这几块:
分析目标、下载页面、解析页面、存储内容,其中下载页面不提。
ﻭ
1、分析目标
所谓分析就是首先您要明白您需要抓取的数据来自哪里?
如何来?
普通的网站一个简单的POST或者GET请求,不加密不反爬,几行代码就能模拟出来,这是最基本的,进阶就是学会分析一些复杂的目标,比如说:
淘宝、新浪微博登陆以及网易云的评论信息等等、ﻭ
2、 解析页面
解析页面主要是选择什么库或者那些库结合能使解析速度更快,估计您一开始您通过种种地方了解到了bs库,因此您对这个库特别痴迷,以后只要写爬虫,总是先写上:
import requests
frombs4 importBeautifulSoup
当然bs差不多特别优秀了,然而并不代表能够用正则表达式解析的页面还需要使用bs,也不代表使用lxml能解决的还要动用bs,因此这些解析库的速度是您在进阶时要考虑的问题。
ﻭ
3、 存储内容
刚开始学爬虫,一般爬取的结果只是打印出来,最后把在终端输出的结果复制粘贴保存就好了;后来发现麻烦会用上xlwt/openpyxl/csv的把存储内容写入表格,再后来使用数据库sqlite/mysql/neo4j只要调用了库都特别简单,当然这是入门、
进阶要开始学习如何选择合适的数据库,或者存储方式。
当爬取的内容过千万的时候,如何设计使存储速度更快,比如说当既有人物关系又有人物关系的时候,一定会用neo4j来存储关系,myslq用来存储用户信息,如此分开是因为假如信息全部存入neo4j,后期的存储速度经十分的慢、
当您每个步骤都能做到特别优秀的时候,您应该考虑如何组合这四个步骤,使您的爬虫达到效率最高,也就是所谓的爬虫策略问题,爬虫策略学习不是一朝一夕的情况,建议多看看一些比较优秀的爬虫的设计方案,比如说Scrapy、
除了爬取策略以外,还有几点也是必备的:
1、 代理策略以及多用户策略
代理是爬虫进阶时期必备的技能,与入门时期直截了当套用代理不同,在进阶时期您需要考虑如何设计使用代理策略,什么时候换代理,代理的作用范围等等,多用户的抓取策略考虑的问题基本上与代理策略相同。
2。
增量式抓取以及数据刷新
比如说您抓取的是一个酒店网站关于酒店价格数据信息的,那么会有这些问题:
酒店的房型的价格是每天变动的,酒店网站每天会新增一批酒店,那么如何进行存储、如何进行数据刷新都是应该考虑的问题。
3。
验证码相关的一些问题
有特别多人提到验证码,我个人认为验证码不是爬虫主要去解决的问题,验证码不多的情况考虑下载到本地自己输入验证码,在多的情况下考虑接入打码平台。
(五)Python爬虫面试指南
前段时间快要毕业,而我又不想找自己的老本行Java开发了,因此面了特别多Python爬虫岗位、因为我在南京上学,因此我一开始只是在南京投了简历,我一共面试了十几家企业,其中只有一家没有给我发offer,其他企业都情愿给到10K的薪资,不要拿南京的薪资水平和北上深的薪资水平比较,结合面试常问的问题类型说一说我的心得体会。
第一点:
Python
因为面试的是Python爬虫岗位,面试官大多数会考察面试者的基础的Python知识,包括但不限于:
ØPython2、x与Python3、x的区别
ØPython的装饰器
ØPython的异步
ØPython的一些常用内置库,比如多线程之类的
第二点:
数据结构与算法
数据结构与算法是对面试者尤其是校招生面试的一个特别重要的点,当然小公司可不能太在意这些,从目前的招聘情况来看对面试者的数据结构与算法的重视程度与企业的好坏成正比,那些从不问您数据结构的您就要当心他们是否把您当码农用的,当然以上情况不绝对,最终解释权归面试官所有。
第三点:
Python爬虫
最重要也是最关键的一点当然是您的Python爬虫相关的知识与经验储备,这通常也是面试官考察的重点,包括但不限于:
Ø您遇到过的反爬虫的策略有哪些?
Ø您常用的反反爬虫的方案有哪些?
Ø您用过多线程和异步不?
除此之外您还用过什么方法来提高爬虫效率?
Ø有没有做过增量式抓取?
Ø对Python爬虫框架是否有了解?
ﻭ第四点:
爬虫相关的项目经验
爬虫重在实践,除了理论知识之外,面试官也会十分注重爬虫相关的项目:
Ø您做过哪些爬虫项目?
假如有Github最好
Ø您认为您做的最好的爬虫项目是哪个?
其中解决了什么难题?
有什么特别之处?
以上是我在面试过程中,会碰到的一些技术相关的问题的总结,当然面试中不光是技术这一点,然而关于做技术的,过了技术面基本上就是薪资问题了。
(六)推荐一些不错的Python博客
假如是Python基础的话,廖雪峰的博客教程会是一个不错的选择:
Ø
Ø
当然特别多刚接触Python的同学反应廖大大的教程中部分跳跃性太大,假如觉得跳跃性太大能够结合菜鸟教程一起看:
Ø
Ø
假如您英文稍好的话推荐依然看官方文档:
假如不是为了学习Python基础的话,推荐几个其他的博客。
ﻭ
Ø董老师的博客:
《Python-Web开发实战》的作者,
Ø知乎某位工程师的博客:
,具体是哪位大神我不太清楚。
Ø依云大大的博客文章值得深读:
Ø《从Python开始学编程》的作者博客:
然而此博客的内容也是比较偏向基础知识的。
Øpythonware的创造者,Python图像库(PIL)的创造者:
Ø我特别喜爱的一位作者,Pyhub创始人:
Ø文章不是特别多,有兴趣能够多看看在知乎的他。
Ø
Ø
(七)Python如何进阶
特别多人在学习编程之初都会碰到这种问题:
学会了基础的语法了,然而依然做不了项目,不明白如何下手。
当初,我学习C的时候是如此、Java的时候是如此、Python的时候也是如此,事实上不管什么语言、什么知识都是如此:
理论基础知识-能动手做项目是有一道鸿沟的。
那么如何突破这条鸿沟?
中间的桥梁是什么?
事实上题主自己差不多回答出来了:
照抄!
所谓照抄前提是有样本。
首先找到一些简单易上手的项目,这些项目大多散落在Python实践相关的书籍中、Github上,这些实战项目知乎上都有特别多推荐。
1。
一些比较好的适合初学者动手的项目:
Ø
Ø
另外知乎上这个问题下的一些推荐的项目依然特别适合新手练习的,能够作为参考:
2、大多数的Python书里面(除了纯理论书)都是有小项目的,而且书的一个优点是它会一步一步解释如此做的原因。
先照抄这些项目,实现这些小功能在电脑上能运行确认无误之后,回过头来看代码:
Ø有没有您不理解的地方,不理解的地方标记去搜索引擎或者书中找解释。
Ø学习作者设计这个项目的思路方法,并运用到接下来的项目,假如时间充裕,建议隔天再重新再不看书的情况下重新自己实现一遍这些小项目、
假如您是跟着实战的书敲代码的,特别多时候项目都可不能一遍运行成功,那么您就要依照各种报错去寻找原因,这也是一个学习的过程。
总结起来从Python入门跳出来的过程分为三步:
照抄、照抄之后的理解、重新自己实现。
(八)Python爬虫入门
想写这么一篇文章,然而知乎社区爬虫大神特别多,光是整理他们的答案就够我这篇文章的内容了。
关于我个人来说我更喜爱那种特别实用的教程,这种教程关于想直截了当上手爬虫做一些小东西的朋友来说是极好的。
用一个精彩的回答作为开头:
假如您想学习编程,然而找不到学习路径和资源,欢迎关注专栏:
第一:
Python爬虫学习系列教程
Python版本:
2、7
整体目录:
一、爬虫入门
Ø
Ø
Ø
Ø
Ø
Ø
Ø
二、爬虫实战
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
三、爬虫利器
Ø
Ø
Ø
Ø
Ø
Ø
四、爬虫进阶
Ø
Ø
Ø
Ø
第二(第一的姊妹篇):
Python版本:
2、7
教程目录:
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
第三:
您差不多看完上面(第一或者第二)的教程:
再推荐知乎用户 的实战练习博客
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
第四:
最后推荐知乎用户 的实战练习博客
Ø
Ø
Ø
Ø
Ø
Ø
Ø
希望以上的教程能够帮助到大伙儿。
(九)Python开发公众号
我的第一个Python项目就是做的公众号机器人,依照当时我的思路来讲讲如何学习使用Python来开发公众号:
大伙儿伙收藏顺手点个赞呗。
公众号功能开发分为两大块:
需要调用内部功能、不需要调用内部功能,重点在调用内部功能组建。
1、需要调用内部功能
需要调用内部功能组件的比如:
公众号收发消息|图片、页面分享至朋友圈、用户授权提取用户基本信息、小店、公众号菜单等内部功能组件,这些功能组件在公众号开发者文档里面找到:
关于这些功能组件,开发者文档都提供了详细的接口文档,告诉您如何调用,而您只需要用Python调用这些接口即可。
比如一个特别简单的消息发送的方法如下:
当然在这所有的调用之前,需要进行一些授权验证,同样开发者文档有一套完整的接入指南:
特别遗憾特别多初学者在一开始看这份文档的时候并不能看明白,因此这个地方也推荐一些我往常学习摸索的过程中使用到的一些简单易学的教程。
您能够先做一个简单的机器人练练手(零基础十分容易上手):
Ø
Ø
Ø
Ø
Ø
假如您差不多能依照以上的教程搭建一个完整的机器人了,基本上关于收发消息等等简单功能差不多没有什么障碍了、下面再接着学习如下教程,开始学习如何调用其他一些相对来说比较复杂的接口。
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
当您实验了如上的教程之后,相信官方文档的所有接口调用对您来说差不多小菜一碟了。
2、不需要调用内部功能
不需要调用内部功能组件的,就如同正常的web页面一样,比如填写表单进行进行注册、点击按钮进行跳转等等,这些都是正常的web请求,依照正常的web开发方法走即可。
(十)Python面试概念和代码
(一)、这两个参数是什么意思:
*args,**kwargs?
我们为什么要使用它们?
答:
假如我们不确定往一个函数中传入多少参数,或者我们希望以元组(tuple)或者列表(list)的形式传参数的时候,我们能够使用*args(单星号)。
假如我们不明白往函数中传递多少个关键词参数或者想传入字典的值作为关键词参数的时候我们能够使用**kwargs(双星号),args、kwargs两个标识符是约定俗成的用法。
另一种答法:
当函数的参数前面有一个星号*号的时候表示这是一个可变的位置参数,两个星号**表示这个是一个可变的关键词参数。
星号*把序列或者集合解包(unpack)成位置参数,两个星号**把字典解包成关键词参数、
(二)、谈一谈Python的装饰器(decorator)
装饰器本质上是一个Python函数,它能够让其它函数在不作任何变动的情况下增加额外功能,装饰器的返回值也是一个函数对象。
它经常用于有切面需求的场景。
比如:
插入日志、性能测试、事务处理、缓存、权限校验等。
有了装饰器我们就能够抽离出大量的与函数功能无关的雷同代码进行重用、
有关于具体的装饰器的用法看这个地方:
(三)、简要描述Python的垃圾回收机制(garbage collection)
Python中的垃圾回收是以引用计数为主,标记-清除和分代收集为辅。
引用计数:
Python在内存中存储每个对象的引用计数,假如计数变成0,该对象就会消失,分配给该对象的内存就会释放出来。
标记-清除:
一些容器对象,比如list、dict、tuple,instance等估计会出现引用循环,关于这些循环,垃圾回收器会定时回收这些循环(对象之间通过引用(指针)连在一起,构成一个有向图,对象构成这个有向图的节点,而引用关系构成这个有向图的边)。
分代收集:
Python把内存依照对象存活时间划分为三代,对象创建之后,垃圾回收器会分配它们所属的代。
每个对象都会被分配一个代,而被分配更年轻的代是被优先处理的,因此越晚创建的对象越容易被回收。
假如您想要深入了解Python的GC机制,点击这个地方:
(四)、Python多线程(multi—threading)。
这是个好主意不?
Python并不支持真正意义上的多线程,Python提供了多线程包。
Python中有一个叫GlobalInterpreterLock(GIL)的东西,它能确保您的代码中永远只有一个线程在执行。
经过GIL的处理,会增加执行的开销。
这就意味着假如您先要提高代码执行效率,使用threading不是一个明智的选择,当然假如您的代码是IO密集型,多线程能够明显提高效率,相反假如您的代码是CPU密集型的这种情况下多线程大部分是鸡肋、
想要深入详细了解多线程,点击这个地方:
想了解一下IO密集和CPU密集能够点击这个地方:
(五)、说明os,sys模块不同,并列举常用的模块方法?
官方文档:
os模板提供了一种方便的使用操作系统函数的方法
sys模板可供访问由解释器使用或维护的变量和与解释器交互的函数
另一种回答:
os模块负责程序与操作系统的交互,提供了访问操作系统底层的接口。
sys模块负责程序与Python解释器的交互,提供了一系列的函数和变量用户操作Python运行时的环境。
一些常用的方法:
一些常用的用法示例:
想要了解更详细的使用请访问:
(六)、什么是lambda表达式?
它有什么好处?
简单来说,lambda表达式通常是当您需要使用一个函数,然而又不想费脑袋去命名一个函数的时候使用,也就是通常所说的匿名函数、
lambda表达式一般的形式是:
关键词lambda后面紧接一个或多个参数,紧接一个冒号“:
”,紧接一个表达式、lambda表达式是一个表达式不是一个语句、
想更加详细的了解Python中的Lamdba表达式能够点击这个地方:
(七)、Python中pass语句的作用是什么?
pass语句可不能执行任何操作,一般作为占位符或者创建占位程序
(八)、Python是如何进行类型转换的?
Python提供了将变量或值从一种类型转换为另一种类型的内置方法。
(九)、Python里面如何拷贝一个对象?
Python中对象之间的赋值是按引用传递的,假如要拷贝对象需要使用标准模板中的copy
copy。
copy:
浅拷贝,只拷贝父对象,不拷贝父对象的子对象、
copy、deepcopy:
深拷贝,拷贝父对象和子对象、
(十)、__new__和__init__的区别。
__init__为初始化方法,__new__方法是真正的构造函数。
__new__是实例创建之前被调用,它的任务是创建并返回该实例,是静态方法
__init__是实例创建之后被调用的,然后设置对象属性的一些初始值。
总结:
__new__方法在__init__方法之前被调用,同时__new__方法的返回值将传递给__init__方法作为第一个参数,最后__init__给这个实例设置一些参数、
想要更加详细的了解这两个方法,请点击:
(十一)、Python中单下划线和双下划线分别是什么?
__name__:
一种约定,Python内部的名字,用来与用户自定义的名字区分开,防止冲突
_name:
一种约定,用来指定变量私有
__name:
解释器用_classname__name来代替这个名字用以区别和其他类相同的命名
想要更加详细的了解这两者的区别,请点击:
(十二)、说一说Python自省、
自省就是面向对象的语言所写的程序在运行时,所能明白对象的类型。
简单一句话就是运行时能够获得对象的类型。
比如:
type()、dir()、getattr()、hasattr()、isinstance()
想要完整的理解Python自省,请点击:
有关于元类以及单例模式会在后面文章中做详细的解释说明。
本文参考文献资料:
Ø
Ø
Ø
Ø
Ø
(十一)Python书籍
入门书籍
Ø《Python学习手册》
Ø《Head FirstPython》
Ø《LearnPythonTheHardWay》
Ø《Python编程:
入门到实践》
Ø《笨方法学Python》
Ø《简明Python教程》
进阶书籍
Ø《Python Cookbook(第三版)》
Ø《流畅的Python》
Ø《Python源码剖析》
Ø《Python进阶》
Ø《FlaskWeb开发:
基于Python的Web应用开发实战》
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- python 学习 总结