Python学习总结Word文档格式.docx
- 文档编号:13932986
- 上传时间:2022-10-15
- 格式:DOCX
- 页数:21
- 大小:1.25MB
Python学习总结Word文档格式.docx
《Python学习总结Word文档格式.docx》由会员分享,可在线阅读,更多相关《Python学习总结Word文档格式.docx(21页珍藏版)》请在冰豆网上搜索。
1.刚上手的时候肯定是先过一遍Python最根本的知识,比方说:
变量、数据构造、语法等,根底过的很快,根本上1~2周时间就能过完了,我当时是在这儿看的根底:
Python简介|菜鸟教程
2.看完根底后,就是做一些小工程稳固根底,比方说:
做一个终端计算器,如果实在找不到什么练手工程,可以在Codecademy-learntocode,interactively,forfree上面进展练习。
3.如果时间充裕的话可以买一本讲Python根底的书籍比方?
Python编程?
,阅读这些书籍,在稳固一遍根底的同时你会发现自己诸多没有学习到的边边角角,这一步是对自己根底知识的补充。
4.Python库是Python的精华所在,可以说Python库组成并且造就了Python,Python库是Python开发者的利器,所以学习Python库就显得尤为重要:
ThePythonStandardLibrary,Python库很多,如果你没有时间全部看完,不妨学习一遍常用的Python库:
Python常用库整理-知乎专栏
5.Python库是开发者利器,用这些库你可以做很多很多东西,最常见的网络爬虫、自然语言处理、图像识别等等,这些领域都有很强大的Python库做支持,所以当你学了Python库之后,一定要第一时间进展练习。
如何寻找自己需要的Python库呢?
推荐我之前的一个答复:
如何找到适合需求的Python库?
6.学习使用了这些Python库,此时的你应该是对Python十分满意,也十分冲动能遇到这样的语言,就是这个时候不妨开场学习Python数据构造与算法,Python设计模式,这是你进一步学习的一个重要步骤:
faif/python-patterns
7.当度过困难的第六步,此时选择你要研究的方向,如果你想做后端开发,不妨研究研究Django,再往后,就是你自己自由发挥了。
〔二〕一些Python免费课程推荐
以下课程都为免费课程
1.python零根底相关
适用人群:
Python零根底的初学者、Web开发程序员、运维人员、有志于从事互联网行业以及各领域应用Python的人群
Ø
疯狂的Python:
快速入门精讲
零根底入门学习Python
玩转Python语言
Python语言程序设计
程序设计入门
可汗学院公开课:
计算机科学
python入门到精通
Python交互式编程入门的课程主页
Python交互编程入门〔第2局部〕的课程主页
2.pythonweb方向PythonDjango快速Web应用开发入门
3.python爬虫Python实战:
一周学会爬取网页
4.python数据分析方向数据分析实战根底课程
〔三〕Python爬虫需要哪些知识?
要学会使用Python爬取网页信息无外乎以下几点容:
1、要会Python
2、知道网页信息如何呈现3、了解网页信息如何产生4、学会如何提取网页信息
第一步Python是工具,所以你必须熟练掌握它,要掌握到什么程度呢?
如果你只想写一写简单的爬虫,不要炫技不考虑爬虫效率,你只需要掌握:
数据类型和变量
字符串和编码
使用list和tuple
条件判断、循环
使用dict和set
你甚至不需要掌握函数、异步、多线程、多进程,当然如果想要提高自己小爬虫的爬虫效率,提高数据的准确性,那么记住最好的方式是去系统的学习一遍Python,去哪儿学习?
Python教程
假设已经熟悉了最根底的Python知识,那么进入第二步:
知道网页信息如何呈现?
你首先要知道所需要抓取的数据是怎样的呈现的,就像是你要学做一幅画,在开场之前你要知道这幅画是用什么画出来的,铅笔还是水彩笔...可能种类是多样的,但是放到网页信息来说这儿只有两种呈现方式:
1、HTML〔HTML简介〕2、JSON〔JSON简介〕HTML是用来描述网页的一种语言JSON是一种轻量级的数据交换格式
假设你现在知道了数据是由HTML和JSON呈现出来的,那么我们紧接着第三步:
数据怎么来?
数据当然是从效劳器反响给你的,为什么要反响给你?
因为你发出了请求。
“Hi~,效劳器我要这个资源〞“正在传输中...〞“已经收到HTML或者JSON格式的数据〞
这个请什么请求?
要搞清楚这一点你需要了解一下的根底知识,更加准确来说你需要去了解GET和POST是什么,区别是什么。
也许你可以看看这个:
浅谈中Get与Post的区别-hyddd-博客园
很快乐你使用的是Python,那么你只需要去掌握好快速上手-Requests2.10.0文档,requests可以帮你模拟发出GET和POST请求,这真是太棒了。
饭菜已经备好,两菜一汤美味佳肴,下面就是好好享受了。
现在我们已经拿到了数据,我们需要在这些错乱的数据中提取我们需要的数据,这时候我们有两个选择。
第一招:
万能钥匙Python正那么表达式指南,再大再乱的容,哪怕是大海捞针,只要告诉我这个针的样子我都能从茫茫大海中捞出来,强大的正那么表达式是你提取数据的不二之选。
第二招:
笑里藏刀BeautifulSoup4.2.0文档,或许我们有更好的选择,我们把原始数据和我们想要的数据的样子扔个这个Beautifulsoup,然后让它帮我们去寻找,这也是一个不错的方案,但是论灵活性,第二招还是略逊于第一招。
第三招:
双剑合璧最厉害的招式莫过于结合第一招和第二招了,打破天下无敌手。
根底知识我都会,可是我还是写不了一个爬虫啊!
客观别急,这还没完。
以下这些工程,你拿来学习学习练练手。
一些教学工程你值得拥有:
03.豆瓣电影TOP250
04.另一种抓取方式
还不够?
这儿有很多:
知乎--你需要这些:
Python3.x爬虫学习资料整理
如何学习Python爬虫[入门篇]?
-知乎专栏
知乎--Python学习路径及练手工程合集
〔四〕Python爬虫进阶
爬虫无非分为这几块:
分析目标、下载页面、解析页面、存储容,其中下载页面不提。
1.分析目标
所谓分析就是首先你要知道你需要抓取的数据来自哪里?
怎么来?
普通的一个简单的POST或者GET请求,不加密不反爬,几行代码就能模拟出来,这是最根本的,进阶就是学会分析一些复杂的目标,比方说:
淘宝、新浪微博登陆以及网易云的评论信息等等。
2.解析页面
解析页面主要是选择什么库或者那些库结合能使解析速度更快,可能你一开场你通过种种地方了解到了bs库,于是你对这个库很痴迷,以后只要写爬虫,总是先写上:
importrequests
frombs4importBeautifulSoup
当然bs已经很优秀了,但是并不代表可以用正那么表达式解析的页面还需要使用bs,也不代表使用lxml能解决的还要动用bs,所以这些解析库的速度是你在进阶时要考虑的问题。
3.存储容
刚开场学爬虫,一般爬取的结果只是打印出来,最后把在终端输出的结果复制粘贴保存就好了;
后来发现麻烦会用上xlwt/openpyxl/csv的把存储容写入表格,再后来使用数据库sqlite/mysql/neo4j只要调用了库都很简单,当然这是入门。
进阶要开场学习如何选择适宜的数据库,或者存储方式。
当爬取的容过千万的时候,如何设计使存储速度更快,比方说当既有人物关系又有人物关系的时候,一定会用neo4j来存储关系,myslq用来存储用户信息,这样分开是因为如果信息全部存入neo4j,后期的存储速度经十分的慢。
当你每个步骤都能做到很优秀的时候,你应该考虑如何组合这四个步骤,使你的爬虫到达效率最高,也就是所谓的爬虫策略问题,爬虫策略学习不是一朝一夕的事情,建议多看看一些比拟优秀的爬虫的设计方案,比方说Scrapy。
除了爬取策略以外,还有几点也是必备的:
1.代理策略以及多用户策略
代理是爬虫进阶阶段必备的技能,与入门阶段直接套用代理不同,在进阶阶段你需要考虑如何设计使用代理策略,什么时候换代理,代理的作用围等等,多用户的抓取策略考虑的问题根本上与代理策略一样。
2.增量式抓取以及数据刷新
比方说你抓取的是一个酒店关于酒店价格数据信息的,那么会有这些问题:
酒店的房型的价格是每天变动的,酒店每天会新增一批酒店,那么如何进展存储、如何进展数据刷新都是应该考虑的问题。
3.验证码相关的一些问题
有很多人提到验证码,我个人认为验证码不是爬虫主要去解决的问题,验证码不多的情况考虑下载到本地自己输入验证码,在多的情况下考虑接入打码平台。
〔五〕Python爬虫面试指南
前段时间快要毕业,而我又不想找自己的老本行Java开发了,所以面了很多Python爬虫岗位。
因为我在上学,所以我一开场只是在投了简历,我一共面试了十几家企业,其中只有一家没有给我发offer,其他企业都愿意给到10K的薪资,不要拿的薪资水平和北上深的薪资水平比拟,结合面试常问的问题类型说一说我的心得体会。
第一点:
Python
因为面试的是Python爬虫岗位,面试官大多数会考察面试者的根底的Python知识,包括但不限于:
Python2.x与Python3.x的区别
Python的装饰器
Python的异步
Python的一些常用置库,比方多线程之类的
第二点:
数据构造与算法
数据构造与算法是对面试者尤其是校招生面试的一个很重要的点,当然小公司不会太在意这些,从目前的招聘情况来看对面试者的数据构造与算法的重视程度与企业的好坏成正比,那些从不问你数据构造的你就要留神他们是否把你当码农用的,当然以上情况不绝对,最终解释权归面试官所有。
第三点:
Python爬虫
最重要也是最关键的一点当然是你的Python爬虫相关的知识与经历储藏,这通常也是面试官考察的重点,包括但不限于:
你遇到过的反爬虫的策略有哪些?
你常用的反反爬虫的方案有哪些?
你用过多线程和异步吗?
除此之外你还用过什么方法来提高爬虫效率?
有没有做过增量式抓取?
对Python爬虫框架是否有了解?
第四点:
爬虫相关的工程经历
爬虫重在实践,除了理论知识之外,面试官也会十分注重爬虫相关的工程:
你做过哪些爬虫工程?
如果有Github最好
你认为你做的最好的爬虫工程是哪个?
其中解决了什么难题?
有什么特别之处?
以上是我在面试过程中,会碰到的一些技术相关的问题的总结,当然面试中不光是技术这一点,但是对于做技术的,过了技术面根本上就是薪资问题了。
〔六〕推荐一些不错的Python博客
如果是Python根底的话,廖雪峰的博客教程会是一个不错的选择:
Python3教程
Python2.7教程
当然很多刚接触Python的同学反响廖大大的教程中局部跳跃性太大,如果觉得跳跃性太大可以结合菜鸟教程一起看:
Python3教程|菜鸟教程
Python根底教程|菜鸟教程
如果你英文稍好的话推荐还是看官方文档:
Python3.6.0documentation
如果不是为了学习Python根底的话,推荐几个其他的博客。
董教师的博客:
小明明sà
domicile
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Python 学习 总结
![提示](https://static.bdocx.com/images/bang_tan.gif)