Python数据分析和采集.docx

Python数据分析和采集.docx

《Python数据分析和采集.docx》由会员分享，可在线阅读，更多相关《Python数据分析和采集.docx（9页珍藏版）》请在冰豆网上搜索。

Python数据分析和采集

　　　Pythoｎ数据分析和采集

泰坦尼克号生存率预测

一、背景介绍

　19１2年4月15日，载着1３1６号乘客和891名船员的豪华巨轮“泰坦尼克号"与冰山相撞而沉没，这场海难被认为是20世纪人间十大灾难之一.1９8５年，“泰坦尼克号"的沉船遗骸在北大西洋两英里半的海底被发现。

XXXX家洛维特（比尔·帕克斯顿　饰演）亲自潜入海底，在船舱的墙壁上看见了一幅画,洛维持的发现立刻引起了一位老妇人（格劳瑞亚·斯图尔特饰演）的注意。

已经是101岁高龄的露丝称她就是画中的XX。

在潜水舱里，露丝开始叙述当年在船上发生的故事。

年轻的贵族XX露丝（凯特·温丝莱特饰演）与穷画家杰克（莱昂纳多·迪卡普里奥　饰演）不顾世俗的偏见坠入爱河，然而就在19１2年4月14日,一个风平浪静的夜晚，泰坦尼克号撞上了冰山,“永不沉没的"泰坦尼克号面临沉船的XX,罗丝和杰克刚萌芽的爱情也将经历生死的考验，最终不得不永世相隔.老态龙钟的罗丝讲完这段哀恸天地的爱情之后,把那串价值XX的项链“海洋之心”沉入海底，让它陪着杰克和这段爱情长眠海底。

解决问题的思路：

先处理训练数据,如处理缺失数据,对乘客分类，XX,发出港口等做LablｅEｎｃoｄer（标准化标签,将标签值统一转换成raｎge（标签值个数—1）范围内）,然后选择合适的分类模型做训练,再根据训练的模型对测试数据做获救预测,然后提交预测结果获得预测结果。

二、CSV

逗号分隔值（XXmａ－SepaｒatedＶaluｅs，CSV，有时也称为字符分隔值,因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。

用记事本打开,发现每一行数据中的数值用”,”隔开。

三、数据集的获取

泰坦尼克数据集是kａggle中一个好的可选数据集，数据的文件的下载

。

c:

\iknow\docshare\data\cur_work\＂

提供的训练数据主要有以下特征：

∙PassｅngerIｄ　＝〉　乘客IＤ

∙Ｓurvｉved=XX是否生还

∙PｃXXs=XX乘客等级（1/2/3等舱位）

∙Name＝〉　乘客姓名

∙XX=〉XX

∙Ａge=〉　年龄

∙SibＳp=XX堂兄弟/妹个数

∙Paｒch　=XX父母与小孩个数

∙Ticket＝XX船票信息

∙Farｅ=〉　票价

∙Caｂｉn=XX　客舱

∙Embａrkｅd=〉登船港口

根据这些训练数据训练模型，来XX测试数据中的乘客是否获救了，测试数据和训练数据相比就是只少了是否获救’Surｖived'这一列。

四、数据分析前的准备工作

除了常用的科学计算库Numpy和绘图库matｐloｔlib之外,pａnｄas也给pｙthｏn提供了XX助力

1、安装panｄａs

2、安装ｍａtplotlib

四、导入数据＆查看基本信息

#encｏｄiｎｇ＝ｕｔｆ－8XXimXXrtnuｍpｙａｓnp

ｉｍXXrt　pandａsａsｐd

imXXrt　mａtplotlib.pｙｐlot　ａspltXXｄata_src='titａXXｃ．ｃsv＇

dｆ=pd。

ｒead_csｖ（ｄatａ_ｓｒc，hｅadｅr=０）#　导入数据

ｐｒiｎｔdf.inｆo（）＃查看数据集的基本信息，

pｒintdｆ.dｅsｃribｅ（）＃　查看数据的摘要信息XXｐrｉｎtｄf.ｈead（）＃查看前几行数据,方便了解数据具体情况

这里也有一个用于计算标准差的函数ｓtd,但在descriｂｅ中已包括了计算标准差.标准差（Stａnｄａrｄ Ｄｅviatioｎ），在统计中最常使用作为c:

\iknow\docshare\data\cur_work\＂程度（ｓtatistical dｉｓｐｅrsiｏn）上的c:

\iknow\docshare\data\cur_work\＂＂,它反映组内个体间的离散程度．

简单来说,标准差是一组数据平均值分散程度的一种度量。

一个较大的标准差,代表大部分数值和其平均值之间差异较大;一个较小的标准差,代表这些数值较接近平均值.

例如，两组数的集合 {0,５,9，14｝ 和 ｛５，6,8,9｝ 其平均值都是 7 ，但第二个集合具有较小的标准差。

Ｍeａn：

平均数

从数据集的基本信息可以看出，Aｇe\Ｃabin\Embａｒｋed是存在缺失值的，其中Ｃａｂiｎ字段缺失值过多。

对于少量缺失值的情况,常用的方法是去除和补齐,数值型的数据是可以根据统计学的方法或者机器学习的方法将其进行补齐的。

对于存在大量缺失值的字段,应衡量此字段的重要程度与修复代价之间的权重.up主是果断的没有再考虑这个字段了

五、数据分析

５。

１、乘客存活率与XX单变量之间的关系

1、存活率

＃ｅncodｉnｇ＝ｕtｆ-8XXimXXrtnumpyａsnｐ

imXXrtpandas　asｐdXXimXXｒtmatplｏtlib。

pyplot　as　ｐlt

daｔa_ｓrc=＇ｔｉtaXXc。

ｃsv＇XXdf　=　ｐd.rｅａd_csv（ｄaｔa_ｓrc,ｈｅader=0）＃导入数据

survｉｖed＿ｒatｅ＝ｆloaｔ（ｄf［＇Survived']。

sｕm（））/ｄf［’Sｕrvｉved']。

ｃounｔ（）XXprint’suｒｖｉved_ｒaｔe:

　’,ｓuｒviｖeｄ_rate

输出结果：

ｓurvｉｖｅd_ratｅ:

　0．3838383８3838

２、舱位和存活率之间的关系

再看下　舱位和存活率之间的关系：

＃ｅncoding=utf—８

imXXrtｎumpｙas　nｐ

ｉｍXXrtｐandas　aｓ　pｄXXimXXrtｍaｔploｔｌib.pyplot　asplt

dａta＿srｃ=＇titaXXc。

csv’

dｆ=pｄ．reaｄ＿csv（ｄata_src,heaｄer=0）＃导入数据

x=[df［（df.PcXXｓ==1）]［＇ＰcXXs＇].siｚe，df[（df.ＰｃXXs==2）］['PcXXｓ’］.sｉｚｅ，df［（ｄf。

ＰcXXs==3）]［’PcXXs＇］。

sｉze]XXｙ=［ｄf[（df。

PcXXs==１）　＆（df.Sｕrvived==1）]［'PｃXXs'］.size,\

　　dｆ［（df.PcXXs==2）＆（ｄf.Sｕrvｉved==　１）］［’PcXXs＇].size，\XX　　　df［（ｄf．ＰcXXs　==3）＆（ｄｆ。

Ｓurvｉvｅd==1）][＇PcXXｓ'］．sｉzｅ］XXprint’１　PcXXs　nｕmｂer:

’XXｓｔr（x［0]）　XX＇　　　’　XX　＇1PｃXXｓsurviｖｅ：

＇XXstｒ（y［0］）XX'’　XX'1ＰcXXsｓuｒviverat：

’，fｌoａt（y[0]）　/x[0]XXｐrｉｎt　'2　PcXXsnumber：

'XXｓtr（ｘ［1]）　XX＇　'XX＇2　PcXXssｕrvive：

＇XX　stｒ（y[1］）XX'　'　XX　’2PcXXssurvｉvｅ　rａt:

'，ｆｌoat（ｙ［１］）/　x［１］XXprint’3　PcXXs　nuｍber：

’XXstr（x［２］）　XX＇　　＇XX'3　PcXXssｕrvive：

'XXstr（y[2］）XX　’'XX’3PcXXｓsuｒviverat:

’，flｏａｔ（ｙ［2］）／x［2]

PcXXs_suｒviveｄ_raｔe＝　（dｆ.groupby（['ＰｃXXｓ'］）.sum（）/df．groupby（[’PcXXs'］）。

count（））[＇Suｒｖived’]

PcXXs_ｓurvｉｖeｄ＿ratｅ．plot（kinｄ＝＇baｒ’）XXｐlt．ｔitｌｅ（’PcXXs_suｒvived_ratｅ'）XXplｔ.shoｗ（）

输出的结果如下:

1PｃXXsnumber：

２16　1PcXXsｓurvivｅ：

1３61PcXXssurvivｅ　raｔ:

0.62９6２9６２963

2　PcXXsｎumbｅｒ:

1842　ＰｃXXｓsurvive:

87　2　ＰｃXXs　surviｖeｒat:

0.47282６０869５7

３PcXXsnuｍber:

4９1　　3PcXXｓ　suｒvive：

１１９　　3　PcXXssｕｒｖiｖｅrat:

0。

242362525４5８

可以很清楚的看出，舱位与存活率之间的关系。

三等舱的乘客们很惨。

3、存活率和XX之间的关系　

#eｎcodｉng=utｆ—8XXiｍXXrtnuｍpｙasnｐ

ｉmXXｒｔｐaｎdasａspd

imXXrtmatplotｌib.pypｌｏtａｓｐlｔ

ｄａta＿src＝’titaXXｃ。

csv’XXdf=　pｄ.read_cｓv（datａ＿src,heａder=0）＃导入数据XX＃以XX为分组，统计数据集每个特征的数值的累计总和

print　dｆ.groｕpbｙ（['XX’］）．sｕｍ（）XX#以XX为分组，统计数据集每个特征的总的个数XXｐrinｔｄf.ｇrｏupｂｙ（［’XX＇]）.count（）

#以XX为分组,统计数据集中的存活率

XX_survived＿raｔe=（df.grouｐby（[’XX’]）.sum（）/ｄｆ．groupbｙ（［'XX'］）。

couｎt（））［＇Survivｅd’］XXpｒｉntXX＿sｕrvｉveｄ＿rａｔｅ

XX_surｖivｅd_rａｔe。

plot（ｋｉnd=’bar'）XXpｌt。

titlｅ（'XX_ｓurviｖeｄ＿raｔe＇）XXplｔ.ｓhow（）

4、存活率和年龄之间的关系

#encｏding＝utf—8

imXXrｔ　nｕｍｐyasnp

ｉｍXXrtpanｄasａｓ　pd

imXXrｔmatploｔlib.pyplotaｓpltXXｄaｔａ_src=’tｉｔaXXc.ｃsｖ’

df=pd。

rｅａd_csv（dａta＿sｒc，heaｄer＝0）＃导入数据

''＇XXｐrinｔdf.ｇｒoｕｐbｙ（[＇Ａｇe'］）.sum（）［'Suｒｖｉved'］XXpｒinｔ　”###＃#＃#＃＃＃#＃#＂XXｐｒintdf。

ｇrouｐｂy（['Age’］）。

ｃouｎｔ（）['Ｓuｒｖived’］

print"*＊＊＊＊＊*＊＊＊＊＊*＊*”XXprintdf。

groupｂy（[’Aｇe’］）。

sum（）［＇Sｕｒｖivｅd'］／ｄｆ。

grｏupby（['Age＇］）.ｃount（）［'Sｕｒvｉvｅd'］;

'＇＇

Age_suｒviveｄ_ratｅ=（df．grouｐbｙ（［'Ａge’]）.sum（）/ｄｆ.ｇroｕｐｂｙ（［'Age’]）.count（））['Sｕrviｖｅd＇］

Aｇe_suｒvｉvｅd_raｔe。

ｐlot（）XXｐlｔ.tiｔｌｅ（’Aｇｅ＿survｉved＿ｒａｔe'）XXplｔ.shoｗ（）

得出的结果特别难懂。

对于连续型数值变量,可以先做特征离散化，将年龄分布在XX个年龄段中，效果就好多了呢。

这里引出了特征工程中的概念———离散化。

#encodinｇ=utｆ—8XXimXXｒｔｎumｐyａsnXXXimXXrtpandａsａｓpd

imXXrｔmatpｌotlib。

pyploｔasplt

ｄata_src=’ｔiｔaXXc。

ｃsｖ'

ｄｆ=pｄ。

ｒeaｄ_csv（ｄatａ_src，header=0）#导入数据XXaｇe_cｌeａｎ_datｅ＝dｆ［～np.isnan（df［'Age'］）]#去除年龄数据中的NaＮ

prｉnt　aｇe_clean_dａteXXagｅｓ=ｎｐ。

aｒａｎge（0，81，5）　＃0～８0岁，每5岁一段（年龄最大80岁）XXprinｔ　ａgeｓ

agｅ_cuｔ=pd.cut（aｇｅ＿cｌean_ｄate。

Age，ａｇeｓ）

prｉｎtａge_ｃuｔXXage_cｕt_grouped=aｇｅ＿clean＿dａte。

gｒoupby（age_cut）XXprinｔage_cｕt_gｒoupeｄ

ａgｅ_Survivａｌ_Rate=（aｇe_cut_groｕｐｅd.ｓum（）/agｅ＿ｃut_gｒouｐｅｄ。

count（））[’Survived']#计算每年龄段的幸存率

prｉntage_Surviｖal＿RaｔeXXage_Survｉval_Rate.pｌot（kinｄ=’ｂar'）XXｐｌｔ.title（＇Ａgｅ_ｇroup＿surviｖed_ｒate'）XXplt。

sｈoｗ（）

5、乘客存活率与复合变量之间的关系

一个数据表象，往往是多个因素影响的结果，其中多个因素的影响力XX不同，因此复合变量的分析也是必不可少的。

单变量中舱位和XX对存活率的影响都很大,到底是哪一个主要决定了乘客能否登上救生船,因此就对舱位和XX整合为复合变量，做了分析。

结果发现三等舱的女性存活率高于一等舱的男性存活率，所以起决定性的还是XX.

#eｎｃodinｇ=uｔf-８XXimXXrtｎumpyａｓｎXXXimXXｒｔpａndas　aｓ　pd

iｍXXrｔmatplotlib．pyplｏtas　ｐｌt

ｄaｔa＿ｓｒc=’tｉtaXXc。

cｓv＇XXdf　＝pd。

read_cｓｖ（daｔa＿src，hｅader=０）＃　导入数据XXPcXXs＿XX_ｓurvived_ratｅ=（ｄf．groupｂy（［'XX’,＇ＰcXXs＇]）．sｕm（）/ｄf。

grｏuｐby（［’XX'，’PcXXs'］）.count（））['Survivｅd’]XXPｃXXs_XX＿survivｅｄ_rate.pｌot（kind＝’bar’）

pｌt。

ｔiｔle（’PcXXs_XX_sｕrｖived_rａte＇）

ｐlt。

sｈow（）

6、XX消费能力对存活率的影响

结论:

XX泰坦尼克号的总人数大概有22００多，乘客有1３０0多，样本中的９０0左右数据量虽然不是全部人员的数据，但是就乘客而言样本数量所占比例已然接近７0％,根据我们分析的结果显示舱位等级和XX对存活率有较大的影响，由于数据不完整且有缺失,分析结果并不一定正确，这种结果只是代个较大概率的可能性． 

除了样本所提供的因素，其他因素已知或者未知对于存活率的影响也是无法忽视，其中我认为泰坦尼克号上的800多工作人员对存活率的影响是非常大的,工作人员的行为显然可以很大程度引导乘客,目前这方面数据完全空缺，所以不能保证我们的结果是完全正确的。