2020年入门数据分析选取Python还是SQL？七个常用操作对比！-天涯论坛

l14107cb 发表于 2024-8-4 15:05:54

2020年入门数据分析选取Python还是SQL？七个常用操作对比！

<img src="https://mmbiz.qpic.cn/sz_mmbiz_jpg/pxMrQvgWLUJZElVuEuCdN9GAPeLvVzcSnUZiaI3fVxMjFWQYHS3L1icPWZG8g98H3ZFTm5jAtS0cajI5aB8pbCew/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
作者：刘早起
源自：早起Python
SQL和Python几乎是当前数据分析师必要要认识的两门语言，它们在处理数据时有什么区别？本文将分别用MySQL和pandas来展示七个在数据分析中常用的操作，期盼能够帮忙把握其中一种语言的读者快速认识另一种办法！
在阅读本文前，你能够拜访下方网站下载本文运用的示例数据，并导入MySQL与pandas中，一边敲代码一边阅读！https://raw.githubusercontent.com/pandas-dev/pandas/master/pandas/tests/io/data/csv/tips.csv1、选取
在SQL中，咱们能够运用SELECT语句从表选取数据，结果被存储在一个结果表中，语法如下：
SELECT
 column_name,column_nameFROM
 table_name;
倘若不想表示所有的记录，能够运用TOP或LIMIT来限制行数。因此呢选取tips表中的部分列能够运用下面的语句SELECT total_bill, tip, smoker, timeFROM
 tipsLIMIT 5
;<img src="https://mmbiz.qpic.cn/mmbiz_png/2GcSFhuAFlCFrTuuAoLSReVN9jCDDpoDf12o4Hyys74TPIJ6LiczicrfEZYlyIK2mBicYPia4PWtK3Af38IWSDpYxQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
而在pandas中，咱们能够经过将列名列表传递给DataFrame来完成列选取<img src="https://mmbiz.qpic.cn/mmbiz_png/2GcSFhuAFlCFrTuuAoLSReVN9jCDDpoDUuPQc2M1LwNtmIXH9jFGoYrGlNLFnfcnTsLbxF2OLZ5xLors0gLIew/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">在SQL中，进行选取的同期还能够进行计算，例如添加一列SELECT *, tip/total_bill as
 tip_rateFROM
 tipsLIMIT 5
;
<img src="https://mmbiz.qpic.cn/mmbiz_png/2GcSFhuAFlCFrTuuAoLSReVN9jCDDpoDkGmfRC4jaj8HfeuJzicnFymVQoOfXRUoTsVx28NZgZr4icIibrWZgSJQQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">在pandas中运用DataFrame.assign()一样能够完成这个操作<img src="https://mmbiz.qpic.cn/mmbiz_png/2GcSFhuAFlCFrTuuAoLSReVN9jCDDpoDRCUxff3mKdPoxRm6DuWKHUJ1znOicYv88Wice1PX5gXTXKeNJQ3fwWog/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
2、查询
<h3 style="color: black; text-align: left; margin-bottom: 10px;">单要求查询</h3>
在SQL中，WHERE子句用于提取哪些满足指定要求的记录，语法如下SELECT
 column_name,column_nameFROM
 table_nameWHERE column_name operator value
;
例如查询示例数据中time = dinner的记录SELECT
 *FROM
 tipsWHERE time = DinnerLIMIT 5
;
<img src="https://mmbiz.qpic.cn/mmbiz_png/2GcSFhuAFlCFrTuuAoLSReVN9jCDDpoD3ON7W4wNicIibeBFH4cZ5akxxI6vMKY5sSTSoa16VwkT09rJicCll8S0w/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">而在pandas中，根据要求进行查询则能够有多种形式，例如能够将含有True/False的Series对象传递给DataFrame，并返回所有带有True的行<img src="https://mmbiz.qpic.cn/mmbiz_png/2GcSFhuAFlCFrTuuAoLSReVN9jCDDpoDyoPE60crhhItfXTBCx349KjOrXiajMuvENnwsHCNm7Gk8uCyuibVZgSQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<h3 style="color: black; text-align: left; margin-bottom: 10px;">多要求查询</h3>
在SQL中，进行多要求查询能够运用AND/OR来完成SELECT
 *FROM
 tipsWHERE time = Dinner AND tip > 5.00
;
<img src="https://mmbiz.qpic.cn/mmbiz_png/2GcSFhuAFlCFrTuuAoLSReVN9jCDDpoDicFtpxKz6vzI584DNNq2u3LX06V5R9bicG4GicMS3ahIsVs65N4Z0oaFg/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">在pandas中亦有类似的操作<img src="https://mmbiz.qpic.cn/mmbiz_png/2GcSFhuAFlCFrTuuAoLSReVN9jCDDpoD8VOaiaBJpEGJlXqqpGFvAToJUZRdxpt6OJeza7V7zjt5yntHsRwtukQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<h3 style="color: black; text-align: left; margin-bottom: 10px;">查询空值</h3>
在pandas检测空值是运用notna()和isna()办法完成的。frame[frame[col1
].notna()]
在SQL中能够运用IS NULL和IS NOT NULL完成SELECT
 *FROM
 frameWHERE col2 IS NULL
;SELECT
 *FROM
 frameWHERE col1 IS NOT NULL;3、更新
在SQL中运用UPDATEUPDATE
 tipsSET tip = tip*2WHERE tip < 2
;
而在pandas中则有多种办法，例如运用loc函数tips.loc < 2, tip] *= 2
4、删除
在SQL中运用DELETEDELETE FROM
 tipsWHERE tip > 9
;
在pandas中，咱们选取应保存的行，而不是删除它们tips = tips.loc <= 9]5、分组
在pandas中，运用groupby()办法实现分组。groupby()一般指的是一个过程，在该过程中，咱们期盼将数据集分为几组，应用某些功能(一般是聚合)，而后将各组组合在一块。
平常的SQL操作是获取全部数据集中每一个组中的记录数。例如，经过对性别进行分组查找SELECT sex, count
(*)FROM
 tipsGROUP BY
 sex;
<img src="https://mmbiz.qpic.cn/mmbiz_png/2GcSFhuAFlCFrTuuAoLSReVN9jCDDpoDeicfNg7HWV38icueNuA3mfoMu62IAxhia9YGDYuciaZBpgicQvnezk4rk9Q/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">在pandas中的等价操做为<img src="https://mmbiz.qpic.cn/mmbiz_png/2GcSFhuAFlCFrTuuAoLSReVN9jCDDpoDMhOjOY0jpiaUTUboSKgsibQNbpgEjKc7THAoPhz7amXT8ZfjhEzqUaZQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">重视，在上面代码中，咱们运用size()而不是count() 这是由于count()将函数应用于每一列，并返回每一列中非空记录的数量！
6、连接
在pandas能够运用join()或merge()进行连接，每种办法都有参数，可让指定要执行的联接类型(LEFT，RIGHT，INNER，FULL)或要联接的列。
此刻让咱们重新创建两组示例数据，分别用代码来演示区别的连接df1 = pd.DataFrame({key: [A, B, C, D
],   ....:                     value: np.random.randn(4
)})
   ....: df2 = pd.DataFrame({key: [B, D,D, E
],   ....:                     value: np.random.randn(4
)})
<h3 style="color: black; text-align: left; margin-bottom: 10px;">内连接</h3>
内联接运用比较运算符按照每一个表共有的列的值匹配两个表中的行，在SQL中实现内连接运用INNER JOINSELECT
 *FROM
 df1INNER JOIN
 df2  ON
 df1.key = df2.key;
在pandas中能够运用merge()<img src="https://mmbiz.qpic.cn/mmbiz_png/2GcSFhuAFlCFrTuuAoLSReVN9jCDDpoD1J9CCSBIzHlJXOYDjmEVU79Fo14jgde4sicBuP3bPV4Uib04nx6KXjuw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">merge()供给了有些参数，能够将一个DataFrame的列与另一个DataFrame的索引连接在一块

qzmjef 发表于 2024-11-3 14:43:19

楼主听话，多发外链好处多，快到碗里来！外链论坛 http://www.fok120.com/

nykek5i 发表于 2024-11-7 15:04:37

对于这个问题，我有不同的看法...

7wu1wm0 发表于 2024-11-8 07:59:46

你的努力一定会被看见，相信自己，加油。

页: [1]

天涯论坛's Archiver

2020年入门数据分析选取Python还是SQL？七个常用操作对比！