python数据分析之numpy库

1、Numpy库

Numpy是一个开源的python科学计算基础库。
①一个强大的N维数组对象ndarray；
②广播功能函数；
③整合C/C++/Fortran代码工具；
④线性代数、傅里叶变换、随机数生成等功能。
Numpy是Scipy、Pandas等数据处理或科学计算库的基础。
引入Numpy库通常使用import numpy as np形式，其中np为引入模块别名，别名可以省略更改，但建议使用上述别名。

2、N维数组对象：ndarray

例如：计算A²+B²，其中A与B均为一维数组
一般的写法：

python

def pySum():
    a = [0,1,2,3,4]
    b = [9,8,7,6,5]
    
    for i in range(len(a)):
        c.append(a[i]**2+b[i]**2)
       return c
print(pySum())

使用numpy:

python

import numpy as np

def npSum():
    a = np.array([0,1,2,3,4])
    b = np.array([9,8,7,6,5])
    
    c = a**2 + b**2
    
    return c

print(pySum())

数组对象可以去掉元素间运算所需要的循环，使一维向量更像单个数据。设置专门的数组对象，经过优化，可以提升这类应用的运算速度。科学计算中，一个维度所有数据的类型往往相同。数组对象采用相同的数据类型，有助于节省运算和存储空间。
ndarray是一个多维数组对象，由两部分构成：
• 实际的数据
• 描述这些数据的元数据（数据维度、数据类型等）
ndarray数组一般要求所有元素类型相同（同质），数组下标从0开始
np.array()生成一个ndarray数组,打印输出成[ ]形式，元素由空格分割。如下所示：
轴(axis): 保存数据的维度；秩(rank)：轴的数量

(一)ndarray对象的属性

属性	说明
.ndim	秩，即轴的数量或维度的数量
.shape	ndarray对象的尺度，对于矩阵，n行m列
.size	ndarray对象元素的个数，相当于.shape中n*m的值
.dtype	ndarray对象的元素类型
.itemsize	ndarray对象中每个元素的大小，以字节为单位

(二)ndarray数组的元素类型

数据类型	说明
bool	布尔类型，True或False
intc	与C语言中的int类型一致，一般是int32或int64
intp	用于索引的整数，与C语言中ssize_t一致，int32或int64
int8	字节长度的整数，取值：[‐128, 127]
int16	16位长度的整数，取值：[‐32768, 32767]
int32	32位长度的整数，取值：[‐2³¹ , 2³¹ ‐1]
int64	64位长度的整数，取值：[‐2⁶³ , 2⁶³ ‐1]
uint8	8位无符号整数，取值：[0, 255]
uint16	16位无符号整数，取值：[0, 65535]
uint32	32位无符号整数，取值：[0, 2³² ‐1]
uint64	32位无符号整数，取值：[0, 2⁶⁴ ‐1]
float16	16位半精度浮点数：1位符号位，5位指数，10位尾数
float32	32位半精度浮点数：1位符号位，8位指数，23位尾数
float64	64位半精度浮点数：1位符号位，11位指数，52位尾数
complex64	复数类型，实部和虚部都是32位浮点数
complex128	复数类型，实部和虚部都是64位浮点数

• 科学计算涉及数据较多，对存储和性能都有较高要求
• 对元素类型精细定义，有助于NumPy合理使用存储空间并优化性能
• 对元素类型精细定义，有助于程序员对程序规模有合理评估

(三)非同质的ndarray对象

ndarray数组可以由非同质对象构成，非同质ndarray元素为对象类型，非同质ndarray对象无法有效发挥NumPy优势，尽量避免使用

(四)ndarray数组的创建方法

函数	说明
np.arange(n)	类似range()函数，返回ndarray类型，元素从0到n‐1
np.ones(shape)	根据shape生成一个全1数组，shape是元组类型
np.zeros(shape)	根据shape生成一个全0数组，shape是元组类型
np.full(shape,val)	根据shape生成一个数组，每个元素值都是val
np.eye(n)	创建一个正方的n*n单位矩阵，对角线为1，其余为0
np.ones_like(a)	根据数组a的形状生成一个全1数组
np.zeros_like(a)	根据数组a的形状生成一个全0数组
np.full_like(a,val)	根据数组a的形状生成一个数组，每个元素值都是val
np.linspace()	根据起止数据等间距地填充数据，形成数组
np.concatenate()	将两个或多个数组合并成一个新的数组

(五)ndarray数组的变换

函数	说明
.reshape(shape)	不改变数组元素，返回一个shape形状的数组，原数组不变
.resize(shape)	与.reshape()功能一致，但修改原数组
.swapaxes(ax1,ax2)	将数组n个维度中两个维度进行调换
.flatten()	对数组进行降维，返回折叠后的一维数组，原数组不变
.astype(new_type)	数组的类型变换，创建新的数组（原始数据的一个拷贝），即使两个类型一致
.tolist()	数组向列表的转换

(六)ndarray数组的操作

数组的索引和切片
索引：获取数组中特定位置元素的过程
切片：获取数组元素子集的过程
一维数组的索引和切片：与Python的列表类似
多维数组的索引：
多维数组的切片：

(七)ndarray数组的运算

NumPy一元函数:

函数	说明
np.abs(x) np.fabs(x)	计算数组各元素的绝对值
np.sqrt(x)	计算数组各元素的平方根
np.square(x)	计算数组各元素的平方
np.log(x)	np.log10(x)
np.log2(x)	计算数组各元素的自然对数、10底对数和2底对数
np.ceil(x) np.floor(x)	计算数组各元素的ceiling值或 floor值
np.rint(x)	计算数组各元素的四舍五入值
np.modf(x)	将数组各元素的小数和整数部分以两个独立数组形式返回
np.cos(x) np.cosh(x) np.sin(x) np.sinh(x) np.tan(x) np.tanh(x)	计算数组各元素的普通型和双曲型三角函数
np.exp(x)	计算数组各元素的指数值
np.sign(x)	计算数组各元素的符号值，1(+), 0, ‐1(‐)

NumPy二元函数

函数	说明
+ ‐ * / **	两个数组各元素进行对应运算
np.maximum(x,y)/fmax()以及np.minimum(x,y)/fmin()	元素级的最大值/最小值计算
np.mod(x,y)	元素级的模运算
np.copysign(x,y)	将数组y中各元素值的符号赋值给数组x对应元素
> < >= <= == !=	算术比较，产生布尔型数组

3、Numpy数据存储

(一)数据的CSV文件存取

CSV是一种常见的文件格式，用来存储批量数据
方法一：
存储：np.savetxt(frame, array, fmt='%.18e', delimiter=None)
• frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
• array : 存入文件的数组
• fmt : 写入文件的格式，例如：%d %.2f %.18e
• delimiter : 分割字符串，默认是任何空格
读取：np.loadtxt(frame, dtype=np.float, delimiter=None， unpack=False)
• frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
• dtype : 数据类型，可选
• delimiter : 分割字符串，默认是任何空格
• unpack : 如果True，读入属性将分别写入不同变量
注意：CSV只能有效存储一维和二维数组，np.savetxt() 和 np.loadtxt()只能有效存取一维和二维数组

方法二：获取任意维度的数据
存储：a.tofile(frame, sep='', format='%s')
• frame : 文件、字符串
• sep : 数据分割字符串，如果是空串，写入文件为二进制
• format : 写入数据的格式
读取：np.fromfile(frame, dtype=float, count=‐1, sep='')
• frame : 文件、字符串
• dtype : 读取的数据类型
• count : 读入元素个数，‐1表示读入整个文件
• sep : 数据分割字符串，如果是空串，写入文件为二进制
注意：该方法需要读取时知道存入文件时数组的维度和元素类型，a.tofile()和 np.fromfile()`需要配合使用,可以通过元数据文件来存储额外信息

(二)便捷文件存取

存储：np.save(fname, array) 或 np.savez(fname, array)
• fname : 文件名，以.npy为扩展名，压缩扩展名为.npz
• array : 数组变量
读取：np.load(fname)
• fname : 文件名，以.npy为扩展名，压缩扩展名为.npz

4、Numpy的函数

(一)随机数函数

NumPy的random子库np.random.*

函数	说明
rand(d0,d1,..,dn)	根据d0‐dn创建随机数数组，浮点数，[0,1)，均匀分布
randn(d0,d1,..,dn)	根据d0‐dn创建随机数数组，标准正态分布
randint(low[,high,shape])	根据shape创建随机整数或整数数组，范围是[low, high)
seed(s)	随机数种子，s是给定的种子值
shuffle(a)	根据数组a的第1轴进行随排列，改变数组x
permutation(a)	根据数组a的第1轴产生一个新的乱序数组，不改变数组x
choice(a[,size,replace,p])	从一维数组a中以概率p抽取元素，形成size形状新数组replace表示是否可以重用元素，默认为False
uniform(low,high,size)	产生具有均匀分布的数组,low起始值,high结束值,size形状
normal(loc,scale,size)	产生具有正态分布的数组,loc均值,scale标准差,size形状
poisson(lam,size)	产生具有泊松分布的数组,lam随机事件发生率,size形状

(二)统计函数

NumPy直接提供的统计类函数np.*

函数	说明
sum(a, axis=None)	根据给定轴axis计算数组a相关元素之和，axis整数或元组
mean(a, axis=None)	根据给定轴axis计算数组a相关元素的期望，axis整数或元组
average(a,axis=None, weights=None)	根据给定轴axis计算数组a相关元素的加权平均值
std(a, axis=None)	根据给定轴axis计算数组a相关元素的标准差
var(a, axis=None)	根据给定轴axis计算数组a相关元素的方差

axis=None 是统计函数的标配参数

函数	说明
min(a) max(a)	计算数组a中元素的最小值、最大值
argmin(a) argmax(a)	计算数组a中元素最小值、最大值的降一维后下标
unravel_index(index, shape)	根据shape将一维下标index转换成多维下标
ptp(a)	计算数组a中元素最大值与最小值的差
median(a)	计算数组a中元素的中位数（中值）

(三)梯度函数

函数	说明
np.gradient(f)	计算数组f中元素的梯度，当f为多维时，返回每个维度梯度

梯度：连续值之间的变化率，即斜率
XY坐标轴连续三个X坐标对应的Y轴值：a, b, c，其中，b的梯度是： (c‐a)/2