1.numpyfromfileԴ??
2.python多种读写excel等数据文件的方式（收藏篇）
3.NumPy学习笔记（3.8）输入和输出
4.图解python(图解pythonpdf)
5.numpy基础——ndarray对象

numpyfromfileԴ??

       处理大文件时，若遇到Python内部限制导致offset过大问题，可以自行编写C++函数供Python调用，解决限制。

       撰写C++扩展至Python较为复杂，尤其对于国内开发者，源码乐园 code51资料相对稀缺。幸运的是，已有人通过封装PyBind来简化此过程。PyBind为Header-Only库，仅需引入头文件即可使用，且内置对NumPy、Eigen等科学计算库的支持，能从C/C++代码直接返回NumPy数组。

       下文提供一个简单的示例供参考。

       编写一个填充数据的函数进行测试：

       在Python环境下，测试结果表明，我的固态硬盘读取速度稳定在M/s，还算不错。发布源码的网站源码如此速度下，读取这些数据大约需要半分钟。

       若需深入理解PyBind，请参考其更多信息。

python多种读写excel等数据文件的方式（收藏篇）

       Python提供了多种数据文件的读写方式，适用于文本、excel、数据库和API等多种格式。以下是正版 源码主要的处理方式:

       1. 基本文件操作函数: 使用read(), readline(), readlines()可以逐行或一次性读取文本文件内容，其中readline()适合内存有限时。

       2. csv模块: 内置的csv模块支持处理CSV文件，是数据科学中常见的格式，能轻松处理不同规模的数据。

       3. numpy库: loadtxt(), load(), fromfile()分别用于读取文本、numpy和二进制数据，需确保数据格式规则。

       4. pandas库: pandas的强大功能使其能读取多种格式数据，如txt,ping源码 csv, excel, json等，通过read_csv, read_excel等方法输出DataFrame。

       5. excel文件处理: 除了pandas，还有xlrd, xlwt, openpyxl等库，各有其特定用途和文件支持格式。

       6. 数据库操作: python支持众多数据库接口，如pymysql, sqlalchemy, cx_Oracle等，可用于SQL查询和操作。

       这些工具和库为Python的数据处理提供了丰富的手段，可根据具体需求选择合适的漂亮源码方法。想要深入了解Python的更多知识，可以关注公众号编程语言之家获取更多资源。

NumPy学习笔记（3.8）输入和输出

       csv文件的处理：

       在NumPy中，可以使用csv文件进行数据存储与读取，主要有两个函数：

       1.numpy.savetxt函数：用于将数组保存为csv文件，格式为numpy.savetxt(frame, array, fmt = '%.e', delimiter = None)。其中frame为文件路径，array为要保存的数组，fmt格式化参数，delimiter为分隔符。

       2.numpy.loadtxt函数：用于从csv文件读取数据到数组中，格式为numpy.loadtxt(frame, dtype = np.float, coment = '#', delimiter = None, converters = None, skiprows = 0, usecols = None, unpack = False, ndim = 0, encoding = 'bytes')。参数解释与numpy.savetxt类似，但多了dtype数据类型参数。

       二进制文件的处理：

       二进制文件的存储与读取，NumPy提供了更简洁的方案。主要使用numpy的tofile和fromfile方法：

       1.numpy.ndarray.tofile方法：用于将数组以二进制形式写入文件，格式为ndarray.tofile(frame, sep = '', format = '%s')。frame为文件路径，sep为分隔符，format为数据格式。

       2.numpy.fromfile函数：用于从文本或二进制文件中读取数据，构造数组，格式为numpy.fromfile(frame, dtype= np.float, count = -1, sep = '')。frame为文件路径，dtype为数据类型，count读取数据数量，sep为分隔符。

       NumPy专用方法：

       NumPy提供了专门的方法用于数据的保存与读取，既不会丢失维度信息，也不改变数据类型：

       1.numpy.save函数：用于以.npy格式保存文件，格式为numpy.save(fname, array)，fname为文件路径，array为要保存的数组。

       2.numpy.load函数：用于从.npy文件读取数据，格式为numpy.load(fname)，fname为文件路径。

       3.numpy.savez函数：用于以.npz格式保存多个数组，格式为numpy.savez(fname, *args, **kwds)。若只保存一个数组，则使用numpy.save函数。

图解python(图解pythonpdf)

       å›¾è§£Python中数据分析工具包：Numpy

       numpy是我学习python遇到的第一个第三方工具包，它可以让我们快速上手数据分析。numpy提供了向量和矩阵计算和处理的大部分接口。目前很多python的基础工具包都是基于numpy开发而来，比如scikit-learn,SciPy,pandas,还有tensorflow。numpy可以处理表格、图像、文本等数据，极大地方便我们处理和分析数据。本文主要内容来自于JayAlammar的一篇文章以及自己学习记录。

       åŽŸæ–‡åœ°å€ï¼š

       ä½¿ç”¨è¿‡ç¨‹ä¸­ï¼Œå¦‚果希望Numpy能创建并初始化数组的值，Numpy提供了ones()、zeros()和random.random()等方法。只需传递希望生成的元素数量（大小）即可：

       è¿˜å¯ä»¥è¿›è¡Œå¦‚下操作：

       ä¸€èˆ¬ï¼Œéœ€è¦æ•°ç»„和单个数字之间也可以进行运算操作（即向量和标量之间的运算）。比如说data*1.6，numpy利用一个叫做广播机制（broadcasting）的概念实现了这一运算。：

       æˆ‘们可以通过索引对numpy数据获取任意位置数据或者对数据切片

       æˆ‘们可以通过numpy自带的函数对数据进行一些想要的聚合计算，比如min、max和sum，还可以使用mean得到平均值，使用prod得到所有元素的乘积，使用std得到标准差等等。

       ä¸Šè¿°æ“ä½œä¸ä»…可以应用于单维度数据，还可以用于多维度数据{ （矩阵）。

       åŒæ ·å¯ä»¥ä½¿ç”¨ones()、zeros()和random.random()创建矩阵，只要写入一个描述矩阵维数的元组即可：

       numpy还可以处理更高维度的数据：

       åˆ›å»ºæ›´é«˜ç»´åº¦æ•°æ®åªéœ€è¦åœ¨åˆ›å»ºæ—¶ï¼Œåœ¨å‚数中增加一个维度值即可：

       æ ¹æ®æ•°ç»„中数值是否满足条件，输出为True或False.

       å¸Œæœ›å¾—到满足条件的索引，用np.where函数实现.

       æ ¹æ®ç´¢å¼•å¾—到对应位置的值.

       np.where也可以接受另两个可选择的参数a和b。当条件满足时，输出a，反之输出b.

       èŽ·å–数组最大值和最小值的索引可以使用np.argmax和np.argmin.

       1、numpy.tofile()和numpy.fromfile()

       ä¿å­˜ä¸ºäºŒè¿›åˆ¶æ ¼å¼ï¼Œä½†æ˜¯ä¸ä¿å­˜æ•°ç»„形状和数据类型，即都压缩为一维的数组，需要自己记录数据的形状，读取的时候再reshape.

       2、numpy.save()和numpy.load()

       ä¿å­˜ä¸ºäºŒè¿›åˆ¶æ ¼å¼ï¼Œä¿å­˜æ•°ç»„形状和数据类型，不需要进行reshape

       å®žä¾‹ï¼š

       3、numpy.savetxt()和numpy.loadtxt()

       np.savetxt(fname,array,fmt=’%.e’,delimiter=None)

       Parameter解释：

       array:待存入文件的数组。

       fmt:写入文件的格式

       å®žä¾‹ï¼š

       æ±‚python书籍推荐

       é›¶åŸºç¡€å¦‚何学好python，作为一个学了python两三年的过来人，我当初也是从0开始一路摸索过来的，这里给想学python的小白们分享一点我的学习心得。

       1.《笨方法学Python》、《流畅的python》、《EffectivePython：编写高质量Python代码的个有效方法》、《PythonCookbook》。

       2.《利用Python进行数据分析（原书第2版）》、《Python数据科学手册(图灵出品)》。

python教程哪里下载？

       python教程可以到【达内教育】官网咨询下载。该机构各大课程体系紧跟企业需求，企业级项目，课程穿插大厂真实项目讲解，对标企业人才标准，制定专业学习计划，囊括主流热点技术。

       python入门学习：

       ç¬¬ä¸€é˜¶æ®µPython基础与Linux数据库。这是Python的入门阶段，也是帮助零基础学员打好基础的重要阶段。需要掌握【Python】基本语法规则及变量、逻辑控制、内置数据结构、文件操作、高级函数、模块、常用标准库模块、函数、异常处理、MySQL使用、协程等知识点。

       ç¬¬äºŒé˜¶æ®µWEB全栈。这一部分主要学习Web前端相关技术，需要掌握HTML、CSS、JavaScript、jQuery、BootStrap、Web开发基础、VUE、FlaskViews、Flask模板、数据库操作、Flask配置等知识。

       ç¬¬ä¸‰é˜¶æ®µæ•°æ®åˆ†æž+人工智能。这部分主要是学习爬虫相关的知识点，需要掌握数据抓取、数据提取、数据存储、爬虫并发、动态网页抓取、scrapy框架、分布式爬虫、爬虫攻防、数据结构、算法等知识。感兴趣的话点击此处，免费学习一下

       æƒ³äº†è§£æ›´å¤šæœ‰å…³python学习的相关信息，推荐咨询【达内教育】。该机构是引领行业的职业教育公司，致力于面向IT互联网行业培养人才，达内大型T专场招聘会每年定期举行，为学员搭建快捷高效的双选绿色通道，在提升学员的面试能力、积累面试经验同时也帮助不同技术方向的达内学员快速就业。达内IT培训机构,试听名额限时抢购。

Python之MySQL操作

       MySQL是目前使用最广泛的数据库之一，它有着良好的性能，能够跨平台，支持分布式，能够承受高并发。下载地址：MySQL::DownloadMySQLCommunityServer安装参考：图解MySQL5.7.免安装版配置方法-百度经验(baidu.com)

       Python大致有如下5种方式操作MySQL。

       å…ˆä½¿ç”¨å¦‚下建表语句创建一张简单的数据库表。

       2.1mysqlclient

       æ‰§è¡Œpipinstallmysqlclient进行安装，看一下具体操作。

       æ–°å¢ž

       æŸ¥è¯¢

       cursor查看方法

       ä¿®æ”¹

       åˆ é™¤

       2.2PyMySQL

       æ‰§è¡Œpipinstallpymysql进行安装，使用方式与mysqlclient基本类似。

       2.3peewee

       æ‰§è¡Œpipinstallpeewee进行安装，看一下具体操作。

       å®šä¹‰æ˜ å°„ç±»

       æ–°å¢ž

       æŸ¥è¯¢

       ä¿®æ”¹

       åˆ é™¤

       2.4SQLAlchemy

       æ‰§è¡Œpipinstallsqlalchemy进行安装，看一下具体操作。

       å®šä¹‰æ˜ å°„ç±»

       æ–°å¢ž

       æŸ¥è¯¢

       ä¿®æ”¹

       åˆ é™¤

       Python学习日记

numpy基础——ndarray对象

        numpy 是使用python进行数据分析不可或缺的第三方库，非常多的科学计算工具都是基于 numpy 进行开发的。

        ndarray对象是用于存放同类型元素的多维数组，是numpy中的基本对象之一，另一个是func对象。本文主要内容是：1 、简单介绍ndarray对象；2、ndarray对象的常用属性；3、如何创建ndarray对象；4、ndarray元素访问。

        它的维度以及个维度上的元素个数由 shape 决定。

        标题中的函数就是numpy的构造函数，我们可以使用这个函数创建一个ndarray对象。构造函数有如下几个可选参数：

        实例：

        接下来介绍ndarray对象最常用的属性

        实例：

        使用 array 函数，从常规的python列表或者元组中创建数组，元素的类型由原序列中的元素类型确定。

        实例：

        subok 为 True ，并且object是ndarray子类时（比如矩阵类型），返回的数组保留子类类型

        某些时候，我们在创建数组之前已经确定了数组的维度以及各维度的长度。这时我们就可以使用numpy内建的一些函数来创建ndarray。

        例如：函数 ones 创建一个全1的数组、函数 zeros 创建一个全0的数组、函数 empty 创建一个内容随机的数组，在默认情况下，用这些函数创建的数组的类型都是float，若需要指定数据类型，只需要闲置 dtype 参数即可：

        上述三个函数还有三个从已知的数组中，创建 shape 相同的多维数组： ones_like 、 zeros_like 、 empty_like ，用法如下：

        除了上述几个用于创建数组的函数，还有如下几个特殊的函数：

        特别地， eye 函数的全1的对角线位置有参数k确定

        用法如下：

        除了上面两个函数还有其他几个类似的从外部获取数据并创建ndarray，比如： frombuffer 、 fromfile 、 fromiter ，还没用过，等用到了在详细记录

        ndarray提供了一些创建二维数组的特殊函数。numpy中matrix是对二维数组ndarray进行了封装之后的子类。这里介绍的关于二维数组的创建，返回的依旧是一个ndarray对象，而不是matrix子类。关于matrix的创建和操作，待后续笔记详细描述。为了表述方便，下面依旧使用 矩阵 这一次来表示创建的二维数组。

        对于一维的ndarray可以使用python访问内置list的方式进行访问：整数索引、切片、迭代等方式

关于ndarray切片

        与内置list切片类似，形式：

array[beg:end:step]

        beg: 开始索引

        end: 结束索引（不包含这个元素）

        step: 间隔

需要注意的是：

        特别注意的是，ndarray中的切片返回的数组中的元素是原数组元素的索引，对返回数组元素进行修改会影响原数组的值

        除了上述与list相似的访问元素的方式，ndarray有一种通过列表来指定要从ndarray中获取元素的索引，例如：

        多维ndarray中，每一维都叫一个轴axis。在ndarray中轴axis是非常重要的，有很多对于ndarray对象的运算都是基于axis进行，比如sum、mean等都会有一个axis参数（针对对这个轴axis进行某些运算操作），后续将会详细介绍。

        对于多维数组，因为每一个轴都有一个索引，所以这些索引由逗号进行分割，例如：

        需要注意的是：

        多维数组的迭代

        可以使用ndarray的 flat 属性迭代数组中每一个元素