捣鼓了两天觉得代码太慢开始用pandas做处理

不得不说最大的感触就是 pandas 以及numpy在一定程度上在还原MATLAB

比如MATLAB中利用逻辑值取数、元素的用法，pandas中有几乎一样的方法

test:

同时pandas中有很多很好用的方法，猜测使用了很多哈希值

但是pandas同numpy一样，增量添加很慢

也就是pandas适用于 已经确定size的数据的读取操作非常友好，但是把两个dataframe合并，是很慢的操作

实际上先做了数据的拷贝再进行的拼接，可想而知是多慢了

而Python里的list是一个动态数组，比较适合用于动态增长的情况，比如append，+，extends这样的方法

总之记住只对dataframe进行读取就够啦

最后写代码的时候 对于for循环要小心！！！

想清楚这个代码是不是在循环里面还是外面！！

把要在循环外面的代码先写着！！

比如这次把生成dataframe的两行代码写了for循环里面

查了好几遍才发现！！ 真的很费时间！！

时间的宝贵使人进步。

从别人的论文里找到要用的数据的原始数据自己做过滤捣鼓了两天觉得代码太慢开始用pandas做处理不得不说最大的感触就是 pandas 以及numpy在一定程度上在还原MATLAB比如MATLAB中利用逻辑值取数、元素的用法，pandas中有几乎一样的方法test:同时pandas中有很多很好用的方法，猜测使用了很多哈希值但是pandas同numpy一样，增量添加很慢也... 上一篇说到，最近我在做地址匹配的一个竞赛，目前陷入了瓶颈，所以想从 pandas 效率上玩玩。 比如给出一个切分好的地址列表，如[‘福建省’, ‘厦门市’, ‘思明区’, ‘梧村街道’, ‘湖滨南路’]，需要将这个地址在140+万条 数据 的地址库里 筛选 出满足条件的所有地址，应该怎么做呢？ 一、常规方法 最常规的方法肯定是直接使用 pandas 里面的 筛选 方法，如下面代码所示 可以看到用时大概在843毫秒左右 这个方法的好处是书写简单，无脑&就可以了，但是如果当中某个对象可能是空的而且需要同时对很多地址 现有一个 数据 量很大的dataframe（本文中的示例 数据 为100万 行 ，9列）需要做一些 筛选 操作。考虑到 数据 量特别大，不同的方法在性能方面会造成巨大的差异。此次的 数据 比较特殊，有一个TradingDay字段，标准格式应该是nchar(8)，也可以当做8位的数值使用。 筛选 差异也由他们的 数据 类型产生。 筛选 数据 由两部分组成， 筛选 条件与取值方法。 本文使用到的 筛选 条件有两种： 字符串比较 取值方法有三种： loc取值 索引取值['column_name'] 属性取值.column_n https://cloud.google.com/bigquery/docs/reference/libraries#client-libraries-resources- python 主要在这里进 行 操作 在环境变量里配置经常会莫名其妙出现错误 google.auth.exceptions.DefaultCredentialsError: Could not automatically determine.