import psycopg2
conn = psycopg2.connect(host=***, port=***, database=***, user=***, password=***)
cur = conn.cursor()
     cur.execute("select to_regclass(" + "\'" +  table_name + "\'" + ") is not null")
     rows = cur.fetchall()
except Exception as e:
     rows = []
     conn.close()
if rows:
     data = rows
     flag = data[0][0]
     print(flag)   
flag的值即为查询出来的表是否存在的状态，存在则为True，不存在则为False
 利用python在数据库创建表的例子网上很多，在此就不进行赘述了。
 
executemany()方法批量输入数据到数据库
 data是需要插入的数据，为list类型，3列，数据条数有70多万条
 
import psycopg2
conn = psycopg2.connect(host=***, port=***, database=***, user=***, password=***)
cur = conn.cursor()
sql =  "insert into " + table_name + " values(%s, %s, %s)
cur.executemany(sql, data)
conn.commit()
conn.close()
该方法下，70多万条数据插入到数据库需要3.88分钟
 
datafame的to_sql()插入数据到数据库
 
from sqlalchemy import create_engine
result = pd.DataFrame(data)
engine = create_engine('postgresql://user:password@host:port/database')
pd.io.sql.to_sql(result, table_name, engine, index = False, if_exists='append')
该方法下，70多万条数据插入到数据库需要4.42分钟
 
强大的copy_from()，是postgresSQ的内置函数
 
import psycopg2
from sqlalchemy import create_engine
import pandas as pd
from io import StringIO
data1 = pd.DataFrame(data)
# dataframe类型转换为IO缓冲区中的str类型
output = StringIO()
data1.to_csv(output, sep='\t', index=False, header=False)
output1 = output.getvalue()
conn = psycopg2.connect(host=***, user=***, password=***, database=***)
cur = conn.cursor()
cur.copy_from(StringIO(output1), table_name1)
conn.commit()
cur.close()
conn.close()
print('done')
用copy_from()方法，70多万条数据插入到数据库仅仅需要0.06分钟,相比于前两种方法执行效率高太多啦
 尝试了多张数据表循环批量插入，之前用executemany()需要15个小时才能插入完成的数据，用copy_from()只需要90分钟左右。相比来说已经很优秀了！
 
主要参考：
 (https://blog.csdn.net/rongyongfeikai2/article/details/17935139?utm_source=blogxgwz5)
                    1.查询数据库中数据表是否存在，不存在则创建import psycopg2conn = psycopg2.connect(host=***, port=***, database=***, user=***, password=***)cur = conn.cursor()try:     cur.execute("select to_regclass(" + "\'" +  table...
				
在批量插入postgresql时想使用同Mysql的语法时发现并不能使用：
cursor.executemany("INSERT INTO persons VALUES (%d, %s, %s)",[(1, 'John Smith', 'John Doe'),(2, 'Jane Doe', 'Joe Dog'),(3, 'Mike T.', 'Sarah H.')])
难道只能写成这样吗?  insert into A values(xxxxxxxx),(xxxxxxxx),(xxxxxxxx)
				
OpenERP（08年5月前称之为TinyERP）是一个ERP/CRM系统。它使用Python语言开发，数据库采用开源的PostgreSQL，系统以GNU GPL开 源协议发布。
系统提供较灵活的模块架构，常用模块包括：采购管理，销售管理，库存管理，财务管理，货品管理，营销管理，客户关系管理，生产管理，人事管理，服务支持等等。用户可以直接从模块库中选择安装适用模块，或进行模块卸载，升级的管理操作。
def copydirs(from_file, to_file):
    if not os.path.exists(to_file):  # 如不存在目标目录则创建
        os.makedirs(to_file)
    files = os.listdir(from_file)  # 获取文件夹中文件和目录列表
    for f in files:
        if os.path.isdir(f.
import psycopg2
conn = psycopg2.connect(host=***, port=***, database=***, user=***, password=***)
cur = conn.cursor()
     cur.execute("select to_regclass(" + "\'" +  ta...
索引已经尽可能利用，但是查询速度还是较慢。数据量级较高，其中牵扯量级等值的多表联合查询。
优化方案：根据主表的索引优势，快速定位主表满足条件的id数据集合。作为临时表，极大缩减联合查询行数，左查询。
thinkPHP5临时表查询：
 		$aids   = Db::name('ax')->...
				
昨天写入PG的时候直接用insert命令拼接字符串被数据库的同事批了，o(╥﹏╥)o
这里我测试了3种写入PG数据库的方式，数据源为1个含有13642条数据的csv，并进行了一个对比：
1.insert命令写入
具体的命令代码见我的这篇文章：https://blog.csdn.net/weixin_44731100/article/details/88534304
可见，写入13642...
			我是一名挣扎在编程链底端的pythoner，工作中既要和数据打交道，也要保持和erp系统，web网站友好的"沟通"···，我会时不时的分享下工作中遇到那点事，包括个人觉得值得记录的编程小技巧，还有就是遇到的问题以及解决方案，还有源码的阅读等等，可能也有编程中的生活感悟，不说了，我要去重构我的程序了
		本文基于python, 使用pandas, pymysql等三方库实现了向数据库中高效批量插入数据，一方面提供被网上很多瞎转载的答案给坑蒙了的人(因为我也是)，一方面自己也做个笔记，以后方便查阅.