不断更新的csv文件到Mysql数据库转存代码

//这里我们利用cl参数也就是记录的已读代码行数来传参数，表示跳过多少行。
        df = pd.read_csv(r'文件位置+文件名.csv', skiprows=int(cl),
                         header=None,
                         encoding='gb18030',error_bad_lines=False)
读取数据部分最底下有，在说一下游标的写入，也同样是个txt文本文件，这样能长久保存，每次写的时候选w参数这样能够直接覆盖掉之前的数据。
 下面展示一些 内联代码片。
 
file2 = open(r'文本文件', 'w')
当然我知道这样并不能完全实现自动化，所以还需要利用进程或线程来解决。
 
下面展示 全部代码。
 
import pandas as pd
import datetime
import sqlalchemy
# 读取数据当前已经读了多少数据
def countline():
    # Python获取系统日期
    data = datetime.datetime.now()
    data = data.strftime('%Y-%m-%d')
    # 判断文件是否存在
    try:
        file1 = open(r'D:\graduation project\kiwisyslog\Syslogd\Logs\NewSyslogCatchAll-' + data + '-cl.txt', 'r')
        print("文件存在，不需要创建")
    except:
        print('文件不存在创建一个新的文件')
        file1 = open(r'D:\graduation project\kiwisyslog\Syslogd\Logs\NewSyslogCatchAll-' + data + '-cl.txt', 'w+')
    countline = str(file1.read())
    file1.close()
    if countline == '':
        countline = 0
    print(countline)
    return countline
# 读法有点粗暴，改用pands来读取数据
# with open('C:/Users/nuo/Desktop/shiyan/log/SyslogCatchAll-2022-10-24_1.csv')as f:
#     f_csv = csv.reader(f)
#     for row in f_csv:
#         print(row)
def cvs_to_mysql():
    # Python获取系统日期
    data = datetime.datetime.now()
    data = data.strftime('%Y-%m-%d')
    cl = countline()#获取当前已经读到的行数
    try:#这里加try是为了避免没有新的日志出现的时候报错，skiprows跳过全部行后报错。
        df = pd.read_csv(r'D:\graduation project\kiwisyslog\Syslogd\Logs\NewSyslogCatchAll-' + data + '.csv', skiprows=int(cl),
                         header=None,
                         encoding='gb18030',error_bad_lines=False)
        a = len(df)
        b = int(cl) + a
        writeline(b)
        print(cl)
        print(df)
        #con 参数为数据库的连接，这里不能用pymysql,pymysql只会傻傻 的一行一行写。可以用sqlalchemy,它能把一整个DataFrame一把梭哈掉。
        #if_exists 参数判断是否有重复表名，该参数有3个值：fail表示如果表名重复则不写入，replace表示如果表名重复覆盖原表，append表示追加写入。
        #engine = sqlalchemy.create_engine("mysql+pymysql://root:******@localhost:3306/数据库名?charset=utf8")
        # df.to_sql(name='表名', con=engine, if_exists='replace', index=True)
        engine = sqlalchemy.create_engine("mysql+pymysql://root:admin@localhost:3306/syslog?charset=utf8")
        df.columns = ['Date','Time','Priority','Hostname','MsgText']
        df.to_sql(name='syslogd6', con=engine, if_exists='append', index=False)
    except:
        print('当前日志已经全部被读取')
def writeline(countline):
    # Python获取系统日期
    data = datetime.datetime.now()
    data = data.strftime('%Y-%m-%d')
    file2 = open(r'D:\graduation project\kiwisyslog\Syslogd\Logs\NewSyslogCatchAll-' + data + '-cl.txt', 'w')
    file2.write(str(countline))
    file2.close()
cvs_to_mysql()
配置Kiwi（不用Kiwi的小伙伴可自行跳过）
 
本意是希望通过Kiwi直接将日志转存到数据库中，但是在和逗老师交流过程中发现该功能是付费功能，遂决定自己编写代码来实现该功能。
 同时也解决了txt到数据库的转存问题。
 逗老师原文链接: link
 
在setup中添加一个new action选择log to file ，我在这里把最后的文件后缀改成了.csv。这样就可以生成csv文件了，格式format部分可以自行设定或选择后面带csv的，这里我自己定义了一个。
 
 这里我在Formatting里面的Custom file formats 添加了一个自己定义的format，大家可以自己按需选取想要的日志内容，Field delimiter记得选Comma Space。
 
 python syslog-to-csv.py /var/log/syslog.1
或者如果您需要速度：
 pypy syslog-to-csv.py /var/log/syslog.1
现在，您在本地目录中有一个syslog.csv文件
使用[csvkit] 处理csv
可视化系统日志
有了csv之后，您就可以使用各种工具（例如Pandas，朋友，甚至Excel）来解释您的syslog数据：
				
猕猴桃阅读器
Kiwi Reader 是一款用于协作文档编辑、电子书阅读的网络应用程序。 使用 Kiwi Reader，您可以保存来自其他网站的文章，然后与朋友分享，实时进行批注和评论。
您需要在 localhost:1313 上安装 mongoDB 服务器
您必须通过键入来安装所有依赖项
 npm install
 bower install
（需要在您的机器上安装 bower）。
 比你可以启动服务器
 node server.js
				
本文介绍如何利用Kiwi Syslog将日志转存到MySQL数据库。
关于如何搭建Kiwi Syslog日志服务器，请参考：
【逗老师带你学IT】Kiwi Syslog Server安装和配置教程
【逗老师带你学IT】Kiwi Syslog Web Access与Active Directory集成认证
开始之前说个坑，网上有很多网友发现Kiwi转存MySQL时，可以连接数据库，但是数据库内没有日志。笔者简单调查之后发现有三个坑
1、大部分网友在配置ODBC驱动的时候，添加的不是系统DSN，而是用户DSN。
使用navicat、workbench等软件中的导入向导手动导入
使用load data infile命令导入
前者速度较慢，适合数据量比较小的时候，而对于大文件，我们需要使用命令行导入。
在mysql中将表结构先建好，包括字段名及类型等
使用如下命令查看是否允许从外部路径导入文件
show variables like '%secure%';
如果结果显示secure_file_priv=‘’，即空字符串，则无需改动；如果secu
                    CSDN-Ada助手: 
                    非常棒的博客！感谢您分享如此有价值的技术经验。我们期待您能继续深入探索，并分享更多的技术知识。我们建议您可以写一篇关于如何使用Python实现自动化爬取CSV文件并转存到Mysql数据库的博客，这将为您的读者提供更加详细和实用的技术指导。期待您的下一篇博客！
为了方便博主创作，提高生产力，CSDN上线了AI写作助手功能，就在创作编辑器右侧哦～（https://mp.csdn.net/edit?utm_source=blog_comment_recall ）诚邀您来加入测评，到此（https://activity.csdn.net/creatActivity?id=10450&utm_source=blog_comment_recall）发布测评文章即可获得「话题勋章」，同时还有机会拿定制奖牌。
                解决不断更新的csv文件到Mysql数据库的转存，（解决Kiwi转存数据库问题）
                    CSDN-Ada助手: 
                    推荐 Python入门 技能树：https://edu.csdn.net/skill/python?utm_source=AI_act_python