持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第7天, 点击查看活动详情

最近需要进行对数据库的数据进行导入导出,之前使用的方式是,同时接到两台数据库上,进行读写操作;

但是,如果不能直接连数据库,可以使用另一种方法;

从源数据库导出数据到文件 将数据导入到目标数据库;

从数据库导出数据到文件,最佳的方式应该是导出成csv文件;

什么是csv文件:

csv全称“Comma-Separated Values”,是一种逗号分隔值格式的文件,是一种用来存储数据的纯文本格式文件。CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串。它们大多使用逗号字符来分隔(或定界)数据,但有时使用其他字符,如分号等;

导出数据库数据

打开数据库可视化工具; 查询所需数据,选择导出数据; 选择导出文件格式为csv

读取csv文件数据

使用JAVA读取CSV文件的三种方式:

  • 使用BufferedReader逐行读取
  • 使用CsvReader读取
  • 使用univocity解析csv文件
  • 使用BUfferReader读取文件

    因为csv本质上是一个文本文件,所以可以使用File中的reader方法读取数据;
    

    读取代码如下:

        public static void readFileByLine(String filepath) throws Exception {
            BufferedReader reader = new BufferedReader(new FileReader(filepath));
            String line = null;
            if((line = reader.readLine())!= null) {
                System.out.println(line); //第一行
                line = reader.readLine();
                System.out.println(line); //第二行
                for (String text: line.split(",")) {
                    System.out.println(text);
            reader.close();
    

    在读取csv文件时,对于不换行的文件没问题,但是遇到有些csv文件会换行,就会有问题;所以不太建议使用这个方式;

    使用csvReader

  • 引入依赖:
  • net.sourceforge.javacsv:javacsv:2.0

    CsvReader可以逐行读取文件记录; 可以使用 readHeaders()读取表头 使用readRecord()读取记录 使用getVaules()以数组形式获取行记录

    具体代码如下:

    import com.csvreader.CsvReader;
        public static void readByCsvReader(String filePath) throws Exception {
            CsvReader csvReader = new CsvReader(filePath, ',', Charset.defaultCharset());
            csvReader.readHeaders(); //读取表头
            if(csvReader.readRecord()){
                //读取一行数据
                String[] vs = csvReader.getValues();
                for (String v:vs) {
                    System.out.println(v);
            csvReader.close();
    

    在javacsv中,还有一个CSVWriter可以写数据到csv文件中。 使用起来比较简单,只需要 调用

    csvWriter.writeRecord(values);

    传递一个数组,写入数据到csv文件。且会自动分割;

    代码示例如下:

    import com.csvreader.CsvWriter;
        public static void writeCsv(String filePath , String[] values) throws  Exception{
            //创建写对象
            CsvWriter csvWriter = new CsvWriter(filePath, ',',Charset.defaultCharset());
            csvWriter.writeRecord(values); //写入数据
            csvWriter.close();
    

    使用Univocity解析CSV文件

    Univocity是一个开源的Java项目.针对CSV、TSV定宽文本文件的解析,它以简洁的API开发接口提供了丰富而强大的功能;

    compile 'com.univocity:univocity-parsers:2.9.1'

    示例代码如下:

    import com.univocity.parsers.common.ParsingContext;
    import com.univocity.parsers.common.processor.RowProcessor;
    import com.univocity.parsers.csv.CsvParser;
    import com.univocity.parsers.csv.CsvParserSettings;
    public class FileUtils {
        public static void readByUnivocity(String filePath){
            CsvParserSettings parserSettings = new CsvParserSettings();
            parserSettings.setDelimiterDetectionEnabled(true); //自动探测分隔符
            //把第一个解析行看作文件中每个列的标题
            parserSettings.setHeaderExtractionEnabled(true);
            RowProcessor rowProcessor = new RowProcessor() {
                @Override
                public void processStarted(ParsingContext context) {
                    System.out.println("开始处理");
                @Override
                public void rowProcessed(String[] row, ParsingContext context) {
                    System.out.println("开始处理行数据");
                    //System.out.println(Arrays.toString(row));
                @Override
                public void processEnded(ParsingContext context) {
                    System.out.println(context.currentLine());
            parserSettings.setMaxCharsPerColumn(40960);
            parserSettings.setMaxColumns(51200);
            //parserSettings.setProcessor(rowProcessor);
            CsvParser csvParser =  new CsvParser(parserSettings);
            //csvParser.parse(new File(filePath),Charset.defaultCharset());
            List<String[]> rows = csvParser.parseAll(new File(filePath),Charset.defaultCharset());
            System.out.println(rows.size());
    复制代码