持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第7天, 点击查看活动详情
最近需要进行对数据库的数据进行导入导出,之前使用的方式是,同时接到两台数据库上,进行读写操作;
但是,如果不能直接连数据库,可以使用另一种方法;
从源数据库导出数据到文件 将数据导入到目标数据库;
从数据库导出数据到文件,最佳的方式应该是导出成csv文件;
什么是csv文件:
csv全称“Comma-Separated Values”,是一种逗号分隔值格式的文件,是一种用来存储数据的纯文本格式文件。CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串。它们大多使用逗号字符来分隔(或定界)数据,但有时使用其他字符,如分号等;
导出数据库数据
打开数据库可视化工具; 查询所需数据,选择导出数据; 选择导出文件格式为csv
读取csv文件数据
使用JAVA读取CSV文件的三种方式:
使用BUfferReader读取文件
因为csv本质上是一个文本文件,所以可以使用File中的reader方法读取数据;
读取代码如下:
public static void readFileByLine(String filepath) throws Exception {
BufferedReader reader = new BufferedReader(new FileReader(filepath));
String line = null;
if((line = reader.readLine())!= null) {
System.out.println(line); //第一行
line = reader.readLine();
System.out.println(line); //第二行
for (String text: line.split(",")) {
System.out.println(text);
reader.close();
在读取csv文件时,对于不换行的文件没问题,但是遇到有些csv文件会换行,就会有问题;所以不太建议使用这个方式;
使用csvReader
引入依赖:
net.sourceforge.javacsv:javacsv:2.0
CsvReader可以逐行读取文件记录;
可以使用 readHeaders()读取表头
使用readRecord()读取记录
使用getVaules()以数组形式获取行记录
具体代码如下:
import com.csvreader.CsvReader;
public static void readByCsvReader(String filePath) throws Exception {
CsvReader csvReader = new CsvReader(filePath, ',', Charset.defaultCharset());
csvReader.readHeaders(); //读取表头
if(csvReader.readRecord()){
//读取一行数据
String[] vs = csvReader.getValues();
for (String v:vs) {
System.out.println(v);
csvReader.close();
在javacsv中,还有一个CSVWriter可以写数据到csv文件中。
使用起来比较简单,只需要 调用
csvWriter.writeRecord(values);
传递一个数组,写入数据到csv文件。且会自动分割;
代码示例如下:
import com.csvreader.CsvWriter;
public static void writeCsv(String filePath , String[] values) throws Exception{
//创建写对象
CsvWriter csvWriter = new CsvWriter(filePath, ',',Charset.defaultCharset());
csvWriter.writeRecord(values); //写入数据
csvWriter.close();
使用Univocity解析CSV文件
Univocity是一个开源的Java项目.针对CSV、TSV定宽文本文件的解析,它以简洁的API开发接口提供了丰富而强大的功能;
compile 'com.univocity:univocity-parsers:2.9.1'
示例代码如下:
import com.univocity.parsers.common.ParsingContext;
import com.univocity.parsers.common.processor.RowProcessor;
import com.univocity.parsers.csv.CsvParser;
import com.univocity.parsers.csv.CsvParserSettings;
public class FileUtils {
public static void readByUnivocity(String filePath){
CsvParserSettings parserSettings = new CsvParserSettings();
parserSettings.setDelimiterDetectionEnabled(true); //自动探测分隔符
//把第一个解析行看作文件中每个列的标题
parserSettings.setHeaderExtractionEnabled(true);
RowProcessor rowProcessor = new RowProcessor() {
@Override
public void processStarted(ParsingContext context) {
System.out.println("开始处理");
@Override
public void rowProcessed(String[] row, ParsingContext context) {
System.out.println("开始处理行数据");
//System.out.println(Arrays.toString(row));
@Override
public void processEnded(ParsingContext context) {
System.out.println(context.currentLine());
parserSettings.setMaxCharsPerColumn(40960);
parserSettings.setMaxColumns(51200);
//parserSettings.setProcessor(rowProcessor);
CsvParser csvParser = new CsvParser(parserSettings);
//csvParser.parse(new File(filePath),Charset.defaultCharset());
List<String[]> rows = csvParser.parseAll(new File(filePath),Charset.defaultCharset());
System.out.println(rows.size());
复制代码