相关文章推荐
近视的眼镜  ·  java ...·  1 月前    · 
怕老婆的跑步机  ·  kotlin/java生成xml-阿里云开发者社区·  3 月前    · 
谈吐大方的薯片  ·  关于Java单元测试实践的小结_51CTO博 ...·  1 年前    · 
眉毛粗的水桶  ·  Mac下用java代码调用adb命令时出错 ...·  1 年前    · 
含蓄的酸菜鱼  ·  python线性规划最优解代码 - ...·  1 年前    · 
Code  ›  Perl文件处理模块 -
open函数 perl csv yaml
https://zhuanlan.zhihu.com/p/619788642
飘逸的烈马
1 年前
Perl文件处理模块

Perl文件处理模块

Perl独特的字符串处理和正则表达式能力使其成为文本文件处理的非常有用的语言之一。在Perl中，许多模块已经被开发来方便地读取、写入和编辑纯文本与其他类型的数据文件。

下面是一些Perl文件处理模块的详细介绍：


1. IO::File

IO::File提供了一个易于使用的类库，可帮助用户进行文件输入输出操作。虽然Perl提供了大量自带的I/O函数，但是IO::File有着更好的错误检测和更加严谨的程序接口。使用这个模块，可以轻松控制文件句柄以及关闭句柄，避免不必要的内存占用等问题。

使用： 

use IO::File;
# 创建文件句柄并打开文件
my $file = IO::File->new("data.txt", "r") or die "Can't open file: $!";
# 读取文件内容到数组中
my @lines = <$file>;
# 关闭文件句柄
$file->close();

优化：

假设有一个大小为 1GB 的数据文件 data.txt，需要对其内容进行一些修改，并将结果保存到新文件 new_data.txt 中。 

#这是一个简单的实现：（不建议在大数据量情况下使用）
open my $fh_in, "<", "data.txt" or die $!;
open my $fh_out, ">", "new_data.txt" or die $!;
while (<$fh_in>) {
    # 修改每行中的某些内容
    $_ =~ s/old_content/new_content/g;
    print $fh_out $_;
close $fh_out;
close $fh_in;

这个程序能够正常工作，但如果文件很大时，会占用大量 CPU 和内存资源。同时，在执行完整个程序之前，我们无法知道它是否会成功完成或者出现错误。

接着，使用 IO::File 模块进行优化的代码： 

use IO::File;
use File::Temp qw/tempfile/;
use autodie qw/open close/;
# 打开原始文件和目标文件
my $in = IO::File->new("data.txt", "r") or die "Can't open input file: $!";
my ($out_fh, $out_filename) = tempfile();   # 创建临时文件
# 将目标文件设置为二进制模式，避免特殊字符被误处理
binmode($out_fh);
while (my $line = $in->getline()) {
    # 修改每行中的某些内容
    $line =~ s/old_content/new_content/g;
    print $out_fh $line;
$in->close();       # 显式关闭原始文件句柄
$out_fh->flush();   # 将缓存写入临时文件
$out_fh->close();   # 关闭临时文件句柄
# 将目标文件重命名为指定名称，替换同名已有文件（如果存在）
rename($out_filename, "new_data.txt");

这个代码与之前不同的是使用了 临时文件 替代直接操作目标文件。使用 临时文件 可以防止意外修改或覆盖原始数据。

此外，在 IO::File 模块的使用过程中还做出了以下 优化 ：

  • 使用“ binmode ”函数设置流为二进制模式。
  • 使用“ autodie ”模块自动处理错误的情况，避免忘记添加判断语句而导致程序异常退出。
  • 在文件读取和写入完成后显式关闭了文件句柄以释放资源。
  • 缓存输出到内存中并在满足一定数量或条件时再写入磁盘，减少频繁操作带来的性能问题。


2. File::Spec

File::Spec存储不同平台上文件路径的不同表示方式，并提供适应各种操作系统的方法参数，该模块提供Unix、MSWin32和VMS等系统下对于相同任务的规范解决方法。

也就是说：“ 我们可以在不同平台下使用统一的代码进行文件路径和目录操作 ”

使用 File::Spec 面向不同操作系统生成可移植的、规范格式的路径名： 

use File::Spec;
my $dir = 'path/to/dir';
my $file = 'filename.txt';
my $full_path = File::Spec->catfile($dir, $file);   # 将目录和文件名链接成一个完整的路径
print "Full path: $full_path\n";
# 标准化并输出路径
print "Normalized path: ", File::Spec->canonpath($full_path), "\n";

其中 $full_path 在 Windows 系统下为 path\to\dir\filename.txt ，

在 Unix 系统下为 path/to/dir/filename.txt 。

通过 canonpath() 方法可以对路径标准化，并输出带有 '/' 或者 '\' 的符号（视操作系统而定）的路径名。

优化：将常用路径封装为变量，便于重复使用

如果需要频繁地操作某个固定的目录或文件，我们可以考虑使用全局变量或 Config 目录来存储这些数据，以方便调用。 

use File::Spec;
use FindBin qw($RealBin);
our $CONFIG_DIR = File::Spec->catdir($RealBin, '..', 'config');  # 常用配置文件所在的目录
sub get_config_file {
    my ($filename) = @_;
    return File::Spec->catfile($CONFIG_DIR, $filename);
my $config_file = get_config_file('app.conf');
print "Config file path: $config_file\n";

在这个例子中，我们使用 our 声明了 $CONFIG_DIR 变量，并将其设置为存放配置文件的目录。然后定义了一个 get_config_file() 函数来获取所有的配置文件。这样，在代码任何地方调用此函数就可以轻松地访问配置文件。

通过封装变量和常规路径，我们可以避免重复编写路径、简化代码结构，也便于修改和维护。


3. File::Find

File::Find可用于扫描整个目录结构，并针对匹配指定条件的所有文件执行任意命令序列。

重复使用的回调子例程可以减少代码量并增强可读性。

应用场景有：查找每个包含指定内容的日志文件或 删除具有特定时间戳的网络备份副本 。 

#删除具有特定时间戳的网络备份副本
use strict;
use warnings;
use File::Find;
my $dir = '/path/to/backups';  # 备份文件所在目录
my $older_than = (24 * 60 * 60);  # 删除一天之前的备份
sub wanted {
    return unless -f;   # 只处理文件
    my ($dev, $ino, $mode, $nlink, $uid, $gid, $rdev, $size,
        $atime, $mtime, $ctime, $blksize, $blocks) = stat(_);
    if ((time() - $mtime) > $older_than) {     # 判断文件修改时间是否早于预设时间
        unlink $File::Find::name or warn "Unable to delete $File::Find::name: $!\n";
        print "Deleted file: $File::Find::name\n";
find( \&wanted, $dir );

使用 find() 函数遍历指定目录 $dir 中的所有文件，并通过回调函数 wanted() 来判断是否需要删除每个文件。如果较晚的 mtime 超过了设定的 older_than 时间（例如，此处为一天），则进入 handle 并将其标记为删除。

接着，我们可以使用 unlink() 函数来删除相应的文件。如果无法删除，则使用 warn() 发出警告消息。最后输出被删除的文件名。

优化： 少代码量获取，编辑时间戳， 

use strict;
use warnings;
use File::Find;
use Time::Local;
my $dir = '/path/to/backups';
my $older_than = 24 * 60 * 60;     # 设定为一天前
my $now_time = time();      # 记录当前时间
sub wanted {
    return unless -f;   # 只处理文件
    my $mtime = (stat(_))[9];   # 获取修改时间戳
    if (($now_time - $mtime) > $older_than) {   
        unlink $File::Find::name or die "Unable to delete $File::Find::name: $!\n";
        print "Deleted file: $File::Find::name\n";
find( \&wanted, $dir );

使用简洁的代码来获取修改时间 $mtime 时间戳，因为我们只需要关注 stat() 函数返回数组中的第九个索引位置值（即修改时间）。另外，删除失败时抛出异常而不仅仅只发出警告，以便进一步调试或处理。

此外，在系统无法快速执行 stat 操作时，也可以考虑添加一个类似 LRU 缓存机制，在读取后续文件时会将旧记录移除缓存，并释放内存空间。如果遍历大量备份文件，这种方式能够减少操作所需的资源消耗。

加入缓存机制再次优化（处理大量数据节省时间）： 

use strict;
use warnings;
use File::Find;
use Time::Local;
my $dir = '/path/to/backups';
my $older_than = 24 * 60 * 60;     # 设定为一天前
my $now_time = time();      # 记录当前时间
my %cache;    # ***定义一个全局哈希表用于缓存文件修改时间戳***
sub wanted {
    return unless -f;   # 只处理文件
    my $mtime;
    if (exists($cache{$File::Find::name})) {  
        # 如果已经记录了文件名，则从缓存获取该文件的修改时间戳
        $mtime = $cache{$File::Find::name};
    } else {
        # 否则使用 stat() 函数获取修改时间戳，并添加到缓存中
        $mtime = (stat(_))[9];   
        $cache{$File::Find::name} = $mtime;
    if (($now_time - $mtime) > $older_than) {   
        unlink $File::Find::name or die "Unable to delete $File::Find::name: $!\n";
        print "Deleted file: $File::Find::name\n";
        # 删除对应的缓存记录
        delete $cache{$File::Find::name}; 
find( \&wanted, $dir );

引入了一个名为 %cache 的全局哈希表，它用于缓存目标文件的修改时间戳。

如果 find() 函数下的回调函数 wanted() 刚好处理到相同的文件，则直接从缓存中获取修改时间戳，

否则使用 stat() 函数获取时间并将其添加到缓存中。

如果已经删除了备份文件，并在哈希表中移除记录，以便释放内存。

注意，在读取、写入和更新哈希表时要记住使用线程安全的方法，

例如锁定或 synchronization 来防止竞争条件。


4. Text::CSV

Text::CSV 模块可以帮助咱读取和写入到 CSV 文件中。它提供了一些处理以逗号分隔的值、制表符或其他区分符的功能，包括字符串引用规则等。

一个简单例子： 

use strict;
use warnings;
use Text::CSV;
my $csv = Text::CSV->new({ sep_char => ',' });
open my $fh, '>', 'file.csv' or die "Couldn't open file.csv: $!";
$csv->print($fh, ['hello', 'world']);  # 写入行数据
close $fh;

这个示例使用 Text::CSV 打开名为 file.csv 的文件，并将参数传递给 $csv->new() 方法以设置分隔符。接下来，在打开的文件句柄上调用 $csv->print() 方法，该方法会将数组引用（如 ['hello', 'world'] ）格式化成一行并附加到文件末尾。

如果需要从已有的文件中读取数据，则可以修改代码来实现： 

use strict;
use warnings;
use Text::CSV;
my $csv = Text::CSV->new({ sep_char => ',' });
open my $fh, '<', 'file.csv' or die "Couldn't open file.csv: $!";
while ( my $row = $csv->getline($fh) ) {   # 循环每一行
    for my $field (@$row) {
        print "$field ";                  # 输出该行所有字段，以空格间隔
    print "\n";
close $fh;

这个示例使用 $csv->getline() 方法按行读取文件句柄，并返回一个数组引用。然后，通过循环迭代该数组引用以访问每个字段。

为了进一步优化上述示例的性能，可以将 Text::CSV 的 sep_char 设置改变成更快速的单字符分隔符（如逗号），减少了在字符串中查找多个可能出现的分隔符所需的时间开销。 

my $csv = Text::CSV->new({ sep_char => ',' });

除此之外，我们还可以添加以下选项：

  • binary：告诉 Text::CSV 你希望处理的输入输出是二进制数据；
  • eol: 在写入新记录时应插入换行符或其他不同于默认值 \n 的文本。 
use strict;
use warnings;
use Text::CSV;
my $csv = Text::CSV->new({ binary => 1, sep_char => ',', strict => 1, eol => "\r\n" });
open my $fh, '>', 'file.csv' or die "Couldn't open file.csv: $!";
$csv->print($fh, ['hello', 'world']);  # 写入行数据
close $fh;
open $fh, '<', 'file.csv' or die "Couldn't open file.csv: $!";
while ( my $row = $csv->getline($fh) ) {   # 循环每一行
    for my $field (@$row) {
        print "$field ";                  # 输出该行所有字段，以空格间隔
    print "\n";
close $fh;

进一步优化性能：

  1. 使用 eval 来批量处理多行

在将许多记录写入 CSV 文件时，逐个调用 $csv->print() 可能会很慢。相反，咱可以使用 eval 块将多行写入文件（注意：此技巧只有在写操作频繁且系统上其他进程不影响同步性能的情况下才建议使用）。 

use Text::CSV;
my $out_csv = Text::CSV->new({
    sep_char => ',',
open my $fh, '>', 'file.csv' or die "Couldn't open file.csv: $!";
    local $" = ",";
    foreach my $row (@rows) {
        # 将每行数据格式化成文本 string
        # @record 是一个数组变量，包含当前行所有单元格
        my $text = eval { "\$out_csv->combine(\@record)" };
        if ($@) {
            warn "Error processing row:\n$row\n$@\n";
            next;
        print {$fh} "$text\n";  # 写入最新内容
close $fh;

咱需要提前读取并存储记录以进行事务式地减少与内存先关联的IO开销。然后针对每一行数据递归访问该数组，并通过调用 $out_csv->combine() 对其进行格式化。此外，该示例还处理了由于软件错误或无效数据导致的异常情况。

  1. 处理和格式化用户数据

在写入或读取 CSV 文件之前，首先对每条记录以及它的字段进行校验和清理可能非常重要。除了检查特定行是否符合咱的限制条件之外，还可以使用 Perl 的内置函数来处理文件中的字符串： 

use Text::CSV;
my $out_csv = Text::CSV->new({
    sep_char => ',',
open my $fh, '>', 'file.csv' or die "Couldn't open file.csv: $!";
foreach my $row (@rows) {
    # 对需要存储到 csv 的内容做必要的清洗
    foreach my $field (@$row) {
        # 去掉字符串两端空白(free spaces)
        $field =~ s/^\s+|\s+$//g;
        # 将逗号当成引用字串而不是分隔符（英文语境下）
		$field =~ s/,/'/g;  #可选步骤，出现 ',' 时将其替换为单撇号
    # 将每行数据组织成需要保存到文件的文本格式
    my $csv_text = $out_csv->combine(@{$row});
    print {$fh} "$csv_text\n";
close $fh;

此代码块中实现的核心方法是 =~ ， 它采用正则表达式作为参数，并通过调用 $out_csv->combine() 方法将所有字段值组装成一行文本。

  1. 使用 bulk_read() 来批量从文件读取多行

如果咱在大型 CSV 文件中读取多行，则可以在内部使用 bulk_read() 方法一次性读取多行记录，该方法将返回一个二维数组。 

# 在代码示例之前，请先确保已引用该模块
use Text::CSV qw( csv );
my $csv_settings = { binary => 1 };
my @rows = csv($csv_settings)->column_names([qw/label price desc/])->parse(in => 'products.csv');
print "第三个产品的描述是：", $rows[2]->{desc}, "\n";
foreach my $row (@rows) {
    print join(',', map { "\"$_\"" } @$row{qw/label price desc/}), "\n";  
}

上述代码展示了如何通过 $Text::CSV->new() 创建一个新对象，配置设置并生成一个哈希或数组数据structures 等来批量读写 CSV格式文件。该示例还包含其他高效输出制表符、工具箱支持及动态散列处理方面的 trick，在语境清晰时可供参考题目。


5. YAML::Tiny

YAML::Tiny是 Perl 中一款非常快速的 YAML 解析器和制作器。它可以读取和编写极简化的 YAML 文档格式，非常适用于在脚本中存储或读取配置文件和其他持久性数据。

一个简单示例： 

use YAML::Tiny;
my $config = YAML::Tiny->read('config.yml');  # 从磁盘上读取 yaml
print "值为：", $config->[0]->{key}, "\n";
$config->[0]->{key} = 'new value';          # 更新文件里的某条记录
YAML::Tiny->write('config.yml', $config);   # 将新内容回写到同一文件

这个示例使用 $config = YAML::Tiny->read() 方法从名为 config.yml 的文件中读取 YAML 数据。然后通过访问哈希引用来获取特定值。接下来，在修改该哈希参考创建并执行更改操作后，将新内容回写到 config.yml 文件。

对于需要频繁更新大型 YAML 结构的应用程序，您可能对此进行优化以提高性能。

  1. 透明压缩和解压缩_yaml_

如果需要在批量处理声音素材等项时引入压缩技术，那么我们通常会利用方法 {Compress与Zlib、Gzip处理}( https://metacpan.org/pod/Compress)等模块进行相应压缩数学支持。也可以考虑使用 Compress::Zlib 和 YAML::Tiny 中的压缩/解压缩方法来降低磁盘 IO 的启用成本。

例如，下面代码演示了如何在读取和写入 YAML 文件时应用此类优化： 

use YAML::Tiny;
use Compress::Zlib;
my $config = YAML::Tiny->read(undef, decode_zlib($z_yaml));  # 解压并读取
# 然后进行与前头等效的数据操作...
YAML::Tiny->write(\*STDOUT, [ $config ]);                    # 写入标准输出(stdout)，或者
my $z_config = compress(encode_b64(YAML::Tiny->write_string($config)));

这段代码使用 Compress::Zlib 模块中的 compress() 函数将字符串序列化为二进制形式，并使用 $z_yaml 来表示其被 bz2 压缩后的版本。然后，在手动解码该字符串(have code been decoded)（即调用一些函数（如Perl默认模块 Devel::Peek中提供的 Dump() , )）之前通过执行 decode_bz2($bz2_data)` 对于每个特定值所需的基础类型重复构建整个结构体。

  1. 对更大量级的数据集使用 spycat()

当您需要处理拥有超过数千条记录的真实世界文件时，$Text::CSV_XS、YAML-Tiny、JSON:PP等方案可能无法达到预期目标。在这种情况下，您可以使用 YAML-SP (Simple-Parse) 流模式来处理大型数据集。

例如： 

use YAML::Tiny qw( DumpFile );
use YAML::XS    qw( Load ); 
use Proc::MoreFun;
use List::Util  qw( sum );
# 此处省略了由用户直接从ID3标签生成的海量交易记录
$| = 1;
my @output;
SPLIT: {
    # 每次获取一个不重复的子集（slice）
    my $set   = Fetch_Set($offset, $size);
    last SPLIT unless @$set;
    do {
        # 解析并操作每个元素：
        for my $item (@$set)
    } until !$reached_end && ($sum + load_fraction()) >= $threshold;        
$n_items += $i;
DumpFile($outfile => \@output);
print STDERR (($e+1).'. '.elapsed_time()."($filename) $n_items records written.");

上述代码块展示了如何结合 Proc::MoreFun 、 YAML::XS 等提供多行 Yaml 结构化输出流格式支持的第三方工具实现高效内存分段方式处理超低效的海量CSV文件读写任务。

通过将文件拆分成许多较小的仅适当大小级别的切片，并看到比其他技术（如缓存I/O）更好的编排模式将使操作即时生效，但避免所有相关开销和风险，以优先考虑需要最小化内存、磁盘和网络I/O、加壳、压缩等方面的优化。

6. File::Basename

File::Basename主要是为了获取一个目录路径上的基本名称、扩展名、甚至是子目录的级别限制而设计的。该模块直接从给定的路径中截取所需部分，并将其作为输出列表返回。 

use File::Basename;
my $file_path = '/home/user/file.tar.gz';
# 获取文件名和扩展名
my ($file_name, $file_dir, $file_ext) = fileparse($file_path, qr/\.[^.]*/);
# 打印输出结果
print "File name: $file_name\n";
print "Directory path: $file_dir\n";
print "File extension: $file_ext\n";

7. File::Temp

File::Temp模块是 Perl 中用于创建临时文件和目录的标准模块。

它通过随机生成一个唯一的文件名，确保了在程序多次运行时不会因为同名文件而发生冲突。

使用 File::Temp 创建临时文件并写入数据的： 

use File::Temp;
# 在临时目录中创建一个新文件
my $temp_file = File::Temp->new();
# 获取文件句柄并写入数据
print $temp_file "Hello, world!\n";
# 关闭文件句柄并输出文件名
close($temp_file);
warn("Temporary file is at: " . $temp_file->filename);

这个示例中，我们首先调用 File::Temp->new() 方法来创建一个临时文件，并获取到其文件句柄。然后，我们向这个文件句柄中写入了一段文本内容，并利用 $temp_file->filename 来获取到该临时文件的文件名字符串（注意，在关闭文件句柄之前无法得到文件名）。

在大多数情况下，以上实现已经足够满足需求。但如果需要最佳化性能、或者处理的数据量很大，则可以考虑以下几点优化：

  1. 使用快速创建文件方式：默认情况下， File::Temp 会自动选择最安全、最完整的方法来创建临时文件。如果你已经确认在你的系统中 mkstemp() 支持得很好，可以使用如下方式来创建文件： 
my $temp_file = File::Temp->new( UNLINK => 1 );
#这种方法会快速创建一个空白的临时文件，并在脚本结束时自动删除。提前设置临时文件名：如果需要将临时文件名预留给其他程序使用（比如调用另外的 shell 脚本），可以手动指定文件名并不要求自动化清理文件：

2. 提前设置临时文件名：如果需要将临时文件名预留给其他程序使用（比如调用另外的 shell 脚本），可以手动指定文件名并不要求自动化清理文件： 

my ($fh, $filename) = tempfile("my_tempfile_XXXX", DIR => "/tmp");
print $fh "Hello, world!\n";
close($fh);
warn("Temporary file is at: $filename");

3. 手动更改文件权限：默认情况下， File::Temp 模块生成的临时文件都拥有强制性防写模式（即只读模式）。如果您希望正在运行的 Perl 程序能够完全控制临时文件，请在创建临时文件后显式地调整其权限： 

# 创建可读、可写的 temp 文件
my ($fh, $filename) = tempfile('temp.XXXXXXXXXX', SUFFIX => '.dat', DIR => '/tmp');
# 更改文件权限
chmod(0600, $filename);

以上就是对于 File::Temp 的实践与技巧，基于此做对应优化： 

#以下是使用Perl中的 File::Spec 和 Path::Tiny 模块实现临时文件和目录创建、打印日志以及自动清理的示例代码：
use File::Spec;
use Path::Tiny qw(tempfile tempdir);
# 创建一个包含时间戳的唯一目录（在所选的路径下）
my $temp_dir = sprintf('%s/%s', '/tmp', time());
# 创建这个目录，并返回其途径
$temp_path = path($temp_dir);
$temp_path->mkpath() unless -e $temp_path;
# 创建一个基于该目录的临时文件
my $file_handle = tempfile( 'temp_XXXXX', SUFFIX => '.log', TMPDIR => 1, DIR => $temp_path );
# 写入数据到临时文件中并输出文件名
 
推荐文章
近视的眼镜  ·  java 将对象转为yaml并且属性首字母大写_mob649e815ecee0的技术博客_
1 月前
怕老婆的跑步机  ·  kotlin/java生成xml-阿里云开发者社区
3 月前
谈吐大方的薯片  ·  关于Java单元测试实践的小结_51CTO博客_java单元测试
1 年前
眉毛粗的水桶  ·  Mac下用java代码调用adb命令时出错 - 夏诗 - 博客园
1 年前
含蓄的酸菜鱼  ·  python线性规划最优解代码 - OSCHINA - 中文开源技术交流社区
1 年前
今天看啥   ·   Py中国   ·   codingpro   ·   藏经阁   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
Code - 代码工具平台
© 2024 ~ 沪ICP备11025650号