相关文章推荐
乐观的熊猫  ·  Pandas 的set_option ...·  1 月前    · 
鼻子大的人字拖  ·  iphone - intermittent ...·  11 月前    · 
文质彬彬的手套  ·  Pandas ...·  1 年前    · 

Linux下的文件操作,有人喜欢用C库的文件流操作,有人喜欢用Linux的原生的系统调用。一般来说,C库的文件操作会更高效一些,因为C库自己做了文件缓存的处理。今天,主要研究多线程下的fwrite与write,每个线程都对相同的FILE*或者fd进行写操作,看看结果是否为预期行为。

第一种情况:使用C库的fwrite,其线程的实现如下:
在这里插入图片描述

第二种情况:使用系统调用write,其线程的实现如下:
在这里插入图片描述

下面看主线程的实现:

其中LOOPS定义为1000000。也就是说,线程1~3分别写入"aaaaaa\n",“bbbbbb\n”,和"cccccc\n"各一百万次。如果写入文件的操作是“线程安全”的,那么最终的文件行数应该是3百万行,且每行只可能是"aaaaaa"、“bbbbbb”、和"cccccc"的一种。

【文章福利】需要C/C++ Linux服务器架构师学习资料加群812855908(资料包括C/C++,Linux,golang技术,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK,ffmpeg等)
在这里插入图片描述

接下来看测试结果:

1、定义了宏USE_CLIB,即使用C库的fwrite,其结果如下:
在这里插入图片描述

2、注释掉红USE_CLIB,即直接使用系统调用write,其结果如下:
在这里插入图片描述

从上面的测试结果看,无论是C库的fwrite还是系统调用的write都可以保证输出不会混杂——即多线程的输出不会混在一起,但是使用系统调用write时,最终的文件行数是非预期的,远小于总数3百万行。也就证明了,write系统调用是非“线程安全”的。多线程下,其输出会互相覆盖。而C库的fwrite是线程安全的函数。

为什么结果是这样的?我们先看fwrite的实现:
在这里插入图片描述

在fwrite内部,其使用一个lock保证操作的串行化,从而实现线程安全。

而write的实现,见下图:
在这里插入图片描述

在写入之前,使用file_pos_read拿到偏移。如果在多核多线程的情况下,两个核心可能同时陷入内核态,同时获得文件的当前偏移,其值必然是相等的。于是两个线程往同一个偏移写入了数据。最后导致文件的实际大小,并不是预期大小。

最后总结:
C库的fwrite是线程安全函数,而系统调用write则需要额外的标志位O_APPEND做追加写,来保证偏移的不重叠,实现预期的并发写入 —— 大家可以通过修改下面的测试代码,在自己的环境中测试。

#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
#include <pthread.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
//#define USE_CLIB
#define TEST_FILE	"./tmp.txt"
#define LOOPS		(1000000)
#ifdef USE_CLIB
struct thr_data {
	FILE *fp;
	const char *data;
static void * write_data(void *data)
	struct thr_data *d;
	size_t len;
	int i;
	d = data;
	len = strlen(d->data);
	for (i = 0; i < LOOPS; ++i) {
		fwrite(d->data, len, 1, d->fp);
	return NULL;
#else
struct thr_data {
	int fd;
	const char *data;
static void *write_data(void *data)
	struct thr_data *d;
	int i;
	size_t len;
	d = data;
	len = strlen(d->data);
	for (i = 0; i < LOOPS; ++i) {
		write(d->fd, d->data, len); 
	return NULL;
#endif
int main(void)
	pthread_t t1, t2, t3;
	struct thr_data d1, d2, d3;
#ifdef USE_CLIB
	FILE *fp = fopen(TEST_FILE, "w");
	d1.fp = d2.fp = d3.fp = fp;
#else
	//int fd = open(TEST_FILE, O_WRONLY|O_TRUNC);
	int fd = open(TEST_FILE, O_WRONLY|O_TRUNC|O_APPEND);
	d1.fd = d2.fd = d3.fd = fd;
#endif
	d1.data = "aaaaaa\n";
	d2.data = "bbbbbb\n";
	d3.data = "cccccc\n";
	pthread_create(&t1, NULL, write_data, &d1);
	pthread_create(&t2, NULL, write_data, &d2);
	pthread_create(&t3, NULL, write_data, &d3);
	pthread_join(t1, NULL);
	pthread_join(t2, NULL);
	pthread_join(t3, NULL);
#ifdef USE_CLIB
	fclose(fp);
#else
	close(fd);
#endif
	return 0;
                    Linux下的文件操作,有人喜欢用C库的文件流操作,有人喜欢用Linux的原生的系统调用。一般来说,C库的文件操作会更高效一些,因为C库自己做了文件缓存的处理。今天,主要研究多线程下的fwrite与write,每个线程都对相同的FILE*或者fd进行写操作,看看结果是否为预期行为。第一种情况:使用C库的fwrite,其线程的实现如下:第二种情况:使用系统调用write,其线程的实现如下:下面看主线程的实现:其中LOOPS定义为1000000。也就是说,线程1~3分别写入"aaaaaa\n",“
				
  在C/C++代码编写过程中,会遇到结果数据验证,数据保存的问题。   对于几个数据的验证,直接打印就可以验证,如果输出数据成百上千个,就难以通过打印这种方式进行验证,只能保存为数据文件,再行分析。   在C语言中,fwrite是对数据写入的函数,需要结合fopen函数来一起使用。二者结合起来,可以设置多种模式对文件进行读写: fopen函数的读写方式为: 文件指针名 = fopen(文件名, 读写模式) 其中,读写模式有以下几种:r(读),w(写),b(二进制),+(读写),a(追加数据)
点击上方蓝字关注我,了解更多咨询1、fwrite函数用于将缓冲区数据写入文件,并返回成功写入文件的元素数。如果出现错误或到达文件末尾,可能小于nmemb。2、fwrite函数不区分文件的尾部和错误,因此调用者必须使用feof和ferror来判断发生了什么。实例#include<stdio.h> #include<string.h> int...
mmap与read/write两条路线对文件的访问比较 我们知道无论是通过mmap或read/write访问文件在内核中都必须经过缓存, 当需要从文件读写内容时,都经过内存拷贝的方式与内核中的缓存进行通讯。 用read/write方式,用户须向内核指定要读多少,内核再把得到的内容从内核缓存拷向用户空间;写也须要有一个大致如此的过程。 mmap的作用是通过把文件的某一块内容映射到用户空间上,...
Linux系统中,fwrite函数是C语言标准库提供的函数,用于将数据以二进制形式写入文件。它的使用方式与其他平台相同,可以通过以下方法来使用fwrite函数: size_t fwrite(const void *ptr, size_t size, size_t count, FILE *stream); 其中,各参数的含义如下: - `ptr`:指向要写入的数据的指针。 - `size`:每个数据项的大小(以字节为单位)。 - `count`:要写入的数据项的数量。 - `stream`:指向要写入的文件的指针。 fwrite函数将从指定的内存位置(ptr)开始,将数据写入到stream指向的文件中。它会按照指定的size和count参数来确定要写入的总字节数。 下面是一个使用fwrite函数将整型数组写入文件的例子: #include <stdio.h> int main() { int arr[] = {1, 2, 3, 4, 5}; FILE *file = fopen("data.bin", "wb"); if (file == NULL) { printf("无法打开文件\n"); return 1; size_t num_items = sizeof(arr) / sizeof(arr[0]); size_t items_written = fwrite(arr, sizeof(int), num_items, file); if (items_written != num_items) { printf("写入数据时发生错误\n"); return 1; fclose(file); printf("数据成功写入文件\n"); return 0; 上述代码会将整型数组`arr`以二进制形式写入名为`data.bin`的文件中。需要注意的是,打开文件时要使用`"wb"`模式来以二进制形式写入文件。 在实际使用中,可以根据需要自定义数据类型和写入的数据内容。