简介 随着数字技术的发展,网络所包含的信息量也与日俱增,如何高效存储这些数据成了很多互联网公司的一大难题。与此相关的出现了很多的压缩工具,这些算法可以使固有的资源存储的数据量大幅度提高。但是这些压缩工具都需要用户编程调用API接口或手工执行压缩命令,因此给编程和应用造成很多不便。

为此百度系统部研发了BZFS,一种实现透明压缩功能的文件系统,文件的压缩和解压由文件系统完成。这种方式可以使用户在不修改程序和应用的情况下减少磁盘空间的使用量,扩大单机存储容量。同时通过对I/O流程的优化,大大提高了文件的顺序读写性能。
BZFS和硬件压缩卡一起使用还可以大规模减少数据压缩时对系统cpu的消耗。该文件系统适用于有大规模数据压缩存储需求的地方。

功能介绍
支持文件透明压缩
对于存储在BZFS上的文件实现透明压缩,即不需要用户干预并且不影响用户以及程序对文件内容的访问;

支持gzip压缩算法 系统采用gzip算法进行压缩加压,保证压缩过程不会膨胀;

支持不同大小的压缩窗口 可以通过增加压缩窗口大小来增大文件的压缩比;

同时支持CPU压缩和硬件压缩;
既可以选择使用CPU压缩,也兼容硬件压缩卡的接口函数,可以通过不同的mount选项选择使用的压缩方式,数据的读取对两种方式都兼容;

实现对ext2文件系统的兼容
对于已经使用的ext2分区,可以直接挂载为BZFS使用,不需重做文件系统,原来的数据照常访问,新写入的数据进行压缩。

简要性能数据 压缩比
文本文件
文件平均大小 压缩比 Cpu idle
软件压缩 391754 KB 25.9% 73%
硬件压缩卡压缩 764553 KB 50.6% 98%
二进制文件
暂无数据.

顺序读 顺序读磁盘带宽140M/s, 平均请求450sectors。大文件顺序读完成时间为ext2的50%。

顺序写 由该表可见,BZFS配合硬件压缩卡使用,有效节省了存储空间占用和读耗时。

目前BZFS和硬件压缩卡已经在百度若干技术领域和产品中使用。


转载于:https://blog.51cto.com/baidutech/744386


简介 随着数字技术的发展,网络所包含的信息量也与日俱增,如何高效存储这些数据成了很多互联网公司的一大难题。与此相关的出现了很多的压缩工具,这些算法可以使固有的资源存储的数据量大幅度提高。但是这些压缩工具都需要用户编程调用API接口或手工执行压缩命令,因此给编程和应用造成很多不便。

为此百度系统部研发了BZFS,一种实现透明压缩功能的文件系统,文件的压缩和解压由文件系统完成。这种方式可以使用户在不修改程序和应用的情况下减少磁盘空间的使用量,扩大单机存储容量。同时通过对I/O流程的优化,大大提高了文件的顺序读写性能。
BZFS和硬件压缩卡一起使用还可以大规模减少数据压缩时对系统cpu的消耗。该文件系统适用于有大规模数据压缩存储需求的地方。

功能介绍
支持文件透明压缩
对于存储在BZFS上的文件实现透明压缩,即不需要用户干预并且不影响用户以及程序对文件内容的访问;

支持gzip压缩算法 系统采用gzip算法进行压缩加压,保证压缩过程不会膨胀;

支持不同大小的压缩窗口 可以通过增加压缩窗口大小来增大文件的压缩比;

同时支持CPU压缩和硬件压缩;
既可以选择使用CPU压缩,也兼容硬件压缩卡的接口函数,可以通过不同的mount选项选择使用的压缩方式,数据的读取对两种方式都兼容;

实现对ext2文件系统的兼容
对于已经使用的ext2分区,可以直接挂载为BZFS使用,不需重做文件系统,原来的数据照常访问,新写入的数据进行压缩。

简要性能数据 压缩比
文本文件
文件平均大小 压缩比 Cpu idle
软件压缩 391754 KB 25.9% 73%
硬件压缩卡压缩 764553 KB 50.6% 98%
二进制文件
暂无数据.

顺序读 顺序读磁盘带宽140M/s, 平均请求450sectors。大文件顺序读完成时间为ext2的50%。

顺序写 由该表可见,BZFS配合硬件压缩卡使用,有效节省了存储空间占用和读耗时。

目前BZFS和硬件压缩卡已经在百度若干技术领域和产品中使用。

stm32CUBEMX配置网络ip

STM32 基于库函数的GPIO配置一、配置步骤创建一个初始化结构体配置时钟并使能配置需要使用的引脚配置引脚的模式配置引脚速度初始化引脚所在的组二、GPIO结构体配置1. GPIO_InitTypeDef GPIO_InitStructure; //创建名为 GPIO_InitStructure结构体 2. RCC_APB1PeriphClockCmd(各GPIO口对应的时钟|各GPIO口对应时钟

skiprows在python中的意义

1、问题描述:学习Python操作word文件,使用render()方法时报错ValueError: can only parse strings。2、相关代码# _*_ encoding:utf-8 _*_ from docxtpl import DocxTemplate data_dic = { 't1':'燕子', 't2':'杨柳', 't3':'桃花', 't4':'针尖', 't5':

java统计网络流量

通过监听Session对象的方式来实现在线人数的统计和在线人信息展示,并且让超时的自动销毁1. web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi="http://www.w3.o