Linux bonding参数介绍
现今几乎各行各业内部都建立了自己的服务器,由于服务器的特殊地位,它的可靠性、可用性及其 I/O 速度就显得非常的重要, 保持服务器的高可用性和安全性是企业级IT 环境的重要指标,其中最重要的一点是服务器网络连接的高可用性,
为实现这些要求,现在服务器大都采用多网卡配置,系统大都采用现在非常流行的 linux 作为服务器工作的环境。现在带宽已经不是服务质量提高的瓶颈了,相对的网络设备和服务器的处理能力就渐渐成为新的瓶颈。为提高服务器的网络连接的可用性和 可靠性,目前Sun公司的Trunking技术、3Com 公司的 DynamicAccess 技术、Cisco 公司的Etherchannel技术等等都在研究将服务器的多个网卡接口绑定在一起的链路聚集技术,链路聚集技术将多个链路虚拟成一个逻辑链路进而提供了 一种廉价、有效的方法扩展网络设备和服务器的带宽,提高网络的灵活性与可用性。
本文介绍 linux 下的 bonding 技术,linux 2.4.x 的内核中采用了这种技术,利用 bonding 技术可以将多块网卡接口通过绑定虚拟成为一块网卡,在用户看来这个聚合起来的设备好像是一个单独的以太网接口设备,通俗点讲就是多块网卡具有相同的 IP 地址而并行连接聚合成一个逻辑链路工作。现在在关于linux bonding 技术中,有几种算法来实现负载均衡的要求,此文针对这些算法,在此进行简单分析与研究,讨论其不足,并提出另外一种在此基础上改进的一种基于传输协议的负 载均衡实现方法。讨论如何实现多个网络接口的分在均衡及其故障接管。负载均衡技术和高可用技术介绍
负载均衡技术负载均衡技术的主要思想就是如何根据某种算法将网络的业务流量平均分配到不同的服务器和网络设备上去,以减轻单台服务器和网络设备的负担,从 而提高整个系统的效率。负载均衡既可以由有负载均衡功能的硬件实现,也可以通过一些专用的软件来实现,负载均衡是一种策略,它能让多台服务器或多条链路共 同承担一些繁重的计算或者 I/O 任务,从而以较低的成本消除网络瓶颈,提高网络的灵活性和可靠性。
高可用技术实现负载均衡首先是基于网络的高可用性提出来的,高可用技术是容错技术的一个分支。实现系统的高可用性最简单的一个办法就是冗余。完整的网络负 载均衡和高可用性网络技术有两个方面构成,一是多服务器的绑定和负载均衡,二是一个服务器内部的多网卡绑定的负载均衡,这里主要讨论一个服务器内部的多网 卡绑定时的负载均衡。
Linux 的bonding 技术中负载均衡的简单实现
Linux的bonding技术Linux的bonding技术是网卡驱动程序之上、数据链路层之下实现的一个虚拟层,通过这种技术,服务器接在交换机上 的多块网卡不仅被绑定为一个 IP,MAC 地址也被设定为同一个,进而构成一个虚拟的网卡,工作站向服务器请求数据,服务器上的网卡接到请求后,网卡根据某种算法智能决定由谁来处理数据的传输。 Bonding技术可以提高主机的网络吞吐量和可用性。
Linux的几种发送均衡算法目前 Linux 的发送算法最主要的有三种:轮转算法(Round-Robin) 、备份算法(Active-Backup) 、MAC 地址异或算法(MAC-XOR) .下面对目前这三种主要算法进行简单分析。轮转算法
该算法是基于公平原则进行的,它为每个将要被发送的数据包选择发送接口,算法的主要思想是首先第一个数据包由一个接口发送,另一个数据包则由另外 一个接口发送,下面依次进行循环选择。通过分析我们可以看出这种算法比较比较简单,在发送数据方面也比较公平,能保证网卡发送数据时候的负载均衡,资源利 用率很高。但是我们知道如果一个连接或者会话的数据包从不同的接口发出的话,中途再经过不同的链路,在客户端很有可能会出现数据包无序到达的问题,而无序 到达的数据包需要重新要求被发送,这样网络的吞吐量就会下降。
该算法将多个网卡接口中的一个接口设定为活动状态,其他的接口处于备用状态。当活动接口或者活动链路出现故障时,启动备用链路,由此可见此算法的 优点是可以提供高网络连接的可用性,但是它的资源利用率较低,只有一个接口处于工作状态,在有 N 个网络接口的情况下,资源利用率为1/N.MAC地址异或算法
该算法的主要思想是:由服务器的 MAC 地址和客户端的MAC 地址共同决定每个数据包的发送端口号,由源 MAC 地址和目的 MAC 地址进行异或计算,并将异或结果对接口数求余计算。由于发送到同一个客户端的数据流经过同一个链路,因此数据包能够有序到达客户端。此算法在只有一个客户 机访问服务器或者服务器和客户机不在同一子网的情况下,由算法思想得知这种情况下负载不会均衡,在只有一个客户机访问服务器的时候,资源的利用率也是 1/N(N为接口数)。
首先是你要内核支持,如果不支持,请你自己重新编译,在编译的时候把网络设备选项中的Bonding driver support选中就可以了。Bonding简介
Linux bonding驱动提供了一种方法,用以把多个网络接口(network interface)组合成一个逻辑的"bonded"接口。Bonded接口的工作方式取决于驱动的模式:不同的模式提供了热备份或负载均衡等不同的服 务。此外,驱动还会监控链路的可用性。
Bonding驱动最早来自Donald Becker针对Linux 2.0内核的beowulf补丁。现在已经有了很多的变化,最早的来自beowulf网站的工具已经不能和现在的驱动一起使用。
如果你希望得到最新的版本,或者最新的用户工具,或者寻求相关的帮助,请留意本文末尾的链接。
大多数目前发布的Linux内核都以模块(module)方式带了bonding驱动,ifenslave工具也都已经安装好。如果你的Linux没有,或者你确实需要自己来编译bonding(比如要配置或安装自己的Linux内核),请参考如下步骤:
配置并编译支持bonding的内核
当前版本的bonding驱动位于Linux内核源码(从http://kernel.org 下载)的drivers/net/bonding子目录中。你可以在kerenl.org下载到最新版本的内核源码。
通过"make menuconfig"(或"make xconfig" "make config")配置内核,在“Network device support”下选择“Bonding driver support”。建议你将bonding驱动配置为模块(module)方式,因为如果你要给驱动传递参数或者希望配置多个bonding驱动,只有通 过模块方式。
编译并安装新的内核和编译出的模块,然后参照下面的步骤安装ifenslave。
安装ifenslave控制工具
ifenslave控制工具也在内核源码中:Documentation/networking/ifenslave.c。一般建议最好使用和内核匹配的 ifenslave(同一份源码中或同一个发布中),然而较老的内核中的ifenslave也应该能够正常工作(较新的一些功能将不能使用),不过更新的 内核中的ifenslave将可能不能工作。
参照如下步骤以安装ifenslave:
# gcc -Wall -O -I/usr/src/linux/include ifenslave.c -o ifenslave
# cp ifenslave /sbin/ifenslave
如果你的内核源码不在“/usr/src/linux”下,请将上面的“/usr/src/linux/include”替换成相应的正确目录。
如果希望备份现有的/sbin/ifenslave,或者只是试用一下,你可以把ifenslave文件名加上内核版本信息(比如,/sbin/ifenslave-2.6.10)
重要提示:
如果你忽略了"-I"参数或者指定了一个不正确的目录,你可能会得到一个和内核不兼容的ifenslave。有些发布(比如Red Hat 7.1之前的版本)没有/usr/include/linux符号链接指向当前内核的include目录。
另一个重要提示: 如果你打算使用sysfs来配置bonding,你不需要使用ifenslave。Bonding驱动选项
Bonding驱动的选项是通过在加载时指定参数来设定的。可以通过insmod或modprobe命令的命令行参数来指定,但通常在/etc /modules.conf或/etc/modprobe.conf配置文件中指定,或其他的配置文件中(下一节将会提及几个具体的细节)
下面列出可用的bonding驱动参数。如果参数没有指定,驱动会使用缺省参数。刚开始配置bond的时候,建议在一个终端窗口中运行"tail -f /var/log/messages"来观察bonding驱动的错误信息【译注:/var/log/messages一般会打印内核中的调试信息】。
有些参数必须要正确的设定,比如miimon、arp_interval和arp_ip_target,否则在链接故障时会导致严重的网络性能退化。很少的设备不支持miimon,因此没有任何理由不使用它们。
有些选项不仅支持文本值的设定,出于兼容性的考虑,也支持数值的设定,比如,"mode=802.3ad"和"mode=4"效果是一样的。
具体的参数列表:
arp_interval
指定ARP链路监控频率,单位是毫秒(ms)。如果APR监控工作于以太兼容模式(模式0和模式2)下,需要把switch(交换机)配置为在所有链路上 均匀的分发网络包。如果switch(交换机)被配置为以XOR方式分发网络包,所有来自ARP目标的应答将会被同一个链路上的其他设备收到,这将会导致 其他设备的失败。ARP监控不应该和miimon同时使用。设定为0将禁止ARP监控。缺省值为0。
arp_ip_target
指定一组IP地址用于ARP监控的目标,它只在arp_interval > 0时有效。这些IP地址是ARP请求发送的目标,用于判定到目标地址的链路是否工作正常。该设定值为ddd.ddd.ddd.ddd格式。多个IP地址通 过逗号分隔。至少指定一个IP地址。最多可以指定16个IP地址。缺省值是没有IP地址。
downdelay
指定一个时间,用于在发现链路故障后,等待一段时间然后禁止一个slave,单位是毫秒(ms)。该选项只对miimon监控有效。downdelay值应该是miimon值的整数倍,否则它将会被取整到最接近的整数倍。缺省值为0。
lacp_rate
指定在802.3ad模式下,我们希望的链接对端传输LACPDU包的速率。可能的选项:
slow 或者 0
请求对端每30s传输LACPDU
fast 或者 1
请求对端每1s传输LACPDU,缺省值是slow
max_bonds
为bonding驱动指定创建bonding设备的数量。比如,如果max_bonds为3,而且bonding驱动还没有加载,那么bond0,bond1,bond2将会被创建。缺省值为1。
miimon
指定MII链路监控频率,单位是毫秒(ms)。这将决定驱动检查每个slave链路状态频率。0表示禁止MII链路监控。100可以作为一个很好的初始参 考值。下面的use_carrier选项将会影响如果检测链路状态。更多的信息可以参考“高可靠性”章节。缺省值为0。
指定bonding的策略。缺省是balance-rr (round robin,循环赛)。可选的mode包括:
balance-rr 或者 0
Round-robin(循环赛)策略:按顺序传输数据包,从第一个可用的slave到最后一个可用的slave。该模式提供了负载均衡和容错机制。
active-backup 或者 1
Active-backup(激活-备份)策略:只有一个slave是激活的(active)。其他的slave只有在当前激活的slave故障后才会变 为激活的(active)。从外面看来,bond的MAC地址是唯一的,以避免switch(交换机)发生混乱。
在bonding 2.6.2和以后的版本中,如果在active-backup模式下出现failover【译注:指一个slave发生故障,另一个slave变为激活的 设备】,bonding将会在新的slave上发出一个或多个ARP请求,其中一个ARP请求针对bonding master接口及它上面配置的每个VLAN接口,从而保证该接口至少配置了一个IP地址。针对VLAN接口的ARP请求将会被打上相应的VLAN id。
----------------------------------------------------------------------------------------
In bonding version 2.6.2 or later, when a failover
occurs in active-backup mode, bonding will issue one
or more gratuitous ARPs on the newly active slave.
One gratuitous ARP is issued for the bonding master
interface and each VLAN interfaces configured above
it, provided that the interface has at least one IP
address configured. Gratuitous ARPs issued for VLAN
interfaces are tagged with the appropriate VLAN id.
----------------------------------------------------------------------------------------
该模式提供了容错机制。下面的primary选项将会影响该工作模式的行为。
balance-xor 或者 2
XOR策略:基于指定的传输HASH策略传输数据包。缺省的策略是:(源MAC地址 XOR 目标MAC地址) % slave数量。其他的传输策略可以通过xmit_hash_policy选项指定,下文将会对之介绍。该模式提供了负载均衡和容错机制。
broadcast 或者 3
Broadcase(广播)策略:在每个slave接口上传输每个数据包。该模式提供了容错机制。
802.3ad 或者 4
IEEE 802.3ad Dynamic link aggregation(动态链接聚合)。创建一个聚合组,它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。
外出流量的slave选举是基于传输hash策略,该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的 是,并不是所有的传输策略都是802.3ad适应的。不同的实现可能会有不同的适应 性。
必要条件:
1. ethtool支持获取每个slave的速率和双工设定;
2. switch(交换机)支持IEEE 802.3ad Dynamic link aggregation。
大多数switch(交换机)需要经过特定配置才能支持802.3ad模式。
balance-tlb 或者 5
自适应的传输负载均衡:不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载(根据速度计算)分配外出流量。如果正在接受数据的slave出故障了,另一个slave接管失败的slave的MAC地址。
必要条件:
ethtool支持获取每个slave的速率。
balance-alb 或者 6
自适应均衡负载:该模式包含了balance-tlb模式,同时加上针对IPV4流量的接收负载均衡(receive load balance, rlb),而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答,并把源硬件地址改写为bond中某个slave的唯一硬件地址,从而使得不同的对端使用不同的硬件地址进行通信。
来自服务器端的接收流量也会被均衡。当本机发送ARP请求时,bonding驱动把对端的IP信息从ARP包中复制并保存下来。当ARP应答从对端到达 时,bonding驱动把它的硬件地址提取出来,并发起一个ARP应答给bond中的某个slave。使用ARP协商进行负载均衡的一个问题是:每次广播 ARP请求时都会使用bond的硬件地址,因此对端学习到这个硬件地址后,接收流量将会全部刘翔当前的slave。这个问题通过给所有的对端发送更新 (ARP应答)来解决,应答中包含他们独一无二的硬件地址,从而导致流量重新分布。当新的slave加入到bond中时,或者某个未激活的slave重新 激活时,接收流量也要重新分布。接收的负载被顺序地分布(round robin)在bond中最高速的slave上。
当某个链路被重新接上,或者一个新的slave加入到bond中,接收流量在所有当前激活的slave中全部重新分配,通过使用指定的MAC地址给每个 client发起ARP应答。下面介绍的updelay参数必须被设置为某个大于等于switch(交换机)转发延时的值,从而保证发往对端的ARP应答 不会被switch(交换机)阻截。
必要条件:
1. ethtool支持获取每个slave的速率;
2. 底层驱动支持设置某个设备的硬件地址,从而使得总是有个slave(curr_active_slave)使用bond的硬件地址,同时保证每个bond 中的slave都有一个唯一的硬件地址。如果curr_active_slave出故障,它的硬件地址将会被新选出来的 curr_active_slave接管。
primary
指定哪个slave成为主设备(primary device),取值为字符串,如eth0,eth1等。只要指定的设备可用,它将一直是激活的slave。只有在主设备(primary device)断线时才会切换设备。这在希望某个slave设备优先使用的情形下很有用,比如,某个slave设备有更高的吞吐率。
primary选项只对active-backup模式有效。
updelay
指定当发现一个链路恢复时,在激活该链路之前的等待时间,以毫秒计算。该选项只对miimon链路侦听有效。updelay应该是miimon值的整数倍,如果不是,它将会被向下取整到最近的整数。缺省值为0。
use_carrier
指定miimon是否需要使用MII或者ETHTOOL ioctls还是netif_carrier_ok()来判定链路状态。MII或ETHTOOL ioctls更低效一些,而且使用了内核里废弃的旧调用序列;而netif_carrier_ok()依赖于设备驱动来维护状态(判断载波),在本文写作 时,大多数但不是全部设备驱动支持这个特性。
如果bonding总是认为链路是通的,但实际上是断的,这有可能是由于你的网络设备驱动不支持netif_carrier_on/off。因为 netif_carrier的缺省状态是"carrier on",因此如果驱动不支持netif_carrier,则会显示链路永远正常。在这种情况下,把use_carrier设为0,从而让bonding使 用MII/ETHTOOL ictl来判定链路状态。
该选项设为1会使用netif_carrier_ok(),而设为0则会使用废弃的MII/ETHTOOL ioctls,缺省值是1。
xmit_hash_policy
在balance-xor和802.3ad模式下选择不同的hash模式,以用于slave选举。可能的取值有:
layer2
使用硬件MAC地址的XOR来生成hash。公式为:
(源MAC地址 XOR 目的MAC地址)% slave数目
该算法会将某个网络对(network peer)上所有的流量全部分配到同一个slave上。
layer3+4
该策略在可能的时候使用上层协议的信息来生成hash。这将允许特定网络对(network peer)的流量分摊到多个slave上,尽管同一个连接(connection)不会分摊到多个slave上。
针对未分片的TCP和UDP包的计算公式为:
((源端口 XOR 目的端口) XOR ((源IP XOR 目的IP) AND 0xFFFF) % slave数目
对于已分片TCP或UDP包,以及其他的IP包,源端口和目的端口的信息被忽略了;对于非IP流量,采用和layer2一样的hash策略。
该策略期望模仿某些交换机的行为,比如带PFC2的Cisco交换机,以及某些Foundry和IBM的产品。
该算法不完全适应802.3ad,一个单一的TCP或UDP会话同时包含有分片和未分片的包将会导致包在两个接口上传递,这将会导致投递乱序。大多数流量 不会满足这种条件,正如TCP很少分片,而大多数UDP流量不会在长期的会话中存在。其他的802.3ad实现有可能不能容忍这样的不适应性。
缺省设置是layer2。该选项在bonding 2.6.3加入,在早期版本中,该参数不存在,只只是layer2策略。
参考至:http://hi.baidu.com/ghasky/blog/item/68a4030b4c6a6634b1351d87.html#
如有错误,欢迎指正
邮箱:czmcj@163.com
作者:czmmiao 原文地址:http://czmmiao.iteye.com/blog/1044031
文学编程(Literate programming)的一些概念,上个世纪 70 年代就有人提出来了。
文学编程的思想非常简单,就是将那些为了能被编译器/解释器正确识别而编写的代码打碎,然后用人类语言将它们编织到文档中,这种文档就是文学编程的源文件。这一概念第一次被完整的实现,是 Knuth 开发的 WEB 工具(此 WEB 并非现代漫天飞舞的那个 Web)。Knuth 的神作——TeX 系统便是借助 WEB 开发的。
WEB 工具由 tangle 与 weave 这两个程序构成。tangle 程序从文学编程的源文件中提取复合编译器/解释器逻辑的程序代码。weave 程序将文学编程的源文件转换为 TeX 源文件,然后由 TeX 系统排版处理,生成程序文档。这种程序文档使作者能在以后的任何时间重新找到自己的思路,也能使其他程序员更容易理解程序的建构过程。
在代码里写大量的注释,或者像 Doxygen 之类从具有特定注释格式的代码中产生文档的工具,这些都不算文学编程。文学编程强调的是,代码出现的顺序应该按照人的逻辑,而不是编译器的。
很近的遥远
文学编程,从未真正的被广泛应用,但是每个程序猿都曾经看到过它的影子。阅读一本讲 Linux 内核的书籍,远比阅读 Linux 内核源码容易的多。
每一本讲编程技术的书籍都是以类似『文学编程』的方式写成的。我们在阅读这些书籍时,总是先关心作者说了些什么,然后再看他给出的示例代码。事实上,有本很古老但是很有名而且现在也不过时的书,它的中文译本叫《C 语言接口与实现——创建可重用软件的技术》,这本书就是基于文学编程的方式实现的,作者用的文学编程工具叫 noweb——后面我会介绍它。
既然文学编程如此的美好,那么为何它一直没有被广泛应用呢?答案很简单,写书(不是那种烂书)要比写程序难得多。因此,写面向人类读者的文学程序要比写面向机器的代码难得多。noweb 的作者在 noweb 的源文件里说:One of my observations is that the cost of creating a high quality, well-documented literate program adds 1-3 times of amount of effort it took to create the program in the first place.
大部分程序猿并不那么热爱编程,他们仅仅是将编程当作养家糊口的一种手段。采用文学编程方式干活,要比面向机器编程多付出 1 到 3 倍的努力,而薪酬却不变……太多的正常人是绝对不会这么虐待自己的。
这个世界从不缺乏足够好的东西,只是缺乏足够好的人。
它文学么?
什么是文学?据说,文学是以语言文字为工具,形象化地反映客观现实、表现作家心灵世界的艺术。
虽然文学编程用的都是语言文字,但是它的目标却不是形象化的反映客观现实或表现作者心灵世界的,它的目标是写出让人类与机器都能能容易的解读的『文档』。编程的本质,是让计算机执行确定的计算。计算的本质是数学意义上的。如果数学还没有变成文学,那么编程永远也无法变成文学。
这一点决定了文学编程并不能用来搞文学,所以不要被它的名字所迷惑。要搞文学创作,只能热爱生活,认真思考,锤炼文字。
论文式编程
Knuth 明确提出了文学编程的概念,并付诸于实践,开发了 TeX、MetaFont 以及 MMIX 元模拟器这些大的程序,此外还出版了一本阐述文学编程的专著。文学编程对于他的重要作用,用他自己的话来说,就是:『文学编程确实是由TeX项目衍生出来的最重要的东西。它不仅让我前所未有地更快地写和维护可靠性更高的程序,而且成为我自20世纪80年代以来的最大的快乐之源——它有时实际上是不可或缺的。我做的其它一些大程序,比如 MMIX 元模拟器,用我见过的任何一种其它的方法论是无法写出来的。其复杂性让我有限的智能望而却步。没有文学编程,我的整个事业规划就会轰然倒塌。……文学编程是你更上一层楼的必要工具。』
如果我们打算用文学编程的方式编程,那么必须要注意,Knuth 是计算机领域的科学家!我不是在鼓吹他的个人头衔,而是强调他的身份。科学家,是这个世界上最会写论文的一群人。他们探索未知区域,在失败中前进,认真总结自己的发现,最后以严肃的论文或专著的形式将自己的发现公布于世。TeX 对于我们来说是一个程序,但它对于 Knuth 来说是一本讲述计算机排版技术的专著。也就是说,如果想用好文学编程,那么首先你得学会如何写文章以及如何写科技文献。
写一个程序与写一本专著,写一个程序模块与写一篇科技论文,它们之间是存在着对应关系的。写程序,首先要明确程序所解决的问题,然后将问题拆分为更小的问题,每个问题都用一个比较小的程序模块来解决,最后将各个模块组装起来得到程序。做科研的人,首先要明确自己要研究的主题,然后将主题分解为一些小的主题,对小的主题展开研究,每个研究成果都以论文的形式发表,最后将整个主题的相关论文整合起来形成专著。
所以,我觉得文学编程,应该叫论文式编程,至少也该叫『文式编程』。如果按后者来理解,那么本文的标题应该这么读『论(文式编程)』:)
如果我们像写一篇论文那样来写一个程序模块,大致的过程应该是:
引言(背景):这个程序模块要解决什么问题?要解决这个问题,有哪些现有的资源?我该如何利用这些资源来解决问题?
方法(算法与程序):准确描述利用现有资源解决问题的全部步骤,有序的组织程序代码。
结果(单元测试):验证方法是否正确。
讨论:使用这个模块需要注意什么,它还存在哪些不足,应该怎样弥补。
其实,我们在写每一个程序模块时,都会经历上述的思考与实现过程,我们最终所得到的是代码,这个过程中我们的那些思考活动却很少被记录下来。很多人说,我要去读 XXXX 项目的源代码,这是学习 XXXX 的最好方法。这种观点其实并不正确,因为你阅读源代码的过程,实际上就是在猜测这些代码当初是怎样写出来的。大可以放心,无论你怎么猜测,你只能得到一个很模糊的结果,因为那些原本很确切的信息已经永远的丢失了,甚至连当初写这些代码的人可能也想不起来了,他们留给你的只是一个巨大的迷宫。
虽然有一些代码是自明的,但是,显然这些代码也都是非常简单的。对一个矩阵进行奇异值分解(SVD)的代码,无论怎么写,它也无法是自明的,除非你去阅读一篇阐述矩阵奇异值分解算法的论文。
作为示例,我要用论文式编程的方式来写一个遗传算法的程序。这个程序的源码如下:
% -*- mode: Noweb; noweb-code-mode: python-mode -*-
\title{Hello!遗传算法}
\cprotect\author{garfileo\\ \verb|lyr_m2@live.cn|}
\date{\today}
\maketitle
\tableofcontents
\newpage
\section*{引言}
这篇文章讲述如何利用遗传算法解决一个二元函数的最大值求解问题。由于我对遗传算法的理解处于菜鸟级别,所以本文所讲的方法以及所写的程序不一定正确。之所以写这篇文章,是因为我已经烦透了教科书或论文里对遗传算法那么刻板的叙述,所以很想写一篇稍微轻松一点的入门文档,娱乐一下。
\section{问题}
这个二元函数是这样的:
$$f(x,\,y)=0.5-\frac{\sin^2{\sqrt{x^2+y^2}-0.5}}{1+0.001(x^2+y^2))^2}$$
要是我能够在大脑中直接生成这个函数的图像就好了,可惜我不能够,所以用 gnuplot 画了一下。
\begin{figure}[htbp]
\centering
\includegraphics[width=6cm]{f.png}
\caption[目标函数]{待求最大值的目标函数}
\end{figure}
这个函数像是平静的池塘里丢了一颗小石子激起的波纹。我们的任务是计算它在 $x\in [-10,\,10],\;y\in [-10,\,10]$ 范围之内的最大值。
这个函数有无限个极大值,但是仅有一个最大值,位于 $(0, 0)$ 点,值为 1。如果你的微积分学知识还没有遗忘,可以用数学方法求解一番。不幸的是,我已经忘光了,所以我只好用遗传算法进行求解。遗传算法的特点之一就是:{\bf 不需要求导或其他辅助知识,而只需要影响一些可以影响搜索方向的目标函数和相应的适应度函数}。所谓目标函数,就是要求解的函数,也就是上述的那个函数。至于适应度函数,下文再行介绍。
\section{创建染色体}
我唯一接触到生物学是在我的初中时代。就读的那个初中学校是一个落后的乡村中学,不过却拥有一个很好的教生物的老师,但是悲剧的是我在那时是一个不喜欢上课的懵懂无知的少年。现在为了理解遗传算法,我只好将『染色体』理解成一根带子,上面写着一组数据。据说这组数据记录着我们应该长成什么样子,具备什么样的天赋,可能会生什么疾病等内容。如果上帝能够将『语言程序』记录在我们的染色体中,也许我们刚生下来就可以说上百种人类语言还有火星语了。
虽然我们不是上帝,但是我们也可以创造染色体,例如 $000110001100$ 或者 $000XXX00XXX0X$. 这是一件很容易的事情,而真正困难的是如何在染色体中记录信息。由于用二进制来表示染色体比较方便程序计算,所以本文选择了这种最简单的方式。
现在,尝试为 $f(x, y)$ 的最大值所对应的 $x$ 和 $y$ 的值构造染色体。也就是说,要在一组二进制位中存储 $f(x, y)$ 的定义域中的数值信息。
显然,函数 $f(x, y)$ 的定义域所包含的数值是无限多的,但是基于采样的办法可以得到有限集。例如,对于 $[-10,\,10]$ 这个区间,我们可以将它平均划分为 $20\times 10^6$ 个子区间,便得到精度为 8 位,小数位为 6 位的一组数值,个数为 $20\times 10^6 + 1$ 。若用一组二进制位形式的染色体来表示这个数值集合,那么我们还要考虑所用二进制位的长度。由于 $2^{24}<20\times 10^6 + 1< 2^{25}$,因此我们可以将染色体长度确定为 25 位,因为只有如此才可以让足够多的染色体表示那么多的数值,同时又不至于太浪费。虽然长度为 25 的二进制位所能表示的数值个数要多于 $20\times 10^6 + 1$,但是这并没有负面作用,相反,它可以更精确的表示区间 $[-10,\, 10]$ 中数值。
现在,我们已经创建了一种 25 位长度的二进制位类型的染色体,那么对于任意一个这样的染色体,我们如何将其复原为 $[-10,\,10]$ 这个区间中的数值呢?很简单,只需要使用下面的公式:
$$f(c) = -10.0 + c\cdot\frac{10.0 - (-10.0)}{2^{25} - 1}$$
例 如 $0000 0000 0000 0000 0000 0000 0000 0$ 和 $1111 1111 1111 1111 1111 1111 1$ 这两个二进制数,将其化为 10 进制数,代入上式,可得 -10.0 和 10.0。这意味着长度为 25 位的二进制数总是可以通过上式转化为 $[-10,\,10]$ 区间中的数。
\section{个体、种群与进化}
染色体表达了某种特征,这种特征的载体,可以称为『个体』。例如,我本人就是一个『个体』,我身上载有 23 对染色体,也许我的相貌、性别、性格等因素主要取决于它们。众多个体便构成『种群』。
对于本文所要解决的二元函数最大值求解问题,个体可采用上一节所构造的染色体表示,并且数量为 2 个,其含义可理解为函数 $f(x, y$) 定义域内的一个点的坐标。许多这样的个体便构成了一个种群,其含义为一个二维点集,包含于对角定点为 $(-10.0, -10.0)$ 和 $(10.0, 10.0)$ 的正方形区域。
也许有这样一个种群,它所包含的个体对应的函数值会比其他个体更接近于函数 $f(x, y)$ 的理论最大值,但是它一开始的时候可能并不比其他个体优秀,它之所以优秀是因为它选择了不断的进化,每一次的进化都要尽量保留种群中的优秀个体,淘汰掉不理想的个体,并且在优秀个体之间进行染色体交叉,有些个体还可能出现变异。种群的每一次进化后,必定会产生一个最优秀的个体。种群所有世代中的那个最优个体也许就是函数 $f(x, y)$ 的最大值对应的定义域中的点。如果种群不休止的进化,它总是能够找到最好的解。但是,由于我们的时间是有限的,有可能等不及种群的最优进化结果,通常是在得到了一个看上去还不错的解时,便终止了种群的进化。
那么,对于一个给定的种群,如何赋予它进化的能力呢?
\begin{itemize}
\item {\bf 选择}:对于种群的每一代个体,可以用一个适应度函数(也叫评估函数)计算个体的适应度,根据适应度可以计算出个体的生存几率。适应度较大的个体被保留的可能性也较大,反之被淘汰的可能性较大。
\item {\bf 交叉}:在一定的概率下对两个个体的染色体进行交叉重组,从而得到两个新个体。
\item {\bf 变异}:些个体的染色体会以一定的概率发生变化。
\end{itemize}
达尔文的进化论也许并不正确,但是它对于我们运用这种理论来计算问题并没有什么错误的影响。我们不管人类是否是由猿猴进化来的,还是由别的什么生物。那些进化论的反对者总是想用自己的理论推翻进化论,不过他们的理论却往往无法用于计算!基督徒们相信世界末日,也许只是因为上帝的时间也很有限,等不及人类进化到最优解,于是就设定了人类进化的最大世代数。
\section{种群}
如果你不熟悉 python 语言,那么请原谅我使用了它。我将种群声明为 python 的一个类:
<<种群>>=
class Population
种群的初始化过程就是 `Population` 类的初始化函数:
<<种群初始化>>=
def __init__ (self, size, chrom_size, cp, mp, gen_max):
self.individuals = [] # 个体集合
self.fitness = [] # 个体适应度集合
self.selector_probability = [] # 个体选择概率集合
self.new_individuals = [] # 新一代个体集合
self.elitist = {'chromosome':[0, 0],
'fitness':0,
'age':0} # 最佳个体的信息
self.size = size # 种群所包含的个体数
self.chromosome_size = chrom_size # 个体的染色体长度
self.crossover_probability = cp # 个体之间的交叉概率
self.mutation_probability = mp # 个体之间的变异概率
self.generation_max = gen_max # 种群进化的最大世代数
self.age = 0 # 种群当前所处世代
# 随机产生初始个体集,并将新一代个体、适应度、选择概率等集合以 0 值进行初始化
v = 2 ** self.chromosome_size - 1
for i in range (self.size):
self.individuals.append ([random.randint (0, v), random.randint (0, v)])
self.new_individuals.append ([0, 0])
self.fitness.append (0)
self.selector_probability.append (0)
代码中的 [[self]] 就是种群的实例,下文中也是如此。
\section{选择}
可以简单的模拟出『物竞天择』的效果:将种群的各个个体摆在一个轮盘上,然后转一下轮盘,将盘外的指针所指向的个体保留下来,然后接着转轮盘,接着选择,直至产生一组与种群原有个体数量一致的个体,这就是我们所选择的下一代。这种赌博不违法。
要模拟这个轮盘赌博机制,首先需要构造个体适应度评价机制:
<<物竞天择机制>>=
def decode (self, interval, chromosome):
d = interval[1] - interval[0]
n = float (2 ** self.chromosome_size -1)
return (interval[0] + chromosome * d / n)
def fitness_func (self, chrom1, chrom2):
interval = [-10.0, 10.0]
(x, y) = (self.decode (interval, chrom1),
self.decode (interval, chrom2))
n = lambda x, y: math.sin (math.sqrt (x*x + y*y)) ** 2 - 0.5
d = lambda x, y: (1 + 0.001 * (x*x + y*y)) ** 2
func = lambda x, y: 0.5 - n (x, y)/d (x, y)
return func (x, y)
def evaluate (self):
sp = self.selector_probability
for i in range (self.size):
self.fitness[i] = self.fitness_func (self.individuals[i][0],
self.individuals[i][1])
ft_sum = sum (self.fitness)
for i in range (self.size):
sp[i] = self.fitness[i] / float (ft_sum)
for i in range (1, self.size):
sp[i] = sp[i] + sp[i-1]
[[decode]] 函数可以将染色体 [[chromosome]] 映射为区间 [[interval]] 之内的数值。[[fitness_func]] 是适应度函数,可以根据个体的两个染色体计算出该个体的适应度,这里直接采用了本文所要求解的目标函数
$$f(x,\,y)=0.5-\frac{\sin^2{\sqrt{x^2+y^2}-0.5}}{1+0.001(x^2+y^2))^2}$$
作为适应度函数。
[[evaluate]] 函数用于评估种群中的个体集合 [[self.individuals]] 中各个个体的适应度,即将各个个体的 2 个染色体代入 [[fitness_func]] 函数,并将计算结果保存在 [[self.fitness]] 列表中,然后将 [[self.fitness]] 中的各个个体适应度除以所有个体适应度之和,得到各个个体的生存概率。为了适合轮盘赌博游戏,需要将个体的生存概率进行叠加,从而计算出各个个体的选择概率。例如有 5 个个体,根据其适应度计算的生存概率与选择概率如表 \ref{table:选择概率计算示例} 所示。
\begin{table}[H]
\centering
\caption{选择概率的计算结果示例}
\label{table:选择概率计算示例}
\begin{tabular}{cccc}
\toprule
\bf 个体 & \bf 适应度 & \bf 生存概率 & \bf 选择概率 \\
\midrule
1 & 0.9042845033795694 & 0.28693981857759787 & 0.28693981857759787 \\
2 & 0.5588628304907922 & 0.17733356990137467 & 0.46427338847897254 \\
3 & 0.6899948769706024 & 0.21894326849291637 & 0.6832166569718889 \\
4 & 0.3114709778723004 & 0.09883330472749545 & 0.7820499616993843 \\
5 & 0.6868647339474463 & 0.21795003830061557 & 0.9999999999999999 \\
\bottomrule
\end{tabular}
\end{table}
有了这些数据,便可以构造图 \ref{fig:轮盘} 所示的轮盘赌博机了。
\begin{figure}[h]
\centering
\includegraphics[width=4cm]{selector.png}
\caption{轮盘赌博机}
\label{fig:轮盘}
\end{figure}
这样的轮盘赌博机,可用 python 代码表示为:
<<物竞天择机制>>=
def select (self):
(t, i) = (random.random (), 0)
for p in self.selector_probability:
if p > t:
break
i = i + 1
return i
\section{染色体交叉模拟}
<<染色体交叉机制>>=
def cross (self, chrom1, chrom2):
p = random.random ()
n = 2 ** self.chromosome_size -1
if chrom1 != chrom2 and p < self.crossover_probability:
t = random.randint (1, self.chromosome_size - 1)
mask = n << t
(r1, r2) = (chrom1 & mask, chrom2 & mask)
mask = n >> (self.chromosome_size - t)
(l1, l2) = (chrom1 & mask, chrom2 & mask)
(chrom1, chrom2) = (r1 + l2, r2 + l1)
return (chrom1, chrom2)
[[cross]] 函数可以将两个染色体进行交叉配对,从而生成 2 个新染色体。
此处使用染色体交叉方法很简单,先生成一个随机概率 [[p]],如果两个待交叉的染色体不同并且 [[p]] 小于种群个体之间的交叉概率 [[self.crossover_probability]],那么就在 $[0, \text{self.chromosome\_size}]$ 中间随机选取一个位置,将两个染色体分别断为 2 截,然后彼此交换一下。例如:
\begin{verbatim}
1000 1101 1100 0010 0001 0110 1
0001 0011 1111 1001 0010 1110 0
\end{verbatim}
\noindent 在第 10 位处交叉,结果为:
\begin{verbatim}
1000 1101 1100 0011 0010 1110 0
0001 0011 1111 1000 0001 0110 1
\end{verbatim}
这种染色体交叉方法叫做{\bf 单点交叉}。如果不嫌麻烦,也可以使用{\bf 多点交叉}。
\section{染色体变异}
<<染色体变异机制>>=
def mutate (self, chrom):
p = random.random ()
if p < self.mutation_probability:
t = random.randint (1, self.chromosome_size)
mask1 = 1 << (t - 1)
mask2 = chrom & mask1
if mask2 > 0:
chrom = chrom & (~mask2)
else:
chrom = chrom ^ mask1
return chrom
mutate 函数可以将一个染色体按照变异概率进行单点变异。例如:
\begin{verbatim}
1000 1101 1100 0010 0001 0110 1
\end{verbatim}
\noindent 在第 13 位发生变异,结果为:
\begin{verbatim}
1000 1101 1100 1010 0001 0110 1
\end{verbatim}
同交叉类似,也可以进行{\bf 多点变异}。
\section{进化}
<<进化机制>>=
def evolve (self):
indvs = self.individuals
new_indvs = self.new_individuals
# 计算适应度及选择概率
self.evaluate ()
# 进化操作
i = 0
while True:
# 选择两个个体,进行交叉与变异,产生新的种群
idv1 = self.select ()
idv2 = self.select ()
(idv1_x, idv1_y) = (indvs[idv1][0], indvs[idv1][1])
(idv2_x, idv2_y) = (indvs[idv2][0], indvs[idv2][1])
(idv1_x, idv2_x) = self.cross (idv1_x, idv2_x)
(idv1_y, idv2_y) = self.cross (idv1_y, idv2_y)
(idv1_x, idv1_y) = (self.mutate (idv1_x), self.mutate (idv1_y))
(idv2_x, idv2_y) = (self.mutate (idv2_x), self.mutate (idv2_y))
(new_indvs[i][0], new_indvs[i][1]) = (idv1_x, idv1_y)
(new_indvs[i+1][0], new_indvs[i+1][1]) = (idv2_x, idv2_y)
# 判断进化过程是否结束
i = i + 2
if i >= self.size:
break
# 更新换代
for i in range (self.size):
self.individuals[i][0] = self.new_individuals[i][0]
self.individuals[i][1] = self.new_individuals[i][1]
[[evolve]] 函数可以实现种群的一代进化计算,计算过程分为三个步骤:
\begin{itemize}
\item 使用 [[evaluate]] 函数评估当前种群的适应度,并计算各个体的选择概率。
\item 对于数量为 [[self.size]] 的 [[self.individuals]] 集合,循环 $\text{self.size}/ 2$ 次,每次从 [[self.individuals]] 中选出 2 个个体,对其进行交叉和变异操作,并将计算结果保存于新的个体集合 [[self.new_individuals]] 中。
\item 用种群进化生成的新个体集合 [[self.new_individuals]] 替换当前个体集合。
\end{itemize}
如果循环调用 [[evolve]] 函数,那么便可以产生一个种群进化的过程,如下:
<<进化机制>>=
def run (self):
for i in range (self.generation_max):
self.evolve ()
print (i, max (self.fitness), sum (self.fitness)/self.size,
min (self.fitness))
[[run]] 函数根据种群最大进化世代数设定了一个循环。在循环过程中,调用 [[evolve]] 函数进行种群进化计算,并输出种群的每一代的个体适应度最大值、平均值和最小值。
\section{开启上帝模式}
下面的代码可以启动种群进化过程:
<<启动一个种群的进化过程>>=
if __name__ == '__main__':
# 种群的个体数量为 50,染色体长度为 25,交叉概率为 0.8,变异概率为 0.1,进化最大世代数为 150
pop = Population (50, 24, 0.8, 0.1, 150)
pop.run ()
注意,因为个体交叉的需求,种群所包含的个体数量一般设为偶数。这个程序没考虑个体数量为奇数的情况。
如果将以上所有出现的 python 代码依序组装在一起,假设存为 test.py 文件:
<<hello-ga.py>>=
import math, random
<<种群>>:
<<种群初始化>>
<<物竞天择机制>>
<<染色体交叉机制>>
<<染色体变异机制>>
<<进化机制>>
<<启动一个种群的进化过程>>
执行以下命令便可运行这个程序:
\begin{verbatim}
$ python3 test.py
\end{verbatim}
注意,这里我们使用的是 python 3。如果你的系统中只安装了 python 2,要让程序能够运行,需要在 test.py 的首行添加:
\begin{verbatim}
# -*- coding: utf-8 -*-
\end{verbatim}
然后将 [[evolve]] 函数中的 [[print]] 语句修改为:
\begin{verbatim}
print i, max (self.fitness), sum (self.fitness)/self.size, min (self.fitness)
\end{verbatim}
\section{结果}
如果使用命令:
\begin{verbatim}
$ python3 hello-ga.py > test.log
\end{verbatim}
那么使用下面的 gnuplot 脚本 test.gnu 可以绘制出种群的每一代最大适应度、平均适应度和最小适应度的变化情况。
\begin{verbatim}
#!/usr/bin/gnuplot
set term pngcairo
set size ratio 0.75
set output 'test.png'
plot "test.log" using 1:2 title "max" with lines, \
"test.log" using 1:3 title "ave" with lines, \
"test.log" using 1:4 title "min" with lines
\end{verbatim}
运行这个 gnuplot 脚本,可以生成图片文件。
\begin{verbatim}
chmod +x ./test.gnu
./test.gnu
\end{verbatim}
图 \ref{fig:第一次测试的结果} 中红色的折线表示种群每一代个体中适应度最大值的变化情况,显然,我们所得结果是比较接近 $f(x,\,y)$ 理论上的最大值 1.0。蓝色折线反映了种群每一代最差个体适应度的变动情况,它的波动幅度看上去比较剧烈。如果将变异概率设为 0.4,那么它看起来就会比较温顺一些,如图 \ref{fig:第二次测试的结果} 所示。变异概率如果设置的越大,那么蓝色折线的波动幅度便会越小。图 \ref{fig:第三次测试的结果} 显示了比较极端的情况,此时变异概率设为 1.0。
在固定变异概率的条件下,可以用类似的方法观察一下交叉概率对计算结果的影响。
\begin{figure}[H]
\centering
\includegraphics[width=8cm]{ga-test.png}
\caption{交叉概率为 0.8,变异概率为 0.1,种群的进化过程}
\label{fig:第一次测试的结果}
\end{figure}
\begin{figure}[H]
\centering
\includegraphics[width=8cm]{ga-test-1.png}
\caption{交叉概率为 0.8,变异概率为 0.4,种群的进化过程}
\label{fig:第二次测试的结果}
\end{figure}
\begin{figure}[H]
\centering
\includegraphics[width=8cm]{ga-test-2.png}
\caption{交叉概率为 0.8,变异概率为 1.0,种群的进化过程}
\label{fig:第三次测试的结果}
\end{figure}
\section{讨论}
研究遗传算法的人证明了几个定理。
\begin{theorem}
标准遗传算法不能收敛至全局最优解。
\end{theorem}
本程序按照标准遗传算法实现的,从上面的几幅图也可以看出来,受交叉与变异的影响,种群的每一代个体的最大适应度都有可能在不断变化。
\begin{theorem}
标准遗传算法,如果在选择之前保留当前最佳个体,最终能收敛到全局最优解。
\end{theorem}
对于本文所实现的遗传算法,只需要添加一个可以复制当前最佳个体信息的函数,即可保证全局最优解的收敛性,如下:
\begin{verbatim}
# 将该函数插入 Population 类中
def reproduct_elitist (self):
# 与当前种群进行适应度比较,更新最佳个体
j = 0
for i in range (self.size):
if self.elitist['fitness'] < self.fitness[i]:
j = i
self.elitist['fitness'] = self.fitness[i]
if (j > 0):
self.elitist['chromosome'][0] = self.individuals[j][0]
self.elitist['chromosome'][1] = self.individuals[j][1]
self.elitist['age'] = self.age
\end{verbatim}
然后在 [[evlove]] 函数中调用 [[reporduct_elitist]] 函数:
\begin{verbatim}
# 修改后的 evolve 函数
def evolve (self):
indvs = self.individuals
new_indvs = self.new_individuals
# 计算适应度及选择概率
self.evaluate ()
# 进化操作
i = 0
while True:
# 选择两个个体,进行交叉与变异,产生新的种群
idv1 = self.select ()
idv2 = self.select ()
(idv1_x, idv1_y) = (indvs[idv1][0], indvs[idv1][1])
(idv2_x, idv2_y) = (indvs[idv2][0], indvs[idv2][1])
(idv1_x, idv2_x) = self.cross (idv1_x, idv2_x)
(idv1_y, idv2_y) = self.cross (idv1_y, idv2_y)
(idv1_x, idv1_y) = (self.mutate (idv1_x), self.mutate (idv1_y))
(idv2_x, idv2_y) = (self.mutate (idv2_x), self.mutate (idv2_y))
(new_indvs[i][0], new_indvs[i][1]) = (idv1_x, idv1_y)
(new_indvs[i+1][0], new_indvs[i+1][1]) = (idv2_x, idv2_y)
# 判断进化过程是否结束
i = i + 2
if i >= self.size:
break
# 最佳个体保留
self.reproduct_elitist ()
# 更新换代
for i in range (self.size):
self.individuals[i][0] = self.new_individuals[i][0]
self.individuals[i][1] = self.new_individuals[i][1]
\end{verbatim}
注意,我没有将最佳个体保存在种群的个体集合中,因为我觉得一个既不参与交叉也不参与变异的个体,是不能放在种群中的,它应当存放在历史课本里。所以,我在 [[Population]] 类中设置了一个 [[elitist]] 的成员,用以记录最佳个体对应的染色体、适应度及其出现的年代。当遗传算法结束后,这个最佳个体可作为目标函数的解。
\begin{theorem}
遗传算法所接受的参数有种群规模、适应度函数、染色体的表示、交叉概率、变异概率等,对于这些参数而言,不存在一个最佳组合,使它对于任何问题都能达到最优性能。
\end{theorem}
也就是说,成功的设计一个遗传算法的关键在于针对具体问题去选择恰当的参数。如果不利用所求解一些问题的特定知识,那么算法的性能于我们采用何种参数没有多大关系,情况可能会更糟糕。还要记住的是,对于单个问题,不存在最好的搜索算法。
新建一份文本文件 hello-ga.nw,将上述代码复制到这份文件中,然后执行以下命令
$ notangle -Rhello-ga.py hello-ga.nw > hello-ga.py
即可在当前目录中生成 hello-ga.py 脚本。也就是说,notangle 的功能是从文学编程的源文件 hello-ga.nw 中提取 python 代码。
上述命令中的 -R 选项,是告诉 notangle 应该从一个叫做 hello-ga.py 的代码块开始,而这个代码块就是:
<<hello-ga.py>>= import math, random <<种群>>: <<种群初始化>> <<物竞天择机制>> <<染色体交叉机制>> <<染色体变异机制>> <<进化机制>> <<启动一个种群的进化过程>>
要将 hello-ga.nw 文件转换为 LaTeX 文档,然后借助 xelatex 生成 PDF 文档,可使用以下命令:
$ noweave -x hello-ga.nw | zhtex | > hello-ga.tex $ xelatex hello-ga
zhtex 是我自己写的一份 Shell 脚本,它借助 sed 对 noweave 生成的 TeX 文档进行一些修改。这份脚本的内容如下:
#!/bin/bash sed -e 's/\\documentclass{article}/\ \\documentclass[adobefonts]{ctexart}\ \\usepackage{amsmath}\ \\usepackage{graphicx, float}\ \\usepackage{cprotect}\ \\usepackage{booktabs}\ \\newtheorem{theorem}{定理}\ \\usepackage[top=2cm,bottom=2cm,left=2cm,right=2cm]{geometry}\n/g ; s/\\nwbegindocs{0}//g ; s/\\maketitle/\\maketitle\n\\nwbegindocs{0}/g'
生成的 hello-ga.pdf 文档,下载地址在:http://pan.baidu.com/s/1hq4QiGW
如果要用 noweb 来写论文式程序,并希望能能生成含有数学公式、图片、表格的 PDF 文档,你至少需要安装 noweb 与 TeXLive。在 Gentoo 中,由于 TeXLive 整个包被拆分了,要让 TeXLive 支持中文,需要安装 texlive-langchinese。
noweb 中的 no,应该是作者的名字 Norman 的前两个字母。
我为 noweb 的使用写了一份简单的指南,见『noweb 的用法』。
如果你看了上文中的论文式编程代码以及所生成的 hello-ga.pdf 文档,可能会受到一些启发,甚至在业余时间里也尝试使用 noweb 来写一些论文式程序。如果你真的这么做了,很快就会发现,事情并没有那么美好。
因为在写『论文』的过程中,你无法及时的验证论文中的程序代码是否正确,只能等到论文式源文件中包含了程序的一个完整的子集(即提取出的代码可被编译或解释运行),然后方有机会去测试程序代码的正确性。如果你坚持一次性的将论文写完,然后再去验证其中的程序代码是否正确,那时可能已经积攒了一大堆错误了。我们不是机器,我们大脑的容错能力非常强,所以很多代码在我们看来是『正确』的,而编译器或解释器会很生气的说 no!
我那个 hello-ga.nw 程序,其实是从几年前我写的一篇博文『移植』而成的,而那篇博文事实上是在我已经写出来 hello-ga.py 脚本之后才写的。
我不认为真的有人能在论文里将程序写正确。实践论文式编程,最可行的办法是先写引言部分,然后全力以赴的去写程序、验证程序的正确性,最后再将自己所写的代码论文化。所以,这个过程总是要比非文学编程方式多耗费 1~3 倍的时间。其实,这个过程与严肃的编程过程并没有什么本质区别,我们先思考,然后写代码,最后再写程序文档。文学编程的真正意义在于,它强调了文档的重要性——文档一直是程序猿最不想写的东西,并统一了文档与代码——至少在形式上是这样。
IOS开发笔记
1 iphone开发笔记 2 3 退回输入键盘 4 - (BOOL) textFieldShouldReturn:(id)textField{ 5 [textField resignFirstResponder]; 6 } 7 8 CGRect 9 CGRect frame = CGRectMake (origin.x, origin.y, size.width, size.height);矩形 10 NSStringFromCGRect(someCG) 把CGRect结构转变为格式化字符串; 11 CGRectFromString(aString) 由字符串恢复出矩形; 12 CGRectInset(aRect) 创建较小或较大的矩形(中心点相同),+较小 -较大 13 CGRectIntersectsRect(rect1, rect2) 判断两矩形是否交叉,是否重叠 14 CGRectZero 高度和宽度为零的/位于(0,0)的矩形常量 15 16 CGPoint & CGSize 17 CGPoint aPoint = CGPointMake(x, y); 18 CGSize aSize = CGSizeMake(width, height); 19 20 设置透明度 21 [myView setAlpha:value]; (0.0 < value < 1.0) 22 23 设置背景色 24 [myView setBackgroundColor:[UIColor redColor]]; 25 (blackColor;darkGrayColor;lightGrayColor; 26 whiteColor;grayColor; redColor; greenColor; 27 blueColor; cyanColor;yellowColor; 28 magentaColor;orangeColor;purpleColor; 29 brownColor; clearColor; ) 30 31 自定义颜色 32 UIColor *newColor = [[UIColor alloc] 33 initWithRed:(float) green:(float) blue:(float) alpha:(float)]; 34 0.0~1.0 35 36 竖屏 37 320X480 38 39 横屏 40 480X320 41 42 状态栏高 (显示时间和网络状态) 43 20 像素 44 45 导航栏、工具栏高(返回) 46 44像素 47 48 隐藏状态栏 49 [[UIApplication shareApplication] setStatusBarHidden: YES animated:NO] 50 51 横屏 52 [[UIApplication shareApplication] 53 setStatusBarOrientation:UIInterfaceOrientationLandscapeRight]. 54 55 屏幕变动检测 56 orientation == UIInterfaceOrientationLandscapeLeft 57 58 全屏 59 window=[[UIWindow alloc] initWithFrame:[UIScreen mainScreen] bounds]; 60 61 自动适应父视图大小: 62 aView.autoresizingSubviews = YES; 63 aView.autoresizingMask = (UIViewAutoresizingFlexibleWidth | 64 UIViewAutoresizingFlexibleHeight); 65 66 定义按钮 67 UIButton *scaleUpButton = [UIButton buttonWithType:UIButtonTypeRoundedRect]; 68 [scaleUpButton setTitle:@"放 大" forState:UIControlStateNormal]; 69 scaleUpButton.frame = CGRectMake(40, 420, 100, 40); 70 [scaleUpButton addTarget:self 71 action:@selector(scaleUp) 72 forControlEvents:UIControlEventTouchUpInside]; 73 74 设置视图背景图片 75 UIImageView *aView; 76 [aView setImage:[UIImage imageNamed:@”name.png”]]; 77 view1.backgroundColor = [UIColor colorWithPatternImage: 78 [UIImage imageNamed:@"image1.png"]]; 79 80 自定义UISlider的样式和滑块 81 82 我们使用的是UISlider的setMinimumTrackImage,和setMaximumTrackImage方法来定义图片的,这两个方法可以设置滑块左边和右边的图片的,不过如果用的是同一张图片且宽度和控件宽度基本一致,就不会有变形拉伸的后果,先看代码,写在 viewDidLoad中: 83 //左右轨的图片 84 UIImage *stetchLeftTrack= [UIImage imageNamed:@"brightness_bar.png"]; 85 UIImage *stetchRightTrack = [UIImage imageNamed:@"brightness_bar.png"]; 86 //滑块图片 87 UIImage *thumbImage = [UIImage imageNamed:@"mark.png"]; 88 89 UISlider *sliderA=[[UISlider alloc]initWithFrame:CGRectMake(30, 320, 257, 7)]; 90 sliderA.backgroundColor = [UIColor clearColor]; 91 sliderA.value=1.0; 92 sliderA.minimumValue=0.7; 93 sliderA.maximumValue=1.0; 94 95 [sliderA setMinimumTrackImage:stetchLeftTrack forState:UIControlStateNormal]; 96 [sliderA setMaximumTrackImage:stetchRightTrack forState:UIControlStateNormal]; 97 //注意这里要加UIControlStateHightlighted的状态,否则当拖动滑块时滑块将变成原生的控件 98 [sliderA setThumbImage:thumbImage forState:UIControlStateHighlighted]; 99 [sliderA setThumbImage:thumbImage forState:UIControlStateNormal]; 100 //滑块拖动时的事件 101 [sliderA addTarget:self action:@selector(sliderValueChanged:) forControlEvents:UIControlEventValueChanged]; 102 //滑动拖动后的事件 103 [sliderA addTarget:self action:@selector(sliderDragUp:) forControlEvents:UIControlEventTouchUpInside]; 104 105 [self.view addSubview:sliderA]; 106 107 为了大家实验方便,我附上背景图brightness_bar.png和滑块图mark.png 108 http://pic002.cnblogs.com/images/2011/162291/2011121611431816.png 109 http://pic002.cnblogs.com/images/2011/162291/2011121611432897.png 110 111 -(IBAction)sliderValueChanged:(id)sender{ 112 UISlider *slider = (UISlider *) sender; 113 NSString *newText = [[NSString alloc] initWithFormat:@”%d”, (int)(slider.value + 0.5f)]; 114 label.text = newText; 115 } 116 117 活动表单 118 <UIActionSheetDelegate> 119 120 - (IBActive) someButtonPressed:(id) sender 121 { 122 UIActionSheet *actionSheet = [[UIActionSheet alloc] 123 initWithTitle:@”Are you sure?” 124 delegate:self 125 cancelButtonTitle:@”No way!” 126 destructiveButtonTitle:@”Yes, I’m Sure!” 127 otherButtonTitles:nil]; 128 [actionSheet showInView:self.view]; 129 [actionSheet release]; 130 } 131 132 警告视图 133 <UIAlertViewDelegate> 134 135 - (void) actionSheet:(UIActionSheet *)actionSheet didDismissWithButtonIndex:(NSInteger) buttonIndex 136 { 137 if(buttonIndex != [actionSheet cancelButtonIndex]) 138 { 139 NSString *message = [[NSString alloc] initWithFormat:@”You can 140 breathe easy, everything went OK.”]; 141 UIAlertView *alert = [[UIAlertView alloc] 142 initWithTitle:@”Something was done” 143 message:message 144 delegate:self 145 cancelButtonTitle:@”OK” 146 otherButtonTitles:nil]; 147 [alert show]; 148 [alert release]; 149 [message release]; 150 } 151 } 152 153 动画效果 154 -(void)doChange:(id)sender 155 { 156 if(view2 == nil) 157 { 158 [self loadSec]; 159 } 160 [UIView beginAnimations:nil context:NULL]; 161 [UIView setAnimationDuration:1]; 162 [UIView setAnimationTransition:([view1 superview]?UIViewAnimationTransitionFlipFromLeft:UIViewAnimationTransitionFlipFromRight)forView:self.view cache:YES]; 163 164 if([view1 superview]!= nil) 165 { 166 [view1 removeFromSuperview]; 167 [self.view addSubview:view2]; 168 169 }else { 170 171 [view2 removeFromSuperview]; 172 [self.view addSubview:view1]; 173 } 174 [UIView commitAnimations]; 175 } 176 177 Table View <UITableViewDateSource> 178 #pragma mark - 179 #pragma mark Table View Data Source Methods 180 //指定分区中的行数,默认为1 181 - (NSInteger)tableView:(UITableView *)tableView 182 numberOfRowsInSection:(NSInteger)section 183 { 184 return [self.listData count]; 185 } 186 187 //设置每一行cell显示的内容 188 - (UITableViewCell *)tableView:(UITableView *)tableView 189 cellForRowAtIndexPath:(NSIndexPath *)indexPath 190 { 191 static NSString *SimpleTableIndentifier = @"SimpleTableIndentifier"; 192 UITableViewCell *cell = [tableView dequeueReusableCellWithIdentifier:SimpleTableIndentifier]; 193 if (cell == nil) { 194 cell = [[[UITableViewCell alloc] 195 initWithStyle:UITableViewCellStyleSubtitle 196 reuseIdentifier:SimpleTableIndentifier] 197 autorelease]; 198 } 199 UIImage *image = [UIImage imageNamed:@"13.gif"]; 200 cell.imageView.image = image; 201 202 NSUInteger row = [indexPath row]; 203 cell.textLabel.text = [listData objectAtIndex:row]; 204 cell.textLabel.font = [UIFont boldSystemFontOfSize:20]; 205 206 if(row < 5) 207 cell.detailTextLabel.text = @"Best friends"; 208 else 209 cell.detailTextLabel.text = @"friends"; 210 return cell; 211 } 212 213 图像、文本标签和详细文本标签 214 215 图像:如果设置图像,则它显示在文本的左侧; 文本标签:这是单元的主要文本(UITableViewCellStyleDefault 只显示文本标签);详细文本标签:这是单元的辅助文本,通常用作解释性说明或标签 216 217 UITableViewCellStyleSubtitle 218 UITableViewCellStyleDefault 219 UITableViewCellStyleValue1 220 UITableViewCellStyleValue2 221 222 <UITableViewDelegate> 223 #pragma mark - 224 #pragma mark Table View Delegate Methods 225 //把每一行缩进级别设置为其行号 226 - (NSInteger)tableView:(UITableView *)tableView indentationLevelForRowAtIndexPath:(NSIndexPath *)indexPath 227 { 228 NSUInteger row = [indexPath row]; 229 return row; 230 } 231 //获取传递过来的indexPath值 232 - (NSIndexPath *)tableView:(UITableView *)tableView willSelectRowAtIndexPath:(NSIndexPath *)indexPath 233 { 234 NSUInteger row = [indexPath row]; 235 if (row == 0) 236 return nil; 237 return indexPath; 238 } 239 240 - (void)tableView:(UITableView *)tableView didSelectRowAtIndexPath:(NSIndexPath *)indexPath 241 { 242 NSUInteger row = [indexPath row]; 243 NSString *rowValue = [listData objectAtIndex:row]; 244 NSString *message = [[NSString alloc] initWithFormat:@"You selected %@",rowValue]; 245 UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"Row Selected" 246 message:message 247 delegate:nil 248 cancelButtonTitle:@"Yes, I did!" 249 otherButtonTitles:nil]; 250 [alert show]; 251 [alert release]; 252 [message release]; 253 [tableView deselectRowAtIndexPath:indexPath animated:YES]; 254 } 255 256 //设置行的高度 257 - (CGFloat)tableView:(UITableView *)tableView heightForRowAtIndexPath:(NSIndexPath *)indexPath 258 { 259 return 40; 260 } 261 262 NavigationController 推出push 推出pop 263 [self.navigationController pushViewController:_detailController animated:YES]; 264 [self.navigationController popViewControllerAnimated:YES]; 265 266 Debug: 267 NSLog(@"%s %d", __FUNCTION__, __LINE__); 268 269 点击textField外的地方回收键盘 270 271 先定义一个UIControl类型的对象,在上面可以添加触发事件,令SEL实践为回收键盘的方法,最后将UIControl的实例加到当前View上。 272 UIControl *m_control = [[UIControl alloc] initWithFrame:CGRectMake(0, 0, 320, 480)]; 273 [m_control addTarget:self action:@selector(keyboardReturn) 274 forControlEvents:UIControlEventTouchUpInside]; 275 [self.view addSubview:m_control]; 276 277 - (void) keyboardReturn 278 { 279 [aTextField resignFirstResponder]; 280 } 281 282 键盘覆盖输入框 283 当键盘调出时将输入框覆盖时,可以用下方法: 284 - (BOOL)textFieldShouldBeginEditing:(UITextField *)textField 285 { 286 [self.view setFrame:CGRectMake(0, -100, 320, 480) ]; 287 return YES; 288 } 289 - (BOOL)textFieldShouldEndEditing:(UITextField *)textField 290 { 291 [self.view setFrame:CGRectMake(0, 0, 320, 480)]; 292 return YES; 293 } 294 当准备输入时,将视图的位置上调100,这样键盘就不能覆盖到输入框。 295 296 当依赖注入方法不好使时,可以在AppDelegate内申明一个全局的控制器实例_anotherViewController,在另一个需要使用_anotherViewController的地方定义以下委托方法,使用共享的UIApplication实例来获取该委托的引用 297 SomeAppDelegate *appDelegate = (SomeAppDelegate *)[[UIApplication sharedApplication] delegate]; 298 _anotherViewController = appDelegate._anotherViewController; 299 300 UIViewController内建Table View 301 302 纯代码在UIViewController控制器内建Table View 303 @interface RootViewController : UIViewController <UITableViewDelegate, UITableViewDataSource> { 304 NSArray *timeZoneNames; 305 } 306 @property (nonatomic,retain) NSArray *timeZoneNames; 307 @end 308 309 (void) loadView 310 { 311 UITableView *tableView = [[UITableView alloc] initWithFrame:[[UIScreen mainScreen] applicationFrame]] style: UITableViewStylePlain]; 312 tableView.autoresizingMask = (UIViewAutoresizingFlexibleHeight | UIViewAutoresizingWidth); 313 tableView.delegate = self; 314 tableView.dataSource = self; 315 [tableView reloadData]; 316 317 self.view = tableView; 318 [tableView release]; 319 } 320 321 322 将plist文件中的数据赋给数组 323 NSString *thePath = [[NSBundle mainBundle] pathForResource:@"States" ofType:@"plist"]; 324 NSArray *array = [NSArray arrayWithContentsOfFile:thePath]; 325 326 UITouch 327 手指的触摸范围:64X64 328 329 #pragma mark - 330 #pragma mark Touch Events 331 332 - (void)touchesBegan:(NSSet *) touches withEvent:(UIEvent *) event { 333 originFrame = bookCover.frame; 334 NSLog(@"%s %d", __FUNCTION__,__LINE__); 335 336 if ([touches count] == 2) 337 { 338 NSArray *twoTouches = [touches allObjects]; 339 UITouch *firstTouch = [twoTouches objectAtIndex:0]; 340 UITouch *secondTouch = [twoTouches objectAtIndex:1]; 341 CGPoint firstPoint = [firstTouch locationInView:bookCover]; 342 CGPoint secondPoint = [secondTouch locationInView:bookCover]; 343 344 CGFloat deltaX = secondPoint.x - firstPoint.x; 345 CGFloat deltaY = secondPoint.y - firstPoint.y; 346 initialDistance = sqrt(deltaX * deltaX + deltaY * deltaY ); 347 frameX = bookCover.frame.origin.x; 348 frameY = bookCover.frame.origin.y; 349 frameW = bookCover.frame.size.width; 350 frameH = bookCover.frame.size.height; 351 NSLog(@"%s %d", __FUNCTION__,__LINE__); 352 } 353 } 354 355 - (void)touchesMoved:(NSSet *) touches withEvent:(UIEvent *) event { 356 357 if([touches count] == 2) 358 { 359 NSLog(@"%s %d", __FUNCTION__,__LINE__); 360 361 NSArray *twoTouches = [touches allObjects]; 362 UITouch *firstTouch = [twoTouches objectAtIndex:0]; 363 UITouch *secondTouch = [twoTouches objectAtIndex:1]; 364 365 CGPoint firstPoint = [firstTouch locationInView:bookCover]; 366 CGPoint secondPoint = [secondTouch locationInView:bookCover]; 367 368 CGFloat deltaX = secondPoint.x - firstPoint.x; 369 CGFloat deltaY = secondPoint.y - firstPoint.y; 370 CGFloat currentDistance = sqrt(deltaX * deltaX + deltaY * deltaY ); 371 372 if (initialDistance == 0) { 373 initialDistance = currentDistance; 374 } 375 else if (currentDistance != initialDistance) 376 { 377 CGFloat changedDistance = currentDistance - initialDistance; 378 NSLog(@"changedDistance = %f",changedDistance); 379 [bookCover setFrame:CGRectMake(frameX - changedDistance / 2, 380 frameY - (changedDistance * frameH) / (2 * frameW), 381 frameW + changedDistance, 382 frameH + (changedDistance * frameH) / frameW)]; 383 } 384 } 385 } 386 387 - (void)touchesEnded:(NSSet *) touches withEvent:(UIEvent *) event { 388 UITouch *touch = [touches anyObject]; 389 390 UITouch双击图片变大/还原 391 if ([touch tapCount] == 2) 392 { 393 NSLog(@"%s %d", __FUNCTION__,__LINE__); 394 395 if (!flag) { 396 [bookCover setFrame:CGRectMake(bookCover.frame.origin.x - bookCover.frame.size.width / 2, 397 bookCover.frame.origin.y - bookCover.frame.size.height / 2, 398 2 * bookCover.frame.size.width, 399 2 * bookCover.frame.size.height)]; 400 flag = YES; 401 } 402 else { 403 [bookCover setFrame:CGRectMake(bookCover.frame.origin.x + bookCover.frame.size.width / 4, bookCover.frame.origin.y + bookCover.frame.size.height / 4, 404 bookCover.frame.size.width / 2, bookCover.frame.size.height / 2)]; 405 flag = NO; 406 } 407 } 408 } 409 410 Get the Location of Touches 411 (CGPoint)locationInView:(UIView *)view 412 (CGPoint)previousLocationInView:(UIView *)view 413 view window 414 415 Getting Touch Attributes 416 tapCount(read only) timestamp(read only) phase(read only) 417 418 Getting a Touch Object's Gesture Recognizers 419 gestureRecognizers 420 421 Touch Phase 422 UITouchPhaseBegan 423 UITouchPhaseMoved 424 UITouchPhaseStationary 425 UITouchPhaseEnded 426 UITouchPhaseCancelled 427 428 从Plist里读内容 429 NSString *plistPath = [[NSBundle mainBundle] pathForResource:@"book" ofType:@"plist"]; 430 NSDictionary *dictionary = [[NSDictionary alloc] initWithContentsOfFile:plistPath]; 431 NSString *book = [dictionary objectForKey:bookTitle]; 432 [textView setText:book]; 433 434 (void) initialize { 435 NSUserDefaults = [NSUserDefaults standardUserDefaults]; 436 NSDictionary *appDefaults = [NSDictionary dictionaryWithObject:@"YES" forKey:@"DeleteBackup"]; 437 [defaults registerDefaults:appDefaults]; 438 } 439 440 To get a value of a default, use the valueForKey: method: 441 [[theDefaultsController values] valueForKey:@"userName"]; 442 To set a value for a default, use setValue:forKey: 443 [[theDefaultsController values] setValue:newUserName forKey:@"userName"]; 444 445 [[NSUserDefaults standardUserDefaults] setValue:aVale forKey:aKey]; 446 [[NSUserDefaults standardUserDefaults] valueForKey:aKey]; 447 448 获取Documents目录 449 NSArray *paths = NSSearchPathForDictionariesInDomains(NSDocumentDirectory, 450 NSUserDomainMask, YES); 451 NSString *documentsDirectory = [paths objectAtIndex:0]; 452 NSString *filename = [documentsDirectory 453 stringByAppendingPathComponent:@"theFile.txt"]; 454 455 获取tmp目录 456 NSString *tempPath = NSTemporaryDirectory(); 457 NSString *tempFile = [tempPath stringByAppendingPathComponent:@"tempFile.txt"]; 458 459 [[NSUserDefaults standardUserDefaults] setObject:data forKey:@"someKey"]; 460 [[NSUserDefaults standardUserDefaults] objectForKey:aKey]; 461 462 自定义NavigationBar 463 navigationBar = [[UINavigationBar alloc] initWithFrame:CGRectMake(0, 0, 320, 44)]; 464 [navigationBar setBarStyle:UIBarStyleBlackOpaque]; 465 466 myNavigationItem = [[UINavigationItem alloc] initWithTitle:@"Setting"]; 467 [navigationBar setItems:[NSArray arrayWithObject:myNavigationItem]]; 468 [self.view addSubview:navigationBar]; 469 470 backButton = [[UIBarButtonItem alloc] initWithTitle:@"Back" style:UIBarButtonItemStylePlain target:self action:@selector(back)]; 471 myNavigationItem.leftBarButtonItem = backButton; 472 473 474 利用Safari打开一个链接 475 NSURL *url = [NSURL URLWithString:@"http://www.cnblogs.com/tracy-e/"]; 476 [[UIApplication sharedApplication] openURL:url]; 477 478 利用UIWebView显示pdf文件、网页。。。 479 webView = [[UIWebView alloc] initWithFrame:CGRectMake(0, 0, 320, 480)]; 480 [webView setDelegate:self]; 481 [webView setScalesPageToFit:YES]; 482 [webView setAutoresizingMask:UIViewAutoresizingFlexibleWidth | UIViewAutoresizingFlexibleHeight]; 483 [webView setAllowsInlineMediaPlayback:YES]; 484 [self.view addSubview:webView]; 485 NSString *pdfPath = [[NSBundle mainBundle] pathForResource:@"ojc" ofType:@"pdf"]; 486 NSURL *url = [NSURL fileURLWithPath:pdfPath]; 487 NSURLRequest *request = [NSURLRequest requestWithURL:url 488 cachePolicy:NSURLRequestUseProtocolCachePolicy 489 timeoutInterval:5]; 490 [webView loadRequest:request]; 491 492 493 [myWebView loadRequest:[NSURLRequest requestWithURL:[NSURL 494 URLWithString: @"http://www.cnblogs.com/tracy-e/"]]]; 495 496 NSString *errorString = [NSString stringWithFormat:@"<html><center><font size= 497 +5 color ='red'>An Error Occurred:<br>%@</fone></center></html>",error]; 498 [myWebView loadHTMLString:errorString baseURL:nil]; 499 500 //Stopping a load request when the view is to disappear 501 - (void)viewWillDisappear:(BOOL)animate{ 502 if ([myWebView loading]){ 503 [myWebView stopLoading]; 504 } 505 myWebView.delegate = nil; 506 [UIApplication shareApplication].networkActivityIndicatorVisible = NO; 507 } 508 509 汉字转码 510 NSString *oriString = @"\u67aa\u738b"; 511 NSString *escapedString = [oriString 512 stringByReplacingPercentEscapesUsingEncoding: NSUTF8StringEncoding]; 513 514 515 Checking for background support on earlier versions of iOS 516 UIDevice *device = [UIDevice currentDevice]; 517 BOOL backgroundSupported = NO; 518 if ([device respondsToSelector:@selector(isMultitaskingSupported)]){ 519 backgroundSupported = device.multitaskingSupported; 520 } 521 522 Being a Responsible,Multitasking-Aware Application 523 # Do not make any OpenGL ES calls from your code. 524 # Cancel any Bonjour-related services before being suspended. 525 # Be prepared to handle connection failures in your network-based sockets. 526 # Save your application state before moving to the background. 527 # Release any unneeded memory when moving to the background. 528 # Stop using shared system resources before being suspended. 529 # Avoid updating your windows and views. 530 # Respond to connect and disconnect notification for external accessories. 531 # Clean up resource for active alerts when moving to the background. 532 # Remove sensitive information from views before moving to the background. 533 # Do minimal work while running in the background. 534 535 Handing the Keyboard notifications 536 //Call this method somewhere in your view controller setup code 537 - (void) registerForKeyboardNotifications{ 538 539 [[NSNotificationCenter defaultCenter] addObserver:self 540 selector:@selector(keyboardWasShown:) 541 name:UIKeyboardDidShowNotification 542 object:nil]; 543 [[NSNotificationCenter defaultCenter] addObserver:self 544 selector:@selector(keyboardWasHidden:) 545 name:UIKeyboardDidHideNotification 546 object:nil]; 547 548 } 549 550 //Called when the UIKeyboardDidShowNotification is sent 551 - (void)keyboardWasShown:(NSNotification *) aNotification{ 552 if(keyboardShown) 553 return; 554 NSDictionary *info = [aNotification userInfo]; 555 556 //get the size of the keyboard. 557 NSValue *aValue = [info objectForKey:UIKeyboardFrameBeginUserInfoKey]; 558 CGSize keyboardSize = [aValue CGRectValue].size; 559 560 //Resize the scroll view 561 CGRect viewFrame = [scrollView frame]; 562 viewFrame.size.height -= keyboardSize.height; 563 564 //Scroll the active text field into view 565 CGRect textFieldRect = [activeField frame]; 566 [scrollView scrollRectToVisible:textFieldRect animated:YES]; 567 568 keyboardShown = YES; 569 } 570 571 //Called when the UIKeyboardDidHideNotification is sent 572 - (void)keyboardWasHidden:(NSNotification *) aNotification{ 573 NSDictionary *info = [aNotification userInfo]; 574 575 //Get the size of the keyboard. 576 NSValue *aValue = [info objectForKey:UIKeyboardFrameEndUserInfoKey]; 577 CGSize keyboardSize = [aValue CGRectValue].size; 578 579 //Reset the height of the scroll view to its original value 580 CGRect viewFrame = [scrollView Frame]; 581 viewFrame.size.height += keyboardSize.height; 582 scrollView.frame = viewFrame; 583 584 keyboardShown = NO; 585 } 586 587 点击键盘的next按钮,在不同的textField之间换行 588 //首先给不同的textField赋不同的且相邻的tag值 589 - (BOOL)textFieldShouldReturn:(UITextField *)textField 590 { 591 if ([textField returnKeyType] != UIReturnKeyDone) 592 { 593 NSInteger nextTag = [textField tag] + 1; 594 UIView *nextTextField = [[self tableView] viewWithTag:nextTag]; 595 [nextTextField becomeFirstResponder]; 596 } 597 else { 598 [textField resignFirstResponder]; 599 } 600 return YES; 601 } 602 603 Configuring a date formatter 604 - (void)viewDidLoad { 605 [super viewDidLoad]; 606 dateFormatter = [[NSDateFormatter alloc] init]; 607 [dateFormatter setGeneratesCalendarDates:YES]; 608 [dateFormatter setLocale:[NSLocale currentLocale]]; 609 [dateFormatter setCalendar:[NSCalendar autoupdatingCurrentCalendar]]; 610 [dateFormatter setTimeZone:[NSTimeZone defaultTimeZone]]; 611 [dateFormatter setDateStyle:NSDateFormatterShortStyle]; 612 DOB.placeholder = [NSString stringWithFormat:@"Example: %@",[dateFormatter stringFromDate:[NSDate date]]]; 613 } 614 615 - (void)textFieldDidEndEditing:(UITextField *)textField{ 616 [textField resignFirstResponder]; 617 if ([textField.text isEqualToString:@""]) 618 return; 619 switch (textField.tag){ 620 case DOBField: 621 NSDate *theDate = [dateFormatter dateFromString:textField.text]; 622 if (theDate) 623 [inputDate setObject:theDate forKey:MyAppPersonDOBKey]; 624 break; 625 default: 626 break; 627 } 628 } 629 630 tableView的cell高度 631 632 tableView的cell高度除了在delegate中指定外,还可以在任意位置以[tableView setRowHeight:44]的方式指定 633 634 [[self navigationItem] setLeftBarButtonItem:[self editButtonItem]]; 635 636 - (void)setEditing:(BOOL)editing animated:(BOOL)animated{ 637 [super setEditing:editing animated:animated]; 638 if (editing){ 639 ...... 640 } 641 else{ 642 ...... 643 } 644 } 645 646 One added a subview to a view, release the subview to avoid the extra retain count of it, Because when you insert a view as a subview using addSubview:, the subview is retained by its superview. When you remove the subview from its superview using the removeFromSuperview: method, subview is autoreleased. 647 648 为UINavigationBar设置背景图片 649 在iPhone开发中, 有时候我们想给导航条添加背景图片, 实现多样化的导航条效果, 用其他方法往往无法达到理想的效果, 经过网上搜索及多次实验, 确定如下最佳实现方案: 650 为UINavigatonBar增加如下Category(类别:提供一种为某个类添加方法而又不必编写子类的途径,类别只能添加成员函数,不能添加数据成员): 651 652 @implementation UINavigationBar (CustomImage) 653 - (void)drawRect:(CGRect)rect { 654 UIImage *image = [UIImage imageNamed: @"NavigationBar.png"]; 655 [image drawInRect:CGRectMake(0, 0, self.frame.size.width, self.frame.size.height)]; 656 } 657 @end 658 659 例如, 在我的项目中, 添加如下代码: 660 ///////////////////////////////////////////////////////// 661 /* input: The image and a tag to later identify the view */ 662 @implementation UINavigationBar (CustomImage) 663 - (void)drawRect:(CGRect)rect { 664 UIImage *image = [UIImage imageNamed: @"title_bg.png"]; 665 [image drawInRect:CGRectMake(0, 0, self.frame.size.width, self.frame.size.height)]; 666 } 667 @end 668 ///////////////////////////////////////////////////////// 669 @implementation FriendsPageViewController 670 // Implement viewDidLoad to do additional setup after loading the view, typically from a nib. 671 - (void)viewDidLoad { 672 self.navigationBar.tintColor = [UIColor purpleColor]; 673 674 [self initWithRootViewController:[[RegPageViewController alloc] init]]; 675 [super viewDidLoad]; 676 } 677 ...... 678 实现的效果如下图: 679 680 681 转载,原文地址 http://blog.csdn.net/wave_1102/archive/2009/11/04/4768212.aspx 682 683 为UINavigationBar添加自定义背景 684 685 @implementation UINavigationBar (UINavigationBarCategory) 686 687 - (void)drawRect:(CGRect)rect { 688 //颜色填充 689 // UIColor *color = [UIColor redColor]; 690 // CGContextRef context = UIGraphicsGetCurrentContext(); 691 // CGContextSetFillColor(context, CGColorGetComponents( [color CGColor])); 692 // CGContextFillRect(context, rect); 693 // self.tintColor = color; 694 //图片填充 695 UIColor *color = [UIColor colorWithRed:46.0f/255.0f 696 green:87.0f/255.0f blue:29.0f/255.0f alpha:1.0f]; 697 698 UIImage *img = [UIImage imageNamed: @"bg.png"]; 699 [img drawInRect:CGRectMake(0, 0, self.frame.size.width, self.frame.size.height)]; 700 701 self.tintColor = color; 702 } 703 704 @end 705 706 加载图片要及时release 707 708 你还在使用myImage = [UIImage imageNamed:@"icon.png"]; 吗? 709 710 如题,是不是大家为了方便都这样加载图片啊 711 712 myImage = [UIImage imageNamed:@"icon.png"]; 713 714 那么小心了 715 716 这种方法在一些图片很少,或者图片很小的程序里是ok的。 717 718 但是,在大量加载图片的程序里,请千万不要这样做。 719 720 为什么呢 ??????? 721 722 这种方法在application bundle的顶层文件夹寻找由供应的名字的图象。 如果找到图片,装载到iPhone系统缓存图象。那意味图片是(理论上)放在内存里作为cache的。 723 724 试想你图片多了,是什么后果? 725 726 图片cache极有可能不会响应 memory warnings and release its objects 727 728 所以,用图片的时候一定要小心的alloc和release。 729 730 推荐使用 NSString *path = [[NSBundle mainBundle] pathForResource:@"icon" ofType:@"png"]; 731 732 myImage = [UIImage imageWithContentsOfFile:path]; 733 734 // Todo use of myImage 735 736 [myImage release]; 737 738 From: http://www.cocoachina.com/bbs/simple/?t27420.html 739 740 uiwebview打开doc,pdf文件 741 UIWebView *webView = [[UIWebView alloc]initWithFrame:CGRectMake(0, 55, 320, 300)]; 742 webView.delegate = self; 743 webView.multipleTouchEnabled = YES; 744 webView.scalesPageToFit = YES; 745 746 NSArray *paths = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES); 747 NSString *documentsDirectory = [paths objectAtIndex:0]; 748 NSString *docPath = [documentsDirectory stringByAppendingString:@"/doc2003_1.doc"]; NSLog(@"#######%@",docPath); 749 750 NSURL *url = [NSURL fileURLWithPath:docPath]; 751 NSURLRequest *request = [NSURLRequest requestWithURL:url]; 752 [webView loadRequest:request]; 753 754 [self.view addSubview:webView]; 755 [webView release]; 756 757 From:http://blog.csdn.net/dadalan/archive/2010/10/22/5959301.aspx 758 759 iPhone游戏中既播放背景音乐又播放特效声音的办法 760 761 有时候在 iPhone 游戏中,既要播放背景音乐,同时又要播放比如枪的开火音效。此时您可以试试以下方法 762 763 NSString *musicFilePath = [[NSBundle mainBundle] pathForResource:fileName ofType:@"wav"]; //创建音乐文件路径 764 NSURL *musicURL = [[NSURL alloc] initFileURLWithPath:musicFilePath]; 765 AVAudioPlayer* musicPlayer = [[AVAudioPlayer alloc] initWithContentsOfURL:musicURL error:nil]; 766 [musicURL release]; 767 [musicPlayer prepareToPlay]; 768 //[musicPlayer setVolume:1]; //设置音量大小 769 //musicPlayer .numberOfLoops = -1;//设置音乐播放次数 -1为一直循环 770 771 要导入框架 AVFoundation.framework,头文件中 #import <AVFoundation/AVFoundation.h>;做成类的话则更方便。 772 773 From: http://blog.csdn.net/dadalan/archive/2010/10/19/5950493.aspx 774 775 NSNotificationCenter用于增加回调函数 776 [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(_willBecomeActive) name:UIApplicationDidBecomeActiveNotification object:nil]; 777 778 UINavigationBar 背景Hack 779 LOGO_320×44.png 图片显示在背景上, 780 781 @implementation UINavigationBar (UINavigationBarCategory) 782 - (void)drawRect:(CGRect)rect { 783 //加入旋转坐标系代码 784 // Drawing code 785 UIImage *navBarImage = [UIImage imageNamed:@"LOGO_320×44.png"]; 786 CGContextRef context = UIGraphicsGetCurrentContext(); 787 CGContextTranslateCTM(context, 0.0, self.frame.size.height); 788 CGContextScaleCTM(context, 1.0, -1.0); 789 790 CGPoint center=self.center; 791 792 CGImageRef cgImage= CGImageCreateWithImageInRect(navBarImage.CGImage, CGRectMake(0, 0, 1, 44)); 793 CGContextDrawImage(context, CGRectMake(center.x-160-80, 0, 80, self.frame.size.height), cgImage); 794 CGContextDrawImage(context, CGRectMake(center.x-160, 0, 320, self.frame.size.height), navBarImage.CGImage); 795 CGContextDrawImage(context, CGRectMake(center.x+160, 0, 80, self.frame.size.height), cgImage); 796 } 797 @end 798 799 old code 800 CGContextDrawImage(context, CGRectMake(0, 0, self.frame.size.width, self.frame.size.height), navBarImage.CGImage); 801 802 hack 过logo 不再拉伸 803 804 From: http://blog.163.com/fengyi1103@126/blog/static/13835627420106279102671/ 805 806 清除电话号码中的其他符号(源码) 807 808 最近从通讯录读取电话号码,读出得号码如:134-1814-****。 809 而我需要的为11位纯数字,一直找方法解决此问题,今天终于找到了。。 810 分享一下…… 811 812 代码如下: 813 814 NSString *originalString = @"(123) 123123 abc"; 815 NSMutableString *strippedString = [NSMutableString 816 stringWithCapacity:originalString.length]; 817 818 NSScanner *scanner = [NSScanner scannerWithString:originalString]; 819 NSCharacterSet *numbers = [NSCharacterSet 820 characterSetWithCharactersInString:@"0123456789"]; 821 822 while ([scanner isAtEnd] == NO) { 823 NSString *buffer; 824 if ([scanner scanCharactersFromSet:numbers intoString:&buffer]) { 825 [strippedString appendString:buffer]; 826 } 827 // --------- Add the following to get out of endless loop 828 else { 829 [scanner setScanLocation:([scanner scanLocation] + 1)]; 830 } 831 // --------- End of addition 832 } 833 834 NSLog(@"%@", strippedString); // "123123123" 835 836 From: http://stackoverflow.com/questions/1129521/remove-all-but-numbers-from-nsstring 837 838 839 正则判断:字符串只包含字母和数字 840 841 NSString *mystring = @"Letter1234"; 842 NSString *regex = @"[a-z][A-Z][0-9]"; 843 844 NSPredicate *predicate = [NSPredicate predicateWithFormat:@"SELF MATCHES %@", regex]; 845 846 if ([predicate evaluateWithObject:mystring] == YES) { 847 //implement 848 } 849 850 851 一行代码设置 UITableViewCell 与导航条间距 852 853 UITableView 的 cell 默认出现在 uitableview 的第一行,如果你想自定义 UITableViewCell 与导航条间距的话,可以使用下面这行代码 854 855 tableview.tableHeaderView = [[[UIView alloc] initWithFrame:CGRectMake(0, 0, 5, 20)]autorelease]; 856 857 From: http://blog.163.com/fengyi1103@126/blog/static/1383562742010101611107492/ 858 859 860 修改 UITableview 滚动条颜色的方法 861 862 UITableview 的滚动条默认颜色是黑色的,如果 UItableview 背景也是深颜色,则滚动条会变的很不明显。您可以用下面这行代码来改变滚动条的颜色 863 864 self.tableView.indicatorStyle=UIScrollViewIndicatorStyleWhite; 865 866 当然,最后的 “White” 也可以换成其它颜色。 867 868 869 下文件之前获取到文件大小的代码 870 871 下面这段代码,能实现在下载文件之前获得文件大小,应用在软件里,能在很大程度上改善用户体验 872 873 [m_pASIHTTPRequest setDidReceiveResponseHeadersSelector:@selector(didReceiveResponseHeaders:)]; 874 875 - (void)didReceiveResponseHeaders:(ASIHTTPRequest *)request 876 { 877 NSLog(@"didReceiveResponseHeaders %@",[m_request.responseHeaders valueForKey:@"Content-Length"]); 878 } 879 880 网络编程总结 iphone 881 882 一:确认网络环境3G/WIFI 883 884 1. 添加源文件和framework 885 886 开发Web等网络应用程序的时候,需要确认网络环境,连接情况等信息。如果没有处理它们,是不会通过Apple的审(我们的)查的。 887 Apple 的 例程 Reachability 中介绍了取得/检测网络状态的方法。要在应用程序程序中使用Reachability,首先要完成如下两部: 888 889 1.1. 添加源文件: 890 在你的程序中使用 Reachability 只须将该例程中的 Reachability.h 和 Reachability.m 拷贝到你的工程中。如下图: 891 892 893 894 1.2.添加framework: 895 将SystemConfiguration.framework 添加进工程。如下图: 896 897 898 2. 网络状态 899 900 Reachability.h中定义了三种网络状态: 901 typedef enum { 902 NotReachable = 0, //无连接 903 ReachableViaWiFi, //使用3G/GPRS网络 904 ReachableViaWWAN //使用WiFi网络 905 } NetworkStatus; 906 907 因此可以这样检查网络状态: 908 909 Reachability *r = [Reachability reachabilityWithHostName:@“www.apple.com”]; 910 switch ([r currentReachabilityStatus]) { 911 case NotReachable: 912 // 没有网络连接 913 break; 914 case ReachableViaWWAN: 915 // 使用3G网络 916 break; 917 case ReachableViaWiFi: 918 // 使用WiFi网络 919 break; 920 } 921 922 3.检查当前网络环境 923 程序启动时,如果想检测可用的网络环境,可以像这样 924 // 是否wifi 925 + (BOOL) IsEnableWIFI { 926 return ([[Reachability reachabilityForLocalWiFi] currentReachabilityStatus] != NotReachable); 927 } 928 929 // 是否3G 930 + (BOOL) IsEnable3G { 931 return ([[Reachability reachabilityForInternetConnection] currentReachabilityStatus] != NotReachable); 932 } 933 例子: 934 - (void)viewWillAppear:(BOOL)animated { 935 if (([Reachability reachabilityForInternetConnection].currentReachabilityStatus == NotReachable) && 936 ([Reachability reachabilityForLocalWiFi].currentReachabilityStatus == NotReachable)) { 937 self.navigationItem.hidesBackButton = YES; 938 [self.navigationItem setLeftBarButtonItem:nil animated:NO]; 939 } 940 } 941 942 4. 链接状态的实时通知 943 网络连接状态的实时检查,通知在网络应用中也是十分必要的。接续状态发生变化时,需要及时地通知用户: 944 945 Reachability 1.5版本 946 // My.AppDelegate.h 947 #import "Reachability.h" 948 949 @interface MyAppDelegate : NSObject <UIApplicationDelegate> { 950 NetworkStatus remoteHostStatus; 951 } 952 953 @property NetworkStatus remoteHostStatus; 954 955 @end 956 957 // My.AppDelegate.m 958 #import "MyAppDelegate.h" 959 960 @implementation MyAppDelegate 961 @synthesize remoteHostStatus; 962 963 // 更新网络状态 964 - (void)updateStatus { 965 self.remoteHostStatus = [[Reachability sharedReachability] remoteHostStatus]; 966 } 967 968 // 通知网络状态 969 - (void)reachabilityChanged:(NSNotification *)note { 970 [self updateStatus]; 971 if (self.remoteHostStatus == NotReachable) { 972 UIAlertView *alert = [[UIAlertView alloc] initWithTitle:NSLocalizedString(@"AppName", nil) 973 message:NSLocalizedString (@"NotReachable", nil) 974 delegate:nil cancelButtonTitle:@"OK" otherButtonTitles: nil]; 975 [alert show]; 976 [alert release]; 977 } 978 } 979 980 // 程序启动器,启动网络监视 981 - (void)applicationDidFinishLaunching:(UIApplication *)application { 982 983 // 设置网络检测的站点 984 [[Reachability sharedReachability] setHostName:@"www.apple.com"]; 985 [[Reachability sharedReachability] setNetworkStatusNotificationsEnabled:YES]; 986 // 设置网络状态变化时的通知函数 987 [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(reachabilityChanged:) 988 name:@"kNetworkReachabilityChangedNotification" object:nil]; 989 [self updateStatus]; 990 } 991 992 - (void)dealloc { 993 // 删除通知对象 994 [[NSNotificationCenter defaultCenter] removeObserver:self]; 995 [window release]; 996 [super dealloc]; 997 } 998 999 Reachability 2.0版本 1000 1001 1002 // MyAppDelegate.h 1003 @class Reachability; 1004 1005 @interface MyAppDelegate : NSObject <UIApplicationDelegate> { 1006 Reachability *hostReach; 1007 } 1008 1009 @end 1010 1011 // MyAppDelegate.m 1012 - (void)reachabilityChanged:(NSNotification *)note { 1013 Reachability* curReach = [note object]; 1014 NSParameterAssert([curReach isKindOfClass: [Reachability class]]); 1015 NetworkStatus status = [curReach currentReachabilityStatus]; 1016 1017 if (status == NotReachable) { 1018 UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"AppName"" 1019 message:@"NotReachable" 1020 delegate:nil 1021 cancelButtonTitle:@"YES" otherButtonTitles:nil]; 1022 [alert show]; 1023 [alert release]; 1024 } 1025 } 1026 1027 - (void)applicationDidFinishLaunching:(UIApplication *)application { 1028 // ... 1029 1030 // 监测网络情况 1031 [[NSNotificationCenter defaultCenter] addObserver:self 1032 selector:@selector(reachabilityChanged:) 1033 name: kReachabilityChangedNotification 1034 object: nil]; 1035 hostReach = [[Reachability reachabilityWithHostName:@"www.google.com"] retain]; 1036 hostReach startNotifer]; 1037 // ... 1038 } 1039 1040 1041 二:使用NSConnection下载数据 1042 1043 1.创建NSConnection对象,设置委托对象 1044 1045 NSMutableURLRequest *request = [NSMutableURLRequest requestWithURL:[NSURL URLWithString:[self urlString]]]; 1046 [NSURLConnection connectionWithRequest:request delegate:self]; 1047 1048 2. NSURLConnection delegate委托方法 1049 - (void)connection:(NSURLConnection *)connection didReceiveResponse:(NSURLResponse *)response; 1050 - (void)connection:(NSURLConnection *)connection didFailWithError:(NSError *)error; 1051 - (void)connection:(NSURLConnection *)connection didReceiveData:(NSData *)data; 1052 - (void)connectionDidFinishLoading:(NSURLConnection *)connection; 1053 1054 3. 实现委托方法 1055 - (void)connection:(NSURLConnection *)connection didReceiveResponse:(NSURLResponse *)response { 1056 // store data 1057 [self.receivedData setLength:0]; //通常在这里先清空接受数据的缓存 1058 } 1059 1060 - (void)connection:(NSURLConnection *)connection didReceiveData:(NSData *)data { 1061 /* appends the new data to the received data */ 1062 [self.receivedData appendData:data]; //可能多次收到数据,把新的数据添加在现有数据最后 1063 } 1064 1065 - (void)connection:(NSURLConnection *)connection didFailWithError:(NSError *)error { 1066 // 错误处理 1067 } 1068 1069 - (void)connectionDidFinishLoading:(NSURLConnection *)connection { 1070 // disconnect 1071 [UIApplication sharedApplication].networkActivityIndicatorVisible = NO; 1072 NSString *returnString = [[NSString alloc] initWithData:self.receivedData encoding:NSUTF8StringEncoding]; 1073 NSLog(returnString); 1074 [self urlLoaded:[self urlString] data:self.receivedData]; 1075 firstTimeDownloaded = YES; 1076 } 1077 1078 三:使用NSXMLParser解析xml文件 1079 1080 1. 设置委托对象,开始解析 1081 NSXMLParser *parser = [[NSXMLParser alloc] initWithData:data]; //或者也可以使用initWithContentsOfURL直接下载文件,但是有一个原因不这么做: 1082 // It's also possible to have NSXMLParser download the data, by passing it a URL, but this is not desirable 1083 // because it gives less control over the network, particularly in responding to connection errors. 1084 [parser setDelegate:self]; 1085 [parser parse]; 1086 1087 2. 常用的委托方法 1088 - (void)parser:(NSXMLParser *)parser didStartElement:(NSString *)elementName 1089 namespaceURI:(NSString *)namespaceURI 1090 qualifiedName:(NSString *)qName 1091 attributes:(NSDictionary *)attributeDict; 1092 - (void)parser:(NSXMLParser *)parser didEndElement:(NSString *)elementName 1093 namespaceURI:(NSString *)namespaceURI 1094 qualifiedName:(NSString *)qName; 1095 - (void)parser:(NSXMLParser *)parser foundCharacters:(NSString *)string; 1096 - (void)parser:(NSXMLParser *)parser parseErrorOccurred:(NSError *)parseError; 1097 1098 static NSString *feedURLString = @"http://www.yifeiyang.net/test/test.xml"; 1099 1100 3. 应用举例 1101 - (void)parseXMLFileAtURL:(NSURL *)URL parseError:(NSError **)error 1102 { 1103 NSXMLParser *parser = [[NSXMLParser alloc] initWithContentsOfURL:URL]; 1104 [parser setDelegate:self]; 1105 [parser setShouldProcessNamespaces:NO]; 1106 [parser setShouldReportNamespacePrefixes:NO]; 1107 [parser setShouldResolveExternalEntities:NO]; 1108 [parser parse]; 1109 NSError *parseError = [parser parserError]; 1110 if (parseError && error) { 1111 *error = parseError; 1112 } 1113 [parser release]; 1114 } 1115 1116 - (void)parser:(NSXMLParser *)parser didStartElement:(NSString *)elementName namespaceURI:(NSString *)namespaceURI 1117 qualifiedName:(NSString*)qName attributes:(NSDictionary *)attributeDict{ 1118 // 元素开始句柄 1119 if (qName) { 1120 elementName = qName; 1121 } 1122 if ([elementName isEqualToString:@"user"]) { 1123 // 输出属性值 1124 NSLog(@"Name is %@ , Age is %@", [attributeDict objectForKey:@"name"], [attributeDict objectForKey:@"age"]); 1125 } 1126 } 1127 1128 - (void)parser:(NSXMLParser *)parser didEndElement:(NSString *)elementName namespaceURI:(NSString *)namespaceURI 1129 qualifiedName:(NSString *)qName 1130 { 1131 // 元素终了句柄 1132 if (qName) { 1133 elementName = qName; 1134 } 1135 } 1136 1137 - (void)parser:(NSXMLParser *)parser foundCharacters:(NSString *)string 1138 { 1139 // 取得元素的text 1140 } 1141 1142 NSError *parseError = nil; 1143 [self parseXMLFileAtURL:[NSURL URLWithString:feedURLString] parseError:&parseError]; 1144 1145 Iphone 实现画折线图 1146 1147 iphone里面要画图一般都是通过CoreGraphics.framwork和QuartzCore.framwork实现,apple的官方sdk demon中包含了QuartzCore的基本用法, 1148 1149 1150 具体demo请参考http://developer.apple.com/library/ios/#samplecode/QuartzDemo/ 1151 折线图 1152 1153 1154 要实现折线图也就把全部的点连起来,movePointLineto,具体的调用里面的api就可以实现了,但是画坐标就比较麻烦了,里面需要去转很多,好在国外有人开源了一个画折线图的开发包,首先看看效果吧,具体怎么用可以参考作者git版本库中的wiki。 1155 http://github.com/devinross/tapkulibrary/wiki/How-To-Use-This-Library 1156 1157 这个包还提供了其他的很好看的UI,都可以调来用,但是我们只需要一个画图要把整个包都导进去,工程太大了,既然是开源的那就想办法提取出来吧,原先之前也有人干过这样的事。http://duivesteyn.net/2010/03/07/iphone-sdk-implementing-the-tapku-graph-in-your-application/ 1158 我对源代码进行简单的修改,使其显示坐标之类的,更加符合工程的需要,但是还没有实现画多组数据,只能画一组数据,不用viewContol,而使用addsubview,直接添加到当前的窗口,最终效果如下。 1159 使用方法: 1160 1161 1.工程添加tk库里面的如下文件 1162 1163 2. 添加QuartzCore framework 1164 #import <QuartzCore/QuartzCore.h> 1165 添加TapkuLibrary.bundle资源文件 1166 3.代码中完成实例,数据初始化就可以用了 1167 1168 下载修改后的版本。下次有时间在整理一个工程版本出来。 1169 1170 让iPhone屏幕常亮不变暗的方法 1171 1172 如果您希望运行自己开发的App时,iPhone的屏幕不再自动变暗,可以使用以下方法让屏幕常亮: iPhone OS用一个布尔值用来控制是否取消应用程序空闲时间:@property(nonatomic, getter=isIdleTime 1173 1174 如果您希望运行自己开发的App时,iPhone的屏幕不再自动变暗,可以使用以下方法让屏幕常亮: 1175 1176 iPhone OS用一个布尔值用来控制是否取消应用程序空闲时间:@property(nonatomic, getter=isIdleTimerDisabled) BOOL idleTimerDisabled。这个值的默认属性是"NO"。当大多数应用程序没有接收到用户输入信息的时候,系统会把设备设置成“休眠”状态,iPhone屏幕也会变暗。这样做是为了保存更多电量。事实上,应用程序在运行加速度游戏的时候是不需要用户输入的,当然这里只是一个假设,把这个变量设置为"YES",来取消系统休眠的“空闲时间”。 1177 1178 重点是:你必须当真正需要的时候才打开这个属性当你不用的时候马上还愿成"NO"。大多数应用程序在休眠时间到的时候让系统关闭屏幕。这个包括了有音频的应用程 序。在Audio Session Services中使用适当的回放和记录功能不会被间断当屏幕关闭时。只有地图应用程序,游戏或者一些不间断的用户交互程序可以取消这个属性。 1179 1180 苹果开发网络编程知识总结 1181 1182 以下苹果开发网络编程知识由 CocoaChina 会员 cocoa_yang 总结,希望能为苹果开发新手梳理知识脉络,节省入门时间。一:确认网络环境3G/WIFI 1. 添加源文件和framework 开发Web等网络应用程序 1183 1184 以下苹果开发网络编程知识由 CocoaChina 会员 “cocoa_yang” 总结,希望能为苹果开发新手梳理知识脉络,节省入门时间。 1185 1186 一:确认网络环境3G/WIFI 1187 1188 1. 添加源文件和framework 1189 1190 开发Web等网络应用程序的时候,需要确认网络环境,连接情况等信息。如果没有处理它们,是不会通过Apple的审查的。 1191 Apple 的 例程 Reachability 中介绍了取得/检测网络状态的方法。要在应用程序程序中使用Reachability,首先要完成如下两部: 1192 1193 1.1. 添加源文件: 1194 在你的程序中使用 Reachability 只须将该例程中的 Reachability.h 和 Reachability.m 拷贝到你的工程中。如下图: 1195 1196 1.2.添加framework: 1197 将SystemConfiguration.framework 添加进工程。如下图: 1198 1199 1200 2. 网络状态 1201 1202 Reachability.h中定义了三种网络状态: 1203 typedef enum { 1204 NotReachable = 0, //无连接 1205 ReachableViaWiFi, //使用3G/GPRS网络 1206 ReachableViaWWAN //使用WiFi网络 1207 } NetworkStatus; 1208 1209 因此可以这样检查网络状态: 1210 1211 Reachability *r = [Reachability reachabilityWithHostName:@“www.apple.com”]; 1212 switch ([r currentReachabilityStatus]) { 1213 case NotReachable: 1214 // 没有网络连接 1215 break; 1216 case ReachableViaWWAN: 1217 // 使用3G网络 1218 break; 1219 case ReachableViaWiFi: 1220 // 使用WiFi网络 1221 break; 1222 } 1223 1224 3.检查当前网络环境 1225 1226 程序启动时,如果想检测可用的网络环境,可以像这样 1227 // 是否wifi 1228 + (BOOL) IsEnableWIFI { 1229 return ([[Reachability reachabilityForLocalWiFi] currentReachabilityStatus] != NotReachable); 1230 } 1231 1232 // 是否3G 1233 + (BOOL) IsEnable3G { 1234 return ([[Reachability reachabilityForInternetConnection] currentReachabilityStatus] != NotReachable); 1235 } 1236 例子: 1237 - (void)viewWillAppear:(BOOL)animated { 1238 if (([Reachability reachabilityForInternetConnection].currentReachabilityStatus == NotReachable) && 1239 ([Reachability reachabilityForLocalWiFi].currentReachabilityStatus == NotReachable)) { 1240 self.navigationItem.hidesBackButton = YES; 1241 [self.navigationItem setLeftBarButtonItem:nil animated:NO]; 1242 } 1243 } 1244 1245 4. 链接状态的实时通知 1246 1247 网络连接状态的实时检查,通知在网络应用中也是十分必要的。接续状态发生变化时,需要及时地通知用户: 1248 1249 Reachability 1.5版本 1250 // My.AppDelegate.h 1251 #import "Reachability.h" 1252 1253 @interface MyAppDelegate : NSObject <UIApplicationDelegate> { 1254 NetworkStatus remoteHostStatus; 1255 } 1256 1257 @property NetworkStatus remoteHostStatus; 1258 1259 @end 1260 1261 // My.AppDelegate.m 1262 #import "MyAppDelegate.h" 1263 1264 @implementation MyAppDelegate 1265 @synthesize remoteHostStatus; 1266 1267 // 更新网络状态 1268 - (void)updateStatus { 1269 self.remoteHostStatus = [[Reachability sharedReachability] remoteHostStatus]; 1270 } 1271 1272 // 通知网络状态 1273 - (void)reachabilityChanged:(NSNotification *)note { 1274 [self updateStatus]; 1275 if (self.remoteHostStatus == NotReachable) { 1276 UIAlertView *alert = [[UIAlertView alloc] initWithTitle:NSLocalizedString(@"AppName", nil) 1277 message:NSLocalizedString (@"NotReachable", nil) 1278 delegate:nil cancelButtonTitle:@"OK" otherButtonTitles: nil]; 1279 [alert show]; 1280 [alert release]; 1281 } 1282 } 1283 1284 // 程序启动器,启动网络监视 1285 - (void)applicationDidFinishLaunching:(UIApplication *)application { 1286 1287 // 设置网络检测的站点 1288 [[Reachability sharedReachability] setHostName:@"www.apple.com"]; 1289 [[Reachability sharedReachability] setNetworkStatusNotificationsEnabled:YES]; 1290 // 设置网络状态变化时的通知函数 1291 [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(reachabilityChanged:) 1292 name:@"kNetworkReachabilityChangedNotification" object:nil]; 1293 [self updateStatus]; 1294 } 1295 1296 - (void)dealloc { 1297 // 删除通知对象 1298 [[NSNotificationCenter defaultCenter] removeObserver:self]; 1299 [window release]; 1300 [super dealloc]; 1301 } 1302 1303 Reachability 2.0版本 1304 1305 1306 // MyAppDelegate.h 1307 @class Reachability; 1308 1309 @interface MyAppDelegate : NSObject <UIApplicationDelegate> { 1310 Reachability *hostReach; 1311 } 1312 1313 @end 1314 1315 // MyAppDelegate.m 1316 - (void)reachabilityChanged:(NSNotification *)note { 1317 Reachability* curReach = [note object]; 1318 NSParameterAssert([curReach isKindOfClass: [Reachability class]]); 1319 NetworkStatus status = [curReach currentReachabilityStatus]; 1320 1321 if (status == NotReachable) { 1322 UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"AppName"" 1323 message:@"NotReachable" 1324 delegate:nil 1325 cancelButtonTitle:@"YES" otherButtonTitles:nil]; 1326 [alert show]; 1327 [alert release]; 1328 } 1329 } 1330 1331 - (void)applicationDidFinishLaunching:(UIApplication *)application { 1332 // ... 1333 1334 // 监测网络情况 1335 [[NSNotificationCenter defaultCenter] addObserver:self 1336 selector:@selector(reachabilityChanged:) 1337 name: kReachabilityChangedNotification 1338 object: nil]; 1339 hostReach = [[Reachability reachabilityWithHostName:@"www.google.com"] retain]; 1340 hostReach startNotifer]; 1341 // ... 1342 } 1343 1344 1345 二:使用NSConnection下载数据 1346 1347 1.创建NSConnection对象,设置委托对象 1348 1349 NSMutableURLRequest *request = [NSMutableURLRequest requestWithURL:[NSURL URLWithString:[self urlString]]]; 1350 [NSURLConnection connectionWithRequest:request delegate:self]; 1351 1352 2. NSURLConnection delegate委托方法 1353 - (void)connection:(NSURLConnection *)connection didReceiveResponse:(NSURLResponse *)response; 1354 - (void)connection:(NSURLConnection *)connection didFailWithError:(NSError *)error; 1355 - (void)connection:(NSURLConnection *)connection didReceiveData:(NSData *)data; 1356 - (void)connectionDidFinishLoading:(NSURLConnection *)connection; 1357 1358 3. 实现委托方法 1359 - (void)connection:(NSURLConnection *)connection didReceiveResponse:(NSURLResponse *)response { 1360 // store data 1361 [self.receivedData setLength:0]; //通常在这里先清空接受数据的缓存 1362 } 1363 1364 - (void)connection:(NSURLConnection *)connection didReceiveData:(NSData *)data { 1365 /* appends the new data to the received data */ 1366 [self.receivedData appendData:data]; //可能多次收到数据,把新的数据添加在现有数据最后 1367 } 1368 1369 - (void)connection:(NSURLConnection *)connection didFailWithError:(NSError *)error { 1370 // 错误处理 1371 } 1372 1373 - (void)connectionDidFinishLoading:(NSURLConnection *)connection { 1374 // disconnect 1375 [UIApplication sharedApplication].networkActivityIndicatorVisible = NO; 1376 NSString *returnString = [[NSString alloc] initWithData:self.receivedData encoding:NSUTF8StringEncoding]; 1377 NSLog(returnString); 1378 [self urlLoaded:[self urlString] data:self.receivedData]; 1379 firstTimeDownloaded = YES; 1380 } 1381 1382 三:使用NSXMLParser解析xml文件 1383 1384 1. 设置委托对象,开始解析 1385 NSXMLParser *parser = [[NSXMLParser alloc] initWithData:data]; //或者也可以使用initWithContentsOfURL直接下载文件,但是有一个原因不这么做: 1386 // It's also possible to have NSXMLParser download the data, by passing it a URL, but this is not desirable 1387 // because it gives less control over the network, particularly in responding to connection errors. 1388 [parser setDelegate:self]; 1389 [parser parse]; 1390 1391 2. 常用的委托方法 1392 - (void)parser:(NSXMLParser *)parser didStartElement:(NSString *)elementName 1393 namespaceURI:(NSString *)namespaceURI 1394 qualifiedName:(NSString *)qName 1395 attributes:(NSDictionary *)attributeDict; 1396 - (void)parser:(NSXMLParser *)parser didEndElement:(NSString *)elementName 1397 namespaceURI:(NSString *)namespaceURI 1398 qualifiedName:(NSString *)qName; 1399 - (void)parser:(NSXMLParser *)parser foundCharacters:(NSString *)string; 1400 - (void)parser:(NSXMLParser *)parser parseErrorOccurred:(NSError *)parseError; 1401 1402 static NSString *feedURLString = @"http://www.yifeiyang.net/test/test.xml"; 1403 1404 3. 应用举例 1405 - (void)parseXMLFileAtURL:(NSURL *)URL parseError:(NSError **)error 1406 { 1407 NSXMLParser *parser = [[NSXMLParser alloc] initWithContentsOfURL:URL]; 1408 [parser setDelegate:self]; 1409 [parser setShouldProcessNamespaces:NO]; 1410 [parser setShouldReportNamespacePrefixes:NO]; 1411 [parser setShouldResolveExternalEntities:NO]; 1412 [parser parse]; 1413 NSError *parseError = [parser parserError]; 1414 if (parseError && error) { 1415 *error = parseError; 1416 } 1417 [parser release]; 1418 } 1419 1420 - (void)parser:(NSXMLParser *)parser didStartElement:(NSString *)elementName namespaceURI:(NSString *)namespaceURI 1421 qualifiedName:(NSString*)qName attributes:(NSDictionary *)attributeDict{ 1422 // 元素开始句柄 1423 if (qName) { 1424 elementName = qName; 1425 } 1426 if ([elementName isEqualToString:@"user"]) { 1427 // 输出属性值 1428 NSLog(@"Name is %@ , Age is %@", [attributeDict objectForKey:@"name"], [attributeDict objectForKey:@"age"]); 1429 } 1430 } 1431 1432 - (void)parser:(NSXMLParser *)parser didEndElement:(NSString *)elementName namespaceURI:(NSString *)namespaceURI 1433 qualifiedName:(NSString *)qName 1434 { 1435 // 元素终了句柄 1436 if (qName) { 1437 elementName = qName; 1438 } 1439 } 1440 1441 - (void)parser:(NSXMLParser *)parser foundCharacters:(NSString *)string 1442 { 1443 // 取得元素的text 1444 } 1445 1446 NSError *parseError = nil; 1447 [self parseXMLFileAtURL:[NSURL URLWithString:feedURLString] parseError:&parseError]; 1448 1449 如何隐藏状态栏 1450 [ UIApplication sharedApplication ].statusBarHidden = YES; 1451 1452 .m 文件与.mm文件的区别 1453 .m文件是object-c文件 1454 .mm文件相当于c++或者c文件 1455 1456 NSLog(@"afd")与 NSLog("afd") 1457 1458 细微差别会导致程序崩溃。 1459 1460 但是我不太明白为何苹果要把编译器做的对这两种常量有区别。 1461 1462 不过值得一提的是可能为了方便苹果自身的NSObject对象的格式化输出。 1463 1464 safari其实没有把内存的缓存写到存储卡上 1465 1466 NSURLCache doesn't seem to support writing to disk on iPhone. The documentation for NSCachedURLResponse says that the NSURLCacheStoragePolicy "NSURLCacheStorageAllowed" is treated as "NSURLCacheStorageAllowedInMemoryOnly" by iPhone OS. 1467 1468 官方文档是这么说的。 1469 1470 为了证明这个,我找到了一个目录。 1471 1472 /private/var/mobile/Library/Caches/Safari/Thumbnails 1473 1474 随机数的使用 1475 1476 头文件的引用 1477 #import <time.h> 1478 #import <mach/mach_time.h> 1479 1480 srandom()的使用 1481 srandom((unsigned)(mach_absolute_time() & 0xFFFFFFFF)); 1482 1483 直接使用 random() 来调用随机数 1484 1485 在UIImageView 中旋转图像 1486 1487 float rotateAngle = M_PI; 1488 CGAffineTransform transform =CGAffineTransformMakeRotation(rotateAngle); 1489 imageView.transform = transform; 1490 1491 以上代码旋转imageView, 角度为rotateAngle, 方向可以自己测试哦! 1492 1493 1494 在Quartz中如何设置旋转点 1495 1496 UIImageView *imageView = [[UIImageView alloc] initWithImage:[UIImage imageNamed:@"bg.png"]]; 1497 imageView.layer.anchorPoint = CGPointMake(0.5, 1.0); 1498 1499 这个是把旋转点设置为底部中间。记住是在QuartzCore.framework中才得到支持。 1500 1501 创建.plist文件并存储 1502 1503 NSString *errorDesc; //用来存放错误信息 1504 NSMutableDictionary *rootObj = [NSMutableDictionary dictionaryWithCapacity:4]; //NSDictionary, NSData等文件可以直接转化为plist文件 1505 NSDictionary *innerDict; 1506 NSString *name; 1507 Player *player; 1508 NSInteger saveIndex; 1509 1510 for(int i = 0; i < [playerArray count]; i++) { 1511 player = nil; 1512 player = [playerArray objectAtIndex:i]; 1513 if(player == nil) 1514 break; 1515 name = player.playerName;// This "Player1" denotes the player name could also be the computer name 1516 innerDict = [self getAllNodeInfoToDictionary:player]; 1517 [rootObj setObject:innerDict forKey:name]; // This "Player1" denotes the person who start this game 1518 } 1519 player = nil; 1520 NSData *plistData = [NSPropertyListSerialization dataFromPropertyList:(id)rootObj format:NSPropertyListXMLFormat_v1_0 errorDescription:&errorDesc]; 1521 1522 红色部分可以忽略,只是给rootObj添加一点内容。这个plistData为创建好的plist文件,用其writeToFile方法就可以写成文件。下面是代码: 1523 1524 /*得到移动设备上的文件存放位置*/ 1525 NSString *documentsPath = [self getDocumentsDirectory]; 1526 NSString *savePath = [documentsPath stringByAppendingPathComponent:@"save.plist"]; 1527 1528 /*存文件*/ 1529 if (plistData) { 1530 [plistData writeToFile:savePath atomically:YES]; 1531 } 1532 else { 1533 NSLog(errorDesc); 1534 [errorDesc release]; 1535 } 1536 1537 - (NSString *)getDocumentsDirectory { 1538 NSArray *paths = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES); 1539 return [paths objectAtIndex:0]; 1540 } 1541 1542 读取plist文件并转化为NSDictionary 1543 1544 NSString *documentsPath = [self getDocumentsDirectory]; 1545 NSString *fullPath = [documentsPath stringByAppendingPathComponent:@"save.plist"]; 1546 NSMutableDictionary* plistDict = [[NSMutableDictionary alloc] initWithContentsOfFile:fullPath]; 1547 1548 读取一般性文档文件 1549 1550 NSString *tmp; 1551 NSArray *lines; /*将文件转化为一行一行的*/ 1552 lines = [[NSString stringWithContentsOfFile:@"testFileReadLines.txt"] 1553 componentsSeparatedByString:@"\n"]; 1554 1555 NSEnumerator *nse = [lines objectEnumerator]; 1556 1557 // 读取<>里的内容 1558 while(tmp = [nse nextObject]) { 1559 NSString *stringBetweenBrackets = nil; 1560 NSScanner *scanner = [NSScanner scannerWithString:tmp]; 1561 [scanner scanUpToString:@"<" intoString:nil]; 1562 [scanner scanString:@"<" intoString:nil]; 1563 [scanner scanUpToString:@">" intoString:&stringBetweenBrackets]; 1564 1565 NSLog([stringBetweenBrackets description]); 1566 } 1567 1568 对于读写文件,还有补充,暂时到此。随机数和文件读写在游戏开发中经常用到。所以把部分内容放在这,以便和大家分享,也当记录,便于查找。 1569 1570 隐藏NavigationBar 1571 [self.navigationController setNavigationBarHidden:YES animated:YES]; 1572 1573 在想隐藏的ViewController中使用就可以了。 1574 1575 如何在iPhone程序中调用外部命令 1576 1577 下面是如何在iPhone非官方SDK程序中调用外部命令的方法。 1578 1579 - ( NSString * ) executeCommand : ( NSString * ) cmd { NSString * output = [ NSString string ] ; FILE * pipe = popen ( [ cmd cStringUsingEncoding : NSASCIIStringEnc 1580 1581 下面是如何在iPhone非官方SDK程序中调用外部命令的方法。 1582 1583 - (NSString *)executeCommand: (NSString *)cmd 1584 { 1585 NSString *output = [NSString string]; 1586 FILE *pipe = popen([cmd cStringUsingEncoding: NSASCIIStringEncoding], "r"); 1587 if (!pipe) return; 1588 1589 char buf[1024]; 1590 while(fgets(buf, 1024, pipe)) { 1591 output = [output stringByAppendingFormat: @"%s", buf]; 1592 } 1593 1594 pclose(pipe); 1595 return output; 1596 } 1597 1598 NSString *yourcmd = [NSString stringWithFormat: @"your command"]; 1599 [self executeCommand: yourcmd]; 1600 1601 如何在iPhone程序读取数据时显示进度窗 1602 1603 下面代码说明如何使用iPhone 非官方SDK在读取数据时显示进度条。 1604 1605 以下代码参考了MobileRss。 1606 1607 定义头文件: 1608 1609 #import "uikit/UIProgressHUD.h" 1610 1611 @interface EyeCandy : UIApplication { 1612 UIProgressHUD *progress; 1613 } 1614 1615 - (void) showProgressHUD:(NSString *)label withWindow:(UIWindow *)w withView:(UIView *)v withRect:(struct CGRect)rect; 1616 - (void) hideProgressHUD; 1617 1618 .@end 1619 1620 上面的引号要改成<>。 1621 1622 import "EyeCandy.h" 1623 1624 @implementation EyeCandy 1625 - (void)showProgressHUD:(NSString *)label withWindow:(UIWindow *)w withView:(UIView *)v withRect:(struct CGRect)rect 1626 { 1627 progress = [[UIProgressHUD alloc] initWithWindow: w]; 1628 [progress setText: label]; 1629 [progress drawRect: rect]; 1630 [progress show: YES]; 1631 1632 [v addSubview:progress]; 1633 } 1634 1635 - (void)hideProgressHUD 1636 { 1637 [progress show: NO]; 1638 [progress removeFromSuperview]; 1639 } 1640 1641 @end 1642 1643 使用下面代码调用: 1644 1645 // Setup Eye Candy View 1646 _eyeCandy = [[[EyeCandy alloc] init] retain]; 1647 1648 // Call loading display 1649 [_eyeCandy showProgressHUD:@"Loading …" withWindow:window withView:mainView withRect:CGRectMake(0.0f, 100.0f, 320.0f, 50.0f)]; 1650 1651 // When finished for hiding the &quot;loading text&quot; 1652 [_eyeCandy hideProgressHUD]; 1653 1654 WebKit的基本用法 1655 1656 WebKit是苹果开发中比较常用的浏览器引擎,Safari使用的正是WebKit引擎。WebKit基于KDE的KHTML加以再开发,解析速度超过了以往所有的浏览器。这里简单记录一下WebKit的基本用法。 1657 1658 WebKit由下面的结构组成: 1659 1660
什么是makefile?或许很多Winodws的程序员都不知道这个东西,因为那些Windows的IDE都为你做了这个工作,但我觉得要作一个好的和professional的程序员,makefile还是要懂。这就好像现在有这么多的HTML的编辑器,但如果你想成为一个专业人士,你还是要了解HTML的标识的含义。特别在Unix下的软件编译,你就不能不自己写makefile了,会不会写makefile,从一个侧面说明了一个人是否具备完成大型工程的能力。
因为,makefile关系到了整个工程的编译规则。一个工程中的源文件不计数,其按类型、功能、模块分别放在若干个目录中,makefile定义了一系列的规则来指定,哪些文件需要先编译,哪些文件需要后编译,哪些文件需要重新编译,甚至于进行更复杂的功能操作,因为makefile就像一个Shell脚本一样,其中也可以执行操作系统的命令。
makefile带来的好处就是——“自动化编译”,一旦写好,只需要一个make命令,整个工程完全自动编译,极大的提高了软件开发的效率。make是一个命令工具,是一个解释makefile中指令的命令工具,一般来说,大多数的IDE都有这个命令,比如:Delphi的make,Visual C++的nmake,Linux下GNU的make。可见,makefile都成为了一种在工程方面的编译方法。
现在讲述如何写makefile的文章比较少,这是我想写这篇文章的原因。当然,不同产商的make各不相同,也有不同的语法,但其本质都是在“文件依赖性”上做文章,这里,我仅对GNU的make进行讲述,我的环境是RedHat Linux 8.0,make的版本是3.80。必竟,这个make是应用最为广泛的,也是用得最多的。而且其还是最遵循于IEEE 1003.2-1992 标准的(POSIX.2)。
在这篇文档中,将以C/C++的源码作为我们基础,所以必然涉及一些关于C/C++的编译的知识,相关于这方面的内容,还请各位查看相关的编译器的文档。这里所默认的编译器是UNIX下的GCC和CC。
关于程序的编译和链接
——————————
在此,我想多说关于程序编译的一些规范和方法,一般来说,无论是C、C++、还是pas,首先要把源文件编译成中间代码文件,在Windows下也就是 .obj 文件,UNIX下是 .o 文件,即 Object File,这个动作叫做编译(compile)。然后再把大量的Object File合成执行文件,这个动作叫作链接(link)。
编译时,编译器需要的是语法的正确,函数与变量的声明的正确。对于后者,通常是你需要告诉编译器头文件的所在位置(头文件中应该只是声明,而定义应该放在C/C++文件中),只要所有的语法正确,编译器就可以编译出中间目标文件。一般来说,每个源文件都应该对应于一个中间目标文件(O文件或是OBJ文件)。
链接时,主要是链接函数和全局变量,所以,我们可以使用这些中间目标文件(O文件或是OBJ文件)来链接我们的应用程序。链接器并不管函数所在的源文件,只管函数的中间目标文件(Object File),在大多数时候,由于源文件太多,编译生成的中间目标文件太多,而在链接时需要明显地指出中间目标文件名,这对于编译很不方便,所以,我们要给中间目标文件打个包,在Windows下这种包叫“库文件”(Library File),也就是 .lib 文件,在UNIX下,是Archive File,也就是 .a 文件。
总结一下,源文件首先会生成中间目标文件,再由中间目标文件生成执行文件。在编译时,编译器只检测程序语法,和函数、变量是否被声明。如果函数未被声明,编译器会给出一个警告,但可以生成Object File。而在链接程序时,链接器会在所有的Object File中找寻函数的实现,如果找不到,那到就会报链接错误码(Linker Error),在VC下,这种错误一般是:Link 2001错误,意思说是说,链接器未能找到函数的实现。你需要指定函数的Object File.
好,言归正传,GNU的make有许多的内容,闲言少叙,还是让我们开始吧。
Makefile 介绍
———————
make命令执行时,需要一个 Makefile 文件,以告诉make命令需要怎么样的去编译和链接程序。
首先,我们用一个示例来说明Makefile的书写规则。以便给大家一个感兴认识。这个示例来源于GNU的make使用手册,在这个示例中,我们的工程有8个C文件,和3个头文件,我们要写一个Makefile来告诉make命令如何编译和链接这几个文件。我们的规则是:
1)如果这个工程没有编译过,那么我们的所有C文件都要编译并被链接。
2)如果这个工程的某几个C文件被修改,那么我们只编译被修改的C文件,并链接目标程序。
3)如果这个工程的头文件被改变了,那么我们需要编译引用了这几个头文件的C文件,并链接目标程序。
只要我们的Makefile写得够好,所有的这一切,我们只用一个make命令就可以完成,make命令会自动智能地根据当前的文件修改的情况来确定哪些文件需要重编译,从而自己编译所需要的文件和链接目标程序。
一、Makefile的规则
在讲述这个Makefile之前,还是让我们先来粗略地看一看Makefile的规则。
target ... : prerequisites ...
command
target也就是一个目标文件,可以是Object File,也可以是执行文件。还可以是一个标签(Label),对于标签这种特性,在后续的“伪目标”章节中会有叙述。
prerequisites就是,要生成那个target所需要的文件或是目标。
command也就是make需要执行的命令。(任意的Shell命令)
这是一个文件的依赖关系,也就是说,target这一个或多个的目标文件依赖于prerequisites中的文件,其生成规则定义在command中。说白一点就是说,prerequisites中如果有一个以上的文件比target文件要新的话,command所定义的命令就会被执行。这就是Makefile的规则。也就是Makefile中最核心的内容。
说到底,Makefile的东西就是这样一点,好像我的这篇文档也该结束了。呵呵。还不尽然,这是Makefile的主线和核心,但要写好一个Makefile还不够,我会以后面一点一点地结合我的工作经验给你慢慢到来。内容还多着呢。:)
二、一个示例
正如前面所说的,如果一个工程有3个头文件,和8个C文件,我们为了完成前面所述的那三个规则,我们的Makefile应该是下面的这个样子的。
edit : main.o kbd.o command.o display.o \
insert.o search.o files.o utils.o
cc -o edit main.o kbd.o command.o display.o \
insert.o search.o files.o utils.o
main.o : main.c defs.h
cc -c main.c
kbd.o : kbd.c defs.h command.h
cc -c kbd.c
command.o : command.c defs.h command.h
cc -c command.c
display.o : display.c defs.h buffer.h
cc -c display.c
insert.o : insert.c defs.h buffer.h
cc -c insert.c
search.o : search.c defs.h buffer.h
cc -c search.c
files.o : files.c defs.h buffer.h command.h
cc -c files.c
utils.o : utils.c defs.h
cc -c utils.c
clean :
rm edit main.o kbd.o command.o display.o \
insert.o search.o files.o utils.o
反斜杠(\)是换行符的意思。这样比较便于Makefile的易读。我们可以把这个内容保存在文件为“Makefile”或“makefile”的文件中,然后在该目录下直接输入命令“make”就可以生成执行文件edit。如果要删除执行文件和所有的中间目标文件,那么,只要简单地执行一下“make clean”就可以了。
在这个makefile中,目标文件(target)包含:执行文件edit和中间目标文件(*.o),依赖文件(prerequisites)就是冒号后面的那些 .c 文件和 .h文件。每一个 .o 文件都有一组依赖文件,而这些 .o 文件又是执行文件 edit 的依赖文件。依赖关系的实质上就是说明了目标文件是由哪些文件生成的,换言之,目标文件是哪些文件更新的。
在定义好依赖关系后,后续的那一行定义了如何生成目标文件的操作系统命令,一定要以一个Tab键作为开头。记住,make并不管命令是怎么工作的,他只管执行所定义的命令。make会比较targets文件和prerequisites文件的修改日期,如果prerequisites文件的日期要比targets文件的日期要新,或者target不存在的话,那么,make就会执行后续定义的命令。
这里要说明一点的是,clean不是一个文件,它只不过是一个动作名字,有点像C语言中的lable一样,其冒号后什么也没有,那么,make就不会自动去找文件的依赖性,也就不会自动执行其后所定义的命令。要执行其后的命令,就要在make命令后明显得指出这个lable的名字。这样的方法非常有用,我们可以在一个makefile中定义不用的编译或是和编译无关的命令,比如程序的打包,程序的备份,等等。 xlongjiu 回复于:2004-09-16 11:08:46
狂顶! torrent 回复于:2004-09-16 11:13:36
写的还算不错 gunguymadman 回复于:2004-09-16 12:18:05
三、make是如何工作的
在默认的方式下,也就是我们只输入make命令。那么,
1、make会在当前目录下找名字叫“Makefile”或“makefile”的文件。
2、如果找到,它会找文件中的第一个目标文件(target),在上面的例子中,他会找到“edit”这个文件,并把这个文件作为最终的目标文件。
3、如果edit文件不存在,或是edit所依赖的后面的 .o 文件的文件修改时间要比edit这个文件新,那么,他就会执行后面所定义的命令来生成edit这个文件。
4、如果edit所依赖的.o文件也存在,那么make会在当前文件中找目标为.o文件的依赖性,如果找到则再根据那一个规则生成.o文件。(这有点像一个堆栈的过程)
5、当然,你的C文件和H文件是存在的啦,于是make会生成 .o 文件,然后再用 .o 文件生命make的终极任务,也就是执行文件edit了。
这就是整个make的依赖性,make会一层又一层地去找文件的依赖关系,直到最终编译出第一个目标文件。在找寻的过程中,如果出现错误,比如最后被依赖的文件找不到,那么make就会直接退出,并报错,而对于所定义的命令的错误,或是编译不成功,make根本不理。make只管文件的依赖性,即,如果在我找了依赖关系之后,冒号后面的文件还是不在,那么对不起,我就不工作啦。
通过上述分析,我们知道,像clean这种,没有被第一个目标文件直接或间接关联,那么它后面所定义的命令将不会被自动执行,不过,我们可以显示要make执行。即命令——“make clean”,以此来清除所有的目标文件,以便重编译。
于是在我们编程中,如果这个工程已被编译过了,当我们修改了其中一个源文件,比如file.c,那么根据我们的依赖性,我们的目标file.o会被重编译(也就是在这个依性关系后面所定义的命令),于是file.o的文件也是最新的啦,于是file.o的文件修改时间要比edit要新,所以edit也会被重新链接了(详见edit目标文件后定义的命令)。
而如果我们改变了“command.h”,那么,kdb.o、command.o和files.o都会被重编译,并且,edit会被重链接。
四、makefile中使用变量
在上面的例子中,先让我们看看edit的规则:
edit : main.o kbd.o command.o display.o \
insert.o search.o files.o utils.o
cc -o edit main.o kbd.o command.o display.o \
insert.o search.o files.o utils.o
我们可以看到[.o]文件的字符串被重复了两次,如果我们的工程需要加入一个新的[.o]文件,那么我们需要在两个地方加(应该是三个地方,还有一个地方在clean中)。当然,我们的makefile并不复杂,所以在两个地方加也不累,但如果makefile变得复杂,那么我们就有可能会忘掉一个需要加入的地方,而导致编译失败。所以,为了makefile的易维护,在makefile中我们可以使用变量。makefile的变量也就是一个字符串,理解成C语言中的宏可能会更好。
比如,我们声明一个变量,叫objects, OBJECTS, objs, OBJS, obj, 或是 OBJ,反正不管什么啦,只要能够表示obj文件就行了。我们在makefile一开始就这样定义:
objects = main.o kbd.o command.o display.o \
insert.o search.o files.o utils.o
于是,我们就可以很方便地在我们的makefile中以“$(objects)”的方式来使用这个变量了,于是我们的改良版makefile就变成下面这个样子:
objects = main.o kbd.o command.o display.o \
insert.o search.o files.o utils.o
edit : $(objects)
cc -o edit $(objects)
main.o : main.c defs.h
cc -c main.c
kbd.o : kbd.c defs.h command.h
cc -c kbd.c
command.o : command.c defs.h command.h
cc -c command.c
display.o : display.c defs.h buffer.h
cc -c display.c
insert.o : insert.c defs.h buffer.h
cc -c insert.c
search.o : search.c defs.h buffer.h
cc -c search.c
files.o : files.c defs.h buffer.h command.h
cc -c files.c
utils.o : utils.c defs.h
cc -c utils.c
clean :
rm edit $(objects)
于是如果有新的 .o 文件加入,我们只需简单地修改一下 objects 变量就可以了。
关于变量更多的话题,我会在后续给你一一道来。
五、让make自动推导
GNU的make很强大,它可以自动推导文件以及文件依赖关系后面的命令,于是我们就没必要去在每一个[.o]文件后都写上类似的命令,因为,我们的make会自动识别,并自己推导命令。
只要make看到一个[.o]文件,它就会自动的把[.c]文件加在依赖关系中,如果make找到一个whatever.o,那么whatever.c,就会是whatever.o的依赖文件。并且 cc -c whatever.c 也会被推导出来,于是,我们的makefile再也不用写得这么复杂。我们的是新的makefile又出炉了。
objects = main.o kbd.o command.o display.o \
insert.o search.o files.o utils.o
edit : $(objects)
cc -o edit $(objects)
main.o : defs.h
kbd.o : defs.h command.h
command.o : defs.h command.h
display.o : defs.h buffer.h
insert.o : defs.h buffer.h
search.o : defs.h buffer.h
files.o : defs.h buffer.h command.h
utils.o : defs.h
.PHONY : clean
clean :
rm edit $(objects)
这种方法,也就是make的“隐晦规则”。上面文件内容中,“.PHONY”表示,clean是个伪目标文件。
关于更为详细的“隐晦规则”和“伪目标文件”,我会在后续给你一一道来。
六、另类风格的makefile
即然我们的make可以自动推导命令,那么我看到那堆[.o]和[.h]的依赖就有点不爽,那么多的重复的[.h],能不能把其收拢起来,好吧,没有问题,这个对于make来说很容易,谁叫它提供了自动推导命令和文件的功能呢?来看看最新风格的makefile吧。
objects = main.o kbd.o command.o display.o \
insert.o search.o files.o utils.o
edit : $(objects)
cc -o edit $(objects)
$(objects) : defs.h
kbd.o command.o files.o : command.h
display.o insert.o search.o files.o : buffer.h
.PHONY : clean
clean :
rm edit $(objects)
这种风格,让我们的makefile变得很简单,但我们的文件依赖关系就显得有点凌乱了。鱼和熊掌不可兼得。还看你的喜好了。我是不喜欢这种风格的,一是文件的依赖关系看不清楚,二是如果文件一多,要加入几个新的.o文件,那就理不清楚了。
七、清空目标文件的规则
每个Makefile中都应该写一个清空目标文件(.o和执行文件)的规则,这不仅便于重编译,也很利于保持文件的清洁。这是一个“修养”(呵呵,还记得我的《编程修养》吗)。一般的风格都是:
clean:
rm edit $(objects)
更为稳健的做法是:
.PHONY : clean
clean :
-rm edit $(objects)
前面说过,.PHONY意思表示clean是一个“伪目标”,。而在rm命令前面加了一个小减号的意思就是,也许某些文件出现问题,但不要管,继续做后面的事。当然,clean的规则不要放在文件的开头,不然,这就会变成make的默认目标,相信谁也不愿意这样。不成文的规矩是——“clean从来都是放在文件的最后”。
上面就是一个makefile的概貌,也是makefile的基础,下面还有很多makefile的相关细节,准备好了吗?准备好了就来。
<-上 gunguymadman 回复于:2004-09-16 12:18:58
一、Makefile里有什么?
Makefile里主要包含了五个东西:显式规则、隐晦规则、变量定义、文件指示和注释。
1、显式规则。显式规则说明了,如何生成一个或多的的目标文件。这是由Makefile的书写者明显指出,要生成的文件,文件的依赖文件,生成的命令。
2、隐晦规则。由于我们的make有自动推导的功能,所以隐晦的规则可以让我们比较粗糙地简略地书写Makefile,这是由make所支持的。
3、变量的定义。在Makefile中我们要定义一系列的变量,变量一般都是字符串,这个有点你C语言中的宏,当Makefile被执行时,其中的变量都会被扩展到相应的引用位置上。
4、文件指示。其包括了三个部分,一个是在一个Makefile中引用另一个Makefile,就像C语言中的include一样;另一个是指根据某些情况指定Makefile中的有效部分,就像C语言中的预编译#if一样;还有就是定义一个多行的命令。有关这一部分的内容,我会在后续的部分中讲述。
5、注释。Makefile中只有行注释,和UNIX的Shell脚本一样,其注释是用“#”字符,这个就像C/C++中的“//”一样。如果你要在你的Makefile中使用“#”字符,可以用反斜框进行转义,如:“\#”。
最后,还值得一提的是,在Makefile中的命令,必须要以[Tab]键开始。
二、Makefile的文件名
默认的情况下,make命令会在当前目录下按顺序找寻文件名为“GNUmakefile”、“makefile”、“Makefile”的文件,找到了解释这个文件。在这三个文件名中,最好使用“Makefile”这个文件名,因为,这个文件名第一个字符为大写,这样有一种显目的感觉。最好不要用“GNUmakefile”,这个文件是GNU的make识别的。有另外一些make只对全小写的“makefile”文件名敏感,但是基本上来说,大多数的make都支持“makefile”和“Makefile”这两种默认文件名。
当然,你可以使用别的文件名来书写Makefile,比如:“Make.Linux”,“Make.Solaris”,“Make.AIX”等,如果要指定特定的Makefile,你可以使用make的“-f”和“--file”参数,如:make -f Make.Linux或make --file Make.AIX。
三、引用其它的Makefile
在Makefile使用include关键字可以把别的Makefile包含进来,这很像C语言的#include,被包含的文件会原模原样的放在当前文件的包含位置。include的语法是:
include <filename>;
filename可以是当前操作系统Shell的文件模式(可以保含路径和通配符)
在include前面可以有一些空字符,但是绝不能是[Tab]键开始。include和<filename>;可以用一个或多个空格隔开。举个例子,你有这样几个Makefile:a.mk、b.mk、c.mk,还有一个文件叫foo.make,以及一个变量$(bar),其包含了e.mk和f.mk,那么,下面的语句:
include foo.make *.mk $(bar)
include foo.make a.mk b.mk c.mk e.mk f.mk
make命令开始时,会把找寻include所指出的其它Makefile,并把其内容安置在当前的位置。就好像C/C++的#include指令一样。如果文件都没有指定绝对路径或是相对路径的话,make会在当前目录下首先寻找,如果当前目录下没有找到,那么,make还会在下面的几个目录下找:
1、如果make执行时,有“-I”或“--include-dir”参数,那么make就会在这个参数所指定的目录下去寻找。
2、如果目录<prefix>;/include(一般是:/usr/local/bin或/usr/include)存在的话,make也会去找。
如果有文件没有找到的话,make会生成一条警告信息,但不会马上出现致命错误。它会继续载入其它的文件,一旦完成makefile的读取,make会再重试这些没有找到,或是不能读取的文件,如果还是不行,make才会出现一条致命信息。如果你想让make不理那些无法读取的文件,而继续执行,你可以在include前加一个减号“-”。如:
-include <filename>;
其表示,无论include过程中出现什么错误,都不要报错继续执行。和其它版本make兼容的相关命令是sinclude,其作用和这一个是一样的。
四、环境变量 MAKEFILES
如果你的当前环境中定义了环境变量MAKEFILES,那么,make会把这个变量中的值做一个类似于include的动作。这个变量中的值是其它的Makefile,用空格分隔。只是,它和include不同的是,从这个环境变中引入的Makefile的“目标”不会起作用,如果环境变量中定义的文件发现错误,make也会不理。
但是在这里我还是建议不要使用这个环境变量,因为只要这个变量一被定义,那么当你使用make时,所有的Makefile都会受到它的影响,这绝不是你想看到的。在这里提这个事,只是为了告诉大家,也许有时候你的Makefile出现了怪事,那么你可以看看当前环境中有没有定义这个变量。
五、make的工作方式
GNU的make工作时的执行步骤入下:(想来其它的make也是类似)
1、读入所有的Makefile。
2、读入被include的其它Makefile。
3、初始化文件中的变量。
4、推导隐晦规则,并分析所有规则。
5、为所有的目标文件创建依赖关系链。
6、根据依赖关系,决定哪些目标要重新生成。
7、执行生成命令。
1-5步为第一个阶段,6-7为第二个阶段。第一个阶段中,如果定义的变量被使用了,那么,make会把其展开在使用的位置。但make并不会完全马上展开,make使用的是拖延战术,如果变量出现在依赖关系的规则中,那么仅当这条依赖被决定要使用了,变量才会在其内部展开。
当然,这个工作方式你不一定要清楚,但是知道这个方式你也会对make更为熟悉。有了这个基础,后续部分也就容易看懂了。 gunguymadman 回复于:2004-09-16 12:19:56
规则包含两个部分,一个是依赖关系,一个是生成目标的方法。
在Makefile中,规则的顺序是很重要的,因为,Makefile中只应该有一个最终目标,其它的目标都是被这个目标所连带出来的,所以一定要让make知道你的最终目标是什么。一般来说,定义在Makefile中的目标可能会有很多,但是第一条规则中的目标将被确立为最终的目标。如果第一条规则中的目标有很多个,那么,第一个目标会成为最终的目标。make所完成的也就是这个目标。
好了,还是让我们来看一看如何书写规则。
一、规则举例
foo.o : foo.c defs.h # foo模块
cc -c -g foo.c
看到这个例子,各位应该不是很陌生了,前面也已说过,foo.o是我们的目标,foo.c和defs.h是目标所依赖的源文件,而只有一个命令“cc -c -g foo.c”(以Tab键开头)。这个规则告诉我们两件事:
1、文件的依赖关系,foo.o依赖于foo.c和defs.h的文件,如果foo.c和defs.h的文件日期要比foo.o文件日期要新,或是foo.o不存在,那么依赖关系发生。
2、如果生成(或更新)foo.o文件。也就是那个cc命令,其说明了,如何生成foo.o这个文件。(当然foo.c文件include了defs.h文件)
二、规则的语法
targets : prerequisites
command
或是这样:
targets : prerequisites ; command
command
targets是文件名,以空格分开,可以使用通配符。一般来说,我们的目标基本上是一个文件,但也有可能是多个文件。
command是命令行,如果其不与“target:prerequisites”在一行,那么,必须以[Tab键]开头,如果和prerequisites在一行,那么可以用分号做为分隔。(见上)
prerequisites也就是目标所依赖的文件(或依赖目标)。如果其中的某个文件要比目标文件要新,那么,目标就被认为是“过时的”,被认为是需要重生成的。这个在前面已经讲过了。
如果命令太长,你可以使用反斜框(‘\’)作为换行符。make对一行上有多少个字符没有限制。规则告诉make两件事,文件的依赖关系和如何成成目标文件。
一般来说,make会以UNIX的标准Shell,也就是/bin/sh来执行命令。
三、在规则中使用通配符
如果我们想定义一系列比较类似的文件,我们很自然地就想起使用通配符。make支持三各通配符:“*”,“?”和“[...]”。这是和Unix的B-Shell是相同的。
波浪号(“~”)字符在文件名中也有比较特殊的用途。如果是“~/test”,这就表示当前用户的$HOME目录下的test目录。而“~hchen/test”则表示用户hchen的宿主目录下的test目录。(这些都是Unix下的小知识了,make也支持)而在Windows或是MS-DOS下,用户没有宿主目录,那么波浪号所指的目录则根据环境变量“HOME”而定。
通配符代替了你一系列的文件,如“*.c”表示所以后缀为c的文件。一个需要我们注意的是,如果我们的文件名中有通配符,如:“*”,那么可以用转义字符“\”,如“\*”来表示真实的“*”字符,而不是任意长度的字符串。
好吧,还是先来看几个例子吧:
clean:
rm -f *.o
上面这个例子我不不多说了,这是操作系统Shell所支持的通配符。这是在命令中的通配符。
print: *.c
lpr -p $?
touch print
上面这个例子说明了通配符也可以在我们的规则中,目标print依赖于所有的[.c]文件。其中的“$?”是一个自动化变量,我会在后面给你讲述。
objects = *.o
上面这个例子,表示了,通符同样可以用在变量中。并不是说[*.o]会展开,不!objects的值就是“*.o”。Makefile中的变量其实就是C/C++中的宏。如果你要让通配符在变量中展开,也就是让objects的值是所有[.o]的文件名的集合,那么,你可以这样:
objects := $(wildcard *.o)
这种用法由关键字“wildcard”指出,关于Makefile的关键字,我们将在后面讨论。
四、文件搜寻
在一些大的工程中,有大量的源文件,我们通常的做法是把这许多的源文件分类,并存放在不同的目录中。所以,当make需要去找寻文件的依赖关系时,你可以在文件前加上路径,但最好的方法是把一个路径告诉make,让make在自动去找。
Makefile文件中的特殊变量“VPATH”就是完成这个功能的,如果没有指明这个变量,make只会在当前的目录中去找寻依赖文件和目标文件。如果定义了这个变量,那么,make就会在当当前目录找不到的情况下,到所指定的目录中去找寻文件了。
VPATH = src:../headers
上面的的定义指定两个目录,“src”和“../headers”,make会按照这个顺序进行搜索。目录由“冒号”分隔。(当然,当前目录永远是最高优先搜索的地方)
另一个设置文件搜索路径的方法是使用make的“vpath”关键字(注意,它是全小写的),这不是变量,这是一个make的关键字,这和上面提到的那个VPATH变量很类似,但是它更为灵活。它可以指定不同的文件在不同的搜索目录中。这是一个很灵活的功能。它的使用方法有三种:
1、vpath <pattern>; <directories>;
为符合模式<pattern>;的文件指定搜索目录<directories>;。
2、vpath <pattern>;
清除符合模式<pattern>;的文件的搜索目录。
3、vpath
清除所有已被设置好了的文件搜索目录。
vapth使用方法中的<pattern>;需要包含“%”字符。“%”的意思是匹配零或若干字符,例如,“%.h”表示所有以“.h”结尾的文件。<pattern>;指定了要搜索的文件集,而<directories>;则指定了<pattern>;的文件集的搜索的目录。例如:
vpath %.h ../headers
该语句表示,要求make在“../headers”目录下搜索所有以“.h”结尾的文件。(如果某文件在当前目录没有找到的话)
我们可以连续地使用vpath语句,以指定不同搜索策略。如果连续的vpath语句中出现了相同的<pattern>;,或是被重复了的<pattern>;,那么,make会按照vpath语句的先后顺序来执行搜索。如:
vpath %.c foo
vpath % blish
vpath %.c bar
其表示“.c”结尾的文件,先在“foo”目录,然后是“blish”,最后是“bar”目录。
vpath %.c foo:bar
vpath % blish
而上面的语句则表示“.c”结尾的文件,先在“foo”目录,然后是“bar”目录,最后才是“blish”目录。
五、伪目标
最早先的一个例子中,我们提到过一个“clean”的目标,这是一个“伪目标”,
clean:
rm *.o temp
正像我们前面例子中的“clean”一样,即然我们生成了许多文件编译文件,我们也应该提供一个清除它们的“目标”以备完整地重编译而用。 (以“make clean”来使用该目标)
因为,我们并不生成“clean”这个文件。“伪目标”并不是一个文件,只是一个标签,由于“伪目标”不是文件,所以make无法生成它的依赖关系和决定它是否要执行。我们只有通过显示地指明这个“目标”才能让其生效。当然,“伪目标”的取名不能和文件名重名,不然其就失去了“伪目标”的意义了。
当然,为了避免和文件重名的这种情况,我们可以使用一个特殊的标记“.PHONY”来显示地指明一个目标是“伪目标”,向make说明,不管是否有这个文件,这个目标就是“伪目标”。
.PHONY : clean
只要有这个声明,不管是否有“clean”文件,要运行“clean”这个目标,只有“make clean”这样。于是整个过程可以这样写:
.PHONY: clean
clean:
rm *.o temp
伪目标一般没有依赖的文件。但是,我们也可以为伪目标指定所依赖的文件。伪目标同样可以作为“默认目标”,只要将其放在第一个。一个示例就是,如果你的Makefile需要一口气生成若干个可执行文件,但你只想简单地敲一个make完事,并且,所有的目标文件都写在一个Makefile中,那么你可以使用“伪目标”这个特性:
all : prog1 prog2 prog3
.PHONY : all
prog1 : prog1.o utils.o
cc -o prog1 prog1.o utils.o
prog2 : prog2.o
cc -o prog2 prog2.o
prog3 : prog3.o sort.o utils.o
cc -o prog3 prog3.o sort.o utils.o
我们知道,Makefile中的第一个目标会被作为其默认目标。我们声明了一个“all”的伪目标,其依赖于其它三个目标。由于伪目标的特性是,总是被执行的,所以其依赖的那三个目标就总是不如“all”这个目标新。所以,其它三个目标的规则总是会被决议。也就达到了我们一口气生成多个目标的目的。“.PHONY : all”声明了“all”这个目标为“伪目标”。
随便提一句,从上面的例子我们可以看出,目标也可以成为依赖。所以,伪目标同样也可成为依赖。看下面的例子:
.PHONY: cleanall cleanobj cleandiff
cleanall : cleanobj cleandiff
rm program
cleanobj :
rm *.o
cleandiff :
rm *.diff
“make clean”将清除所有要被清除的文件。“cleanobj”和“cleandiff”这两个伪目标有点像“子程序”的意思。我们可以输入“make cleanall”和“make cleanobj”和“make cleandiff”命令来达到清除不同种类文件的目的。 gunguymadman 回复于:2004-09-16 12:20:43
六、多目标
Makefile的规则中的目标可以不止一个,其支持多目标,有可能我们的多个目标同时依赖于一个文件,并且其生成的命令大体类似。于是我们就能把其合并起来。当然,多个目标的生成规则的执行命令是同一个,这可能会可我们带来麻烦,不过好在我们的可以使用一个自动化变量“$@”(关于自动化变量,将在后面讲述),这个变量表示着目前规则中所有的目标的集合,这样说可能很抽象,还是看一个例子吧。
bigoutput littleoutput : text.g
generate text.g -$(subst output,,$@) >; $@
上述规则等价于:
bigoutput : text.g
generate text.g -big >; bigoutput
littleoutput : text.g
generate text.g -little >; littleoutput
其中,-$(subst output,,$@)中的“$”表示执行一个Makefile的函数,函数名为subst,后面的为参数。关于函数,将在后面讲述。这里的这个函数是截取字符串的意思,“$@”表示目标的集合,就像一个数组,“$@”依次取出目标,并执于命令。
七、静态模式
静态模式可以更加容易地定义多目标的规则,可以让我们的规则变得更加的有弹性和灵活。我们还是先来看一下语法:
<targets ...>;: <target-pattern>;: <prereq-patterns ...>;
<commands>;
targets定义了一系列的目标文件,可以有通配符。是目标的一个集合。
target-parrtern是指明了targets的模式,也就是的目标集模式。
prereq-parrterns是目标的依赖模式,它对target-parrtern形成的模式再进行一次依赖目标的定义。
这样描述这三个东西,可能还是没有说清楚,还是举个例子来说明一下吧。如果我们的<target-parrtern>;定义成“%.o”,意思是我们的<target>;集合中都是以“.o”结尾的,而如果我们的<prereq-parrterns>;定义成“%.c”,意思是对<target-parrtern>;所形成的目标集进行二次定义,其计算方法是,取<target-parrtern>;模式中的“%”(也就是去掉了[.o]这个结尾),并为其加上[.c]这个结尾,形成的新集合。
所以,我们的“目标模式”或是“依赖模式”中都应该有“%”这个字符,如果你的文件名中有“%”那么你可以使用反斜杠“\”进行转义,来标明真实的“%”字符。
看一个例子:
objects = foo.o bar.o
all: $(objects)
$(objects): %.o: %.c
$(CC) -c $(CFLAGS) $< -o $@
上面的例子中,指明了我们的目标从$object中获取,“%.o”表明要所有以“.o”结尾的目标,也就是“foo.o bar.o”,也就是变量$object集合的模式,而依赖模式“%.c”则取模式“%.o”的“%”,也就是“foo bar”,并为其加下“.c”的后缀,于是,我们的依赖目标就是“foo.c bar.c”。而命令中的“$<”和“$@”则是自动化变量,“$<”表示所有的依赖目标集(也就是“foo.c bar.c”),“$@”表示目标集(也就是“foo.o bar.o”)。于是,上面的规则展开后等价于下面的规则:
foo.o : foo.c
$(CC) -c $(CFLAGS) foo.c -o foo.o
bar.o : bar.c
$(CC) -c $(CFLAGS) bar.c -o bar.o
试想,如果我们的“%.o”有几百个,那种我们只要用这种很简单的“静态模式规则”就可以写完一堆规则,实在是太有效率了。“静态模式规则”的用法很灵活,如果用得好,那会一个很强大的功能。再看一个例子:
files = foo.elc bar.o lose.o
$(filter %.o,$(files)): %.o: %.c
$(CC) -c $(CFLAGS) $< -o $@
$(filter %.elc,$(files)): %.elc: %.el
emacs -f batch-byte-compile $<
$(filter %.o,$(files))表示调用Makefile的filter函数,过滤“$filter”集,只要其中模式为“%.o”的内容。其的它内容,我就不用多说了吧。这个例字展示了Makefile中更大的弹性。
八、自动生成依赖性
在Makefile中,我们的依赖关系可能会需要包含一系列的头文件,比如,如果我们的main.c中有一句“#include "defs.h"”,那么我们的依赖关系应该是:
main.o : main.c defs.h
但是,如果是一个比较大型的工程,你必需清楚哪些C文件包含了哪些头文件,并且,你在加入或删除头文件时,也需要小心地修改Makefile,这是一个很没有维护性的工作。为了避免这种繁重而又容易出错的事情,我们可以使用C/C++编译的一个功能。大多数的C/C++编译器都支持一个“-M”的选项,即自动找寻源文件中包含的头文件,并生成一个依赖关系。例如,如果我们执行下面的命令:
cc -M main.c
其输出是:
main.o : main.c defs.h
于是由编译器自动生成的依赖关系,这样一来,你就不必再手动书写若干文件的依赖关系,而由编译器自动生成了。需要提醒一句的是,如果你使用GNU的C/C++编译器,你得用“-MM”参数,不然,“-M”参数会把一些标准库的头文件也包含进来。
gcc -M main.c的输出是:
main.o: main.c defs.h /usr/include/stdio.h /usr/include/features.h \
/usr/include/sys/cdefs.h /usr/include/gnu/stubs.h \
/usr/lib/gcc-lib/i486-suse-linux/2.95.3/include/stddef.h \
/usr/include/bits/types.h /usr/include/bits/pthreadtypes.h \
/usr/include/bits/sched.h /usr/include/libio.h \
/usr/include/_G_config.h /usr/include/wchar.h \
/usr/include/bits/wchar.h /usr/include/gconv.h \
/usr/lib/gcc-lib/i486-suse-linux/2.95.3/include/stdarg.h \
/usr/include/bits/stdio_lim.h
gcc -MM main.c的输出则是:
main.o: main.c defs.h
那么,编译器的这个功能如何与我们的Makefile联系在一起呢。因为这样一来,我们的Makefile也要根据这些源文件重新生成,让Makefile自已依赖于源文件?这个功能并不现实,不过我们可以有其它手段来迂回地实现这一功能。GNU组织建议把编译器为每一个源文件的自动生成的依赖关系放到一个文件中,为每一个“name.c”的文件都生成一个“name.d”的Makefile文件,[.d]文件中就存放对应[.c]文件的依赖关系。
于是,我们可以写出[.c]文件和[.d]文件的依赖关系,并让make自动更新或自成[.d]文件,并把其包含在我们的主Makefile中,这样,我们就可以自动化地生成每个文件的依赖关系了。
这里,我们给出了一个模式规则来产生[.d]文件:
%.d: %.c
@set -e; rm -f $@; \
$(CC) -M $(CPPFLAGS) $< >; $@.$$$$; \
sed 's,\($*\)\.o[ :]*,\1.o $@ : ,g' < $@.$$$$ >; $@; \
rm -f $@.$$$$
这个规则的意思是,所有的[.d]文件依赖于[.c]文件,“rm -f $@”的意思是删除所有的目标,也就是[.d]文件,第二行的意思是,为每个依赖文件“$<”,也就是[.c]文件生成依赖文件,“$@”表示模式“%.d”文件,如果有一个C文件是name.c,那么“%”就是“name”,“$$$$”意为一个随机编号,第二行生成的文件有可能是“name.d.12345”,第三行使用sed命令做了一个替换,关于sed命令的用法请参看相关的使用文档。第四行就是删除临时文件。
总而言之,这个模式要做的事就是在编译器生成的依赖关系中加入[.d]文件的依赖,即把依赖关系:
main.o : main.c defs.h
main.o main.d : main.c defs.h
于是,我们的[.d]文件也会自动更新了,并会自动生成了,当然,你还可以在这个[.d]文件中加入的不只是依赖关系,包括生成的命令也可一并加入,让每个[.d]文件都包含一个完赖的规则。一旦我们完成这个工作,接下来,我们就要把这些自动生成的规则放进我们的主Makefile中。我们可以使用Makefile的“include”命令,来引入别的Makefile文件(前面讲过),例如:
sources = foo.c bar.c
include $(sources:.c=.d)
上述语句中的“$(sources:.c=.d)”中的“.c=.d”的意思是做一个替换,把变量$(sources)所有[.c]的字串都替换成[.d],关于这个“替换”的内容,在后面我会有更为详细的讲述。当然,你得注意次序,因为include是按次来载入文件,最先载入的[.d]文件中的目标会成为默认目标。 gunguymadman 回复于:2004-09-16 12:21:21
每条规则中的命令和操作系统Shell的命令行是一致的。make会一按顺序一条一条的执行命令,每条命令的开头必须以[Tab]键开头,除非,命令是紧跟在依赖规则后面的分号后的。在命令行之间中的空格或是空行会被忽略,但是如果该空格或空行是以Tab键开头的,那么make会认为其是一个空命令。
我们在UNIX下可能会使用不同的Shell,但是make的命令默认是被“/bin/sh”——UNIX的标准Shell解释执行的。除非你特别指定一个其它的Shell。Makefile中,“#”是注释符,很像C/C++中的“//”,其后的本行字符都被注释。
一、显示命令
通常,make会把其要执行的命令行在命令执行前输出到屏幕上。当我们用“@”字符在命令行前,那么,这个命令将不被make显示出来,最具代表性的例子是,我们用这个功能来像屏幕显示一些信息。如:
@echo 正在编译XXX模块......
当make执行时,会输出“正在编译XXX模块......”字串,但不会输出命令,如果没有“@”,那么,make将输出:
echo 正在编译XXX模块......
正在编译XXX模块......
如果make执行时,带入make参数“-n”或“--just-print”,那么其只是显示命令,但不会执行命令,这个功能很有利于我们调试我们的Makefile,看看我们书写的命令是执行起来是什么样子的或是什么顺序的。
而make参数“-s”或“--slient”则是全面禁止命令的显示。
二、命令执行
当依赖目标新于目标时,也就是当规则的目标需要被更新时,make会一条一条的执行其后的命令。需要注意的是,如果你要让上一条命令的结果应用在下一条命令时,你应该使用分号分隔这两条命令。比如你的第一条命令是cd命令,你希望第二条命令得在cd之后的基础上运行,那么你就不能把这两条命令写在两行上,而应该把这两条命令写在一行上,用分号分隔。如:
exec:
cd /home/hchen
exec:
cd /home/hchen; pwd
当我们执行“make exec”时,第一个例子中的cd没有作用,pwd会打印出当前的Makefile目录,而第二个例子中,cd就起作用了,pwd会打印出“/home/hchen”。
make一般是使用环境变量SHELL中所定义的系统Shell来执行命令,默认情况下使用UNIX的标准Shell——/bin/sh来执行命令。但在MS-DOS下有点特殊,因为MS-DOS下没有SHELL环境变量,当然你也可以指定。如果你指定了UNIX风格的目录形式,首先,make会在SHELL所指定的路径中找寻命令解释器,如果找不到,其会在当前盘符中的当前目录中寻找,如果再找不到,其会在PATH环境变量中所定义的所有路径中寻找。MS-DOS中,如果你定义的命令解释器没有找到,其会给你的命令解释器加上诸如“.exe”、“.com”、“.bat”、“.sh”等后缀。
三、命令出错
每当命令运行完后,make会检测每个命令的返回码,如果命令返回成功,那么make会执行下一条命令,当规则中所有的命令成功返回后,这个规则就算是成功完成了。如果一个规则中的某个命令出错了(命令退出码非零),那么make就会终止执行当前规则,这将有可能终止所有规则的执行。
有些时候,命令的出错并不表示就是错误的。例如mkdir命令,我们一定需要建立一个目录,如果目录不存在,那么mkdir就成功执行,万事大吉,如果目录存在,那么就出错了。我们之所以使用mkdir的意思就是一定要有这样的一个目录,于是我们就不希望mkdir出错而终止规则的运行。
为了做到这一点,忽略命令的出错,我们可以在Makefile的命令行前加一个减号“-”(在Tab键之后),标记为不管命令出不出错都认为是成功的。如:
clean:
-rm -f *.o
还有一个全局的办法是,给make加上“-i”或是“--ignore-errors”参数,那么,Makefile中所有命令都会忽略错误。而如果一个规则是以“.IGNORE”作为目标的,那么这个规则中的所有命令将会忽略错误。这些是不同级别的防止命令出错的方法,你可以根据你的不同喜欢设置。
还有一个要提一下的make的参数的是“-k”或是“--keep-going”,这个参数的意思是,如果某规则中的命令出错了,那么就终目该规则的执行,但继续执行其它规则。
四、嵌套执行make
在一些大的工程中,我们会把我们不同模块或是不同功能的源文件放在不同的目录中,我们可以在每个目录中都书写一个该目录的Makefile,这有利于让我们的Makefile变得更加地简洁,而不至于把所有的东西全部写在一个Makefile中,这样会很难维护我们的Makefile,这个技术对于我们模块编译和分段编译有着非常大的好处。
例如,我们有一个子目录叫subdir,这个目录下有个Makefile文件,来指明了这个目录下文件的编译规则。那么我们总控的Makefile可以这样书写:
subsystem:
cd subdir && $(MAKE)
其等价于:
subsystem:
$(MAKE) -C subdir
定义$(MAKE)宏变量的意思是,也许我们的make需要一些参数,所以定义成一个变量比较利于维护。这两个例子的意思都是先进入“subdir”目录,然后执行make命令。
我们把这个Makefile叫做“总控Makefile”,总控Makefile的变量可以传递到下级的Makefile中(如果你显示的声明),但是不会覆盖下层的Makefile中所定义的变量,除非指定了“-e”参数。
如果你要传递变量到下级Makefile中,那么你可以使用这样的声明:
export <variable ...>;
如果你不想让某些变量传递到下级Makefile中,那么你可以这样声明:
unexport <variable ...>;
export variable = value
其等价于:
variable = value
export variable
其等价于:
export variable := value
其等价于:
variable := value
export variable
export variable += value
其等价于:
variable += value
export variable
如果你要传递所有的变量,那么,只要一个export就行了。后面什么也不用跟,表示传递所有的变量。
需要注意的是,有两个变量,一个是SHELL,一个是MAKEFLAGS,这两个变量不管你是否export,其总是要传递到下层Makefile中,特别是MAKEFILES变量,其中包含了make的参数信息,如果我们执行“总控Makefile”时有make参数或是在上层Makefile中定义了这个变量,那么MAKEFILES变量将会是这些参数,并会传递到下层Makefile中,这是一个系统级的环境变量。
但是make命令中的有几个参数并不往下传递,它们是“-C”,“-f”,“-h”“-o”和“-W”(有关Makefile参数的细节将在后面说明),如果你不想往下层传递参数,那么,你可以这样来:
subsystem:
cd subdir && $(MAKE) MAKEFLAGS=
如果你定义了环境变量MAKEFLAGS,那么你得确信其中的选项是大家都会用到的,如果其中有“-t”,“-n”,和“-q”参数,那么将会有让你意想不到的结果,或许会让你异常地恐慌。
还有一个在“嵌套执行”中比较有用的参数,“-w”或是“--print-directory”会在make的过程中输出一些信息,让你看到目前的工作目录。比如,如果我们的下级make目录是“/home/hchen/gnu/make”,如果我们使用“make -w”来执行,那么当进入该目录时,我们会看到:
make: Entering directory `/home/hchen/gnu/make'.
而在完成下层make后离开目录时,我们会看到:
make: Leaving directory `/home/hchen/gnu/make'
当你使用“-C”参数来指定make下层Makefile时,“-w”会被自动打开的。如果参数中有“-s”(“--slient”)或是“--no-print-directory”,那么,“-w”总是失效的。
五、定义命令包
如果Makefile中出现一些相同命令序列,那么我们可以为这些相同的命令序列定义一个变量。定义这种命令序列的语法以“define”开始,以“endef”结束,如:
define run-yacc
yacc $(firstword $^)
mv y.tab.c $@
endef
这里,“run-yacc”是这个命令包的名字,其不要和Makefile中的变量重名。在“define”和“endef”中的两行就是命令序列。这个命令包中的第一个命令是运行Yacc程序,因为Yacc程序总是生成“y.tab.c”的文件,所以第二行的命令就是把这个文件改改名字。还是把这个命令包放到一个示例中来看看吧。
foo.c : foo.y
$(run-yacc)
我们可以看见,要使用这个命令包,我们就好像使用变量一样。在这个命令包的使用中,命令包“run-yacc”中的“$^”就是“foo.y”,“$@”就是“foo.c”(有关这种以“$”开头的特殊变量,我们会在后面介绍),make在执行命令包时,命令包中的每个命令会被依次独立执行。 gunguymadman 回复于:2004-09-16 12:22:15
在Makefile中的定义的变量,就像是C/C++语言中的宏一样,他代表了一个文本字串,在Makefile中执行的时候其会自动原模原样地展开在所使用的地方。其与C/C++所不同的是,你可以在Makefile中改变其值。在Makefile中,变量可以使用在“目标”,“依赖目标”,“命令”或是Makefile的其它部分中。
变量的命名字可以包含字符、数字,下划线(可以是数字开头),但不应该含有“:”、“#”、“=”或是空字符(空格、回车等)。变量是大小写敏感的,“foo”、“Foo”和“FOO”是三个不同的变量名。传统的Makefile的变量名是全大写的命名方式,但我推荐使用大小写搭配的变量名,如:MakeFlags。这样可以避免和系统的变量冲突,而发生意外的事情。
有一些变量是很奇怪字串,如“$<”、“$@”等,这些是自动化变量,我会在后面介绍。
一、变量的基础
变量在声明时需要给予初值,而在使用时,需要给在变量名前加上“$”符号,但最好用小括号“()”或是大括号“{}”把变量给包括起来。如果你要使用真实的“$”字符,那么你需要用“$$”来表示。
变量可以使用在许多地方,如规则中的“目标”、“依赖”、“命令”以及新的变量中。先看一个例子:
objects = program.o foo.o utils.o
program : $(objects)
cc -o program $(objects)
$(objects) : defs.h
变量会在使用它的地方精确地展开,就像C/C++中的宏一样,例如:
foo = c
prog.o : prog.$(foo)
$(foo)$(foo) -$(foo) prog.$(foo)
展开后得到:
prog.o : prog.c
cc -c prog.c
当然,千万不要在你的Makefile中这样干,这里只是举个例子来表明Makefile中的变量在使用处展开的真实样子。可见其就是一个“替代”的原理。
另外,给变量加上括号完全是为了更加安全地使用这个变量,在上面的例子中,如果你不想给变量加上括号,那也可以,但我还是强烈建议你给变量加上括号。
二、变量中的变量
在定义变量的值时,我们可以使用其它变量来构造变量的值,在Makefile中有两种方式来在用变量定义变量的值。
先看第一种方式,也就是简单的使用“=”号,在“=”左侧是变量,右侧是变量的值,右侧变量的值可以定义在文件的任何一处,也就是说,右侧中的变量不一定非要是已定义好的值,其也可以使用后面定义的值。如:
foo = $(bar)
bar = $(ugh)
ugh = Huh?
echo $(foo)
我们执行“make all”将会打出变量$(foo)的值是“Huh?”( $(foo)的值是$(bar),$(bar)的值是$(ugh),$(ugh)的值是“Huh?”)可见,变量是可以使用后面的变量来定义的。
这个功能有好的地方,也有不好的地方,好的地方是,我们可以把变量的真实值推到后面来定义,如:
CFLAGS = $(include_dirs) -O
include_dirs = -Ifoo -Ibar
当“CFLAGS”在命令中被展开时,会是“-Ifoo -Ibar -O”。但这种形式也有不好的地方,那就是递归定义,如:
CFLAGS = $(CFLAGS) -O
A = $(B)
B = $(A)
这会让make陷入无限的变量展开过程中去,当然,我们的make是有能力检测这样的定义,并会报错。还有就是如果在变量中使用函数,那么,这种方式会让我们的make运行时非常慢,更糟糕的是,他会使用得两个make的函数“wildcard”和“shell”发生不可预知的错误。因为你不会知道这两个函数会被调用多少次。
为了避免上面的这种方法,我们可以使用make中的另一种用变量来定义变量的方法。这种方法使用的是“:=”操作符,如:
x := foo
y := $(x) bar
x := later
其等价于:
y := foo bar
x := later
值得一提的是,这种方法,前面的变量不能使用后面的变量,只能使用前面已定义好了的变量。如果是这样:
y := $(x) bar
x := foo
那么,y的值是“bar”,而不是“foo bar”。
上面都是一些比较简单的变量使用了,让我们来看一个复杂的例子,其中包括了make的函数、条件表达式和一个系统变量“MAKELEVEL”的使用:
ifeq (0,${MAKELEVEL})
cur-dir := $(shell pwd)
whoami := $(shell whoami)
host-type := $(shell arch)
MAKE := ${MAKE} host-type=${host-type} whoami=${whoami}
endif
关于条件表达式和函数,我们在后面再说,对于系统变量“MAKELEVEL”,其意思是,如果我们的make有一个嵌套执行的动作(参见前面的“嵌套使用make”),那么,这个变量会记录了我们的当前Makefile的调用层数。
下面再介绍两个定义变量时我们需要知道的,请先看一个例子,如果我们要定义一个变量,其值是一个空格,那么我们可以这样来:
nullstring :=
space := $(nullstring) # end of the line
nullstring是一个Empty变量,其中什么也没有,而我们的space的值是一个空格。因为在操作符的右边是很难描述一个空格的,这里采用的技术很管用,先用一个Empty变量来标明变量的值开始了,而后面采用“#”注释符来表示变量定义的终止,这样,我们可以定义出其值是一个空格的变量。请注意这里关于“#”的使用,注释符“#”的这种特性值得我们注意,如果我们这样定义一个变量:
dir := /foo/bar # directory to put the frobs in
dir这个变量的值是“/foo/bar”,后面还跟了4个空格,如果我们这样使用这样变量来指定别的目录——“$(dir)/file”那么就完蛋了。
还有一个比较有用的操作符是“?=”,先看示例:
FOO ?= bar
其含义是,如果FOO没有被定义过,那么变量FOO的值就是“bar”,如果FOO先前被定义过,那么这条语将什么也不做,其等价于:
ifeq ($(origin FOO), undefined)
FOO = bar
endif
三、变量高级用法
这里介绍两种变量的高级使用方法,第一种是变量值的替换。
我们可以替换变量中的共有的部分,其格式是“$(var:a=b)”或是“${var:a=b}”,其意思是,把变量“var”中所有以“a”字串“结尾”的“a”替换成“b”字串。这里的“结尾”意思是“空格”或是“结束符”。
还是看一个示例吧:
foo := a.o b.o c.o
bar := $(foo:.o=.c)
这个示例中,我们先定义了一个“$(foo)”变量,而第二行的意思是把“$(foo)”中所有以“.o”字串“结尾”全部替换成“.c”,所以我们的“$(bar)”的值就是“a.c b.c c.c”。
另外一种变量替换的技术是以“静态模式”(参见前面章节)定义的,如:
foo := a.o b.o c.o
bar := $(foo:%.o=%.c)
这依赖于被替换字串中的有相同的模式,模式中必须包含一个“%”字符,这个例子同样让$(bar)变量的值为“a.c b.c c.c”。
第二种高级用法是——“把变量的值再当成变量”。先看一个例子:
x = y
y = z
a := $($(x))
在这个例子中,$(x)的值是“y”,所以$($(x))就是$(y),于是$(a)的值就是“z”。(注意,是“x=y”,而不是“x=$(y)”)
我们还可以使用更多的层次:
x = y
y = z
z = u
a := $($($(x)))
这里的$(a)的值是“u”,相关的推导留给读者自己去做吧。
让我们再复杂一点,使用上“在变量定义中使用变量”的第一个方式,来看一个例子:
x = $(y)
y = z
z = Hello
a := $($(x))
这里的$($(x))被替换成了$($(y)),因为$(y)值是“z”,所以,最终结果是:a:=$(z),也就是“Hello”。
再复杂一点,我们再加上函数:
x = variable1
variable2 := Hello
y = $(subst 1,2,$(x))
z = y
a := $($($(z)))
这个例子中,“$($($(z)))”扩展为“$($(y))”,而其再次被扩展为“$($(subst 1,2,$(x)))”。$(x)的值是“variable1”,subst函数把“variable1”中的所有“1”字串替换成“2”字串,于是,“variable1”变成“variable2”,再取其值,所以,最终,$(a)的值就是$(variable2)的值——“Hello”。(喔,好不容易)
在这种方式中,或要可以使用多个变量来组成一个变量的名字,然后再取其值:
first_second = Hello
a = first
b = second
all = $($a_$b)
这里的“$a_$b”组成了“first_second”,于是,$(all)的值就是“Hello”。
再来看看结合第一种技术的例子:
a_objects := a.o b.o c.o
1_objects := 1.o 2.o 3.o
sources := $($(a1)_objects:.o=.c)
这个例子中,如果$(a1)的值是“a”的话,那么,$(sources)的值就是“a.c b.c c.c”;如果$(a1)的值是“1”,那么$(sources)的值是“1.c 2.c 3.c”。
再来看一个这种技术和“函数”与“条件语句”一同使用的例子:
ifdef do_sort
func := sort
func := strip
endif
bar := a d b g q c
foo := $($(func) $(bar))
这个示例中,如果定义了“do_sort”,那么:foo := $(sort a d b g q c),于是$(foo)的值就是“a b c d g q”,而如果没有定义“do_sort”,那么:foo := $(sort a d b g q c),调用的就是strip函数。
当然,“把变量的值再当成变量”这种技术,同样可以用在操作符的左边:
dir = foo
$(dir)_sources := $(wildcard $(dir)/*.c)
define $(dir)_print
lpr $($(dir)_sources)
endef
这个例子中定义了三个变量:“dir”,“foo_sources”和“foo_print”。
四、追加变量值
我们可以使用“+=”操作符给变量追加值,如:
objects = main.o foo.o bar.o utils.o
objects += another.o
于是,我们的$(objects)值变成:“main.o foo.o bar.o utils.o another.o”(another.o被追加进去了)
使用“+=”操作符,可以模拟为下面的这种例子:
objects = main.o foo.o bar.o utils.o
objects := $(objects) another.o
所不同的是,用“+=”更为简洁。
如果变量之前没有定义过,那么,“+=”会自动变成“=”,如果前面有变量定义,那么“+=”会继承于前次操作的赋值符。如果前一次的是“:=”,那么“+=”会以“:=”作为其赋值符,如:
variable := value
variable += more
variable := value
variable := $(variable) more
但如果是这种情况:
variable = value
variable += more
由于前次的赋值符是“=”,所以“+=”也会以“=”来做为赋值,那么岂不会发生变量的递补归定义,这是很不好的,所以make会自动为我们解决这个问题,我们不必担心这个问题。
五、override 指示符
如果有变量是通常make的命令行参数设置的,那么Makefile中对这个变量的赋值会被忽略。如果你想在Makefile中设置这类参数的值,那么,你可以使用“override”指示符。其语法是:
override <variable>; = <value>;
override <variable>; := <value>;
当然,你还可以追加:
override <variable>; += <more text>;
对于多行的变量定义,我们用define指示符,在define指示符前,也同样可以使用ovveride指示符,如:
override define foo
endef gunguymadman 回复于:2004-09-16 12:22:51
六、多行变量
还有一种设置变量值的方法是使用define关键字。使用define关键字设置变量的值可以有换行,这有利于定义一系列的命令(前面我们讲过“命令包”的技术就是利用这个关键字)。
define指示符后面跟的是变量的名字,而重起一行定义变量的值,定义是以endef关键字结束。其工作方式和“=”操作符一样。变量的值可以包含函数、命令、文字,或是其它变量。因为命令需要以[Tab]键开头,所以如果你用define定义的命令变量中没有以[Tab]键开头,那么make就不会把其认为是命令。
下面的这个示例展示了define的用法:
define two-lines
echo foo
echo $(bar)
endef
七、环境变量
make运行时的系统环境变量可以在make开始运行时被载入到Makefile文件中,但是如果Makefile中已定义了这个变量,或是这个变量由make命令行带入,那么系统的环境变量的值将被覆盖。(如果make指定了“-e”参数,那么,系统环境变量将覆盖Makefile中定义的变量)
因此,如果我们在环境变量中设置了“CFLAGS”环境变量,那么我们就可以在所有的Makefile中使用这个变量了。这对于我们使用统一的编译参数有比较大的好处。如果Makefile中定义了CFLAGS,那么则会使用Makefile中的这个变量,如果没有定义则使用系统环境变量的值,一个共性和个性的统一,很像“全局变量”和“局部变量”的特性。
当make嵌套调用时(参见前面的“嵌套调用”章节),上层Makefile中定义的变量会以系统环境变量的方式传递到下层的Makefile中。当然,默认情况下,只有通过命令行设置的变量会被传递。而定义在文件中的变量,如果要向下层Makefile传递,则需要使用exprot关键字来声明。(参见前面章节)
当然,我并不推荐把许多的变量都定义在系统环境中,这样,在我们执行不用的Makefile时,拥有的是同一套系统变量,这可能会带来更多的麻烦。
八、目标变量
前面我们所讲的在Makefile中定义的变量都是“全局变量”,在整个文件,我们都可以访问这些变量。当然,“自动化变量”除外,如“$<”等这种类量的自动化变量就属于“规则型变量”,这种变量的值依赖于规则的目标和依赖目标的定义。
当然,我样同样可以为某个目标设置局部变量,这种变量被称为“Target-specific Variable”,它可以和“全局变量”同名,因为它的作用范围只在这条规则以及连带规则中,所以其值也只在作用范围内有效。而不会影响规则链以外的全局变量的值。
其语法是:
<target ...>; : <variable-assignment>;
<target ...>; : overide <variable-assignment>;
<variable-assignment>;可以是前面讲过的各种赋值表达式,如“=”、“:=”、“+=”或是“?=”。第二个语法是针对于make命令行带入的变量,或是系统环境变量。
这个特性非常的有用,当我们设置了这样一个变量,这个变量会作用到由这个目标所引发的所有的规则中去。如:
prog : CFLAGS = -g
prog : prog.o foo.o bar.o
$(CC) $(CFLAGS) prog.o foo.o bar.o
prog.o : prog.c
$(CC) $(CFLAGS) prog.c
foo.o : foo.c
$(CC) $(CFLAGS) foo.c
bar.o : bar.c
$(CC) $(CFLAGS) bar.c
在这个示例中,不管全局的$(CFLAGS)的值是什么,在prog目标,以及其所引发的所有规则中(prog.o foo.o bar.o的规则),$(CFLAGS)的值都是“-g”
九、模式变量
在GNU的make中,还支持模式变量(Pattern-specific Variable),通过上面的目标变量中,我们知道,变量可以定义在某个目标上。模式变量的好处就是,我们可以给定一种“模式”,可以把变量定义在符合这种模式的所有目标上。
我们知道,make的“模式”一般是至少含有一个“%”的,所以,我们可以以如下方式给所有以[.o]结尾的目标定义目标变量:
%.o : CFLAGS = -O
同样,模式变量的语法和“目标变量”一样:
<pattern ...>; : <variable-assignment>;
<pattern ...>; : override <variable-assignment>;
override同样是针对于系统环境传入的变量,或是make命令行指定的变量。
使用条件判断
——————
使用条件判断,可以让make根据运行时的不同情况选择不同的执行分支。条件表达式可以是比较变量的值,或是比较变量和常量的值。
下面的例子,判断$(CC)变量是否“gcc”,如果是的话,则使用GNU函数编译目标。
libs_for_gcc = -lgnu
normal_libs =
foo: $(objects)
ifeq ($(CC),gcc)
$(CC) -o foo $(objects) $(libs_for_gcc)
$(CC) -o foo $(objects) $(normal_libs)
endif
可见,在上面示例的这个规则中,目标“foo”可以根据变量“$(CC)”值来选取不同的函数库来编译程序。
我们可以从上面的示例中看到三个关键字:ifeq、else和endif。ifeq的意思表示条件语句的开始,并指定一个条件表达式,表达式包含两个参数,以逗号分隔,表达式以圆括号括起。else表示条件表达式为假的情况。endif表示一个条件语句的结束,任何一个条件表达式都应该以endif结束。
当我们的变量$(CC)值是“gcc”时,目标foo的规则是:
foo: $(objects)
$(CC) -o foo $(objects) $(libs_for_gcc)
而当我们的变量$(CC)值不是“gcc”时(比如“cc”),目标foo的规则是:
foo: $(objects)
$(CC) -o foo $(objects) $(normal_libs)
当然,我们还可以把上面的那个例子写得更简洁一些:
libs_for_gcc = -lgnu
normal_libs =
ifeq ($(CC),gcc)
libs=$(libs_for_gcc)
libs=$(normal_libs)
endif
foo: $(objects)
$(CC) -o foo $(objects) $(libs)
条件表达式的语法为:
<conditional-directive>;
<text-if-true>;
endif
<conditional-directive>;
<text-if-true>;
<text-if-false>;
endif
其中<conditional-directive>;表示条件关键字,如“ifeq”。这个关键字有四个。
第一个是我们前面所见过的“ifeq”
ifeq (<arg1>;, <arg2>;)
ifeq '<arg1>;' '<arg2>;'
ifeq "<arg1>;" "<arg2>;"
ifeq "<arg1>;" '<arg2>;'
ifeq '<arg1>;' "<arg2>;"
比较参数“arg1”和“arg2”的值是否相同。当然,参数中我们还可以使用make的函数。如:
ifeq ($(strip $(foo)),)
<text-if-empty>;
endif
这个示例中使用了“strip”函数,如果这个函数的返回值是空(Empty),那么<text-if-empty>;就生效。
第二个条件关键字是“ifneq”。语法是:
ifneq (<arg1>;, <arg2>;)
ifneq '<arg1>;' '<arg2>;'
ifneq "<arg1>;" "<arg2>;"
ifneq "<arg1>;" '<arg2>;'
ifneq '<arg1>;' "<arg2>;"
其比较参数“arg1”和“arg2”的值是否相同,如果不同,则为真。和“ifeq”类似。
第三个条件关键字是“ifdef”。语法是:
ifdef <variable-name>;
如果变量<variable-name>;的值非空,那到表达式为真。否则,表达式为假。当然,<variable-name>;同样可以是一个函数的返回值。注意,ifdef只是测试一个变量是否有值,其并不会把变量扩展到当前位置。还是来看两个例子:
bar =
foo = $(bar)
ifdef foo
frobozz = yes
frobozz = no
endif
foo =
ifdef foo
frobozz = yes
frobozz = no
endif
第一个例子中,“$(frobozz)”值是“yes”,第二个则是“no”。
第四个条件关键字是“ifndef”。其语法是:
ifndef <variable-name>;
这个我就不多说了,和“ifdef”是相反的意思。
在<conditional-directive>;这一行上,多余的空格是被允许的,但是不能以[Tab]键做为开始(不然就被认为是命令)。而注释符“#”同样也是安全的。“else”和“endif”也一样,只要不是以[Tab]键开始就行了。
特别注意的是,make是在读取Makefile时就计算条件表达式的值,并根据条件表达式的值来选择语句,所以,你最好不要把自动化变量(如“$@”等)放入条件表达式中,因为自动化变量是在运行时才有的。
而且,为了避免混乱,make不允许把整个条件语句分成两部分放在不同的文件中。 gunguymadman 回复于:2004-09-16 12:23:29
在Makefile中可以使用函数来处理变量,从而让我们的命令或是规则更为的灵活和具有智能。make所支持的函数也不算很多,不过已经足够我们的操作了。函数调用后,函数的返回值可以当做变量来使用。
一、函数的调用语法
函数调用,很像变量的使用,也是以“$”来标识的,其语法如下:
$(<function>; <arguments>;)
${<function>; <arguments>;}
这里,<function>;就是函数名,make支持的函数不多。<arguments>;是函数的参数,参数间以逗号“,”分隔,而函数名和参数之间以“空格”分隔。函数调用以“$”开头,以圆括号或花括号把函数名和参数括起。感觉很像一个变量,是不是?函数中的参数可以使用变量,为了风格的统一,函数和变量的括号最好一样,如使用“$(subst a,b,$(x))”这样的形式,而不是“$(subst a,b,${x})”的形式。因为统一会更清楚,也会减少一些不必要的麻烦。
还是来看一个示例:
comma:= ,
empty:=
space:= $(empty) $(empty)
foo:= a b c
bar:= $(subst $(space),$(comma),$(foo))
在这个示例中,$(comma)的值是一个逗号。$(space)使用了$(empty)定义了一个空格,$(foo)的值是“a b c”,$(bar)的定义用,调用了函数“subst”,这是一个替换函数,这个函数有三个参数,第一个参数是被替换字串,第二个参数是替换字串,第三个参数是替换操作作用的字串。这个函数也就是把$(foo)中的空格替换成逗号,所以$(bar)的值是“a,b,c”。
二、字符串处理函数
$(subst <from>;,<to>;,<text>;)
名称:字符串替换函数——subst。
功能:把字串<text>;中的<from>;字符串替换成<to>;。
返回:函数返回被替换过后的字符串。
$(subst ee,EE,feet on the street),
把“feet on the street”中的“ee”替换成“EE”,返回结果是“fEEt on the strEEt”。
$(patsubst <pattern>;,<replacement>;,<text>;)
名称:模式字符串替换函数——patsubst。
功能:查找<text>;中的单词(单词以“空格”、“Tab”或“回车”“换行”分隔)是否符合模式<pattern>;,如果匹配的话,则以<replacement>;替换。这里,<pattern>;可以包括通配符“%”,表示任意长度的字串。如果<replacement>;中也包含“%”,那么,<replacement>;中的这个“%”将是<pattern>;中的那个“%”所代表的字串。(可以用“\”来转义,以“\%”来表示真实含义的“%”字符)
返回:函数返回被替换过后的字符串。
$(patsubst %.c,%.o,x.c.c bar.c)
把字串“x.c.c bar.c”符合模式[%.c]的单词替换成[%.o],返回结果是“x.c.o bar.o”
这和我们前面“变量章节”说过的相关知识有点相似。如:
“$(var:<pattern>;=<replacement>;)”
“$(patsubst <pattern>;,<replacement>;,$(var))”,
而“$(var: <suffix>;=<replacement>;)”
“$(patsubst %<suffix>;,%<replacement>;,$(var))”。
例如有:objects = foo.o bar.o baz.o,
那么,“$(objects:.o=.c)”和“$(patsubst %.o,%.c,$(objects))”是一样的。
$(strip <string>;)
名称:去空格函数——strip。
功能:去掉<string>;字串中开头和结尾的空字符。
返回:返回被去掉空格的字符串值。
$(strip a b c )
把字串“a b c ”去到开头和结尾的空格,结果是“a b c”。
$(findstring <find>;,<in>;)
名称:查找字符串函数——findstring。
功能:在字串<in>;中查找<find>;字串。
返回:如果找到,那么返回<find>;,否则返回空字符串。
$(findstring a,a b c)
$(findstring a,b c)
第一个函数返回“a”字符串,第二个返回“”字符串(空字符串)
$(filter <pattern...>;,<text>;)
名称:过滤函数——filter。
功能:以<pattern>;模式过滤<text>;字符串中的单词,保留符合模式<pattern>;的单词。可以有多个模式。
返回:返回符合模式<pattern>;的字串。
sources := foo.c bar.c baz.s ugh.h
foo: $(sources)
cc $(filter %.c %.s,$(sources)) -o foo
$(filter %.c %.s,$(sources))返回的值是“foo.c bar.c baz.s”。
$(filter-out <pattern...>;,<text>;)
名称:反过滤函数——filter-out。
功能:以<pattern>;模式过滤<text>;字符串中的单词,去除符合模式<pattern>;的单词。可以有多个模式。
返回:返回不符合模式<pattern>;的字串。
objects=main1.o foo.o main2.o bar.o
mains=main1.o main2.o
$(filter-out $(mains),$(objects)) 返回值是“foo.o bar.o”。
$(sort <list>;)
名称:排序函数——sort。
功能:给字符串<list>;中的单词排序(升序)。
返回:返回排序后的字符串。
示例:$(sort foo bar lose)返回“bar foo lose” 。
备注:sort函数会去掉<list>;中相同的单词。
$(word <n>;,<text>;)
名称:取单词函数——word。
功能:取字符串<text>;中第<n>;个单词。(从一开始)
返回:返回字符串<text>;中第<n>;个单词。如果<n>;比<text>;中的单词数要大,那么返回空字符串。
示例:$(word 2, foo bar baz)返回值是“bar”。
$(wordlist <s>;,<e>;,<text>;)
名称:取单词串函数——wordlist。
功能:从字符串<text>;中取从<s>;开始到<e>;的单词串。<s>;和<e>;是一个数字。
返回:返回字符串<text>;中从<s>;到<e>;的单词字串。如果<s>;比<text>;中的单词数要大,那么返回空字符串。如果<e>;大于<text>;的单词数,那么返回从<s>;开始,到<text>;结束的单词串。
示例: $(wordlist 2, 3, foo bar baz)返回值是“bar baz”。
$(words <text>;)
名称:单词个数统计函数——words。
功能:统计<text>;中字符串中的单词个数。
返回:返回<text>;中的单词数。
示例:$(words, foo bar baz)返回值是“3”。
备注:如果我们要取<text>;中最后的一个单词,我们可以这样:$(word $(words <text>;),<text>;)。
$(firstword <text>;)
名称:首单词函数——firstword。
功能:取字符串<text>;中的第一个单词。
返回:返回字符串<text>;的第一个单词。
示例:$(firstword foo bar)返回值是“foo”。
备注:这个函数可以用word函数来实现:$(word 1,<text>;)。
以上,是所有的字符串操作函数,如果搭配混合使用,可以完成比较复杂的功能。这里,举一个现实中应用的例子。我们知道,make使用“VPATH”变量来指定“依赖文件”的搜索路径。于是,我们可以利用这个搜索路径来指定编译器对头文件的搜索路径参数CFLAGS,如:
override CFLAGS += $(patsubst %,-I%,$(subst :, ,$(VPATH)))
如果我们的“$(VPATH)”值是“src:../headers”,那么“$(patsubst %,-I%,$(subst :, ,$(VPATH)))”将返回“-Isrc -I../headers”,这正是cc或gcc搜索头文件路径的参数。
三、文件名操作函数
下面我们要介绍的函数主要是处理文件名的。每个函数的参数字符串都会被当做一个或是一系列的文件名来对待。
$(dir <names...>;)
名称:取目录函数——dir。
功能:从文件名序列<names>;中取出目录部分。目录部分是指最后一个反斜杠(“/”)之前的部分。如果没有反斜杠,那么返回“./”。
返回:返回文件名序列<names>;的目录部分。
示例: $(dir src/foo.c hacks)返回值是“src/ ./”。
$(notdir <names...>;)
名称:取文件函数——notdir。
功能:从文件名序列<names>;中取出非目录部分。非目录部分是指最后一个反斜杠(“/”)之后的部分。
返回:返回文件名序列<names>;的非目录部分。
示例: $(notdir src/foo.c hacks)返回值是“foo.c hacks”。
$(suffix <names...>;)
名称:取后缀函数——suffix。
功能:从文件名序列<names>;中取出各个文件名的后缀。
返回:返回文件名序列<names>;的后缀序列,如果文件没有后缀,则返回空字串。
示例:$(suffix src/foo.c src-1.0/bar.c hacks)返回值是“.c .c”。
$(basename <names...>;)
名称:取前缀函数——basename。
功能:从文件名序列<names>;中取出各个文件名的前缀部分。
返回:返回文件名序列<names>;的前缀序列,如果文件没有前缀,则返回空字串。
示例:$(basename src/foo.c src-1.0/bar.c hacks)返回值是“src/foo src-1.0/bar hacks”。
$(addsuffix <suffix>;,<names...>;)
名称:加后缀函数——addsuffix。
功能:把后缀<suffix>;加到<names>;中的每个单词后面。
返回:返回加过后缀的文件名序列。
示例:$(addsuffix .c,foo bar)返回值是“foo.c bar.c”。
$(addprefix <prefix>;,<names...>;)
名称:加前缀函数——addprefix。
功能:把前缀<prefix>;加到<names>;中的每个单词后面。
返回:返回加过前缀的文件名序列。
示例:$(addprefix src/,foo bar)返回值是“src/foo src/bar”。
$(join <list1>;,<list2>;)
名称:连接函数——join。
功能:把<list2>;中的单词对应地加到<list1>;的单词后面。如果<list1>;的单词个数要比<list2>;的多,那么,<list1>;中的多出来的单词将保持原样。如果<list2>;的单词个数要比<list1>;多,那么,<list2>;多出来的单词将被复制到<list2>;中。
返回:返回连接过后的字符串。
示例:$(join aaa bbb , 111 222 333)返回值是“aaa111 bbb222 333”。 gunguymadman 回复于:2004-09-16 12:24:08
四、foreach 函数
foreach函数和别的函数非常的不一样。因为这个函数是用来做循环用的,Makefile中的foreach函数几乎是仿照于Unix标准Shell(/bin/sh)中的for语句,或是C-Shell(/bin/csh)中的foreach语句而构建的。它的语法是:
$(foreach <var>;,<list>;,<text>;)
这个函数的意思是,把参数<list>;中的单词逐一取出放到参数<var>;所指定的变量中,然后再执行<text>;所包含的表达式。每一次<text>;会返回一个字符串,循环过程中,<text>;的所返回的每个字符串会以空格分隔,最后当整个循环结束时,<text>;所返回的每个字符串所组成的整个字符串(以空格分隔)将会是foreach函数的返回值。
所以,<var>;最好是一个变量名,<list>;可以是一个表达式,而<text>;中一般会使用<var>;这个参数来依次枚举<list>;中的单词。举个例子:
names := a b c d
files := $(foreach n,$(names),$(n).o)
上面的例子中,$(name)中的单词会被挨个取出,并存到变量“n”中,“$(n).o”每次根据“$(n)”计算出一个值,这些值以空格分隔,最后作为foreach函数的返回,所以,$(files)的值是“a.o b.o c.o d.o”。
注意,foreach中的<var>;参数是一个临时的局部变量,foreach函数执行完后,参数<var>;的变量将不在作用,其作用域只在foreach函数当中。
五、if 函数
if函数很像GNU的make所支持的条件语句——ifeq(参见前面所述的章节),if函数的语法是:
$(if <condition>;,<then-part>;)
$(if <condition>;,<then-part>;,<else-part>;)
可见,if函数可以包含“else”部分,或是不含。即if函数的参数可以是两个,也可以是三个。<condition>;参数是if的表达式,如果其返回的为非空字符串,那么这个表达式就相当于返回真,于是,<then-part>;会被计算,否则<else-part>;会被计算。
而if函数的返回值是,如果<condition>;为真(非空字符串),那个<then-part>;会是整个函数的返回值,如果<condition>;为假(空字符串),那么<else-part>;会是整个函数的返回值,此时如果<else-part>;没有被定义,那么,整个函数返回空字串。
所以,<then-part>;和<else-part>;只会有一个被计算。
六、call函数
call函数是唯一一个可以用来创建新的参数化的函数。你可以写一个非常复杂的表达式,这个表达式中,你可以定义许多参数,然后你可以用call函数来向这个表达式传递参数。其语法是:
$(call <expression>;,<parm1>;,<parm2>;,<parm3>;...)
当make执行这个函数时,<expression>;参数中的变量,如$(1),$(2),$(3)等,会被参数<parm1>;,<parm2>;,<parm3>;依次取代。而<expression>;的返回值就是call函数的返回值。例如:
reverse = $(1) $(2)
foo = $(call reverse,a,b)
那么,foo的值就是“a b”。当然,参数的次序是可以自定义的,不一定是顺序的,如:
reverse = $(2) $(1)
foo = $(call reverse,a,b)
此时的foo的值就是“b a”。
七、origin函数
origin函数不像其它的函数,他并不操作变量的值,他只是告诉你你的这个变量是哪里来的?其语法是:
$(origin <variable>;)
注意,<variable>;是变量的名字,不应该是引用。所以你最好不要在<variable>;中使用“$”字符。Origin函数会以其返回值来告诉你这个变量的“出生情况”,下面,是origin函数的返回值:
“undefined”
如果<variable>;从来没有定义过,origin函数返回这个值“undefined”。
“default”
如果<variable>;是一个默认的定义,比如“CC”这个变量,这种变量我们将在后面讲述。
“environment”
如果<variable>;是一个环境变量,并且当Makefile被执行时,“-e”参数没有被打开。
“file”
如果<variable>;这个变量被定义在Makefile中。
“command line”
如果<variable>;这个变量是被命令行定义的。
“override”
如果<variable>;是被override指示符重新定义的。
“automatic”
如果<variable>;是一个命令运行中的自动化变量。关于自动化变量将在后面讲述。
这些信息对于我们编写Makefile是非常有用的,例如,假设我们有一个Makefile其包了一个定义文件Make.def,在Make.def中定义了一个变量“bletch”,而我们的环境中也有一个环境变量“bletch”,此时,我们想判断一下,如果变量来源于环境,那么我们就把之重定义了,如果来源于Make.def或是命令行等非环境的,那么我们就不重新定义它。于是,在我们的Makefile中,我们可以这样写:
ifdef bletch
ifeq "$(origin bletch)" "environment"
bletch = barf, gag, etc.
endif
endif
当然,你也许会说,使用override关键字不就可以重新定义环境中的变量了吗?为什么需要使用这样的步骤?是的,我们用override是可以达到这样的效果,可是override过于粗暴,它同时会把从命令行定义的变量也覆盖了,而我们只想重新定义环境传来的,而不想重新定义命令行传来的。
八、shell函数
shell函数也不像其它的函数。顾名思义,它的参数应该就是操作系统Shell的命令。它和反引号“`”是相同的功能。这就是说,shell函数把执行操作系统命令后的输出作为函数返回。于是,我们可以用操作系统命令以及字符串处理命令awk,sed等等命令来生成一个变量,如:
contents := $(shell cat foo)
files := $(shell echo *.c)
注意,这个函数会新生成一个Shell程序来执行命令,所以你要注意其运行性能,如果你的Makefile中有一些比较复杂的规则,并大量使用了这个函数,那么对于你的系统性能是有害的。特别是Makefile的隐晦的规则可能会让你的shell函数执行的次数比你想像的多得多。
九、控制make的函数
make提供了一些函数来控制make的运行。通常,你需要检测一些运行Makefile时的运行时信息,并且根据这些信息来决定,你是让make继续执行,还是停止。
$(error <text ...>;)
产生一个致命的错误,<text ...>;是错误信息。注意,error函数不会在一被使用就会产生错误信息,所以如果你把其定义在某个变量中,并在后续的脚本中使用这个变量,那么也是可以的。例如:
ifdef ERROR_001
$(error error is $(ERROR_001))
endif
ERR = $(error found an error!)
.PHONY: err
err: ; $(ERR)
示例一会在变量ERROR_001定义了后执行时产生error调用,而示例二则在目录err被执行时才发生error调用。
$(warning <text ...>;)
这个函数很像error函数,只是它并不会让make退出,只是输出一段警告信息,而make继续执行。 gunguymadman 回复于:2004-09-16 12:25:00
make 的运行
——————
一般来说,最简单的就是直接在命令行下输入make命令,make命令会找当前目录的makefile来执行,一切都是自动的。但也有时你也许只想让make重编译某些文件,而不是整个工程,而又有的时候你有几套编译规则,你想在不同的时候使用不同的编译规则,等等。本章节就是讲述如何使用make命令的。
一、make的退出码
make命令执行后有三个退出码:
0 —— 表示成功执行。
1 —— 如果make运行时出现任何错误,其返回1。
2 —— 如果你使用了make的“-q”选项,并且make使得一些目标不需要更新,那么返回2。
Make的相关参数我们会在后续章节中讲述。
二、指定Makefile
前面我们说过,GNU make找寻默认的Makefile的规则是在当前目录下依次找三个文件——“GNUmakefile”、“makefile”和“Makefile”。其按顺序找这三个文件,一旦找到,就开始读取这个文件并执行。
当前,我们也可以给make命令指定一个特殊名字的Makefile。要达到这个功能,我们要使用make的“-f”或是“--file”参数(“--makefile”参数也行)。例如,我们有个makefile的名字是“hchen.mk”,那么,我们可以这样来让make来执行这个文件:
make –f hchen.mk
如果在make的命令行是,你不只一次地使用了“-f”参数,那么,所有指定的makefile将会被连在一起传递给make执行。
三、指定目标
一般来说,make的最终目标是makefile中的第一个目标,而其它目标一般是由这个目标连带出来的。这是make的默认行为。当然,一般来说,你的makefile中的第一个目标是由许多个目标组成,你可以指示make,让其完成你所指定的目标。要达到这一目的很简单,需在make命令后直接跟目标的名字就可以完成(如前面提到的“make clean”形式)
任何在makefile中的目标都可以被指定成终极目标,但是除了以“-”打头,或是包含了“=”的目标,因为有这些字符的目标,会被解析成命令行参数或是变量。甚至没有被我们明确写出来的目标也可以成为make的终极目标,也就是说,只要make可以找到其隐含规则推导规则,那么这个隐含目标同样可以被指定成终极目标。
有一个make的环境变量叫“MAKECMDGOALS”,这个变量中会存放你所指定的终极目标的列表,如果在命令行上,你没有指定目标,那么,这个变量是空值。这个变量可以让你使用在一些比较特殊的情形下。比如下面的例子:
sources = foo.c bar.c
ifneq ( $(MAKECMDGOALS),clean)
include $(sources:.c=.d)
endif
基于上面的这个例子,只要我们输入的命令不是“make clean”,那么makefile会自动包含“foo.d”和“bar.d”这两个makefile。
使用指定终极目标的方法可以很方便地让我们编译我们的程序,例如下面这个例子:
.PHONY: all
all: prog1 prog2 prog3 prog4
从这个例子中,我们可以看到,这个makefile中有四个需要编译的程序——“prog1”, “prog2”, “prog3”和 “prog4”,我们可以使用“make all”命令来编译所有的目标(如果把all置成第一个目标,那么只需执行“make”),我们也可以使用“make prog2”来单独编译目标“prog2”。
即然make可以指定所有makefile中的目标,那么也包括“伪目标”,于是我们可以根据这种性质来让我们的makefile根据指定的不同的目标来完成不同的事。在Unix世界中,软件发布时,特别是GNU这种开源软件的发布时,其makefile都包含了编译、安装、打包等功能。我们可以参照这种规则来书写我们的makefile中的目标。
“all”
这个伪目标是所有目标的目标,其功能一般是编译所有的目标。
“clean”
这个伪目标功能是删除所有被make创建的文件。
“install”
这个伪目标功能是安装已编译好的程序,其实就是把目标执行文件拷贝到指定的目标中去。
“print”
这个伪目标的功能是例出改变过的源文件。
“tar”
这个伪目标功能是把源程序打包备份。也就是一个tar文件。
“dist”
这个伪目标功能是创建一个压缩文件,一般是把tar文件压成Z文件。或是gz文件。
“TAGS”
这个伪目标功能是更新所有的目标,以备完整地重编译使用。
“check”和“test”
这两个伪目标一般用来测试makefile的流程。
当然一个项目的makefile中也不一定要书写这样的目标,这些东西都是GNU的东西,但是我想,GNU搞出这些东西一定有其可取之处(等你的UNIX下的程序文件一多时你就会发现这些功能很有用了),这里只不过是说明了,如果你要书写这种功能,最好使用这种名字命名你的目标,这样规范一些,规范的好处就是——不用解释,大家都明白。而且如果你的makefile中有这些功能,一是很实用,二是可以显得你的makefile很专业(不是那种初学者的作品)。
四、检查规则
有时候,我们不想让我们的makefile中的规则执行起来,我们只想检查一下我们的命令,或是执行的序列。于是我们可以使用make命令的下述参数:
“--just-print”
“--dry-run”
“--recon”
不执行参数,这些参数只是打印命令,不管目标是否更新,把规则和连带规则下的命令打印出来,但不执行,这些参数对于我们调试makefile很有用处。
“--touch”
这个参数的意思就是把目标文件的时间更新,但不更改目标文件。也就是说,make假装编译目标,但不是真正的编译目标,只是把目标变成已编译过的状态。
“--question”
这个参数的行为是找目标的意思,也就是说,如果目标存在,那么其什么也不会输出,当然也不会执行编译,如果目标不存在,其会打印出一条出错信息。
“-W <file>;”
“--what-if=<file>;”
“--assume-new=<file>;”
“--new-file=<file>;”
这个参数需要指定一个文件。一般是是源文件(或依赖文件),Make会根据规则推导来运行依赖于这个文件的命令,一般来说,可以和“-n”参数一同使用,来查看这个依赖文件所发生的规则命令。
另外一个很有意思的用法是结合“-p”和“-v”来输出makefile被执行时的信息(这个将在后面讲述)。
五、make的参数
下面列举了所有GNU make 3.80版的参数定义。其它版本和产商的make大同小异,不过其它产商的make的具体参数还是请参考各自的产品文档。
这两个参数的作用是忽略和其它版本make的兼容性。
“--always-make”
认为所有的目标都需要更新(重编译)。
“-C <dir>;”
“--directory=<dir>;”
指定读取makefile的目录。如果有多个“-C”参数,make的解释是后面的路径以前面的作为相对路径,并以最后的目录作为被指定目录。如:“make –C ~hchen/test –C prog”等价于“make –C ~hchen/test/prog”。
“—debug[=<options>;]”
输出make的调试信息。它有几种不同的级别可供选择,如果没有参数,那就是输出最简单的调试信息。下面是<options>;的取值:
a —— 也就是all,输出所有的调试信息。(会非常的多)
b —— 也就是basic,只输出简单的调试信息。即输出不需要重编译的目标。
v —— 也就是verbose,在b选项的级别之上。输出的信息包括哪个makefile被解析,不需要被重编译的依赖文件(或是依赖目标)等。
i —— 也就是implicit,输出所以的隐含规则。
j —— 也就是jobs,输出执行规则中命令的详细信息,如命令的PID、返回码等。
m —— 也就是makefile,输出make读取makefile,更新makefile,执行makefile的信息。
相当于“--debug=a”。
“--environment-overrides”
指明环境变量的值覆盖makefile中定义的变量的值。
“-f=<file>;”
“--file=<file>;”
“--makefile=<file>;”
指定需要执行的makefile。
“--help”
显示帮助信息。
“--ignore-errors”
在执行时忽略所有的错误。
“-I <dir>;”
“--include-dir=<dir>;”
指定一个被包含makefile的搜索目标。可以使用多个“-I”参数来指定多个目录。
“-j [<jobsnum>;]”
“--jobs[=<jobsnum>;]”
指同时运行命令的个数。如果没有这个参数,make运行命令时能运行多少就运行多少。如果有一个以上的“-j”参数,那么仅最后一个“-j”才是有效的。(注意这个参数在MS-DOS中是无用的)
“--keep-going”
出错也不停止运行。如果生成一个目标失败了,那么依赖于其上的目标就不会被执行了。
“-l <load>;”
“--load-average[=<load]”
“—max-load[=<load>;]”
指定make运行命令的负载。
“--just-print”
“--dry-run”
“--recon”
仅输出执行过程中的命令序列,但并不执行。
“-o <file>;”
“--old-file=<file>;”
“--assume-old=<file>;”
不重新生成的指定的<file>;,即使这个目标的依赖文件新于它。
“--print-data-base”
输出makefile中的所有数据,包括所有的规则和变量。这个参数会让一个简单的makefile都会输出一堆信息。如果你只是想输出信息而不想执行makefile,你可以使用“make -qp”命令。如果你想查看执行makefile前的预设变量和规则,你可以使用“make –p –f /dev/null”。这个参数输出的信息会包含着你的makefile文件的文件名和行号,所以,用这个参数来调试你的makefile会是很有用的,特别是当你的环境变量很复杂的时候。
“--question”
不运行命令,也不输出。仅仅是检查所指定的目标是否需要更新。如果是0则说明要更新,如果是2则说明有错误发生。
“--no-builtin-rules”
禁止make使用任何隐含规则。
“--no-builtin-variabes”
禁止make使用任何作用于变量上的隐含规则。
“--silent”
“--quiet”
在命令运行时不输出命令的输出。
“--no-keep-going”
“--stop”
取消“-k”选项的作用。因为有些时候,make的选项是从环境变量“MAKEFLAGS”中继承下来的。所以你可以在命令行中使用这个参数来让环境变量中的“-k”选项失效。
“--touch”
相当于UNIX的touch命令,只是把目标的修改日期变成最新的,也就是阻止生成目标的命令运行。
“--version”
输出make程序的版本、版权等关于make的信息。
“--print-directory”
输出运行makefile之前和之后的信息。这个参数对于跟踪嵌套式调用make时很有用。
“--no-print-directory”
禁止“-w”选项。
“-W <file>;”
“--what-if=<file>;”
“--new-file=<file>;”
“--assume-file=<file>;”
假定目标<file>;需要更新,如果和“-n”选项使用,那么这个参数会输出该目标更新时的运行动作。如果没有“-n”那么就像运行UNIX的“touch”命令一样,使得<file>;的修改时间为当前时间。
“--warn-undefined-variables”
只要make发现有未定义的变量,那么就输出警告信息。 gunguymadman 回复于:2004-09-16 12:25:37
在我们使用Makefile时,有一些我们会经常使用,而且使用频率非常高的东西,比如,我们编译C/C++的源程序为中间目标文件(Unix下是[.o]文件,Windows下是[.obj]文件)。本章讲述的就是一些在Makefile中的“隐含的”,早先约定了的,不需要我们再写出来的规则。
“隐含规则”也就是一种惯例,make会按照这种“惯例”心照不喧地来运行,那怕我们的Makefile中没有书写这样的规则。例如,把[.c]文件编译成[.o]文件这一规则,你根本就不用写出来,make会自动推导出这种规则,并生成我们需要的[.o]文件。
“隐含规则”会使用一些我们系统变量,我们可以改变这些系统变量的值来定制隐含规则的运行时的参数。如系统变量“CFLAGS”可以控制编译时的编译器参数。
我们还可以通过“模式规则”的方式写下自己的隐含规则。用“后缀规则”来定义隐含规则会有许多的限制。使用“模式规则”会更回得智能和清楚,但“后缀规则”可以用来保证我们Makefile的兼容性。
我们了解了“隐含规则”,可以让其为我们更好的服务,也会让我们知道一些“约定俗成”了的东西,而不至于使得我们在运行Makefile时出现一些我们觉得莫名其妙的东西。当然,任何事物都是矛盾的,水能载舟,亦可覆舟,所以,有时候“隐含规则”也会给我们造成不小的麻烦。只有了解了它,我们才能更好地使用它。
一、使用隐含规则
如果要使用隐含规则生成你需要的目标,你所需要做的就是不要写出这个目标的规则。那么,make会试图去自动推导产生这个目标的规则和命令,如果make可以自动推导生成这个目标的规则和命令,那么这个行为就是隐含规则的自动推导。当然,隐含规则是make事先约定好的一些东西。例如,我们有下面的一个Makefile:
foo : foo.o bar.o
cc –o foo foo.o bar.o $(CFLAGS) $(LDFLAGS)
我们可以注意到,这个Makefile中并没有写下如何生成foo.o和bar.o这两目标的规则和命令。因为make的“隐含规则”功能会自动为我们自动去推导这两个目标的依赖目标和生成命令。
make会在自己的“隐含规则”库中寻找可以用的规则,如果找到,那么就会使用。如果找不到,那么就会报错。在上面的那个例子中,make调用的隐含规则是,把[.o]的目标的依赖文件置成[.c],并使用C的编译命令“cc –c $(CFLAGS) [.c]”来生成[.o]的目标。也就是说,我们完全没有必要写下下面的两条规则:
foo.o : foo.c
cc –c foo.c $(CFLAGS)
bar.o : bar.c
cc –c bar.c $(CFLAGS)
因为,这已经是“约定”好了的事了,make和我们约定好了用C编译器“cc”生成[.o]文件的规则,这就是隐含规则。
当然,如果我们为[.o]文件书写了自己的规则,那么make就不会自动推导并调用隐含规则,它会按照我们写好的规则忠实地执行。
还有,在make的“隐含规则库”中,每一条隐含规则都在库中有其顺序,越靠前的则是越被经常使用的,所以,这会导致我们有些时候即使我们显示地指定了目标依赖,make也不会管。如下面这条规则(没有命令):
foo.o : foo.p
依赖文件“foo.p”(Pascal程序的源文件)有可能变得没有意义。如果目录下存在了“foo.c”文件,那么我们的隐含规则一样会生效,并会通过“foo.c”调用C的编译器生成foo.o文件。因为,在隐含规则中,Pascal的规则出现在C的规则之后,所以,make找到可以生成foo.o的C的规则就不再寻找下一条规则了。如果你确实不希望任何隐含规则推导,那么,你就不要只写出“依赖规则”,而不写命令。
二、隐含规则一览
这里我们将讲述所有预先设置(也就是make内建)的隐含规则,如果我们不明确地写下规则,那么,make就会在这些规则中寻找所需要规则和命令。当然,我们也可以使用make的参数“-r”或“--no-builtin-rules”选项来取消所有的预设置的隐含规则。
当然,即使是我们指定了“-r”参数,某些隐含规则还是会生效,因为有许多的隐含规则都是使用了“后缀规则”来定义的,所以,只要隐含规则中有“后缀列表”(也就一系统定义在目标.SUFFIXES的依赖目标),那么隐含规则就会生效。默认的后缀列表是:.out, .a, .ln, .o, .c, .cc, .C, .p, .f, .F, .r, .y, .l, .s, .S, .mod, .sym, .def, .h, .info, .dvi, .tex, .texinfo, .texi, .txinfo, .w, .ch .web, .sh, .elc, .el。具体的细节,我们会在后面讲述。
还是先来看一看常用的隐含规则吧。
1、编译C程序的隐含规则。
“<n>;.o”的目标的依赖目标会自动推导为“<n>;.c”,并且其生成命令是“$(CC) –c $(CPPFLAGS) $(CFLAGS)”
2、编译C++程序的隐含规则。
“<n>;.o”的目标的依赖目标会自动推导为“<n>;.cc”或是“<n>;.C”,并且其生成命令是“$(CXX) –c $(CPPFLAGS) $(CFLAGS)”。(建议使用“.cc”作为C++源文件的后缀,而不是“.C”)
3、编译Pascal程序的隐含规则。
“<n>;.o”的目标的依赖目标会自动推导为“<n>;.p”,并且其生成命令是“$(PC) –c $(PFLAGS)”。
4、编译Fortran/Ratfor程序的隐含规则。
“<n>;.o”的目标的依赖目标会自动推导为“<n>;.r”或“<n>;.F”或“<n>;.f”,并且其生成命令是:
“.f” “$(FC) –c $(FFLAGS)”
“.F” “$(FC) –c $(FFLAGS) $(CPPFLAGS)”
“.f” “$(FC) –c $(FFLAGS) $(RFLAGS)”
5、预处理Fortran/Ratfor程序的隐含规则。
“<n>;.f”的目标的依赖目标会自动推导为“<n>;.r”或“<n>;.F”。这个规则只是转换Ratfor或有预处理的Fortran程序到一个标准的Fortran程序。其使用的命令是:
“.F” “$(FC) –F $(CPPFLAGS) $(FFLAGS)”
“.r” “$(FC) –F $(FFLAGS) $(RFLAGS)”
6、编译Modula-2程序的隐含规则。
“<n>;.sym”的目标的依赖目标会自动推导为“<n>;.def”,并且其生成命令是:“$(M2C) $(M2FLAGS) $(DEFFLAGS)”。“<n.o>;” 的目标的依赖目标会自动推导为“<n>;.mod”,并且其生成命令是:“$(M2C) $(M2FLAGS) $(MODFLAGS)”。
7、汇编和汇编预处理的隐含规则。
“<n>;.o” 的目标的依赖目标会自动推导为“<n>;.s”,默认使用编译品“as”,并且其生成命令是:“$(AS) $(ASFLAGS)”。“<n>;.s” 的目标的依赖目标会自动推导为“<n>;.S”,默认使用C预编译器“cpp”,并且其生成命令是:“$(AS) $(ASFLAGS)”。
8、链接Object文件的隐含规则。
“<n>;”目标依赖于“<n>;.o”,通过运行C的编译器来运行链接程序生成(一般是“ld”),其生成命令是:“$(CC) $(LDFLAGS) <n>;.o $(LOADLIBES) $(LDLIBS)”。这个规则对于只有一个源文件的工程有效,同时也对多个Object文件(由不同的源文件生成)的也有效。例如如下规则:
x : y.o z.o
并且“x.c”、“y.c”和“z.c”都存在时,隐含规则将执行如下命令:
cc -c x.c -o x.o
cc -c y.c -o y.o
cc -c z.c -o z.o
cc x.o y.o z.o -o x
rm -f x.o
rm -f y.o
rm -f z.o
如果没有一个源文件(如上例中的x.c)和你的目标名字(如上例中的x)相关联,那么,你最好写出自己的生成规则,不然,隐含规则会报错的。
9、Yacc C程序时的隐含规则。
“<n>;.c”的依赖文件被自动推导为“n.y”(Yacc生成的文件),其生成命令是:“$(YACC) $(YFALGS)”。(“Yacc”是一个语法分析器,关于其细节请查看相关资料)
10、Lex C程序时的隐含规则。
“<n>;.c”的依赖文件被自动推导为“n.l”(Lex生成的文件),其生成命令是:“$(LEX) $(LFALGS)”。(关于“Lex”的细节请查看相关资料)
11、Lex Ratfor程序时的隐含规则。
“<n>;.r”的依赖文件被自动推导为“n.l”(Lex生成的文件),其生成命令是:“$(LEX) $(LFALGS)”。
12、从C程序、Yacc文件或Lex文件创建Lint库的隐含规则。
“<n>;.ln” (lint生成的文件)的依赖文件被自动推导为“n.c”,其生成命令是:“$(LINT) $(LINTFALGS) $(CPPFLAGS) -i”。对于“<n>;.y”和“<n>;.l”也是同样的规则。
三、隐含规则使用的变量
在隐含规则中的命令中,基本上都是使用了一些预先设置的变量。你可以在你的makefile中改变这些变量的值,或是在make的命令行中传入这些值,或是在你的环境变量中设置这些值,无论怎么样,只要设置了这些特定的变量,那么其就会对隐含规则起作用。当然,你也可以利用make的“-R”或“--no–builtin-variables”参数来取消你所定义的变量对隐含规则的作用。
例如,第一条隐含规则——编译C程序的隐含规则的命令是“$(CC) –c $(CFLAGS) $(CPPFLAGS)”。Make默认的编译命令是“cc”,如果你把变量“$(CC)”重定义成“gcc”,把变量“$(CFLAGS)”重定义成“-g”,那么,隐含规则中的命令全部会以“gcc –c -g $(CPPFLAGS)”的样子来执行了。
我们可以把隐含规则中使用的变量分成两种:一种是命令相关的,如“CC”;一种是参数相的关,如“CFLAGS”。下面是所有隐含规则中会用到的变量:
1、关于命令的变量。
函数库打包程序。默认命令是“ar”。
汇编语言编译程序。默认命令是“as”。
C语言编译程序。默认命令是“cc”。
C++语言编译程序。默认命令是“g++”。
从 RCS文件中扩展文件程序。默认命令是“co”。
C程序的预处理器(输出是标准输出设备)。默认命令是“$(CC) –E”。
Fortran 和 Ratfor 的编译器和预处理程序。默认命令是“f77”。
从SCCS文件中扩展文件的程序。默认命令是“get”。
Lex方法分析器程序(针对于C或Ratfor)。默认命令是“lex”。
Pascal语言编译程序。默认命令是“pc”。
Yacc文法分析器(针对于C程序)。默认命令是“yacc”。
YACCR
Yacc文法分析器(针对于Ratfor程序)。默认命令是“yacc –r”。
MAKEINFO
转换Texinfo源文件(.texi)到Info文件程序。默认命令是“makeinfo”。
从TeX源文件创建TeX DVI文件的程序。默认命令是“tex”。
TEXI2DVI
从Texinfo源文件创建军TeX DVI 文件的程序。默认命令是“texi2dvi”。
WEAVE
转换Web到TeX的程序。默认命令是“weave”。
CWEAVE
转换C Web 到 TeX的程序。默认命令是“cweave”。
TANGLE
转换Web到Pascal语言的程序。默认命令是“tangle”。
CTANGLE
转换C Web 到 C。默认命令是“ctangle”。
删除文件命令。默认命令是“rm –f”。
2、关于命令参数的变量
下面的这些变量都是相关上面的命令的参数。如果没有指明其默认值,那么其默认值都是空。
ARFLAGS
函数库打包程序AR命令的参数。默认值是“rv”。
ASFLAGS
汇编语言编译器参数。(当明显地调用“.s”或“.S”文件时)。
CFLAGS
C语言编译器参数。
CXXFLAGS
C++语言编译器参数。
COFLAGS
RCS命令参数。
CPPFLAGS
C预处理器参数。( C 和 Fortran 编译器也会用到)。
FFLAGS
Fortran语言编译器参数。
GFLAGS
SCCS “get”程序参数。
LDFLAGS
链接器参数。(如:“ld”)
LFLAGS
Lex文法分析器参数。
PFLAGS
Pascal语言编译器参数。
RFLAGS
Ratfor 程序的Fortran 编译器参数。
YFLAGS
Yacc文法分析器参数。
四、隐含规则链
有些时候,一个目标可能被一系列的隐含规则所作用。例如,一个[.o]的文件生成,可能会是先被Yacc的[.y]文件先成[.c],然后再被C的编译器生成。我们把这一系列的隐含规则叫做“隐含规则链”。
在上面的例子中,如果文件[.c]存在,那么就直接调用C的编译器的隐含规则,如果没有[.c]文件,但有一个[.y]文件,那么Yacc的隐含规则会被调用,生成[.c]文件,然后,再调用C编译的隐含规则最终由[.c]生成[.o]文件,达到目标。
我们把这种[.c]的文件(或是目标),叫做中间目标。不管怎么样,make会努力自动推导生成目标的一切方法,不管中间目标有多少,其都会执着地把所有的隐含规则和你书写的规则全部合起来分析,努力达到目标,所以,有些时候,可能会让你觉得奇怪,怎么我的目标会这样生成?怎么我的makefile发疯了?
在默认情况下,对于中间目标,它和一般的目标有两个地方所不同:第一个不同是除非中间的目标不存在,才会引发中间规则。第二个不同的是,只要目标成功产生,那么,产生最终目标过程中,所产生的中间目标文件会被以“rm -f”删除。
通常,一个被makefile指定成目标或是依赖目标的文件不能被当作中介。然而,你可以明显地说明一个文件或是目标是中介目标,你可以使用伪目标“.INTERMEDIATE”来强制声明。(如:.INTERMEDIATE : mid )
你也可以阻止make自动删除中间目标,要做到这一点,你可以使用伪目标“.SECONDARY”来强制声明(如:.SECONDARY : sec)。你还可以把你的目标,以模式的方式来指定(如:%.o)成伪目标“.PRECIOUS”的依赖目标,以保存被隐含规则所生成的中间文件。
在“隐含规则链”中,禁止同一个目标出现两次或两次以上,这样一来,就可防止在make自动推导时出现无限递归的情况。
Make会优化一些特殊的隐含规则,而不生成中间文件。如,从文件“foo.c”生成目标程序“foo”,按道理,make会编译生成中间文件“foo.o”,然后链接成“foo”,但在实际情况下,这一动作可以被一条“cc”的命令完成(cc –o foo foo.c),于是优化过的规则就不会生成中间文件。 gunguymadman 回复于:2004-09-16 12:26:11
五、定义模式规则
你可以使用模式规则来定义一个隐含规则。一个模式规则就好像一个一般的规则,只是在规则中,目标的定义需要有"%"字符。"%"的意思是表示一个或多个任意字符。在依赖目标中同样可以使用"%",只是依赖目标中的"%"的取值,取决于其目标。
有一点需要注意的是,"%"的展开发生在变量和函数的展开之后,变量和函数的展开发生在make载入Makefile时,而模式规则中的"%"则发生在运行时。
1、模式规则介绍
模式规则中,至少在规则的目标定义中要包含"%",否则,就是一般的规则。目标中的"%"定义表示对文件名的匹配,"%"表示长度任意的非空字符串。例如:"%.c"表示以".c"结尾的文件名(文件名的长度至少为3),而"s.%.c"则表示以"s."开头,".c"结尾的文件名(文件名的长度至少为5)。
如果"%"定义在目标中,那么,目标中的"%"的值决定了依赖目标中的"%"的值,也就是说,目标中的模式的"%"决定了依赖目标中"%"的样子。例如有一个模式规则如下:
%.o : %.c ; <command ......>;
其含义是,指出了怎么从所有的[.c]文件生成相应的[.o]文件的规则。如果要生成的目标是"a.o b.o",那么"%c"就是"a.c b.c"。
一旦依赖目标中的"%"模式被确定,那么,make会被要求去匹配当前目录下所有的文件名,一旦找到,make就会规则下的命令,所以,在模式规则中,目标可能会是多个的,如果有模式匹配出多个目标,make就会产生所有的模式目标,此时,make关心的是依赖的文件名和生成目标的命令这两件事。
2、模式规则示例
下面这个例子表示了,把所有的[.c]文件都编译成[.o]文件.
%.o : %.c
$(CC) -c $(CFLAGS) $(CPPFLAGS) $< -o $@
其中,"$@"表示所有的目标的挨个值,"$<"表示了所有依赖目标的挨个值。这些奇怪的变量我们叫"自动化变量",后面会详细讲述。
下面的这个例子中有两个目标是模式的:
%.tab.c %.tab.h: %.y
bison -d $<
这条规则告诉make把所有的[.y]文件都以"bison -d <n>;.y"执行,然后生成"<n>;.tab.c"和"<n>;.tab.h"文件。(其中,"<n>;"表示一个任意字符串)。如果我们的执行程序"foo"依赖于文件"parse.tab.o"和"scan.o",并且文件"scan.o"依赖于文件"parse.tab.h",如果"parse.y"文件被更新了,那么根据上述的规则,"bison -d parse.y"就会被执行一次,于是,"parse.tab.o"和"scan.o"的依赖文件就齐了。(假设,"parse.tab.o"由"parse.tab.c"生成,和"scan.o"由"scan.c"生成,而"foo"由"parse.tab.o"和"scan.o"链接生成,而且foo和其[.o]文件的依赖关系也写好,那么,所有的目标都会得到满足)
3、自动化变量
在上述的模式规则中,目标和依赖文件都是一系例的文件,那么我们如何书写一个命令来完成从不同的依赖文件生成相应的目标?因为在每一次的对模式规则的解析时,都会是不同的目标和依赖文件。
自动化变量就是完成这个功能的。在前面,我们已经对自动化变量有所提涉,相信你看到这里已对它有一个感性认识了。所谓自动化变量,就是这种变量会把模式中所定义的一系列的文件自动地挨个取出,直至所有的符合模式的文件都取完了。这种自动化变量只应出现在规则的命令中。
下面是所有的自动化变量及其说明:
表示规则中的目标文件集。在模式规则中,如果有多个目标,那么,"$@"就是匹配于目标中模式定义的集合。
仅当目标是函数库文件中,表示规则中的目标成员名。例如,如果一个目标是"foo.a(bar.o)",那么,"$%"就是"bar.o","$@"就是"foo.a"。如果目标不是函数库文件(Unix下是[.a],Windows下是[.lib]),那么,其值为空。
$<
依赖目标中的第一个目标名字。如果依赖目标是以模式(即"%")定义的,那么"$<"将是符合模式的一系列的文件集。注意,其是一个一个取出来的。
所有比目标新的依赖目标的集合。以空格分隔。
所有的依赖目标的集合。以空格分隔。如果在依赖目标中有多个重复的,那个这个变量会去除重复的依赖目标,只保留一份。
这个变量很像"$^",也是所有依赖目标的集合。只是它不去除重复的依赖目标。
这个变量表示目标模式中"%"及其之前的部分。如果目标是"dir/a.foo.b",并且目标的模式是"a.%.b",那么,"$*"的值就是"dir/a.foo"。这个变量对于构造有关联的文件名是比较有较。如果目标中没有模式的定义,那么"$*"也就不能被推导出,但是,如果目标文件的后缀是make所识别的,那么"$*"就是除了后缀的那一部分。例如:如果目标是"foo.c",因为".c"是make所能识别的后缀名,所以,"$*"的值就是"foo"。这个特性是GNU make的,很有可能不兼容于其它版本的make,所以,你应该尽量避免使用"$*",除非是在隐含规则或是静态模式中。如果目标中的后缀是make所不能识别的,那么"$*"就是空值。
当你希望只对更新过的依赖文件进行操作时,"$?"在显式规则中很有用,例如,假设有一个函数库文件叫"lib",其由其它几个object文件更新。那么把object文件打包的比较有效率的Makefile规则是:
lib : foo.o bar.o lose.o win.o
ar r lib $?
在上述所列出来的自动量变量中。四个变量($@、$<、$%、$*)在扩展时只会有一个文件,而另三个的值是一个文件列表。这七个自动化变量还可以取得文件的目录名或是在当前目录下的符合模式的文件名,只需要搭配上"D"或"F"字样。这是GNU make中老版本的特性,在新版本中,我们使用函数"dir"或"notdir"就可以做到了。"D"的含义就是Directory,就是目录,"F"的含义就是File,就是文件。
下面是对于上面的七个变量分别加上"D"或是"F"的含义:
$(@D)
表示"$@"的目录部分(不以斜杠作为结尾),如果"$@"值是"dir/foo.o",那么"$(@D)"就是"dir",而如果"$@"中没有包含斜杠的话,其值就是"."(当前目录)。
$(@F)
表示"$@"的文件部分,如果"$@"值是"dir/foo.o",那么"$(@F)"就是"foo.o","$(@F)"相当于函数"$(notdir $@)"。
"$(*D)"
"$(*F)"
和上面所述的同理,也是取文件的目录部分和文件部分。对于上面的那个例子,"$(*D)"返回"dir",而"$(*F)"返回"foo"
"$(%D)"
"$(%F)"
分别表示了函数包文件成员的目录部分和文件部分。这对于形同"archive(member)"形式的目标中的"member"中包含了不同的目录很有用。
"$(<D)"
"$(<F)"
分别表示依赖文件的目录部分和文件部分。
"$(^D)"
"$(^F)"
分别表示所有依赖文件的目录部分和文件部分。(无相同的)
"$(+D)"
"$(+F)"
分别表示所有依赖文件的目录部分和文件部分。(可以有相同的)
"$(?D)"
"$(?F)"
分别表示被更新的依赖文件的目录部分和文件部分。
最后想提醒一下的是,对于"$<",为了避免产生不必要的麻烦,我们最好给$后面的那个特定字符都加上圆括号,比如,"$(<)"就要比"$<"要好一些。
还得要注意的是,这些变量只使用在规则的命令中,而且一般都是"显式规则"和"静态模式规则"(参见前面"书写规则"一章)。其在隐含规则中并没有意义。
4、模式的匹配
一般来说,一个目标的模式有一个有前缀或是后缀的"%",或是没有前后缀,直接就是一个"%"。因为"%"代表一个或多个字符,所以在定义好了的模式中,我们把"%"所匹配的内容叫做"茎",例如"%.c"所匹配的文件"test.c"中"test"就是"茎"。因为在目标和依赖目标中同时有"%"时,依赖目标的"茎"会传给目标,当做目标中的"茎"。
当一个模式匹配包含有斜杠(实际也不经常包含)的文件时,那么在进行模式匹配时,目录部分会首先被移开,然后进行匹配,成功后,再把目录加回去。在进行"茎"的传递时,我们需要知道这个步骤。例如有一个模式"e%t",文件"src/eat"匹配于该模式,于是"src/a"就是其"茎",如果这个模式定义在依赖目标中,而被依赖于这个模式的目标中又有个模式"c%r",那么,目标就是"src/car"。("茎"被传递)
5、重载内建隐含规则
你可以重载内建的隐含规则(或是定义一个全新的),例如你可以重新构造和内建隐含规则不同的命令,如:
%.o : %.c
$(CC) -c $(CPPFLAGS) $(CFLAGS) -D$(date)
你可以取消内建的隐含规则,只要不在后面写命令就行。如:
%.o : %.s
同样,你也可以重新定义一个全新的隐含规则,其在隐含规则中的位置取决于你在哪里写下这个规则。朝前的位置就靠前。
六、老式风格的"后缀规则"
后缀规则是一个比较老式的定义隐含规则的方法。后缀规则会被模式规则逐步地取代。因为模式规则更强更清晰。为了和老版本的Makefile兼容,GNU make同样兼容于这些东西。后缀规则有两种方式:"双后缀"和"单后缀"。
双后缀规则定义了一对后缀:目标文件的后缀和依赖目标(源文件)的后缀。如".c.o"相当于"%o : %c"。单后缀规则只定义一个后缀,也就是源文件的后缀。如".c"相当于"% : %.c"。
后缀规则中所定义的后缀应该是make所认识的,如果一个后缀是make所认识的,那么这个规则就是单后缀规则,而如果两个连在一起的后缀都被make所认识,那就是双后缀规则。例如:".c"和".o"都是make所知道。因而,如果你定义了一个规则是".c.o"那么其就是双后缀规则,意义就是".c"是源文件的后缀,".o"是目标文件的后缀。如下示例:
.c.o:
$(CC) -c $(CFLAGS) $(CPPFLAGS) -o $@ $<
后缀规则不允许任何的依赖文件,如果有依赖文件的话,那就不是后缀规则,那些后缀统统被认为是文件名,如:
.c.o: foo.h
$(CC) -c $(CFLAGS) $(CPPFLAGS) -o $@ $<
这个例子,就是说,文件".c.o"依赖于文件"foo.h",而不是我们想要的这样:
%.o: %.c foo.h
$(CC) -c $(CFLAGS) $(CPPFLAGS) -o $@ $<
后缀规则中,如果没有命令,那是毫无意义的。因为他也不会移去内建的隐含规则。
而要让make知道一些特定的后缀,我们可以使用伪目标".SUFFIXES"来定义或是删除,如:
.SUFFIXES: .hack .win
把后缀.hack和.win加入后缀列表中的末尾。
.SUFFIXES: # 删除默认的后缀
.SUFFIXES: .c .o .h # 定义自己的后缀
先清楚默认后缀,后定义自己的后缀列表。
make的参数"-r"或"-no-builtin-rules"也会使用得默认的后缀列表为空。而变量"SUFFIXE"被用来定义默认的后缀列表,你可以用".SUFFIXES"来改变后缀列表,但请不要改变变量"SUFFIXE"的值。
七、隐含规则搜索算法
比如我们有一个目标叫 T。下面是搜索目标T的规则的算法。请注意,在下面,我们没有提到后缀规则,原因是,所有的后缀规则在Makefile被载入内存时,会被转换成模式规则。如果目标是"archive(member)"的函数库文件模式,那么这个算法会被运行两次,第一次是找目标T,如果没有找到的话,那么进入第二次,第二次会把"member"当作T来搜索。
1、把T的目录部分分离出来。叫D,而剩余部分叫N。(如:如果T是"src/foo.o",那么,D就是"src/",N就是"foo.o")
2、创建所有匹配于T或是N的模式规则列表。
3、如果在模式规则列表中有匹配所有文件的模式,如"%",那么从列表中移除其它的模式。
4、移除列表中没有命令的规则。
5、对于第一个在列表中的模式规则:
1)推导其"茎"S,S应该是T或是N匹配于模式中"%"非空的部分。
2)计算依赖文件。把依赖文件中的"%"都替换成"茎"S。如果目标模式中没有包含斜框字符,而把D加在第一个依赖文件的开头。
3)测试是否所有的依赖文件都存在或是理当存在。(如果有一个文件被定义成另外一个规则的目标文件,或者是一个显式规则的依赖文件,那么这个文件就叫"理当存在")
4)如果所有的依赖文件存在或是理当存在,或是就没有依赖文件。那么这条规则将被采用,退出该算法。
6、如果经过第5步,没有模式规则被找到,那么就做更进一步的搜索。对于存在于列表中的第一个模式规则:
1)如果规则是终止规则,那就忽略它,继续下一条模式规则。
2)计算依赖文件。(同第5步)
3)测试所有的依赖文件是否存在或是理当存在。
4)对于不存在的依赖文件,递归调用这个算法查找他是否可以被隐含规则找到。
5)如果所有的依赖文件存在或是理当存在,或是就根本没有依赖文件。那么这条规则被采用,退出该算法。
7、如果没有隐含规则可以使用,查看".DEFAULT"规则,如果有,采用,把".DEFAULT"的命令给T使用。
一旦规则被找到,就会执行其相当的命令,而此时,我们的自动化变量的值才会生成。 gunguymadman 回复于:2004-09-16 12:26:44
使用make更新函数库文件
———————————
函数库文件也就是对Object文件(程序编译的中间文件)的打包文件。在Unix下,一般是由命令"ar"来完成打包工作。
一、函数库文件的成员
一个函数库文件由多个文件组成。你可以以如下格式指定函数库文件及其组成:
archive(member)
这个不是一个命令,而一个目标和依赖的定义。一般来说,这种用法基本上就是为了"ar"命令来服务的。如:
foolib(hack.o) : hack.o
ar cr foolib hack.o
如果要指定多个member,那就以空格分开,如:
foolib(hack.o kludge.o)
其等价于:
foolib(hack.o) foolib(kludge.o)
你还可以使用Shell的文件通配符来定义,如:
foolib(*.o)
二、函数库成员的隐含规则
当make搜索一个目标的隐含规则时,一个特殊的特性是,如果这个目标是"a(m)"形式的,其会把目标变成"(m)"。于是,如果我们的成员是"%.o"的模式定义,并且如果我们使用"make foo.a(bar.o)"的形式调用Makefile时,隐含规则会去找"bar.o"的规则,如果没有定义bar.o的规则,那么内建隐含规则生效,make会去找bar.c文件来生成bar.o,如果找得到的话,make执行的命令大致如下:
cc -c bar.c -o bar.o
ar r foo.a bar.o
rm -f bar.o
还有一个变量要注意的是"$%",这是专属函数库文件的自动化变量,有关其说明请参见"自动化变量"一节。
三、函数库文件的后缀规则
你可以使用"后缀规则"和"隐含规则"来生成函数库打包文件,如:
.c.a:
$(CC) $(CFLAGS) $(CPPFLAGS) -c $< -o $*.o
$(AR) r $@ $*.o
$(RM) $*.o
其等效于:
(%.o) : %.c
$(CC) $(CFLAGS) $(CPPFLAGS) -c $< -o $*.o
$(AR) r $@ $*.o
$(RM) $*.o
四、注意事项
在进行函数库打包文件生成时,请小心使用make的并行机制("-j"参数)。如果多个ar命令在同一时间运行在同一个函数库打包文件上,就很有可以损坏这个函数库文件。所以,在make未来的版本中,应该提供一种机制来避免并行操作发生在函数打包文件上。
但就目前而言,你还是应该不要尽量不要使用"-j"参数。
终于到写结束语的时候了,以上基本上就是GNU make的Makefile的所有细节了。其它的产商的make基本上也就是这样的,无论什么样的make,都是以文件的依赖性为基础的,其基本是都是遵循一个标准的。这篇文档中80%的技术细节都适用于任何的make,我猜测"函数"那一章的内容可能不是其它make所支持的,而隐含规则方面,我想不同的make会有不同的实现,我没有精力来查看GNU的make和VC的nmake、BCB的make,或是别的UNIX下的make有些什么样的差别,一是时间精力不够,二是因为我基本上都是在Unix下使用make,以前在SCO Unix和IBM的AIX,现在在Linux、Solaris、HP-UX、AIX和Alpha下使用,Linux和Solaris下更多一点。不过,我可以肯定的是,在Unix下的make,无论是哪种平台,几乎都使用了Richard Stallman开发的make和cc/gcc的编译器,而且,基本上都是GNU的make(公司里所有的UNIX机器上都被装上了GNU的东西,所以,使用GNU的程序也就多了一些)。GNU的东西还是很不错的,特别是使用得深了以后,越来越觉得GNU的软件的强大,也越来越觉得GNU的在操作系统中(主要是Unix,甚至Windows)"杀伤力"。
对于上述所有的make的细节,我们不但可以利用make这个工具来编译我们的程序,还可以利用make来完成其它的工作,因为规则中的命令可以是任何Shell之下的命令,所以,在Unix下,你不一定只是使用程序语言的编译器,你还可以在Makefile中书写其它的命令,如:tar、awk、mail、sed、cvs、compress、ls、rm、yacc、rpm、ftp……等等,等等,来完成诸如"程序打包"、"程序备份"、"制作程序安装包"、"提交代码"、"使用程序模板"、"合并文件"等等五花八门的功能,文件操作,文件管理,编程开发设计,或是其它一些异想天开的东西。比如,以前在书写银行交易程序时,由于银行的交易程序基本一样,就见到有人书写了一些交易的通用程序模板,在该模板中把一些网络通讯、数据库操作的、业务操作共性的东西写在一个文件中,在这些文件中用些诸如"@@@N、###N"奇怪字串标注一些位置,然后书写交易时,只需按照一种特定的规则书写特定的处理,最后在make时,使用awk和sed,把模板中的"@@@N、###N"等字串替代成特定的程序,形成C文件,然后再编译。这个动作很像数据库的"扩展C"语言(即在C语言中用"EXEC SQL"的样子执行SQL语句,在用cc/gcc编译之前,需要使用"扩展C"的翻译程序,如cpre,把其翻译成标准C)。如果你在使用make时有一些更为绝妙的方法,请记得告诉我啊。
回头看看整篇文档,不觉记起几年前刚刚开始在Unix下做开发的时候,有人问我会不会写Makefile时,我两眼发直,根本不知道在说什么。一开始看到别人在vi中写完程序后输入"!make"时,还以为是vi的功能,后来才知道有一个Makefile在作怪,于是上网查啊查,那时又不愿意看英文,发现就根本没有中文的文档介绍Makefile,只得看别人写的Makefile,自己瞎碰瞎搞才积累了一点知识,但在很多地方完全是知其然不知所以然。后来开始从事UNIX下产品软件的开发,看到一个400人年,近200万行代码的大工程,发现要编译这样一个庞然大物,如果没有Makefile,那会是多么恐怖的一样事啊。于是横下心来,狠命地读了一堆英文文档,才觉得对其掌握了。但发现目前网上对Makefile介绍的文章还是少得那么的可怜,所以想写这样一篇文章,共享给大家,希望能对各位有所帮助。
现在我终于写完了,看了看文件的创建时间,这篇技术文档也写了两个多月了。发现,自己知道是一回事,要写下来,跟别人讲述又是另外一回事,而且,现在越来越没有时间专研技术细节,所以在写作时,发现在阐述一些细节问题时很难做到严谨和精练,而且对先讲什么后讲什么不是很清楚,所以,还是参考了一些国外站点上的资料和题纲,以及一些技术书籍的语言风格,才得以完成。整篇文档的提纲是基于GNU的Makefile技术手册的提纲来书写的,并结合了自己的工作经验,以及自己的学习历程。因为从来没有写过这么长,这么细的文档,所以一定会有很多地方存在表达问题,语言歧义或是错误。因些,我迫切地得等待各位给我指证和建议,以及任何的反馈。
最后,还是利用这个后序,介绍一下自己。我目前从事于所有Unix平台下的软件研发,主要是做分布式计算/网格计算方面的系统产品软件,并且我对于下一代的计算机革命——网格计算非常地感兴趣,对于分布式计算、P2P、Web Service、J2EE技术方向也很感兴趣,同时,对于项目实施、团队管理、项目管理也小有心得,希望同样和我战斗在“技术和管理并重”的阵线上的年轻一代,能够和我多多地交流。我的MSN是:haoel@hotmail.com(常用),QQ是:753640(不常用)。(注:请勿给我MSN的邮箱发信,由于hotmail的垃圾邮件导致我拒收这个邮箱的所有来信)
我欢迎任何形式的交流,无论是讨论技术还是管理,或是其它海阔天空的东西。除了政治和娱乐新闻我不关心,其它只要积极向上的东西我都欢迎!
最最后,我还想介绍一下make程序的设计开发者。
首当其冲的是: Richard Stallman
开源软件的领袖和先驱,从来没有领过一天工资,从来没有使用过Windows操作系统。对于他的事迹和他的软件以及他的思想,我无需说过多的话,相信大家对这个人并不比我陌生,这是他的主页:http://www.stallman.org/ 。这里只贴上一张他的近照:
gunguymadman 回复于:2004-09-16 12:27:15
第二位是:Roland McGrath
个人主页是:http://www.frob.com/~roland/ ,下面是他的一些事迹:
1) 合作编写了并维护GNU make。
2) 和Thomas Bushnell一同编写了GNU Hurd。
3) 编写并维护着GNU C library。
4) 合作编写并维护着部分的GNU Emacs。
在此,向这两位开源项目的斗士致以最真切的敬意。
(全文完) chengliye 回复于:2004-10-03 13:46:45
支持 kj501 回复于:2004-10-03 16:37:45
楼主写得比较完整。不过,现在直接写makefile的机会不多。一般都用autotools生成,较为省事。 ballball2 回复于:2004-10-03 17:52:04
CRAZY!
顶一下! flw 回复于:2004-10-04 16:08:39
内容很全面,语气很中肯。
堪称精华。 dysnake 回复于:2004-10-04 16:14:05
不错,不过我用的较简单,先收藏,以后再看。 jannock_baby 回复于:2004-10-09 11:09:40
好东西啊 半颗心 回复于:2004-10-09 23:03:35
太经典了!!!全存了,顶一下!!!! alfa 回复于:2004-10-10 15:12:46
经典之作,收藏..... carol1980 回复于:2004-10-10 15:58:03
全部融会贯通,能写得这么细致,真是很了得了阿
学习 :) sega6666 回复于:2004-10-10 18:56:35
虽然现在看着很深,但是一定很经典!
楼主厉害,收藏! l_fish 回复于:2004-12-08 11:37:37
好,收藏了 bierdaci 回复于:2004-12-08 12:55:49
已经收藏了 zlrll 回复于:2004-12-08 14:32:01
写得好,要是能提供word版本的下载就更好了 sylssgw 回复于:2004-12-08 16:51:30
太完美了 liujing6484 回复于:2004-12-08 19:09:17
我也已经收藏了,以后会慢慢看的! cnufo 回复于:2005-01-10 00:55:21
perfect! 黄山松 回复于:2005-01-10 10:12:57
超级精华!致意! myjesky 回复于:2005-01-28 16:11:49
顶一把 Jambo 回复于:2005-01-29 01:53:51
收下了,谢谢! :mrgreen: :mrgreen: F117 回复于:2005-01-29 04:06:57
大牛! eagerly1 回复于:2005-01-29 17:07:52
很好,似曾相识的文章啊 winter_82 回复于:2005-03-25 17:49:10
写的非常详细,我学到很多东西,多谢!我会继续看完的! iwhy 回复于:2005-03-25 20:48:48
这个人呆的公司应该不错。 penylee 回复于:2005-03-25 21:12:03
狂顶!!! du-zy 回复于:2005-03-25 22:39:04
谢谢! mcmay 回复于:2005-03-26 14:22:26
谢谢! arthur_ln 回复于:2005-03-26 16:14:25
支持 zhenchiyufei 回复于:2005-04-02 18:27:35
解决了我的困惑!
谢谢! nicle 回复于:2005-04-02 23:41:18
好贴阿!!谢谢楼主!! rhper 回复于:2005-04-13 14:09:24
:D 写得真的很不错,佩服楼主的功力和精神。感谢分享! yzcdf 回复于:2005-04-28 10:42:39
佩服楼主!谢谢! FH 回复于:2005-04-28 10:50:11
这是原文翻译的GNU make使用说明,很多内容和技巧只适用于GNU make。 zqone 回复于:2005-04-28 15:28:16
收藏 homesp 回复于:2005-08-14 17:31:22
好文,收藏了!以前面对一个大点的程序里面好多的源文件不知如何下手,现在明白 了,抓住了程序的MakeFile就可以一步一步去了解程序的实现了
谢谢楼主了 奔腾杨老四 回复于:2005-08-14 23:39:12
太好了呀.正是我需要的. gushu 回复于:2005-08-15 15:42:15
好文 mike_chen 回复于:2005-08-16 10:33:04
支持一下! ouyangcamel 回复于:2005-08-16 10:50:06
写得真的很不错,佩服楼主的功力和精神。感谢分享! sway2004009 回复于:2005-08-18 20:54:15
虽然说少说废话。
但是这次我还是要顶一把。
另外那两位先驱, 致敬!!!! mrs 回复于:2005-10-08 11:26:45
very good pinkme005 回复于:2005-10-13 12:55:04
极品..慢慢看...... redspider 回复于:2005-10-13 19:06:00
做个记号先 hjpure 回复于:2005-10-21 16:15:51
真好,经典
LZ是好人,LZ是牛人!!
致敬 伊人远去 回复于:2005-11-25 09:10:02
绝对经典,放入宝箱。 bombzhao 回复于:2005-11-25 16:36:39
除了顶!我还能说些什么? balabalacha 回复于:2005-11-25 21:33:10
收藏先,明天看,谢谢楼主MM tongyizhu 回复于:2005-11-28 23:52:54
好东西哦!尤其前面一部分,通俗易懂! daining 回复于:2005-12-02 16:08:43
楼主文章由浅入深,娓娓道来,内容详实,尤其是楼主的热心,专业,在下深为佩服,文章已收藏,谢谢!! wuname 回复于:2005-12-02 16:33:54
好呀顶~~ jack123123 回复于:2005-12-06 08:22:16
虽然感觉像是翻译的,但即使是翻译的也非常不容易,特别是为大家服务的精神,谢谢。 turnel 回复于:2005-12-06 22:04:41
经典 play123456 回复于:2005-12-07 16:54:39
我整理了一个pdf的下载档:
http://bbs.chinaunix.net/viewthread.php?tid=659871&fpage=1 scc258869 回复于:2005-12-23 17:54:37
谢谢楼主! xinmencuoxue 回复于:2005-12-23 22:00:01
吐血狂顶,正是我最近需要的 llhlily 回复于:2005-12-28 17:53:26
感谢楼主!:lol: long.wu 回复于:2005-12-28 19:43:25
Very educating, Thanks! sickcat2004 回复于:2006-01-03 13:48:09
:mrgreen::mrgreen::mrgreen:不顶对不起stallman 和lz阿:P:P:P sdemon915 回复于:2006-01-18 21:49:03
断断续续看了几天,收获很大,希望lz还能带来更多的好文章 raidenlee 回复于:2006-01-19 13:12:53
太好了,正好在找这方面的东西,谢谢LZ! aitongqi017 回复于:2006-02-24 15:12:12
谢谢了!!! net_robber 回复于:2006-02-24 19:42:16
我晕,这么长??够完整的 buguanshui 回复于:2006-02-24 22:08:47
作者好像在《纯c论坛》上发表过,但是没有这个全,
呵呵,我用的makefile简单,先收藏,以后用到了再看 floriawll 回复于:2006-03-03 10:50:06
非常实用!谢谢了! turnel 回复于:2006-03-04 11:16:25
非常感谢,很实用 achlice 回复于:2006-03-14 20:58:22
精典! 轩辕砍刀 回复于:2006-03-14 21:00:40
牛人 a_mug 回复于:2006-03-14 22:47:38
致敬!!!! robin10 回复于:2006-04-14 17:57:17
非常感谢~~~~!!!!
写的很很很好。。。 125466983 回复于:2006-04-15 00:25:17
太感谢了:D:D:D chinarouter 回复于:2006-06-19 19:37:28
高手写的就是好,深入,透彻. navylong 回复于:2006-06-28 11:21:47
非常感谢楼主 成长的企鹅 回复于:2006-07-01 13:14:14
非常不错! hippies 回复于:2006-11-17 18:19:22
确实很经典,现在中文的makefile资料比较少,
虽说automake很方便,但还是必须要理解的,读别人的程序如果不看makefile的话就很麻烦了, leomm 回复于:2007-01-03 10:47:09
写的太好了,佩服! pqxpqx 回复于:2007-01-04 11:15:08
终于找到了一片不错的makefile文章,版主的辛苦我是理解,我在刚接触unix的时候看到人家在用makefile的时候好是羡慕,自己在网上找资料和查找图书结果也没有找到好的文章,后来自己就研究人家写的makefile,积累了一点经验,现在看到你的文章,更是好像久在沙漠的旅行人,遇到了一片绿洲的感觉,多谢版主!
本文转自jiahuafu博客园博客,原文链接http://www.cnblogs.com/jiahuafu/archive/2009/09/16/1567775.html如需转载请自行联系原作者
jiahuafu
Python资源大全
The Python Tutorial (Python 2.7.11) 的中文翻译版本。Python Tutorial 为初学 Python 必备官方教程,本教程适用于 Python 2.7.X 系列。
在线阅读 » Fork Me »
The Python Tutorial (Python 3.5.1) 的中文翻译版本。Python Tutorial 为初学 Python 必备官方教程,本教程适用于 Python 3.5.x。
在线阅读 » Fork Me »
Django - Django。
Channels - Channels旨在增强Django的异步能力,同时让Django不仅仅局限于Request-Response模型,能够支持WebSocket、HTTP2推送和背景任务。2015年出现的十大流行Python库 。
Django-Baker - Django Baker可以帮助开发者快速启动项目。只要提供app名称,Django Baker就可以根据models.py文件中的models,自动生成视图、表单、URL、admin页面以及模板。2015年出现的十大流行Python库 。
Django-Q - Django Q是一个原生Django分布式任务队列处理应用,通过Python的mutliprocessing模块功能实现。2015年出现的十大流行Python库 。
django-webpack-loader - Django webpack loader对webpack-bundle-tracker的输出结果进行处理,让你可以在自己的Django应用中使用生成的bundles。2015年出现的十大流行Python库 。
django-hackathon-starter - django-hackathon-starter这是一个Django Web应用模板程序,可以帮助你快速生成应用。必定能够为你节省大量的开发时间,同时这个库也能用作开发者的学习指南。2015年出现的十大流行Python库 。
django-seed - Django-seed通过faker库,为Django模型生成测试数据。该库支持Python和Django的最新版本。2015年出现的十大流行Python库 。
django-tenants - django-tenants让django驱动的网站支持多个tenants,这个功能时通过PostgreSQL schemas实现的。这是每个SASS(软件即服务)网站的核心功能。2015年出现的十大流行Python库 。
Python+Django构建的Blog - 基于Python+Django构建的Blog http://xushvai.github.io/io/
LibraryManagement - LibraryManagement图书管理系统(Django1.9.1+Bootstrap3)。
Flask
flask - flask, 官方教程中文翻译1 ,官方教程中文翻译2,Flask使用小结,Flask开发团队Pocoo的内部编码风格指南| 编程派 | Coding Python.html。
Tornado
tornado - tornado是非阻塞式 Web 服务器框架,而且速度相当快。官网,Introduction to Tornado 中文翻译 , 中文教程。
其他网页框架
Bottle - Bottle是一个小型的轻量网络开发框架,同时速度也很快。
Wooey - Wooey 是一个简单的Python脚本的Web UI 界面。它能够提供日常数据分析,文件处理等功能。2015年出现的十大流行Python库 。
用户图形接口相关
pyglet - Pyglet是一个纯Python语言编写的跨平台框架,用于开发多媒体和窗口特效应用。
kivy - Kivy 是一个开源工具包能够让使用相同源代码创建的程序能跨平台运行。它主要关注创新型用户界面开发,如:多点触摸应用程序。Kivy 还提供一个多点触摸鼠标模拟器。基于 Cython(C extensions for Python) 构建,当前支持的平台包括:Linux、Windows、Mac OS X和Android。
Py2exe - 把Python脚本转换为windows平台上面可以运行的可执行程序(*.exe)的工具,通过修改源码可以支持python3.0的代码。
pyinstaller - 把Python脚本转换为能直接运行的可执行文件,支持python2.7、python3.3-3.5,支持Windows (32-bit and 64-bit)、Linux (32-bit and 64-bit)、Mac OS X (32-bit and 64-bit)平台。
cx_Freeze - 把Python脚本转换为能直接运行的可执行文件,支持python3.x,特别简单。
Tkinter - Tkinter的是Tk的GUI工具包,与Python附带的Python接口。
wxPython - wxPython一个开源的Python接口的wxWindows。
PyQt - PyQt是一个创建GUI应用程序的工具包。它是Python编程语言和Qt库的成功融合。Qt库是目前最强大的库之一。
Eric - Eric一个支持python、Ruby的强大IDE,与PyQt配合功能非常强大。
aiohttp - aiohttp是一个为 asyncio 提供了简洁易用的 HTTP 客户端和服务器的库。
Requests - Requests是python的一个HTTP客户端库,跟urllib,urllib2类似。
数据库相关
SQLAlchemy - SQLAlchemy一个知名企业级的持久化模式的,专为高效率和高性能的数据库访问设计的,改编成一个简单的Python域语言的完整套件。它采用了数据映射模式(像Java中的Hibernate)而不是Active Record模式(像Ruby on Rails的ORM)。
SQLObject - SQLObject是一个介于SQL数据库和Python之间映射对象的Python ORM, 类似于Ruby on Rails的ActiveRecord模式。
Peewee - Peewee是一个小型但是十分强大的库,支持通过ORM的方式访问数据库,原生支持SQLite、MySQL和PostgreSQL等数据库。
pony - pony官网 Pony是一个非常酷和新的 Python ORM ,它能够让你使用Python generators来查询一个数据库。这些generators然后会转成高效的SQL。
asyncmongo - AsyncMongo是基于Tornado iploop的mongo数据库的异步库。
influxdb-python - InfluxDB -python 是一个时间序列数据库,用它来储存不同时间的测量值。通过 RESTFul API,它变得极其易用而且高效,另外,由于其内建了聚类功能,因此对数据的检索和分组也变得十分轻松。
elasticsearch-dsl-py - elasticsearch-dsl-py提供基于JSON的完整的Query DSL查询表达式(DSL即领域专用语言)。
MongoHub-Mac - MongoHub-Mac:mongo 图形化管理工具。
mongotron - mongotron:mongo 图形化管理工具,基于Electron与AngularJS写成。
asyncmongo - AsyncMongo是基于Tornado iploop的mongo数据库的异步库。
游戏服务器端架构升级之路 - 游戏服务器端架构升级之路,参考flask设计的tcp server:haven 、 参考flask设计的tcp server:maple。
高效的Python数据分析框架Ibis - 高效的Python数据分析框架Ibis ibis-project , 通过IPN了解Ibis.
RabbitMQ - 一个工业级的消息队列服务器,RabbitMQ+Python入门经典-兔子和兔子窝
ZeroMQ - 是一个简单好用的传输层socket library,使得 Socket 编程更加简单、简洁和性能更高。
大数据相关
pandas - 为 Python 编程语言提供高性能,易用数据结构和数据分析工具。在数据改动和数据预处理方面,Python 早已名声显赫,但是在数据分析与建模方面,Python 是个短板。Pands 软件就填补了这个空白,能让你用 Python 方便地进行你所有数据的处理,而不用转而选择更主流的专业语言,例如 R 语言。12 个使效率倍增的 Pandas 技巧 上、 下 。
pulp - PuLP 是一个用 Python 编写的线性编程模型。它能产生线性文件,能调用高度优化的求解器,GLPK,COIN CLP/CBC,CPLEX,和GUROBI,来求解这些线性问题。
Matplotlib - Matplotlib是基于 Python 的 2D(数据)绘图库,它产生(输出)出版级质量的图表,用于各种打印纸质的原件格式和跨平台的交互式环境。matplotlib 既可以用在 python 脚本, python 和 ipython 的 shell 界面 (ala MATLAB® 或 Mathematica®),web 应用服务器,和6类 GUI 工具箱。matplotlib 尝试使容易事情变得更容易,使困难事情变为可能。你只需要少量几行代码,就可以生成图表,直方图,能量光谱(power spectra),柱状图,errorcharts,散点图(scatterplots)等。
Scikit-Learn - Scikit-Learn是一个简单有效地数据挖掘和数据分析工具(库)。关于最值得一提的是,它人人可用,重复用于多种语境。它基于 NumPy,SciPy 和 mathplotlib 等构建。
Spark -Spark 由一个驱动程序构成,它运行用户的 main 函数并在聚类上执行多个并行操作。Spark 最吸引人的地方在于它提供的弹性分布数据集(RDD),那是一个按照聚类的节点进行分区的元素的集合,它可以在并行计算中使用。RDDs 可以从一个 Hadoop 文件系统中的文件(或者其他的 Hadoop支持的文件系统的文件)来创建,或者是驱动程序中其他的已经存在的标量数据集合,把它进行变换。用户也许想要 Spark 在内存中永久保存 RDD,来通过并行操作有效地对 RDD 进行复用。最终,RDDs 无法从节点中自动复原。Spark 中第二个吸引人的地方在并行操作中变量的共享。
SciPy - SciPy是一个开源的Python算法库和数学工具包,SciPy包含的模块有最优化、线性代数、积分、插值、特殊函数、快速傅里叶变换、信号 处理和图像处理、常微分方程求解和其他科学与工程中常用的计算。其功能与软件MATLAB、Scilab和GNU Octave类似。Numpy和Scipy常常结合着使用,Python大多数机器学习库都依赖于这两个模块。
NumPy - NumPy几乎是一个无法回避的科学计算工具包,最常用的也许是它的N维数组对象,其他还包括一些成熟的函数库,用于整合C/C++和 Fortran代码的工具包,线性代数、傅里叶变换和随机数生成函数等。NumPy提供了两种基本的对象:ndarray(N-dimensional array object)和 ufunc(universal function object)。ndarray是存储单一数据类型的多维数组,而ufunc则是能够对数组进行处理的函数。
ipython - iPython 是一个Python 的交互式Shell,比默认的Python Shell 好用得多,功能也更强大。 她支持语法高亮、自动完成、代码调试、对象自省,支持 Bash Shell命令,内置了许多很有用的功能和函式等,非常容易使用。默认开启了matploblib的绘图交互,用起来很方便。jupyter-notebook - jupyter官网。
PyML - PyML是一个Python机器学习工具包,为各分类和回归方法提供灵活的架构。它主要提供特征选择、模型选择、组合分类器、分类评估等功能。
gensim - gensim是一种NLP(自然语言处理),它提供了一些常用算法,例如 tf-idf、word2vec、doc2vec、LSA 等的快速、可拓展(内存无关)实现,同时还提供了简单易用的接口和完善的文档。
Blaze - Blaze 是下一代的 NumPy。用于处理分布式的各种不同数据源的计算。
Dask - Dask是一款基于外存的Python 调度工具。它通过将数据集分块处理并根据所拥有的核数分配计算量,这有助于进行大数据并行计算。它主要针对单机的并行计算进程。
GWPY - GWPY一个可以分析引力波数据的Python包。
scrapy - 最出名的网络爬虫,一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。官方主页,Scrapy 轻松定制网络爬虫 - 教程,Scrapy 中文指南 。
BeautifulSoup - Beautifu Soup不完全是一套爬虫工具,需要配合urllib使用,而是一套HTML/XML数据分析,清洗和获取工具。
python-goose - Python-Goose用Python重写,依赖了Beautiful Soup。给定一个文章的URL, 获取文章的标题和内容很方便。
pyspider - PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器。demo地址,网络爬虫剖析,以Pyspider为例 , Scrapy 示例 —— Web 爬虫框架 。
splinter - Python自动化测试工具Splinter,不仅可以当web自动化测试工具 同时也可以当抓取交互式网站的爬虫程序来用的,不用去分析ajax请求数据了,可以模拟登录,用Python开发自动化测试脚本-splinter。
swarm - 是一个简单的使用 gevent 开发的支持自定义协议的长连接压测框架。
PySonar2 - PySonar2王垠开发的,针对 Python 的代码静态分析工具。
Behave - BDD自动化测试框架。
Nose - Nose是最流行的针对Python的测试库之一。简单实例
ibrute - 一个攻击iCloud账户的Python脚本,2014年很多明星的账号就是被这个脚本攻破的,苹果已经修改这个漏洞了。
bruteforce_py - 暴力破解脚本,ssh bf, wordpress bf, cpanel bf, mysql bf, etc ... 可以说是暴力破解大全。
keychain-bruteforce - 暴力破解MAC OS X 的密码管理。
gamblerbfe - 路由器也可以暴力破解了。
AndroidPINCrack - android的pin密码破解。
rarPasswordCrackere - rar加密文件破解。
Python-ZIP-Cracker - zip加密文件破解。
图表及图像相关
vincent - Python 构建的专为运用 D3.js 进行可视化的 vega 转换工具。
Scikit-image - 一组用于图像处理的算法的集合,使图像处理任务如模糊,增强对比度,缩放只需要一些函数调用就可以完成。
PIL - PIL (Python Imaging Library)是 Python 中最常用的图像处理库。
pywebsocketserver - 程序Log实时监控 – python + websocket。
pupy - Pupy是一个远程管理工具(Administration Tool),开源并且支持多个平台。Pupy还内置了一个Python解释器,可以从内存中加载Python包,访问远程Python对象。
Fabric - Fabric 一个通过SSH进行应用部署以及系统任务管理的命令行工具。
Invoke - Invoke让你通过一个Python库便捷地执行系统管理任务。如果你想使用稳定的工具(即使是不再积极开发),可以考虑Invoke的前身——Fabric。
DeployDjango - 不到一分钟安全部署Django应用的脚本,操作教程。
HealthChecks - HealthChecks基于 cron 的监控服务。在 cron 里配置好监控只需要几分钟时间,却能让你晚上睡得更好!2015年出现的十大流行Python库 。
dockerizing-django - 是realpython网站一篇相关教程的代码库,讲的是如何将Django应用Docker化。2015年出现的十大流行Python库 。
用Python脚本实现对Linux服务器的监控 - 用Python脚本实现对Linux服务器的监控。
plumbum控 - plumbum提供了非常易用的语法,可以轻松地以跨平台的方式执行本地或者远程命令,获取输出或者错误代码。还可以组合它们(shell 管道的方式),而且它还提供了创建命令行应用的接口。
virtualenv - virtualenv用来建立一个虚拟的python环境,一个专属于项目的python环境。用virtualenv 来保持一个干净的环境非常有用。
Gunicorn - Gunicorn 是一个Python WSGI UNIX的HTTP服务器。这是一个pre-fork worker的模型,Gunicorn服务器大致与各种Web框架兼容,只需非常简单的执行,轻量级的资源消耗,以及相当迅速,Nginx+Gunicorn+Django 部署小记。
mitmproxy - mitmproxy 是用 Python 和 C 开发的一个中间人代理软件(man-in-the-middle proxy),它可以用来拦截、修改、重放和保存 HTTP/HTTPS 请求。
Sentry - Sentry 是一个实时的事件日志和聚合平台,基于 Django 构建。Sentry 可以帮助你将 Python 程序的所有 exception 自动记录下来,然后在一个好用的 UI 上呈现和搜索。
newrelic - newrelic性能监控的好工具,国内有;云智慧、ONE APM。
ipapy - iOS项目自动打包脚本,并且上传到fir.im,然后发送邮件给测试人员。
图片自动发邮箱 - 报警图片自动发邮箱功能。
自动更新树莓派的内网、外网IP地址到 自己的github上 - 自动更新树莓派的内网、外网IP地址到 自己的github。
rpi-start - 树莓派初始配置指南(2代B型)。
RaspberryWechatPi - 基于树莓派的智能家居控制平台 微信服务端。
dotbro-server - 瀑布IM 开源点歌系统,架设树莓派点歌系统:如何共享办公室的音箱。
第三方平台
wechat-python-sdk - wechat-python-sdk微信公众平台Python开发包 http://wechat-python-sdk.readthedocs.org/ , 非官方微信公众平台 Python 开发包,包括官方接口和非官方接口。
wechatpy - wechatpy 是一个微信 (WeChat) 公众平台的第三方 Python SDK, 实现了普通公众平台和企业号公众平台的解析消息、生成回复和主动调用等 API。阅读文档:http://wechatpy.readthedocs.org/zh_CN/latest/
wechat-deleted-friends - wechat-deleted-friends查看被删的微信好友。
wxBot - wxBot为Python包装的网页微信API。可以很容易地实现微信机器人。参考文章:《挖掘微信Web版通信的全过程》、《微信协议简单调研笔记》。
WeixinBot - WeixinBot微信web协议分析和实现微信机器人(微信网页版 wx2.qq.com)。其他版本
WeRoBot - WeRoBot是一个面向公众号的微信机器人框架,文档 。
WxRobot - WxRobot:面向个人账户的微信机器人框架,文档 。
Wechat django - Wechat django一个基于django开发的微信公众平台,整体环境搭建在新浪SAE平台上,暂时实现的功能:查询天气情况、翻译。
gxgk-wechat-server - gxgk-wechat-server莞香广科微信公众号后端,使用 Python、Flask、Redis、MySQL、Celery ,为在校学生提供一系列信息查询与便民服务。
weChat-python-sdk - weChat-python-sdk微信公共平台非官方SDK,主要实现主动的消息推送和获取,该项目已经过期!
wechat-admin - 基于Flask和MySQL能够帮助快速迁移微信服务号后台到自家服务器的框架(tag: Python, wechat, weixin, admin, Flask) 。
PyCharm - PyCharm是由JetBrains打造的一款Python IDE,Community社区版本是免费的,Professional版本$199.00/年。
Eric - Eric是一个集成了项目管理功能的 Python和Ruby集成开发环境。
PyDev - PyDev是Eclipse开发Python的 IDE,支持Python,Jython和IronPython的开发。
KomodoEdit - Komodo Edit 是非常干净,专业的 Python IDE。
PyScripter - PyScripter是一个开源的Python语言集成开发环境。
WingIDE - WingIDE是个相当优秀的 IDE。
IEP - IEP 是跨平台的 Python IDE,旨在提供简单高效的 Python 开发环境。包括两个重要的组件:编辑器和 Shell,并且提供插件工具集从各个方面来提高开发人员的效率。
Emacs - Linux文本编辑器Emacs是一种强大的文本编辑器,在程序员和其他以技术工作为主的计算机用户中广受欢迎。
sublimetext - sublimetext:Sublime Text 是一个轻量、简洁、高效、跨平台的编辑器。
Atom - Atom 是 Github 专门为程序员推出的一个跨平台文本编辑器。具有简洁和直观的图形用户界面,并有很多有趣的特点:支持CSS,HTML,JavaScript等网页编程语言。它支持宏,自动完成分屏功能,集成了文件管理器。官网下载,比较不错的插件:爆炸效果 activate-power-mode、程序员鼓励师 atom-miku 。
IoTNotes - 开源硬件记录。
GitHub上Star最多的100个python repository - GitHub上Star最多的100个python repository。
10个Python 模块 - 你该了解的10个 Python 模块。
dask - 【(Python)集成任务调度/阻塞算法的数据并行处理库Dask】支持大数据集的分割多核并行处理,Doc。
Phonenumbers - Phonenumbers 小巧,实用简便,没有地理代编码,运营商,时区等metadata数据。它能识别多种格式,然后使用不同的格式/样式进行有效匹配。
toyplot - Python交互绘图库Toyplot,文档doc。
pythalesians - Python金融(分析工具)库PyThalesians。
20个机器学习开源项目 - 20 个顶尖的 Python 机器学习开源项目 Scikit-learn、Pylearn2、NuPIC……
Seaborn - 用 Seaborn 画出好看的分布图, 使用说明 。
Python_Coding_Rule - 【Python代码指南】,这篇文档改编自Guido最初的《Python风格指南》一文,希望对初学Python的朋友们有所借鉴。
GGTinypng - 批量压缩png和jpg图片python脚本,已经支持子文件夹里面的图片,会按原始的相对路径存放到输出文件夹内。
sinaweibopy - 新浪微博Python SDK。
keras - Keras是一个高度模块化的神经网络库,用Python语言编写,可以基于TensorFlow或Theano框架运行。
yapf - yapf是一个Python文件代码格式化工具,但与其他类似工具采取了不同的算法。它脱胎于由 Daniel Jasper 开发的 clang-format。
tqdm - tqdm可以在长循环中添加一个进度提示信息,用户只需要封装任意的迭代器 tqdm(iterator),是一个快速、扩展性强的进度条工具库。
pyvim - pyvim用Python语言实现的Vim编辑器。
snake - Snake用来取代Vim的VimScript进行Vim的插件编程,借由Python的强大,让插件编程如虎添翼。
pyxley - 使用Flask和React.js,快速开发数据面板(dashboard。在网页上显示一个数据面板是与人分享数据科学发现的最直观方法。对R语言来说有Shiny来简化数据科学家开发网页的工作,而Pyxley就相当于Python版的Shiny。使用Pyxley不光不用写HTML、CSS,你还可以加入自己的JavaScript来进行定制。
Tomorrow - Tomorrow为Python 2.7中的异步代码提供了神奇的装饰器语法实现。
ibis - Ibis是Cloudera Labs推出的一个新项目,目前还是预览版。它试图解决的就是数据集规模的问题,但对用户提供的确是单机上Python的体验,而且能够与现有的Python数据生态圈(Pandas、Scikit-learn、Numpy)进行集成。未来它还计划加入与机器学习和高级分析集成的功能。
ipython - IPython 是一个在多种编程语言之间进行交互计算的命令行 shell,最开始是用 python 开发的,提供增强的内省,富媒体,扩展的 shell 语法,tab 补全,丰富的历史等功能。
bpython - bpython是一个不错的Python解释器的界面,很像现在的IDE(集成开发环境)。
Ptpython - Ptpython是一个高级的python 交互式解释器(REPL)。python-prompt-toolkit 。
DreamPie - DreamPie 是一个Python shell,为Python开发者提供自动完成的属性;功能和文档显示;并且将session历史存储为HTML文件。
Arrow - Arrow这个库可以更好地处理Python中的日期和时间(data/time)。
retrying - Retrying库可以帮你避免重复劳动:它实现了『重试』行为。它提供了一个通用的 decorator,而且还可以设置一系列的属性,如最大重试次数、延时、退避休眠(backoff sleeping)和错误条件(error conditions)等,以此来获得你想要的重试行为。简单轻便。
python-phonenumbers - python-phonenumbers从Google 的『libphonenumbers』库移植而来,用来解析、格式化或者验证电话号码,而且需要写的代码非常少。最重要的是,『phonenumbers』可以判断一个电话号码是否是唯一的(遵照 E.164 格式)。它同时支持 Python 2 和 Python 3。
monkeylearn-python - monkeylearn-python通过简单易用的 RESTFul API 提供了云端的文本挖掘功能:比如文字中的情感、最重要的关键字,可以对文本进行话题检测,还可以使用自定义的文本分类器进行其他任何处理。
Cookiecutter - 一个命令行实用程序,从cookiecutters(项目模板)创建的项目,比如:创建从一个Python包项目模板的Python包项目。
Sunburnt - Sunburnt全文搜索服务器Solr的Python接口。
Celery - Celery是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。
Gevent - Gevent是一个基于greenlet的Python的并发框架,以微线程greenlet为核心,使用了epoll事件监听机制以及诸多其他优化而变得高效。
Greenlet - Greenlet是一个python的并行处理的一个库。
Eventlet - Eventlet是一个用来处理和网络相关的python库函数,而且可以通过协程来实现并发。
Python Async IO Resources - asyncio python的异步iO操作资源, asyncio - asyncio3.4以后作为python标准库来使用了。
Twisted - Twisted是一个用python语言写的事件驱动的网络框架,支持很多种协议,也是一个异步机制的框架。
eviltransform.python - eviltransform.python解决国内GPS地图坐标偏移问题,它将政府加密过的GCJ-02坐标,转成世界通用的WGS-84坐标。
pagure - Pagure是一个用Python编写的新的、功能齐全的、提供 Web 服务的 Git仓库。它类似于Github 和 Gitlab ,同时允许开源贡献者分享彼此的资源,实现代码和内容上的合作。官网
值得关注的10个python语言博客 - 值得关注的10个python语言博客, Planet Python 最出名的python博客其中之一; lucumrflask的创始人; love-python 有很多有用的知识和代码; Doug Hellmann 博主是PYMOTW(Python Module Of the Week)成员之一,博客里面包含了很多library的知识; Code Who Says Py 这个博客很不错,虽然它更新的不是很及时; effbot 代码和任何你能想得到的东西都在里面; pydanny 主要关于Django的博客; inventwithpython Al Sweigat,他写了很多本关于python的书; pythonlibrary 最有用的博客,他让我的python技术迅猛提; freepythontips 打不开了。
听技术播客 - 听技术播客:一边学Python编程一边学英语。Talk Python to Me 每期都会请一些知名的Python开发者做嘉宾; Podcastinit Podcastinit也是专注于Python语言的,每期节目也会邀请不同的嘉宾,探讨与Python有关的工具和产品,另外也时常探讨技术领域多样性和包容性等更加宽泛、更具社会性的话题; Python Test Podcast 聚焦的主题是测试,大部分都是与测试有关的。
django-web-app-book - Django Web 开发实战,本书是一本在线的免费的Django Web编程书籍。
Django-Design-Patterns-and-Best-Practices - Django设计模式与最佳实践。
awesome-python - Awesome可能是GitHub上寻找和整理开源项目最好的方式 。
interview_python - 十分全面的Python的面试题。
issue-198-top2015 - 蠎周刊2015年度最赞。
流计算精品翻译: The Dataflow Model
The Dataflow Model:
A Practical Approach to Balancing Correctness, Latency, and Cost in Massive Scale,
Unbounded, Out of Order Data Processing
Dataflow模型: 一种能平衡准确性,延迟程度,处理成本的大规模无边界乱序数据处理实践方法
Tyler Akidau, Robert
Bradshaw, Craig Chambers, Slava Chernyak,
Rafael J.
Fern´andezMoctezuma,
Reuven Lax, Sam
McVeety, Daniel Mills,
Frances Perry, Eric
Schmidt, Sam Whittle
Google
ftakidau, robertwb, chambers, chernyak, rfernand,
relax, sgmc, millsd,
fjp, cloude, samuelwg@google.com
翻译: 郭亚峰(默岭)& 阿里云流计算团队
注: 文章下方提供了Google原文下载
在日常商业运营中,无边界、乱序、大规模数据集越来越普遍了。(例如,网站日志,手机应用统计,传感器网络)。同时,对这些数据的消费需求也越来越复杂。比如说按事件发生时间序列处理数据,按数据本身的特征进行窗口计算等等。同时人们也越来越苛求立刻得到数据分析结果。然而,实践表明,我们永远无法同时优化数据处理的准确性、延迟程度和处理成本等各个维度。因此,数据工作者面临如何协调这些几乎相互冲突的数据处理技术指标的窘境,设计出来各种纷繁的数据处理系统和实践方法。
我们建议数据处理的方法必须进行根本性的改进。作为数据工作者,我们不能把无边界数据集(数据流)切分成有边界的数据,等待一个批次完整后处理。相反地,我们应该假设我们永远无法知道数据流是否终结,何时数据会变完整。唯一应该确信的是,新的数据会源源不断而来,老的数据可能会被撤销或更新。而能够让数据工作者应对这个挑战的唯一可行的方法是通过一个遵守原则的抽象来平衡折衷取舍数据处理的准确性、延迟程度和处理成本。在这篇论文中,我们提出了Dataflow模型,并详细地阐述了它的语义,设计的核心原则,以及在实践开发过程中对模型的检验。
1. 简介
现代数据处理是一个复杂而又令人兴奋的领域。MapReduce和它的衍生系统(如Hadoop, Pig, Hive, Spark等)解决了处理数据的“量”上的问题。流处理SQL上社区也做了很多的工作(如查询系统【1,14,15】,窗口【22】,数据流【24】,时间维度【28】,语义模型【9】)。在低延时处理上 Spark
Streaming, MillWheel, Storm等做了很多尝试。数据工作者现在拥有了很多强有力的工具把大规模无序的数据加工成结构化的数据,而结构化的数据拥有远大于原始数据的价值。但是我们仍然认为现存的模型和方法在处理一些常见的场景时有心无力。
考虑一个例子:一家流媒体平台提供商通过视频广告,向广告商收费把视频内容进行商业变现。收费标准按广告收看次数、时长来计费。这家流媒体的平台支持在线和离线播放。流媒体平台提供商希望知道每天向广告商收费的金额,希望按视频和广告进行汇总统计。另外,他们想在大量的历史离线数据上进行历史数据分析,进行各种实验。
广告商和内容提供者想知道视频被观看了多少次,观看了多长时间,视频被播放时投放了哪个广告,或者广告播放是投放在哪个视频内容中,观看的人群统计分布是什么。广告商也很想知道需要付多少钱,而内容提供者想知道赚到了多少钱。 而他们需要尽快得到这些信息,以便调整预算/调整报价,改变受众,修正促销方案,调整未来方向。所有这些越实时越好,因涉及到金额,准确性是至关重要的。
尽管数据处理系统天生就是复杂的,视频平台还是希望一个简单而灵活的编程模型。最后,由于他们基于互联网的业务遍布全球,他们需要的系统要能够处理分散在全球的数据。
上述场景需要计算的指标包括每个视频观看的时间和时长,观看者、视频内容和广告是如何组合的(即按用户,按视频的观看“会话”)。概念上这些指标都非常直观,但是现有的模型和系统并无法完美地满足上述的技术要求。
批处理系统如MapReduce (包括Hadoop的变种,如Pig,Hive),FlumeJava, Spark等无法满足时延的要求,因为批处理系统需要等待收集所有的数据成一个批次后才开始处理。对有些流处理系统来说,目前不了解它们在大规模使用的情况下是否还能保持容错性(如(Aurora [1], TelegraphCQ [14], Niagara [15], Esper[17]),而那些提供了可扩展性和容错性的系统则缺乏准确性或语义的表达性。很多系统缺乏“恰好处理一次”的语义(如Storm, Samza,
Pulsar)影响了数据的准确性。或者提供了窗口但语义局限于基于记录数或基于数据处理时间的窗口(Spark
Streamming, Sonora, Trident)。而大多数提供了基于事件发生时间窗口的,或者依赖于消息必须有序(SQLStream)或者缺乏按事件发生时间触发窗口计算的语义(Stratosphere/Flink)。CEDR和Trill可能值得一提,它们不仅提供了有用的标记触发语义,而且提供了一种增量模型,这一点上和我们这篇论文一致,但它们的窗口语义无法有效地表达基于会话的窗口。它们基于标记的触发语义也无法有效处理3.3节中的某些场景。MillWheel和Spark Streaming的可扩展性良好,容错性不错,低延时,是一种合理的方案,但是对于会话窗口缺乏一种直观的高层编程模型。我们发现只有Pulsar系统对非对齐窗口(译者注:指只有部分记录进入某一特定窗口,会话窗口就是一种非对齐窗口)提供了高层次语义抽象,但是它缺乏对数据准确性的保证。Lambda架构能够达到上述的大部分要求,但是系统体系太过复杂,必须构建和维护两套系统(译者注:指离线和在线系统)。Summingbird改善了Lambda体系的复杂性,提供了针对批处理和流处理系统的一个统一封装抽象,但是这种抽象限制了能支持的计算的种类,并且仍然需要维护两套系统,运维复杂性仍然存在。
上述的问题并非无药可救,这些系统在活跃的发展中终究会解决这些问题。但是我们认为所有这些模型和系统(除了CEDR和Trill)存在一个比较大的问题。这个问题是他们假设输入数据(不管是无边界或者有边界的)在某个时间点后会变完整。我们认为这种假设是有根本性的问题。我们面临的一方面是庞大无序的数据,另一方面是数据消费者复杂的语义和时间线上的各种需求。对于当下如此多样化和多变的数据使用用例(更别说那些浮现在地平线上的 译者注:应该是指新的,AI时代的到来带来的对数据使用的新玩法),我们认为任何一种有广泛实用价值的方法必须提供简单,强有力的工具,可以为手上某个具体的使用案例平衡数据的准确性、延迟程度和处理成本(译者注:意指对某些用例可能需要低延迟更多,某些用例需要准确性更多。而一个好的工具需要能够动态根据用户的使用场景、配置进行适应,具体的技术细节由工具本身消化)。最后,我们认为需要摆脱目前一个主流的观点,认为执行引擎负责描述系统的语义。合理设计和构建的批,微批次,流处理系统能够保证同样程度的准确性。而这三种系统在处理无边界数据流时都非常常见。如果我们抽象出一个具有足够普遍性,灵活性的模型,那么执行引擎的选择就只是延迟程度和处理成本之间的选择。
从这个方面来说,这篇论文的概念性贡献在于提出了一个统一的模型能够
l 对无边界,无序的数据源,允许按数据本身的特征进行窗口计算,得到基于事件发生时间的有序结果,并能在准确性、延迟程度和处理成本之间调整。
l 解构数据处理管道的四个相关维度,使得它们透明地,灵活地进行组合。
n 计算什么结果
n 按事件发生时间计算
n 在流计算处理时间时被真正触发计算
n 早期的计算结果如何在后期被修正
l 分离数据处理的计算逻辑表示和对逻辑的物理实现,使得对批处理,微批处理,流计算引擎的选择成为简单的对准确性、延迟程度和处理成本之间的选择。
具体来说,上述的贡献包含:
l 一个支持非对齐事件发生时间窗口的模型,一组简单的窗口创建和使用的API。(参考2.2)
l 一个根据数据处理管道特征来决定计算结果输出次数的触发模型。一组强有力而灵活的描述触发语义的声明式API。
l 能把数据的更新和撤回和上述窗口、触发模型集成的增量处理模型。(2.3)
l 基于MillWheel流处理引擎和FlumeJava批处理引擎的可扩展实现。为Google Cloud Dataflow重写了外部实现,并提供了一个开源的运行引擎不特定的SDK。(3.1)
l 指导模型设计的一组核心设计原则。
l Google在处理大规模无边界乱序数据流的处理经验,这也是驱动我们开发这套模型的原因。
最后,不足为奇地,这个模型没有任何魔术效果。那些现有的强一致性批处理系统,微批处理系统,流处理系统,Lambda系统所无法计算的东西仍然无法解决。CPU,RAM Disk的内在约束依然存在。我们所提供的是一个能够简单地定义表达并行计算的通用框架。这种表达的方式和底层的执行引擎无关,同时针对任何特定的问题域,提供了根据手上数据和资源的情况来精确地调整延时程度和准确性的能力。从这一点上来说,这个模型的目标是简化大规模数据处理管道的构建。
无边界、有边界与流处理、批处理
(本论文中)当描述无限/有限数据集时,我们更愿意使用有边界/无边界这组词汇,而不是流/批。因为流/批可能意味着使用某种特定的执行引擎。在现实中,无边界数据集可以用批处理系统反复调度来处理,而良好设计的流处理系统也可以完美地处理有边界数据集。从这个模型的角度来看,区分流/批的意义是不大的,因此我们保留这组词汇(流、批)用来专指执行引擎。
窗口操作把一个数据集切分为有限的数据片以便于聚合处理。当面对无边界的数据时,有些操作需要窗口(以定义大多数聚合操作需要的边界:汇总,外链接,以时间区域定义的操作;如最近5分钟xx等)。另一些则不需要(如过滤,映射,内链接等)。对有边界的数据,窗口是可选的,不过很多情况下仍然是一种有效的语义概念(如回填一大批的更新数据到之前读取无边界数据源处理过的数据 译者注:类似于Lambda架构)。窗口基本上都是基于时间的;不过也有些系统支持基于记录数的窗口。这种窗口可以认为是基于一个逻辑上的时间域,该时间域中的元素包含顺序递增的逻辑时间戳。窗口可以是对齐的,也就是说窗口应用于所有落在窗口时间范围内的数据。也可以是非对齐的,也就是应用于部分特定的数据子集(如按某个键值筛选的数据子集)。图一列出了处理无边界数据时常见的三种窗口。
固定窗口(有时叫翻滚窗口)是按固定窗口大小定义的,比如说小时窗口或天窗口。它们一般是对齐窗口,也就是说,每个窗口都包含了对应时间段范围内的所有数据。有时为了把窗口计算的负荷均匀分摊到整个时间范围内,有时固定窗口会做成把窗口的边界的时间加上一个随机数,这样的固定窗口则变成了不对齐窗口。
滑动窗口按窗口大小和滑动周期大小来定义,比如说小时窗口,每一分钟滑动一次。这个滑动周期一般比窗口大小小,也就是说窗口有相互重合之处。滑动窗口一般也是对齐的;尽管上面的图为了画出滑动的效果窗口没有遮盖到所有的键,但其实五个滑动窗口其实是包含了所有的3个键,而不仅仅是窗口3包含了所有的3个键。固定窗口可以看做是滑动窗口的一个特例,即窗口大小和滑动周期大小相等。
会话是在数据的子集上捕捉一段时间内的活动。一般来说会话按超时时间来定义,任何发生在超时时间以内的事件认为属于同一个会话。会话是非对齐窗口。如上图,窗口2只包含key 1,窗口3则只包含key2。而窗口1 和 4 都包含了key 3。(译者注:假设key 是用户id, 那么两次活动之间间隔超过了超时时间,因此系统需要重新定义一个会话窗口。)
当处理包含事件发生时间的数据时,有两个时间域需要考虑。尽管已经有很多文献提到(特别是时间管理【28】,语义模型【9】,窗口【22】,乱序处理【23】,标记【30】,心跳【21】,水位标记【2】,帧【31】),这里仍然重复一下,因为这个概念清晰之后2.3节会更易于理解。这两个时间域是:
l 事件发生时间。事件发生时间是指当该事件发生时,该事件所在的系统记录下来的系统时间。
l 处理时间。处理时间是指在数据处理管道中处理数据时,一个事件被数据处理系统观察到的时间,是数据处理系统的时间。注意我们这里不假设在分布式系统中时钟是同步的。
一个事件的事件发生时间是永远不变的,但是一个事件的处理时间随着它在数据管道中一步步被处理时持续变化的。这个区别是非常重要的,特别是我们需要根据事件的发生时间进行分析的时候。
在数据处理过程中,由于系统本身的一些现实影响(通信延迟,调度算法,处理时长,管道中间数据序列化等)会导致这两个时间存在差值且动态波动(见图2)。使用记录全局数据处理进度的标记、或水位标记,是一种很好的方式来可视化这个差值。在本论文中,我们采用一种类似MillWheel的水位标记,它是一个时间戳,代表小于这个时间戳的数据已经完全被系统处理了(通常用启发式方法建立)。我们之前曾经说过,数据已经被完全处理的标记经常和数据的准确性是相互冲突的,因此,我们不会太过于依赖于水位标记。不过,它确实是一种有用的手段。系统可以用它猜测所有事件发生时间早于水位标记的数据已经完全被观察到。应用可以用它来可视化处理时间差,也用它来监控系统总体的健康状况和总体处理进展,也可以用它里做一些不影响数据准确性的决策,比如基本垃圾回收策略等。
(译者注:假设事件发生系统和数据处理系统的时钟完全同步)在理想的情况下,两个时间的差值应该永远为零;事件一旦发生,我们就马上处理掉。现实则更像图2那样。从12点开始,由于数据处理管道的延迟,水位标记开始偏离真实时间,12:02时则靠近回来,而12:03的时候延迟变得更大。在分布式数据处理系统里,这种偏差波动非常普遍,在考虑数据处理系统如何提供一个正确的,可重复的结果时,把这种情况纳入考虑很关键。
水位标记的建立
对大多数现实世界中分布式数据集,系统缺乏足够的信息来建立一个100%准确的水位标记。举例来说,在视频观看“会话”的例子中,考虑离线观看。如果有人把他们的移动设备带到野外,系统根本没有办法知道他们何时会回到有网络连接的地带,然后开始上传他们在没有网络连接时观看视频的数据。因此,大多数的水位定义是基于有限的信息启发式地定义。对于带有未处理数据的元数据的结构化输入源,比如说日志文件(译者注:可能应该不是泛指一般的日志文件),水位标记的猜测明显要准确些,因此大多数情况下可以作为一个处理完成的估计。另外,很重要的一点,一旦水位标记建立之后,它可以被传递到数据处理管道的下游(就像标记(Punctuation)那样 译者注:类似于Flink的checkpoint barrier)。当然下游要明确知道这个水位标记仍然是一个猜测。
2. DataFlow模型
在这一个小节中,我们将定义正式的系统模型。我们还会解释为什么它的语义足够泛化,能涵盖标准的批处理,微批次处理,流处理,以及混合了流批语义的Lambda架构。代码示例是基于Dataflow的Java SDK的一个简化版本,是从FlumeJava API演化而来。
核心编程模型
我们先从经典的批处理模型开始来考虑我们的核心编程模型。Dataflow SDK把所有的数据抽象为键值对,对键值对有两个核心的数据转换操作:
l ParDo 用来进行通用的并行化处理。每个输入元素(这个元素本身有可能是一个有限的集合)都会使用一个UDF进行处理(在Dataflow中叫做DoFn),输出是0或多个输出元素。这个例子是把键的前缀进行展开,然后把值复制到展开后的键构成新的键值对并输出。
l GroupByKey 用来按键值把元素重新分组
ParDo操作因为是对每个输入的元素进行处理,因此很自然地就可以适用于无边界的数据。而GroupByKey操作,在把数据发送到下游进行汇总前,需要收集到指定的键对应的所有数据。如果输入源是无边界的,那么我们不知道何时才能收集到所有的数据。所以通常的解决方案是对数据使用窗口操作。
支持聚合操作的系统经常把GroupByKey操作重新定义成为GroupByKeyAndWindow 操作。我们在这一点上的主要贡献是支持非对齐窗口。这个贡献包含两个关键性的洞见:第一是从模型简化的角度上,把所有的窗口策略都当做非对齐窗口,而底层实现来负责把对齐窗口作为一个特例进行优化。 第二点是窗口操作可以被分隔为两个互相相关的操作:
l set<Window>
AssignWindows(T datum)即窗口分配操作。这个操作把元素分配到0或多个窗口中去。这个也就是Li在[22]中提到的桶操作符。
l set<window>
MergeWindows(Set<Window> windows)即窗口合并操作,这个操作在汇总时合并窗口。这使得数据驱动的窗口在随着数据到达的过程中逐渐建立起来并进行汇总操作。
对于任何一种窗口策略,这两种操作都是密切相关的。滑动窗口分配需要滑动窗口合并,而会话窗口分配需要会话窗口合并。
注意,为了原生地支持事件发生时间窗口,我们现在定义系统中传递的数据不再仅仅是键值对 (key, value), 而是一个四元组 (key, value,
event_time, window)。数据进入系统时需要自带事件发生时间戳(后期在管道处理过程中也可以修改),然后初始化分配一个默认的覆盖所有事件发生时间的全局窗口。而全局窗口语义默认等同于标准的批处理模型。
2.2.1
从模型角度来说,把一条数据分配给某几个窗口意味着把这条数据复制给了这些窗口。以图3为例,它是把两条记录分配给一个2分钟宽,每一分钟滑动一次的窗口。(简单起见,时间戳用HH:MM的格式给出)
在这个例子中,两条数据在两个窗口中冗余存在,因而最后变成了四条记录。另外注意一点,窗口是直接关联到数据元素本身的,因此,窗口的分配可以在处理管道的聚合发生前的任何一处进行。这一点很重要,因为聚合操作有可能是下游复杂组合数据转换的一个子操作。(如Sum.integersPerKey
译者注:下文会提到,这个转换是指键值对中的值为整形,把整形值按键进行求和)
2.2.2
窗口合并作为GroupByKeyAndWindow的一部分出现,要解释清楚的话,我们最好拿例子来阐述。我们拿会话窗口来作为例子,因为会话窗口正是我们想要解决的用例之一。图4展示了例子数据4条,3条包含的键是k1,一条是k2,窗口按会话窗口组织,会话的过期时间是30分钟。所有4条记录初始时都属于缺省的全局窗口。AssignWindows的会话窗口实现把每个元素都放入一个30分钟长的单个窗口,这个窗口的时间段如果和另外一个窗口的时间段相互重合,则意味着这两个窗口应该属于同一个会话。AssignWindows后是GroupByKeyAndWindow的操作,这个操作其实由五个部分组成:
l DropTimestamps –
删除数据上的时间戳,因为窗口合并后,后续的计算只关心窗口。
l GroupByKey – 把(值,窗口)二元组按键进行分组
l MergeWindows – 窗口合并。把同一个键的(值,窗口)进行窗口合并。具体的合并方式取决于窗口策略。在这个例子中,窗口v1和v4重叠,因此会话窗口策略把这两个窗口合并为一个新的,更长的会话窗口。(如粗体所示)
l GroupAlsoByWindow
– 对每个键,把值按合并后的窗口进行进一步分组。在本例中,由于v1和v4已经合并进了同一个窗口,因此这一步里面v1和v4被分到了同一组。
l ExpandToElements
– 把已经按键,按窗口分好组的元素扩展成(键,值,事件发生时间,窗口)四元组。这里的时间戳是新的按窗口的时间戳。在这个例子里我们取窗口的结束时间作为这条记录的时间戳,但任何大于或等于窗口中最老的那条记录的时间戳都认为是符合水位标记正确性的。
2.2.3
下面我们使用Cloud Dataflow SDK来展示使用窗口操作的例子。
下面是计算对同一个键的整型数值求和
PCollection<KV<String, Integer>> input =
IO.read(...);
PCollection<KV<String, Integer>> output
= input.apply(Sum.integersPerKey());
假如说要对30分钟长的会话窗口进行同样的计算,那么只要在求和前增加一个window.into调用就可以了
PCollection<KV<String, Integer>> input =
IO.read(...);
PCollection<KV<String, Integer>> output
= input.apply(
Window.into(
Sessions.withGapDuration(
Duration.standardMinutes(30)
.apply(Sum.integersPerKey());
触发器和增量处理
构建非对齐的事件发生时间窗口是一个进步,不过我们还有两个问题需要解决
l 我们需要提供基于记录和基于处理时间的窗口。否则我们会和现有的其他系统的窗口语义不兼容
l 我们需要知道何时把窗口计算结果发往下游。由于数据事件发生时间的无序性,我们需要某种其他的信号机制来明确窗口已经完结(译者注:就是说,窗口所应该包含的数据已经完全到达并且被窗口观察到,包含到)。
关于第一点,基于记录数和基于处理时间的窗口,我们会在2.4里解决。 而眼下需要讨论建立一个保证窗口完整性的方法。提到窗口完整性,一个最开始的想法是使用某种全局事件发生时间进展机制,比如水位标记来解决。然而,水位标记本身对数据处理的准确性有两个主要的影响
l 水位标记可能设置的过短,因此在水位标记达到后仍然有记录到达。对于分布式的数据源头来说,很难去推断出一个完全完美的事件发生时间水位标记,因此无法完全依赖于水位标记,否则我们无法达到100%的准确性。
l 水位标记可能设置的过长。因为水位标记是全局性的进度指标,只要一个迟到的数据项就能影响到整个数据处理管道的水位标记。就算是一个正常工作的数据处理管道,它的处理延迟波动很小,受输入源的影响,这种延迟的基准仍然可能有几分钟甚至更高。因此,使用水位标记作为窗口完整信号并触发窗口计算结果很可能导致整个处理结果比Lambda架构有更高的延迟。
由于上述的原因,我们认为光使用水位标记是不够的。从Lambda架构中我们获得了规避完整性问题的启发:它不是尽快地提供完全准确的答案,而是说,它先是尽快通过流式处理管道提供一个最佳的低延迟估计,同时承诺最终会通过批处理管道提供正确的和一致的答案(当然前提条件是批处理作业启动时,需要的数据应该已经全部到达了;如果数据后期发生了变化,那么批处理要重新执行以获得准确答案)。如果我们要在一个单一的数据处理管道里做到同样的事情(不管采用哪种执行引擎),那么我们需要一种对任一窗口能够提供多种答案(或者可以叫做窗格 译者注:对窗口这个比喻的引申)的方式。我们把这种功能叫做“触发器”。这种“触发器”可以选择在何时触发指定窗口的输出结果。
简单来说,触发器是一种受内部或者外信号激励的激发GroupByKeyAndWindow执行并输出执行结果的机制。他们对窗口模型是互补的,各自从不同的时间维度上影响系统的行为:
l 窗口 决定哪些事件发生时间段(where)的数据被分组到一起来进行聚合操作
l 触发 决定在什么处理时间(when)窗口的聚合结果被处理输出成一个窗格
我们的系统提供了基于窗口的完成度估计的预定义触发器。(完成度估计基于水位标记。完成度估计也包括水位标记完成百分位。它提供了一种有效的处理迟到记录的语义,而且在批处理和流处理引擎中都适用。允许使用者处理少量的一部分的记录来快速获得结果,而不是痴痴地等待最后的一点点数据到来)。触发器也有基于处理时间的,基于数据抵达状况的(如记录数,字节数,数据到达标记(punctuations),模式匹配等)。我们也支持对基础触发器进行逻辑组合(与,或),循环,序列和其他一些复合构造方法。另外,用户可以基于执行引擎的元素(如水位计时器,处理时间计时器,数据到达,复合构造)和任意的外部相关信号(如数据注入请求,外部数据进展指标,RPC完成回调等)自定义触发器。在2.4里我们会更详细地看一些具体的例子。
除了控制窗口结果计算何时触发,触发器还提供了三种不同的模式来控制不同的窗格(计算结果)之间是如何相互关联的。
l 抛弃 窗口触发后,窗口内容被抛弃,而之后窗口计算的结果和之前的结果不存在相关性。当下游的数据消费者(不管是数据处理管道的内部还是外部)希望触发计算结果之间相互独立(比如对插入的数据进行求和的场景),那么这种情况就比较适用。另外,抛弃因为不需要缓存历史数据,因此对比其他两种模式,抛弃模式在状态缓存上是最高效的。不过累积性的操作可以建模成Dataflow的 Combiner,对窗口状态管理可以用增量的方式处理。对我们视频观看会话的用例来说,抛弃模式是不够的,因为要求下游消费者只关心会话的部分数据是不合理的。
l 累积:触发后,窗口内容被完整保留住持久化的状态中,而后期的计算结果成为对上一次结果的一个修正的版本。这种情况下,当下游的消费者收到同一个窗口的多次计算结果时,会用新的计算结果覆盖掉老的计算结果。这也是Lambda架构使用的方式,流处理管道产出低延迟的结果,之后被批处理管道的结果覆盖掉。对视频会话的用例来说,如果我们把会话窗口的内容进行计算然后把结果直接写入到支持更新的输出源(如数据库或者键值存储),这种方案是足够的了。
l 累积和撤回:出发后,在进行累积语义的基础上,计算结果的一份复制也被保留到持久化状态中。当窗口将来再次触发时,上一次的结果值先下发做撤回处理,然后新的结果作为正常数据下发。如果数据处理管道有多个串行的GroupByKeyAndWindow操作时,撤回是必要的,因为同一个窗口的不同触发计算结果可能在下游会被分组到不同键中去。在这种情况下,除非我们通过一个撤回操作,撤回上一次聚合操作的结果,否则下游的第二次聚合操作会产生错误的结果。Dataflow的combiner操作是支持撤回的,只要调用uncombine方法就可以进行撤回。而对于视频会话用例来说,这种模型是非常理想的。比如说,如果我们在下游从会话创建一开始,我们就基于会话的某些属性进行汇总统计,例如检查不受欢迎的广告(比如说在很多会话中这个广告的被观察时长不长于5秒)。早期的计算结果随着输入的增加(比如说原来在野外观看视频的用户已经回来了并上传了他们的日志)可能变得无效。对于包含多个阶段的聚合操作的复杂数据处理管道,撤回方式帮助我们应对源头数据的变化,得到正确的数据处理结果。(简单的撤回实现只能支持确定性的计算,而非确定性计算的支持需要更复杂,代价也更高。我们已经看到这样的使用场景,比如说概率模型 译者注:比如说基于布隆过滤器的UV统计)
我们现在来考察一系列的例子来说明Dataflow模型支持的计算模式是非常普遍适用的。我们下面例子是关于2.2.3中提到的对整数求和的例子:
PCollection<KV<String, Integer>> output =
input.apply(Sum.integersPerKey());
我们假设从某个数据源我们观察到了10个数据点,每个数据点都是一个比较小的整数。我们会考虑有边界输入源和无边界输入源两种情况。为了画图简单,我们假设这些数据点的键是一样的,而生产环境里我们这里所描述的数据处理是多个键并行处理的。图5展示了数据在我们关心的两个时间轴上的分布。X轴是事件发生时间(也就是事件发生的时间),而Y轴是处理时间(即数据管道观测到数据的时间)。(译者注:圆圈里的数值是从源头采样到的数值)除非是另有说明,所有例子假设数据的处理执行都是在流处理引擎上。
很多例子都要考虑水位线,因此我们的图当中也包括了理想的水位线,也包括了实际的水位线。直的虚线代表了理想的水位线,即,事件发生时间和数据处理时间不存在任何延迟,所有的数据一产生就马上消费了。不过考虑到分布式系统的不确定性,这两个时间之间有偏差是非常普遍的。在图5中,实际的水位线(黑色弯曲虚线)很好的说明了这一点。另外注意由于实际的水位线是猜测获得的,因此有一个迟到比较明显的数据点落在了水位线的后面。
如果我们在传统的批处理系统中构建上述的对数据进行求和的数据处理管道,那么我们会等待所有的数据到达,然后聚合成一个批次(因为我们现在假设所有的数据拥有同样的键),再进行求和,得到了结果51。如图6所示黑色的长方形是这个运算的示意图。长方形的区域代表求和运算涵盖的处理时间和参与运算的数据的事件发生时间区间。长方形的上沿代表计算发生,获得结果的管道处理时间点。因为传统的批处理系统不关心数据的事件发生时间,所有的数据被涵盖在一个大的全局性窗口中,因此包含了所有事件发生时间内的数据。而且因为管道的输出在收到所有数据后只计算一次,因此这个输出包含了所有处理时间的数据(译者注:处理时间是数据系统观察到数据的时间,而不是运算发生时的时间。。)
注意上图中包含了水位线。尽管在传统批处理系统中不存在水位线的概念,但是在语义上我们仍然可以引入它。批处理的水位线刚开始时一直停留不动。直到系统收到了所有数据并开始处理,水位线近似平行于事件发生时间轴开始平移,然后一直延伸到无穷远处。我们之所以讨论这一点,是因为如果让流处理引擎在收到所有数据之后启动来处理数据,那么水位线进展和传统批处理系统是一模一样的。(译者注:这提示我们其实水位线的概念可以同样适用于批处理)
现在假设我们要把上述的数据处理管道改造成能够接入无边界数据源的管道。在Dataflow模型中,默认的窗口触发方式是当水位线移过窗口时吐出窗口的执行结果。但如果对一个无边界数据源我们使用了全局性窗口,那么窗口就永远不会触发(译者注:因为窗口的大小在不停地扩大)。因此,我们要么用其他的触发器触发计算(而不是默认触发器),或者按某种别的方式开窗,而不是一个唯一的全局性窗口。否则,我们永远不会获得计算结果输出。
我们先来尝试改变窗口触发方式,因为这会帮助我们产生概念上一致的输出(一个全局的包含所有时间的按键进行求和),周期性地输出更新的结果。在这个例子中,我们使用了Window.trigger操作,按处理时间每分钟周期性重复触发窗口的计算。我们使用累积的方式对窗口结果进行修正(假设结果输出到一个数据库或者KV数据库,因而新的结果会持续地覆盖之前的计算结果)。这样,如图7所示,我们每分钟(处理时间)产生更新的全局求和结果。注意图中半透明的输出长方形是相互重叠的,这是因为累积窗格处理机制计算时包含了之前的窗口内容。
代码:
PCollection<KV<String,
Integer>> output = input
.apply(Window.trigger(Repeat(AtPeriod(1,
MINUTE)))
.accumulating())
.apply(Sum.integersPerKey());
图7: 全局窗口,周期性(处理时间)触发,累积窗格
如果我们想要求出每分钟的和的增量,那么我们可以使用窗格的抛弃模式,如图8所示。注意这是很多流处理引擎的处理时间窗口的窗口计算模式。窗格不再相互重合,因此窗口的结果包含了相互独立的时间区域内的数据。
代码:
PCollection<KV<String,
Integer>> output = input
.apply(Window.trigger(Repeat(AtPeriod(1,
MINUTE)))
.discarding())
.apply(Sum.integersPerKey());
图8:全局窗口,周期性触发(处理时间),抛弃窗格
另外一种更健壮的处理时间窗口的实现方式,是把数据摄入时的数据到达时间作为数据的事件发生时间,然后使用事件发生时间窗口。这样的另一个效果是系统对流入系统的数据的事件发生时间非常清楚,因而能够生成完美的水位线,不会存在迟到的数据。如果数据处理场景中不关心真正的事件发生时间,或者无法获得真正的事件发生时间,那么采用这种方式生成事件发生时间是一种非常低成本且有效的方式。
在我们讨论其他类型的窗口前,我们先来考虑下另外一种触发器。一种常见的窗口模式是基于记录数的窗口。我们可以通过改变触发器为每多少条记录到达触发一次的方式来实现基于记录数的窗口。图9是一个以两条记录为窗口大小的例子。输出是窗口内相邻的两条记录之和。更复杂的记录数窗口(比如说滑动记录数窗口)可以通过定制化的窗口触发器来支持。
代码:
PCollection<KV<String,
Integer>> output = input
.apply(Window.trigger(Repeat(AtCount(2)))
.discarding())
.apply(Sum.integersPerKey());
图9:全局窗口,记录数触发器,抛弃窗格
我们接下来考虑支持无边界数据源的其他选项,不再仅仅考虑全局窗口。一开始,我们来观察固定的2分钟窗口,累积窗格。
PCollection<KV<String,
Integer>> output = input
.apply(Window.into(FixedWindows.of(2, MINUTES)
.accumulating())
.apply(Sum.integersPerKey());
这里没有定义触发器,那么系统采用的是默认触发器。相当于
PCollection<KV<String,
Integer>> output = input
.apply(Window.into(FixedWindows.of(2,
MINUTES))
.trigger(Repeat(AtWatermark())))
.accumulating())
.apply(Sum.integersPerKey());
水位线触发器是指当水位线越过窗口底线时窗口被触发。我们这里假设批处理和流处理系统都实现了水位线(详见3.1)。Repeat代表的含义是如何处理迟到的数据。在这里Repeat意味着当有迟于水位线的记录到达时,窗口都会立即触发再次进行计算,因为按定义,此时水位线早已经越过窗口底线了。
图10-12描述了上述窗口在三种不同的数据处理引擎上运行的情况。首先我们来观察下批处理引擎上这个数据处理管道如何执行的。受限于我们当前的实现,我们认为数据源现在是有边界的数据源,而传统的批处理引擎会等待所有的数据到来。之后,我们会根据数据的事件发生时间处理,在模拟的水位线到达后窗口计算触发吐出计算结果。整个过程如图10所示:
然后来考虑一下微批次引擎,每分钟做一次批次处理。系统会每分钟收集输入的数据进行处理,反复重复进行。每个批次开始后,水位线会从批次的开始时间迅速上升到批次的结束时间(技术上来看基本上是即刻完成的,取决于一分钟内积压的数据量和数据处理管道的吞吐能力)。这样每轮微批次完成后系统会达到一个新的水位线,窗口的内容每次都可能会不同(因为有迟到的数据加入进来),输出结果也会被更新。这种方案很好的兼顾了低延迟和结果的最终准确性。如图11所示:
接下来考虑数据管道在流处理引擎上的执行情况,如图12所示。大多数窗口在水位线越过它们之后触发执行。注意值为9的那个数据点在水位线之后到达。不管什么原因(移动设备离线,网络故障分区等),系统并没有意识到那一条数据并没有到达,仍然提升了水位线并触发了窗口计算。当值为9的那条记录到达后,窗口会重新触发,计算出一个新的结果值。
如果说我们一个窗口只有一个输出,而且针对迟到的数据仅做一次的修正,那么这个计算方式还是不错的。不过因为窗口要等待水位线进展,整体上的延迟比起微批次系统可能要更糟糕,这就是我们之前在2.3里所说的,单纯依赖水位线可能引起的问题(水位线可能太慢)
如果我们想降低整体的延迟,那么我们可以提供按数据处理时间的触发器进行周期性的触发,这样我们能够尽早得到窗口的计算结果,并且在随后得到周期性的更新,直到水位线越过窗口边界。参见图13。这样我们能够得到比微批次系统更低的延迟,因为数据一到达就进入了窗口随后就可能被触发,而不像在微批次系统里必须等待一个批次数据完全到达。假设微批次系统和流处理系统都是强一致的,那么我们选择哪种引擎,就是在能接受的延迟程度和计算成本之间的选择(对微批次系统也是批大小的选择)。这就是我们这个模型想要达到的目标之一。参见图13:固定窗口,流处理,部分窗格
PCollection<KV<String,
Integer>> output = input
.apply(Window.into(FixedWindows.of(2,
MINUTES))
.trigger(SequenceOf(
RepeatUntil(
AtPeriod(1, MINUTE),
AtWatermark()),
Repeat(AtWatermark())))
.accumulating())
.apply(Sum.integersPerKey());
作为最后一个例子,我们来看一下如何支持之前提到的视频会话需求(为了保持例子之间的一致性,我们继续把求和作为我们的计算内容。改变成其他的聚合函数也是很容易的)。我们把窗口定义为会话窗口,会话超时时间为1分钟,并且支持回撤操作。这个例子也体现了我们把模型的四个维度拆开之后带来的灵活的可组合性(计算什么,在哪段事件发生时间里计算,在哪段处理时间里真正触发计算,计算产生的结果后期如何进行修正)。也演示了对之前的计算结果可以进行撤回是一个非常强力的工具,否则可能会让下游之前接收到的数据无法得到修正。
代码:
PCollection<KV<String,
Integer>> output = input
.apply(Window.into(Sessions.withGapDuration(1, MINUTE))
.trigger(SequenceOf(
RepeatUntil(
AtPeriod(1, MINUTE),
AtWatermark()),
Repeat(AtWatermark())))
.accumulatingAndRetracting())
.apply(Sum.integersPerKey());
在这个例子中,我们首先接收到了数据5 和数据7。由于5和7之间事件发生时间大于1分钟,因此被当做了两个会话。在第一次窗口被触发时,产生了两条计算结果,和分别为5和7。在第二个因处理时间引起的窗口触发时,我们接收到了数据3,4,3,并且第一个3和上一个7之间时间大于1分钟,因此被分组到一个新的会话窗口,窗口触发计算并输出了计算结果10。紧接着,数据8到达了。数据8的到达使得数据7,3,4,3,8合并成了一个大窗口。当水位线越过数据点8后,新窗口计算被触发。触发后需要先撤回之前两个小窗口的计算结果,撤回方式是往下游发送两条键为之前的两个会话标记,值为-7和-10的记录,然后发送一个新的值为25的新窗口计算结果。同样,当值为9的记录迟于水位线到达后,之前的所有7条记录都合并成了一个会话,因此要对之前的会话再次进行撤回。值为-5和-25的记录又被发送往下游,新的值为39的会话记录随后也被发往下游。
同样的操作在处理最后3条值为3,8,1的记录时也会发生,先是输出了结果值3,随后回撤了这个计算结果,输出了合并会话后的结果值12。
实现和设计
我们已经用FlumeJava实现了这个模型,使用MillWheel作为底层的流执行引擎;在本文写作的时候,针对公有云服务Cloud
Dataflow的重新实现也接近完成。由于这些系统要么是谷歌的内部系统,要么是共有云服务,因此为简洁起见,实现的细节我们略掉了。可以提及的让人感兴趣的一点是,核心的窗口机制代码,触发机制代码是非常通用的,绝大部分都同时适用于批处理引擎实现和流处理引擎实现。这个实现本身也值得在将来进行更进一步的分析。
尽管我们很多的设计其实是受到3.3节所描述的真实业务场景启发,我们在设计中也遵从了一系列的核心原则。这些原则我们认为是这个模型必须要遵循的。
l 永远不要依赖任何的数据完整性标记(译者注:如水位标记)
l 灵活性,要能覆盖已知的多样化的使用用例,并且覆盖将来可能的使用用例
l 对于每个预期中的执行引擎,(模型抽象)不但要正确合理,而且要有额外的附加价值
l 鼓励实现的透明性
l 支持对数据在它们产生的上下文中进行健壮的分析。
可以这么说,下述的使用案例决定了模型的具体功能,而这些设计原则决定了模型整体的特征和框架。我们认为这两者是我们设计的模型具有完全性,普遍性的根本原因。
在我们设计Dataflow模型的过程中,我们考虑了FlumeJava和MillWheel系统在这些年遇到的各种真实场景。那些良好工作的设计,我们保留到了模型中,而那些工作不那么良好的设计激励我们采用新的方法重新设计。下面我们简单介绍一些影响过我们设计的场景。
3.3.1 大规模数据回写和Lambda架构;统一模型
有一些团队在MillWheel上跑日志链接作业。这其中有一个特别大的日志链接处理作业在MillWheel上按流模式运行,而另外一个单独的FlumeJava批处理作业用来对流处理作业的结果进行大规模的回写。一个更好的设计是使用一个统一的模型,对数据处理逻辑只实现一次,但是能够在流处理引擎和批处理引擎不经修改而同时运行。这是第一个激发我们思考去针对批处理,微批次处理和流处理建立一个统一模型的业务场景。这也是图10-12所展示的。
另外一个激发我们设计统一模型的场景是Lambda架构的使用。尽管谷歌大多数数据处理的场景是由批处理系统和流处理系统分别单独承担的,不过有一个MillWheel的内部客户在弱一致性的模式下运行他们的流处理作业,用一个夜间的MR作业来生产正确的结果。他们发现他们的客户不信任弱一致性的实时结果,被迫重新实现了一个系统来支持强一致性,这样他们就能提供可靠的,低延时的数据处理结果。这个场景进一步激励我们能支持灵活地选择不同的执行引擎。
3.3.2
非对齐窗口:会话
从一开始我们就知道我们需要支持会话;事实上这是我们窗口模型对现有模型而言一个重大的贡献。会话对谷歌来说是一个非常重要的使用场景(也是MillWheel创建的原因之一)。会话窗口在一系列的产品域中都有应用,如搜索,广告,分析,社交和YouTube。基本上任何关心把用户的分散活动记录进行相互关联分析都需要通过会话来进行处理。因此,支持会话成为我们设计中的最重要考虑。如图14所示,支持会话在Dataflow中是非常简单的。
3.3.3
支付:触发器,累加和撤回
有两个在MillWheel上跑支付作业的团队遇到的问题对模型的一部分也有启发作用。当时我们的设计实践是使用水位线作为数据完全到达的指标。然后写额外的逻辑代码来处理迟到的数据或者更改源头数据。由于缺乏一个支持更新和撤回的系统,负责资源利用率方案的团队最终放弃了我们的平台,构建了自己独立的解决方案(他们最后使用的模型和我们同时设计开发的模型事实上非常类似)。另一个支付团队的数据源头有少部分缓慢到达的数据,造成了水位线延迟,这给他们带来了大问题。这些系统上的缺陷成为我们对现有系统需要进行改良设计的重要动因,并且把我们的考虑点从保证数据的完整性转移到了对迟到数据的可适应性。对于这个场景的思考总结带来了两个方面:一个方面是能够精确,灵活地确定何时将窗口内容物化的触发器(如7-14所示),对同样的输入数据集也可以使用多种多样地结果输出模式进行处理。另外一方面是通过累积和撤回能够支持增量处理。(图14)
3.3.4
统计计算:水位线触发器
很多MillWheel作业用来进行汇总统计(如平均延迟)。对这些作业来说,100%的准确性不是必须的,但是在合理的时间范围内得到一个接近完整的统计是必须的。考虑到对于结构化的输入(如日志文件),使用水位线就能达到很高程度的准确度。这些客户发现使用单次的的基于水位线的触发器就可以获得高度准确的统计。水位线触发器如图12所示。
我们有一些滥用检测的作业运行在MillWheel中。滥用检测是另外一种快速处理大部分数据比缓慢处理掉所有数据要远远更有价值的场景。因此,他们会大量地使用水位线百分位触发器。这个场景促使我们在模型中加入了对水位线百分位触发器的支持。
与此相关的,批处理作业中的一个痛点是部分处理节点的缓慢进度会成为执行时间中的长尾,拖慢整个进度。除了可以通过动态平衡作业来缓解这个问题,FlumeJava也支持基于整体完成百分度来选择是否终止长尾节点。用统一模型来描述批处理中遇到的这个场景的时候,水位线百分位触发器可以很自然地进行表达,不需要在引入额外的定制功能、定制接口。
3.3.5
推荐:处理时间触发器
另外一种我们考虑过的场景是从大量的谷歌数据资产中构建用户活动树(本质上是会话树)。这些树用来根据用户的兴趣来做推荐。在这些作业中我们使用处理时间作为触发器。这是因为,对于用户推荐来说,周期性更新的,即便是基于不完备数据的用户活动树比起持续等待水位线越过会话窗口边界(即会话结束)获得完全的数据要有意义的多。这也意味着由于部分少量数据引起的水位线进展延迟不影响基于其他已经到达的数据进行计算并获得有效的用户活动树。考虑到这种场景,我们包含了基于处理时间的触发器(如图7和图8所示)
3.3.6
异常探测:数据驱动和组合触发器
在MillWheel的论文中,我们描述了一种用来检测谷歌网站搜索查询趋势的微分异常探测数据处理管道。当我们为模型设计触发器的时候,这种微分异常探测系统启发我们设计了数据驱动触发器。这种微分探测器检测网站检索流,通过统计学估计来计算搜索查询请求量是否存在一个毛刺。如果系统认为一个毛刺即将产生,系统将发出一个启动型号。当他们认为毛刺已经消除,那么他们会发出一个停止信号(译者注:可能会对接系统自动对系统扩容或缩容)。尽管我们可以采用别的方式来触发计算,比如说Trill的标点符(Punctuations),但是对于异常探测你可能希望一旦系统确认有异常即将发生,系统应该立即输出这个判断。标点符的使用事实上把流处理系统转换成了微批次处理系统,引入了额外的延迟。在调查过一些用户场景后,我们认为标点符不完全适合我们。因此我们在模型中引入了可定制化数据驱动触发器。同时这个场景也驱使我们支持触发器组合,因为在现实场景中,一个系统可能在处理多种微分计算,需要根据定义的一组逻辑来支持多种多样的输出。图9中的AtCount触发器是数据驱动触发器的例子,而图10-14使用了组合触发器。
4.总结
数据处理的未来是无边界数据处理。 尽管有边界数据的处理永远都有着重要地位并且有用武之地,但是语义上它会被无边界数据处理模型所涵盖。一方面,无边界数据处理技术发展上步履蹒跚,另一方面对于数据进行处理并消费的要求在不断提高,比如说,需要对按事件发生时间对数据处理,或者支持非对齐窗口等。要发展能够支撑未来业务需要的数据处理系统,当前存在的系统和模型是一个非常好的基础,但我们坚持相信如果要完善地解决用户对无边界数据处理的需求,我们必须根本地改变我们的思维。
根据我们多年在谷歌处理大规模无边界数据的实践经验,我们相信我们提出的模型一个非常好的进展。它支持非对齐,事件发生时间窗口。这些都是当前用户所需要的。它提供了灵活的窗口触发机制,支持窗口累积和撤回,把关注点从寻求等待数据的完整性变为自动适应现实世界中持续变更的数据源。它对批处理,微批次,流处理提供了统一的抽象,允许数据开发人员灵活从三者中选择。同时,它避免了单一系统容易把系统本身的构建蔓延到数据处理抽象层面中去的问题。它的灵活性让数据开发者能根据使用场景恰当地平衡数据处理的准确性,成本和延迟程度。对于处理多样化的场景和需求来说,这一点很关键。最后,通过把数据处理的逻辑划分为计算什么,在哪个事件发生时间范围内计算,在什么处理时间点触发计算,如何用新的结果订正之前的数据处理结果让整个数据处理逻辑透明清晰。我们希望其他人能够认同这个模型并且和我们一起推进这个复杂而又令人着迷的领域的发展。
5.致谢
我们感谢这篇文章的所有评审者:他们专注付出,提供了很有思考的意见。他们是:Atul Adya, Ben Birt,Ben Chambers, Cosmin Arad, Matt
Austern, Lukasz Cwik,Grzegorz Czajkowski, Walt Drummond, Je_ Gardner, An-thony
Mancuso, Colin Meek, Daniel Myers, Sunil Pedapudi,Amy Unruh, and William
Vambenepe。我们也想在此赞扬谷歌Cloud Dataflow团队,FlumeJava团队,MillWheel团队和其他相关团队的成员,他们为这项工作付出了令人影响深刻的不倦的努力。
[1] D. J. Abadi et al. Aurora: A New Model and Architecture
for Data Stream Management. The VLDB Journal, 12(2):120-139, Aug. 2003.
[2] T. Akidau et al. MillWheel: Fault-Tolerant Stream
Processing at Internet Scale. In Proc. of the 39th Int.Conf. on Very Large Data
Bases (VLDB), 2013.
[3] A. Alexandrov et al. The Stratosphere Platform for Big
Data Analytics. The VLDB Journal, 23(6):939-964, 2014.
[4] Apache. Apache Hadoop. http://hadoop.apache.org, 2012.
[5] Apache. Apache Storm.http://storm.apache.org, 2013.
[6] Apache. Apache Flink. http://flink.apache.org/, 2014.
[7] Apache. Apache Samza http://samza.apache.org, 2014.
[8] R. S. Barga et al. Consistent Streaming Through Time: A
Vision for Event Stream Processing. In Proc.of the Third Biennial Conf. on
Innovative Data Systems Research (CIDR), pages 363-374, 2007.
[9] Botan et al. SECRET: A Model for Analysis of the
Execution Semantics of Stream Processing Systems. Proc. VLDB Endow.,
3(1-2):232-243, Sept. 2010.
[10] O. Boykin et al. Summingbird: A Framework for
Integrating Batch and Online MapReduce Computations. Proc. VLDB Endow.,
7(13):1441-1451, Aug. 2014.
[11] Cask. Tigon. http://tigon.io/, 2015.
[12] C. Chambers et al. FlumeJava: Easy, E_cient
Data-Parallel Pipelines. In Proc. of the 2010 ACM SIGPLAN Conf. on Programming
Language Design and Implementation (PLDI), pages 363-375, 2010.
[13] B. Chandramouli et al. Trill: A High-Performance
Incremental Query Processor for Diverse Analytics. In
Proc. of the 41st Int. Conf. on Very Large Data Bases
(VLDB), 2015.
[14] S. Chandrasekaran et al. TelegraphCQ: Continuous Dataow
Processing. In Proc. of the 2003 ACM SIGMOD Int. Conf. on Management of Data
(SIGMOD), SIGMOD '03, pages 668-668, New York, NY, USA, 2003. ACM.
[15] J. Chen et al. NiagaraCQ: A Scalable Continuous Query
System for Internet Databases. In Proc. of the 2000 ACM SIGMOD Int. Conf. on
Management of Data (SIGMOD), pages 379-390, 2000.
[16] J. Dean and S. Ghemawat. MapReduce: Simplifed Data
Processing on Large Clusters. In Proc. of the Sixth Symposium on Operating
System Design and Implementation (OSDI), 2004.
[17] EsperTech. Esper. http://www.espertech.com/esper/,
2006.
[18] Gates et al. Building a High-level Dataow System on Top
of Map-Reduce: The Pig Experience. Proc.VLDB Endow., 2(2):1414-1425, Aug. 2009.
[19] Google. Dataow SDK. https://github.com/
GoogleCloudPlatform/DataflowJavaSDK, 2015.
[20] Google. Google Cloud
Dataow.https://cloud.google.com/dataflow/, 2015.
[21] T. Johnson et al. A Heartbeat Mechanism and its
Application in Gigascope. In Proc. of the 31st Int. Conf. on Very Large Data
Bases (VLDB), pages 1079-1088, 2005.
[22] J. Li et al. Semantics and Evaluation Techniques for
Window Aggregates in Data Streams. In Proceedings og the ACM SIGMOD Int. Conf.
on Management of Data (SIGMOD), pages 311-322, 2005.
[23] J. Li et al. Out-of-order Processing: A New Architecture
for High-performance Stream Systems. Proc. VLDB Endow., 1(1):274-288, Aug.
2008.
[24] D. Maier et al. Semantics of Data Streams and
Operators. In Proc. of the 10th Int. Conf. on Database Theory (ICDT), pages
37-52, 2005.
[25] N. Marz. How to beat the CAP theorem.
http://nathanmarz.com/blog/how-to-beat-the-cap-theorem.html, 2011.
[26] S. Murthy et al. Pulsar - Real-Time Analytics at Scale.
Technical report, eBay, 2015.
[27] SQLStream. http://sqlstream.com/, 2015.
[28] U. Srivastava and J. Widom. Flexible Time Management in
Data Stream Systems. In Proc. of the 23rd ACM SIGMOD-SIGACT-SIGART Symp. on
Princ. of Database Systems, pages 263-274, 2004.
[29] A. Thusoo, J. S. Sarma, N. Jain, Z. Shao, P. Chakka, S.
Anthony, H. Liu, P. Wycko_, and R. Murthy. Hive: A Warehousing Solution over a
Map-reduce Framework. Proc. VLDB Endow., 2(2):1626-1629, Aug. 2009.
[30] P. A. Tucker et al. Exploiting punctuation semantics in
continuous data streams. IEEE Transactions on
Knowledge and Data Engineering, 15, 2003.
[31] J. Whiteneck et al. Framing the Question: Detecting and
Filling Spatial- Temporal Windows. In Proc. of the ACM SIGSPATIAL Int. Workshop
on GeoStreaming (IWGS), 2010.
[32] F. Yang and others. Sonora: A Platform for Continuous
Mobile-Cloud Computing. Technical Report MSR-TR-2012-34, Microsoft Research
Asia.
[33] M. Zaharia et al. Resilient Distributed Datasets: A
Fault-Tolerant Abstraction for In-Memory Cluster Computing. In Proc. of the 9th
USENIX Conf. on Networked Systems Design and Implementation (NSDI), pages
15-28, 2012.
[34] M. Zaharia et al. Discretized Streams: Fault-Tolerant
Streaming Computation at Scale. In Proc. of the 24th ACM Symp. on Operating
Systems Principles, 2013.
感谢eric的敦促,感谢shuai的感召,我尝试记录一点混乱的思考。为什么保留部分英文的描述?最本质最恰当的表述引用了英文原文。
什么是分布式系统?
毋庸置疑,Internet和DNS是两个典型的成功的分布式系统。那么,分布式系统是不是就是计算机网络?1990年,Sun Microsystems公司提出网络即是计算机(The network is the computer.),后来google提出数据中心即是计算机,现在有人提出云即是计算机。这些都试图从抽象的概念上总结分布式系统呈现的一致视图。《分布式系统:原理与范型》一书中对分布式系统的定义就是从用户的角度描述的:
A distributed system is a collection of independent computers that appears to its users as a single coherent system.
其强调的的结构是这样的:
《分布式系统:概念与设计》一书中给出的定义则更强调了消息传递的本质:
A distributed system is one in which components located at networked computers communicate and coordinate their actions onlyby passing messages. This definition leads to the following especially significant characteristics of distributed
systems:concurrency of components, lack of a global clock and independent failures ofcomponents。
那么分布式系统一个基本模型将是这样的:
《分布式计算:原理,算法,系统》一书给出的定义则更接近自然界的本质:
A distributed system is a collection of independent entities that cooperate to solve a problem that cannot be individually solved.
Distributed systems havebeen in existence since the start of the universe. From a school of fish to a flock of birds and entire ecosystems of microorganisms, there is communication among mobile intelligent agents in nature.
《失控:全人类的最终命运和结局》一书描述分布式系统已经超越了机器和软件的范围,着重描述人造和天生的混合以及人类社会,生物群落,自组织,涌现,超级有机体等概念。作者认为人类社会是由各种人和机器组成的大型分布式系统(第22.6节)。
书中有大量的新颖的观点,值得一读。
分布式系统一致性的需求
Safety
Only a value that has been proposed may be chosen.
Only a single value is chosen.
A node never learns that a value has been chosen unless it actually has been.
Liveness
Some proposed value is eventually chosen.
If a value has been chosen, a node can eventually learn the value.
为什么安全性和活性是一致性算法的需求呢?因为一致性和活性是所有分布式算法正确性的的等价描述。LESLIE LAMPORT在其1977年的论文《Proving the Correctness of Multiprocess Programs》中第一次描述了安全性和活性,后来成为构建分布式系统的标准。
Correctness == Safety and liveness
在这里想稍微离开主题一下,是关于Leslie Lamport。Leslie Lamport,has been awarded the 2013 Association for Computing Machinery A.M. Turing Award,for “imposing clear, well-defined coherence on the seemingly
chaotic behavior of distributed computing systems, in which several autonomous computers communicate with each other by passing messages”.他使分布式计算系统看起来混乱的行为变得清晰、定义明确且具有连贯性,在该系统下,多台自主计算机之间可以相互通信(参见CSDN报道)。个人认为:这是一个迟到的图灵奖,Leslie
Lamport的基础理论和算法大量用于现在互联网公司的分布式系统中(google,hadoop,yahoo!,amzon,facebook等等),几乎所有涉及分布式一致性问题的系统都要引用他的paxos算法。Google的论文chubby中写道:Indeed, all working protocols for asynchronous consensus we have so far encountered have Paxos at their core.迄今为止,未见其他计算机大牛在分布式系统领域的贡献比他多。ACM的报道以《General
Agreement》为题,明喻其分布式系统一致算法,暗语他的理论和算法已经成为分布式平台的基础设施,并最终得到世界的一致承认。他提出和解决了分布式系统大量基础问题,包括逻辑时钟(解决分布式系统时序问题,思想来源于爱因斯坦的相对论),安全性和活性(并发系统的正确性验证)问题,拜占庭将军问题(分布式系统在任意故障的环境下如何达成一致),paxos算法(解决分布式系统的一致性问题)等。 Leslie
Lamport目前工作在微软,是微软第五位获得图灵奖的科学家。Leslie Lamport的文章都值得一读,参考他的HOME PAGE。
Safety
Properties that state that nothing bad ever happens
Liveness
Properties that state that something good eventually happens
我查阅了最初的文章,未有耐心推敲枯燥的数学证明。在这里搜集一些有趣的例子分享一下:
比如说你参加一门考试,那么在这个事件中你如何通过安全性和活性保证你的正确性呢?
Safety : 如果你参加考试,不应该失败
Liveness : 你应该最终通过考试
交叉路口的红绿灯在汽车通过的时候如何保证正确性呢?
Safety : 只有一个方向能有绿灯
Liveness : 没有给方向最终都会有一个绿灯
整数排序:
Safety : (本例中也称为局部正确性):如果算法终止,输出必须是排序的整数。
Liveness : (本例中也称为终止性):最终算法将会终止。例如,将会以输出作为响应。
一些有趣的描述:
Safety是由无可挽回的事情刻画的。这个事情从来不会发生…
Safety的违反:是在有限的时间内发生;
Safety的满足:是在无限的时间内发生;
如果一个系统什么也不做,那么它是满足安全性的。
Liveness则是由没可能违反的事情刻画的。最终,当什么时候…
Liveness的满足:在有限的时间内结束;
Liveness的违反:在无限的时间内结束;
如果一个系统什么都做,那么它是满足活性的。
有Liveness的地方就有希望。
如何判断一个属性是属于Liveness还是Safety呢?
是不是有一个有限的时间点,通过一个系统的接口观察到属性P被违反了?
如果答案是YES,那么P就是Safety。
有时候,Liveness是违反有限时间的,当系统进入死循环和死锁时,通过系统的接口是观察不到的。
Safety的通俗理解是:没有坏的事情发生。同时出现两个方向的红灯或绿灯。如果车钥匙扭到点火的位置,车子必须启动。程序能够运行。钟表能够滴答。如果一个用户发出访问临界区的请求,那么必须被通过。Liveness的通俗理解:美好的事情最终会发生。红灯最终会变绿。如果车钥匙扭到点火的位置,车子最终将会启动。程序最终将会终止。钟表会无限滴答。如果一个用户发出访问临界区的请求,那么最终请求会被通过。那么,Safety就是保证没有坏的事情发生,而Liveness就是保证好的事情最终都会发生。每一个分布式系统都会不同程度上保证这两个属性,一些强一点,而另一些弱一点。这是一种平衡。比如说,原子操作就是最大程度的保证了Safety,却丧失了Liveness。原子操作在多个操作同时到达时不会相互干扰,但是在网络分区的情况下无能为力。而今天的分布式系统中广泛采用最终一致性。最终一致性是在一段时间之后,所有的参与者都会对同一个值达成一致。那意味着美好的事情最终会发生。但是,最终一致性无法保证Safety,把最终一致性看作Liveness(最终)和Safety(一致性)的组合,那么我们可以提出这样的问题:系统中间状态的哪一个值最终被采纳?在所有参与者达成一致前,系统返回什么值呢?
看来,Safety和Liveness有那么一点普适意义的感觉,这对我们的系统设计有什么指导意义呢?
分布式系统故障模型
分布式系统面对的主要问题
How to reach consensus/data consistency in distributed system that can tolerate non-malicious failures?
分布式系统书籍中,首推《分布式系统:概念与设计》。所以我更倾向于依赖消息传递而实现的分布式系统。因为这是一种share-nothing的结构,而消息传递本身是无状态的(类似于TCP协议的状态绑定是协议的使用,而不是协议本身的性质)。share-nothing便于线性扩展,无状态便于故障恢复(failover click click,failback,failsafe,failstop,failfast,failsilent)。对比一下RedHat
的GFS和NFS协议,可以深入理解一下无状态的概念。
GFS是基于共享存储的集群文件系统,而NFS准确来说只是一个兼容posix语义的文件共享系统。GFS中各个node是全对称(peer
to peer),但需要中心的锁服务器并发和协定,在文件数量很大和并发操作很多的情况下,特别node的故障和恢复的情况下,不出问题都很难。而NFS的实现是无状态的,且经过多年工业级检验,比较稳定。NFS is a stateless protocol. This means that the file server stores no per-client information, and there are no NFS "connections". For example, NFS has no operation to
open a file, since this would require the server to store state information (that a file is open; what its file descriptor is; the next byte to read; etc). Instead, NFS supports a Lookup procedure, which converts a filename into a file handle. This file handle
is an unique, immutable identifier, usually an i-node number, or disk block address. NFS does have a Read procedure, but the client must specify a file handle and starting offset for every call to Read. Two identical calls to Read will yield the exact same
results. If the client wants to read further in the file, it must call Read with a larger offset.
Issues of state:
One of the design decisions made when designing a network filesystem is determining what part of the system will track the files that each client has open, information referred to generically as “state.” A server that does not record the status of files and
clients is said to be stateless; one that does is stateful. Both approaches have been used over the years, and both have benefits and drawbacks.
Stateful servers keep track of all open files across the network. This mode of operation introduces many layers of complexity (more than you might expect) and makes recovery in the event of a crash far more difficult. When the server returns from a hiatus,
a negotiation between the client and server must occur to reconcile the last known state of the connection. Statefulness allows clients to maintain more control over files and facilitates the management of files that are opened in read/write mode.
On a stateless server, each request is independent of the requests that have preceded it. If either the server or the client crashes, nothing is lost in the process. Under this design, it is painless for servers to crash or reboot, since no context is maintained.
However, it’s impossible for the server to know which clients have opened files for writing, so the server cannot manage concurrency.
在这样的系统中,进程实体和通信信道都可能发生故障。
进程遗漏故障
迄今为止,除了超时机制外,未见更加有效的进程故障判断方法。在异步系统中,超时只能表明没有响应,其原因肯那个是崩溃了,也可以是消息还没有到达。
通信遗漏故障
通信的故障发生在三个区域:发送方的缓冲区,通信信道和接收方的缓冲区。
拜占庭故障
这是可能出现的最坏的故障,此时可能发生任何类型错误,包括假冒的节点或者是被黑客攻陷的节点等。关于这个问题,Leslie Lamport在《The Byzantine Generals Problem》第一次描述了这个问题。非正式的来说,是这样的:
three or more generals are to agree to attack or to retreat.
One, the commander, issues the order. The others, lieutenants to the commander, must decide whether to attack or retreat.
But one or more of the generals may be ‘treacherous’ – that is, faulty.
If the commander is treacherous, he proposes attacking to one general and retreating to another.
If a lieutenant is treacherous, he tells one of his peers that the commander told him to attack and another that they are to retreat.
Zookeeper论文中说:To date, we have not observed faults in production that would have been prevented using a fully Byzantine fault-tolerant protocol.
分布式系统的复制技术
基于所有的分布式系统书籍都会提到复制技术以及它的两个需求:性能和高可用性。也就是说,通过使用复制技术,可以提供就近的数据访问和故障时的切换。当然,复制也是产生一致性问题的根源。
复制的三种模型
A number of widely cited models exist for data replication, each having its own properties and performance:
1.Transactional replication. This is the model for replicating transactional data, for example a database or some other form of transactional storage structure. The one-copy serializability model is employed in this case, which defines legal outcomes of
a transaction on replicated data in accordance with the overall ACID properties that transactional systems seek to guarantee.
2.State machine replication. This model assumes that replicated process is a deterministic finite automaton and that atomic broadcast of every event is possible. It is based on a distributed computing problem called distributed consensus and has a great deal
in common with the transactional replication model. This is sometimes mistakenly used as synonym of active replication. State machine replication is usually implemented by a replicated log consisting of multiple subsequent rounds of the Paxos algorithm. This
was popularized by Google's Chubby system, and is the core behind the open-source Keyspace data store.[4][5]
3.Virtual synchrony. This computational model is used when a group of processes cooperate to replicate in-memory data or to coordinate actions. The model defines a distributed entity called a process group. A process can join a group, and is provided with a
checkpoint containing the current state of the data replicated by group members. Processes can then send multicasts to the group and will see incoming multicasts in the identical order. Membership changes are handled as a special multicast that delivers a
new membership view to the processes in the group.
文件系统的复制技术:
一般有文件复制和分块复制。
数据库系统复制:
binlog复制
一致性问题概述
一致性问题演化
一致性问题源于70年代末的数据库系统:那个时候的目标是实现distribution transparency—that is, to the user of the system it appears as if there is only one system instead of a number of collaborating systems.而采用的策略是:Many systems during this time took the approach that it
was better to fail the complete system than to break this transparency。
90年代中期,互联网开始发展。此时人们认为可用性比一致性更重要,但也在思考是否应该在一致性和可用性之间平衡。
2000年,在Principles of Distributed Computing(PODC)会议上,Eric Brewer在其Towards Robust Distributed Systems论文中提出来CAP理论,阐述了data consistency, system availability, and tolerance to network partition分布式系统中的三个属性在任何时候都只能实现两个。两年后,猜想得到证明Seth Gilbert and Nancy Lynch:Gilbert,
S. and Lynch, N. Brewer’s conjecture and the feasibility of consistent, available, partition-tolerant Web services. ACM SIGACT News 33, 2 (2002).其含义是一个不允许分区的系统可以通过事务协议实现数据一致性和可用性。这就要求客户机和服务器在同一个环境中,并且故障对于两者是整体性的,对于客户机就不会出现分区。但是在更大的分布式系统中,分区必然会出现,一致性和可用性就不能同时保证。这样就只有两个选择:放松一致性获得可用性和保证一致性牺牲可用性。系统的使用者(例如开发人员)需要知悉系统的行为。如果系统强调了一致性,开发者将会面临系统不可用的情况,例如无法写入,此时开发者需要处理写失败的情况(暂存本地还是一直挂起?)。如果系统强调了可用性,开发者要明确读取数据不一定是最新的,有大量的应用采用这样的模型,允许少量的陈旧数据而工作的很好。
在事务处理领域,一致性被定义为:ACID properties (atomicity, consistenconsistency,isolation, durability) 可以认为是一致性的另外一种类型或描述。
In ACID, consistency relates to the guarantee that when a transaction is finished the database is in a consistent state;
In ACID-based systems, this kind of consistency is often the responsibility of the developer writing the transaction but can be assisted by the database managing integrity constraints.
一致性——客户端和服务器
我们可以从客户端和服务器两个角度来看一致性问题。从客户端的角度也是从用户的角度,就是说你如何看待数据的更新?对于用户来说,服务器就是一个黑盒,但是必须提供数据的持久性和可用性。客户端的一致性特别强调用户多个无关的进程或者线程如何看待存储系统中数据对象,具体来说就是当一个更新操作完成之后,对于后续的进程有什么影响。比如:
强一致性:当更新操作完成之后,任何多个后续进程或者线程的访问都会返回最新的更新过的值。
弱一致性:系统并不保证续进程或者线程的访问都会返回最新的更新过的值。在系统返回之前需要满足一定的条件,更新操作完成之后到访问返回最新值之间的时间窗口称为不一致窗口。
最终一致性:弱一致性的特定形式。系统保证在没有后续更新的前提下,系统最终返回上一次更新操作的值。在没有故障发生的前提下,不一致窗口的时间主要受通信延迟,系统负载和复制副本的个数影响。DNS是一个典型的最终一致性系统。
最终一致性模型的变种:
因果一致性:如果A进程在更新之后向B进程通知更新的完成,那么B的访问操作将会返回更新的值。如果没有因果关系的C进程将会遵循最终一致性的规则。
读己所写一致性:因果一致性的特定形式。一个进程总可以读到自己更新的数据。
会话一致性:读己所写一致性的特定形式。进程在访问存储系统同一个会话内,系统保证该进程读己之所写。
Phase 1 (prepare):
A proposer selects a proposal number n and sends a prepare request with number n to majority of acceptors.
If an acceptor receives a prepare request with number n greater than that of any prepare request it saw, it responses YES to that request with a promise not to accept any more proposals numbered less than n and include the highest-numbered proposal (if any)
that it has accepted.
Phase 2 (accept):
If the proposer receives a response YES to its prepare requests from a majority of acceptors, then it sends an accept request to each of those acceptors for a proposal numbered n with a values v which is the value of the highest-numbered proposal among the
responses.
If an acceptor receives an accept request for a proposal numbered n, it accepts the proposal unless it has already responded to a prepare request having a number greater than n.
达到一致性的标准:
A value is chosen at proposal number n iff majority of acceptor accept that value in phase 2 of the proposal number.
P1. An acceptor must accept the first proposal that it receives.
首先要明确的是,必须有多个acceptor,如果系统内只有一个acceptor,单点故障,系统的状态将彻底丢失;
算法核心,多数原则:如果采用多个acceptors,“真理”就掌握在多数人手中。
P1阶段蕴含的意思很明显:acceptor必须接受他收到的的第一个proposal(这样保证系统内只有一个proposal(只提出了一个提案)的情况,这也是为什么作者引入P1阶段的原因)
P1阶段存在的问题:多个proposers同时提出不同的proposals,每一个acceptor都接受一个proposal,此时也不能达成一致。情形如下:
这样的结果是2对于2,平手。问题在于既要满足P1又要满足多数原则,则必然要求一个acceptor能够接受多个proposal。所以需要P2阶段。
开始P2阶段之前,需要说明一个proposal是偏序的,也就是说Proposals = same value + different(may be) proposal number,因为不同的 proposals 有不同的 numbers,所谓偏序就是value不变,number是全序。这样做是为了保证一个acceptor能够接受多个proposal时,提案是唯一的(其值是代表一个提案的)。Number具体意义取决于实现,可以是权重,也可以是时间+权重。全序的number是保证算法safety
property的根本(关于分布式系统的safety和liveness,下次分享)。一个proposal表示如下:
P2. If a proposal with value v is chosen, then every higher-numbered proposal,that is chosen has value v.
有了全序的number,就能够保证P2。如果一致已经达成v,后续能够被接受的提案必须都有v。一个proposal必须至少被一个acceptor接受,所以P2a可以满足P2。
P2a . If a proposal with value v is chosen, then every higher-numbered proposal accepted by any acceptor has value v.
P2a 处理不了下面的情况:ABC已经达成一致,C没有收到任何的proposal,由于消息的异步,一致的proposal还没有通知到它。然后一个曾经断链或者关机的节点加入系统,并提出一个更higher-numbered带有新value的proposal给D,根据P1,D必须接受该proposal,与P2a矛盾。所以用P2b对P2a加强。
P2b . If a proposal with value v is chosen, then every higher-numbered proposalissued by any proposer has value v.
其实P2a是从acceptor端控制不接受不是已经达成一致的那个v,其实P2b是从proposer端控制不接受不是已经达成一致的那个v。
P2b不易实现,所以又有了P2c。
P2c. For any v and n, if a proposal with value v and number n is issued,then there is a set S consisting of a majority of acceptors such thatEither (a) no acceptor in S has accepted any proposal numbered less than n, or (b) v is the value of the highest-numbered
proposal amongAll proposals numbered less than n accepted by the acceptors in S.
多数派要么没有接受过,要么当前是the highest-numbered proposal。关键是偏序的number,每次都要去拿号。去遍询当前的状态。
算法的本质
论文《Enhanced Paxos Commit for Transactions on DHTs》讨论了paxos算法的一些本质含义,对于工程实现有很好的借鉴意义。比如多个角色的重合,固定acceptors数量(不能在运行时增加),acceptors作为分布式内存,一致性的达成是由learner来宣布等。
Each process may take the role of a proposer, an acceptor, or a learner, or any combination thereof.
A proposer attempts to get a consensus on a value.This value is either its own proposal or the resulting value of a previously achieved consensus.
The acceptors altogether act as a collective memory on the consensus status achieved so far. The number of acceptors must be known in advance and must not increase during runtime, as it defines the size of the majority set m required to be able to achieve
consensus.
The decision, whether a consensus is reached, is announced by a learner.
Proposers trigger the protocol by initiating a new round.Acceptors react on requests from proposers. By holding the current state of accepted proposals, the acceptors collectively provide a distributed, fault-tolerant memory for the consensus.In essence,
a majority of acceptors together ’know’ whether an agreement is already achieved, while the proposers are necessary to trigger the consensus process and to ’read’ the distributed memory.
Each round is marked by a distinct round number r. Round numbers are used as a mean of decentralized tokens. The protocol does not limit the number of concurrent proposers:There may be multiple proposers at the same time with different round numbers r.
The proposer with the highest r holds the token for achieving consensus. Only messages with the highest round number ever seen by each acceptor, will be processed by that acceptor. All others will be ignored. If at any round, a majority of the acceptors accepted
a proposal with value v, it will again be chosen by all subsequent rounds. This ensures the validity and integrity properties.
The algorithm can be split into two phases: (1) an information gathering phase to check whether there was already an agreement in previous rounds,and (2) a consolidation phase to distribute the consensus to a majority of acceptors and thereby to agree
on the decision. In the best case, consensus may be achieved in a single round. In the worst case, the decision may be arbitrarily long delayed by interleaving proposers with successively increasing round numbers (token stealing by each other).
①proposer的初始化:选择任意一个目前为止最大的整数设置为序列号r,开始的时候,任意的的序列号都是可以的,唯一的限制是必须是在多个proposers中保证唯一(一种可行的方法是使用proposer的标识作为一部分)。如果恰好一个序列号比前一个序列号小,那么该序列号对应的propose会被认为是过时的而被忽略。
②acceptors的初始化:响应的序列号r = 0;已接受的序列号r = 0;选择的vaule为NULL。
③proposer发送带有序列号r的prepare(r)消息,广播给所有acceptors,然后开始超时计时。如果在超时值时间内没有收到大多数acceptors的应答消息,就是用更大的序列号和一个增大的超时值重新开始新一轮的prepare。
④如果acceptors收到的序列号是迄今为止最大的序列号,那么保存序列号并发送确认消息。
⑤proposer检查从acceptors那里获得的最新的vaule,如果仍旧为NULL,则proposer自己propose一个值;如果不为NULL,则接受最新的vaule。
⑥如果learner从多数acceptors那里获得valure,一致达成于value。
⑦对于过时的序列号,为了帮助proposer更快的(使用更大的序列号)发起新一轮的propose,acceptors用已经接受的序列号来响应proposer。
⑧如果proposer接受的value所对应的序列号过时,则acceptors发送拒绝的消息给proposer。
proposer的崩溃:会有新的进程替代proposer的角色,新的proposer需要首先需要从acceptors那里获得已经达成的一致信息(如果有的话)。
acceptors角色:acceptors并不知道一致性状态是否达成,它们必须永远运行,时刻准备着接收新的propose消息,如果有更高序列号的propose到达,acceptors需要接受和存储新的值。一个改进是可以在一致性状态达成之后,acceptors的角色或者进程终止。
acceptors在接受一个value之后,广播给所有的learners的消息量过大:只广播给learners一个子集。
如果所有的learners都没有接收到value:可以让该node重新发一起一次propose过程(learner可以和proposer为同一个node)。
理想的情况下,一轮的通信就可以达成一致。最坏的情况是出现活锁:两个proposer的propose互相不断的增大序列号,不断的propose。这样需要选举出来一个proposer作为leader,这是不是成了鸡生蛋的问题了?
CGRect
CGRect frame = CGRectMake (origin.x,origin.y, size.width, size.height);矩形
NSStringFromCGRect(someCG) 把CGRect结构转变为格式化字符串;
CGRectFromString(aString) 由字符串恢复出矩形;
CGRectInset(aRect) 创建较小或较大的矩形(中心点相同),+较小 -较大
CGRectIntersectsRect(rect1, rect2) 判断两矩形是否交叉,是否重叠
CGRectZero 高度和宽度为零的/位于(0,0)的矩形常量
CGPoint & CGSize
CGPoint aPoint = CGPointMake(x, y);
CGSize aSize = CGSizeMake(width, height);
设置透明度
[myView setAlpha:value]; (0.0 < value < 1.0)
设置背景色
[myView setBackgroundColor:[UIColorredColor]];
(blackColor;darkGrayColor;lightGrayColor;
whiteColor;grayColor;redColor; greenColor;
blueColor;cyanColor;yellowColor;
magentaColor;orangeColor;purpleColor;
brownColor; clearColor;)
自定义颜色
UIColor *newColor = [[UIColor alloc]
initWithRed:(float) green:(float) blue:(float)alpha:(float)];
0.0~1.0
320X480
480X320
状态栏高 (显示时间和网络状态)
20 像素
导航栏、工具栏高(返回)
隐藏状态栏
[[UIApplication shareApplication]setStatusBarHidden: YES animated:NO]
[[UIApplication shareApplication]
setStatusBarOrientation:UIInterfaceOrientationLandscapeRight].
屏幕变动检测
orientation ==UIInterfaceOrientationLandscapeLeft
window=[[UIWindow alloc] initWithFrame:[UIScreenmainScreen] bounds];
自动适应父视图大小:
aView.autoresizingSubviews = YES;
aView.autoresizingMask =(UIViewAutoresizingFlexibleWidth |
UIViewAutoresizingFlexibleHeight);
UIButton *scaleUpButton = [UIButtonbuttonWithType:UIButtonTypeRoundedRect];
[scaleUpButton setTitle:@"放 大" forState:UIControlStateNormal];
scaleUpButton.frame = CGRectMake(40, 420,100, 40);
[scaleUpButton addTarget:self
action:@selector(scaleUp)
forControlEvents:UIControlEventTouchUpInside];
设置视图背景图片
UIImageView *aView;
[aView setImage:[UIImageimageNamed:@”name.png”]];
view1.backgroundColor = [UIColorcolorWithPatternImage:
[UIImageimageNamed:@"image1.png"]];
自定义UISlider的样式和滑块
我们使用的是UISlider的setMinimumTrackImage,和setMaximumTrackImage方法来定义图片的,这两个方法可以设置滑块左边和右边的图片的,不过如果用的是同一张图片且宽度和控件宽度基本一致,就不会有变形拉伸的后果,先看代码,写在 viewDidLoad中:
//左右轨的图片
UIImage *stetchLeftTrack= [UIImageimageNamed:@"brightness_bar.png"];
UIImage *stetchRightTrack = [UIImageimageNamed:@"brightness_bar.png"];
//滑块图片
UIImage *thumbImage = [UIImage imageNamed:@"mark.png"];
UISlider *sliderA=[[UISlider alloc]initWithFrame:CGRectMake(30, 320,257, 7)];
sliderA.backgroundColor = [UIColor clearColor];
sliderA.value=1.0;
sliderA.minimumValue=0.7;
sliderA.maximumValue=1.0;
[sliderA setMinimumTrackImage:stetchLeftTrackforState:UIControlStateNormal];
[sliderA setMaximumTrackImage:stetchRightTrackforState:UIControlStateNormal];
//注意这里要加UIControlStateHightlighted的状态,否则当拖动滑块时滑块将变成原生的控件
[sliderA setThumbImage:thumbImage forState:UIControlStateHighlighted];
[sliderA setThumbImage:thumbImage forState:UIControlStateNormal];
//滑块拖动时的事件
[sliderA addTarget:self action:@selector(sliderValueChanged:)forControlEvents:UIControlEventValueChanged];
//滑动拖动后的事件
[sliderA addTarget:self action:@selector(sliderDragUp:)forControlEvents:UIControlEventTouchUpInside];
[self.view addSubview:sliderA];
为了大家实验方便,我附上背景图brightness_bar.png和滑块图mark.png
http://pic002.cnblogs.com/images/2011/162291/2011121611431816.png
http://pic002.cnblogs.com/images/2011/162291/2011121611432897.png
-(IBAction)sliderValueChanged:(id)sender{
UISlider *slider = (UISlider *) sender;
NSString *newText = [[NSString alloc]initWithFormat:@”%d”, (int)(slider.value + 0.5f)];
label.text = newText;
<UIActionSheetDelegate>
- (IBActive) someButtonPressed:(id)sender
UIActionSheet *actionSheet =[[UIActionSheet alloc]
initWithTitle:@”Are you sure?”
delegate:self
cancelButtonTitle:@”No way!”
destructiveButtonTitle:@”Yes, I’m Sure!”
otherButtonTitles:nil];
[actionSheetshowInView:self.view];
[actionSheet release];
<UIAlertViewDelegate>
- (void) actionSheet:(UIActionSheet *)actionSheetdidDismissWithButtonIndex:(NSInteger) buttonIndex
if(buttonIndex !=[actionSheet cancelButtonIndex])
NSString*message = [[NSString alloc] initWithFormat:@”You can
breathe easy, everything went OK.”];
UIAlertView *alert = [[UIAlertView alloc]
initWithTitle:@”Something was done”
message:message
delegate:self
cancelButtonTitle:@”OK”
otherButtonTitles:nil];
[alertshow];
[alertrelease];
[messagerelease];
-(void)doChange:(id)sender
if(view2 == nil)
[self loadSec];
[UIView beginAnimations:nil context:NULL];
[UIView setAnimationDuration:1];
[UIView setAnimationTransition:([view1superview]?UIViewAnimationTransitionFlipFromLeft:UIViewAnimationTransitionFlipFromRight)forView:self.viewcache:YES];
if([view1 superview]!= nil)
[view1 removeFromSuperview];
[self.view addSubview:view2];
}else {
[view2 removeFromSuperview];
[self.view addSubview:view1];
[UIView commitAnimations];
Table View <UITableViewDateSource>
#pragma mark -
#pragma mark Table View Data Source Methods
//指定分区中的行数,默认为1
- (NSInteger)tableView:(UITableView*)tableView
numberOfRowsInSection:(NSInteger)section
return [self.listData count];
//设置每一行cell显示的内容
- (UITableViewCell *)tableView:(UITableView*)tableView
cellForRowAtIndexPath:(NSIndexPath*)indexPath
static NSString *SimpleTableIndentifier =@"SimpleTableIndentifier";
UITableViewCell *cell = [tableViewdequeueReusableCellWithIdentifier:SimpleTableIndentifier];
if (cell == nil) {
cell = [[[UITableViewCell alloc]
initWithStyle:UITableViewCellStyleSubtitle
reuseIdentifier:SimpleTableIndentifier]
autorelease];
UIImage *image =[UIImage imageNamed:@"13.gif"];
cell.imageView.image = image;
NSUInteger row = [indexPath row];
cell.textLabel.text = [listDataobjectAtIndex:row];
cell.textLabel.font =[UIFont boldSystemFontOfSize:20];
if(row < 5)
cell.detailTextLabel.text = @"Bestfriends";
cell.detailTextLabel.text =@"friends";
return cell;
图像、文本标签和详细文本标签
图像:如果设置图像,则它显示在文本的左侧;文本标签:这是单元的主要文本(UITableViewCellStyleDefault 只显示文本标签);详细文本标签:这是单元的辅助文本,通常用作解释性说明或标签
UITableViewCellStyleSubtitle
UITableViewCellStyleDefault
UITableViewCellStyleValue1
UITableViewCellStyleValue2
<UITableViewDelegate>
#pragma mark -
#pragma mark Table View Delegate Methods
//把每一行缩进级别设置为其行号
- (NSInteger)tableView:(UITableView*)tableView indentationLevelForRowAtIndexPath:(NSIndexPath *)indexPath
NSUInteger row = [indexPath row];
return row;
//获取传递过来的indexPath值
- (NSIndexPath *)tableView:(UITableView*)tableView willSelectRowAtIndexPath:(NSIndexPath *)indexPath
NSUInteger row = [indexPath row];
if (row == 0)
return nil;
return indexPath;
- (void)tableView:(UITableView *)tableViewdidSelectRowAtIndexPath:(NSIndexPath *)indexPath
NSUInteger row = [indexPath row];
NSString *rowValue = [listDataobjectAtIndex:row];
NSString *message = [[NSString alloc]initWithFormat:@"You selected %@",rowValue];
UIAlertView *alert = [[UIAlertView alloc]initWithTitle:@"Row Selected"
message:message
delegate:nil
cancelButtonTitle:@"Yes, Idid!"
otherButtonTitles:nil];
[alert show];
[alert release];
[message release];
[tableView deselectRowAtIndexPath:indexPathanimated:YES];
//设置行的高度
- (CGFloat)tableView:(UITableView*)tableView heightForRowAtIndexPath:(NSIndexPath *)indexPath
return 40;
NavigationController 推出push 推出pop
[self.navigationControllerpushViewController:_detailController animated:YES];
[self.navigationControllerpopViewControllerAnimated:YES];
Debug:
NSLog(@"%s %d", __FUNCTION__,__LINE__);
点击textField外的地方回收键盘
先定义一个UIControl类型的对象,在上面可以添加触发事件,令SEL实践为回收键盘的方法,最后将UIControl的实例加到当前View上。
UIControl *m_control = [[UIControl alloc]initWithFrame:CGRectMake(0, 0, 320, 480)];
[m_control addTarget:selfaction:@selector(keyboardReturn)
forControlEvents:UIControlEventTouchUpInside];
[self.view addSubview:m_control];
- (void) keyboardReturn
[aTextField resignFirstResponder];
键盘覆盖输入框
当键盘调出时将输入框覆盖时,可以用下方法:
-(BOOL)textFieldShouldBeginEditing:(UITextField *)textField
[self.view setFrame:CGRectMake(0, -100,320, 480) ];
return YES;
-(BOOL)textFieldShouldEndEditing:(UITextField *)textField
[self.view setFrame:CGRectMake(0, 0, 320,480)];
return YES;
当准备输入时,将视图的位置上调100,这样键盘就不能覆盖到输入框。
当依赖注入方法不好使时,可以在AppDelegate内申明一个全局的控制器实例_anotherViewController,在另一个需要使用_anotherViewController的地方定义以下委托方法,使用共享的UIApplication实例来获取该委托的引用
SomeAppDelegate *appDelegate =(SomeAppDelegate *)[[UIApplication sharedApplication] delegate];
_anotherViewController =appDelegate._anotherViewController;
UIViewController内建Table View
纯代码在UIViewController控制器内建Table View
@interface RootViewController :UIViewController <UITableViewDelegate, UITableViewDataSource> {
NSArray *timeZoneNames;
@property (nonatomic,retain) NSArray*timeZoneNames;
(void) loadView
UITableView *tableView = [[UITableViewalloc] initWithFrame:[[UIScreen mainScreen] applicationFrame]] style:UITableViewStylePlain];
tableView.autoresizingMask =(UIViewAutoresizingFlexibleHeight | UIViewAutoresizingWidth);
tableView.delegate = self;
tableView.dataSource = self;
[tableView reloadData];
self.view = tableView;
[tableView release];
将plist文件中的数据赋给数组
NSString *thePath = [[NSBundle mainBundle]pathForResource:@"States" ofType:@"plist"];
NSArray *array = [NSArrayarrayWithContentsOfFile:thePath];
UITouch
手指的触摸范围:64X64
#pragma mark -
#pragma mark Touch Events
- (void)touchesBegan:(NSSet *) toucheswithEvent:(UIEvent *) event {
originFrame = bookCover.frame;
NSLog(@"%s %d",__FUNCTION__,__LINE__);
if ([touches count] == 2)
NSArray *twoTouches = [touches allObjects];
UITouch *firstTouch = [twoTouchesobjectAtIndex:0];
UITouch *secondTouch = [twoTouchesobjectAtIndex:1];
CGPoint firstPoint = [firstTouchlocationInView:bookCover];
CGPoint secondPoint = [secondTouchlocationInView:bookCover];
CGFloat deltaX = secondPoint.x -firstPoint.x;
CGFloat deltaY = secondPoint.y - firstPoint.y;
initialDistance = sqrt(deltaX * deltaX +deltaY * deltaY );
frameX = bookCover.frame.origin.x;
frameY = bookCover.frame.origin.y;
frameW = bookCover.frame.size.width;
frameH = bookCover.frame.size.height;
NSLog(@"%s %d",__FUNCTION__,__LINE__);
- (void)touchesMoved:(NSSet *) toucheswithEvent:(UIEvent *) event {
if([touches count] == 2)
NSLog(@"%s %d",__FUNCTION__,__LINE__);
NSArray *twoTouches = [touches allObjects];
UITouch *firstTouch = [twoTouchesobjectAtIndex:0];
UITouch *secondTouch = [twoTouchesobjectAtIndex:1];
CGPoint firstPoint = [firstTouchlocationInView:bookCover];
CGPoint secondPoint = [secondTouchlocationInView:bookCover];
CGFloat deltaX = secondPoint.x -firstPoint.x;
CGFloat deltaY = secondPoint.y -firstPoint.y;
CGFloat currentDistance = sqrt(deltaX *deltaX + deltaY * deltaY );
if (initialDistance == 0) {
initialDistance = currentDistance;
else if (currentDistance !=initialDistance)
CGFloat changedDistance = currentDistance -initialDistance;
NSLog(@"changedDistance =%f",changedDistance);
[bookCover setFrame:CGRectMake(frameX -changedDistance / 2,
frameY - (changedDistance * frameH) / (2 *frameW),
frameW + changedDistance,
frameH + (changedDistance * frameH) /frameW)];
- (void)touchesEnded:(NSSet *) toucheswithEvent:(UIEvent *) event {
UITouch *touch = [touches anyObject];
UITouch双击图片变大/还原
if ([touch tapCount] == 2)
NSLog(@"%s %d",__FUNCTION__,__LINE__);
if (!flag) {
[bookCoversetFrame:CGRectMake(bookCover.frame.origin.x - bookCover.frame.size.width / 2,
bookCover.frame.origin.y -bookCover.frame.size.height / 2,
2 * bookCover.frame.size.width,
2 * bookCover.frame.size.height)];
flag = YES;
else {
[bookCoversetFrame:CGRectMake(bookCover.frame.origin.x + bookCover.frame.size.width / 4,bookCover.frame.origin.y + bookCover.frame.size.height / 4,
bookCover.frame.size.width / 2,bookCover.frame.size.height / 2)];
flag = NO;
Get the Location of Touches
(CGPoint)locationInView:(UIView *)view
(CGPoint)previousLocationInView:(UIView*)view
view window
Getting Touch Attributes
tapCount(read only) timestamp(read only)phase(read only)
Getting a Touch Object's GestureRecognizers
gestureRecognizers
Touch Phase
UITouchPhaseBegan
UITouchPhaseMoved
UITouchPhaseStationary
UITouchPhaseEnded
UITouchPhaseCancelled
从Plist里读内容
NSString *plistPath = [[NSBundlemainBundle] pathForResource:@"book" ofType:@"plist"];
NSDictionary *dictionary = [[NSDictionaryalloc] initWithContentsOfFile:plistPath];
NSString *book = [dictionaryobjectForKey:bookTitle];
[textView setText:book];
(void) initialize {
NSUserDefaults = [NSUserDefaults standardUserDefaults];
NSDictionary *appDefaults = [NSDictionarydictionaryWithObject:@"YES" forKey:@"DeleteBackup"];
[defaults registerDefaults:appDefaults];
To get a value of a default, use thevalueForKey: method:
[[theDefaultsController values] valueForKey:@"userName"];
To set a value for a default, usesetValue:forKey:
[[theDefaultsController values]setValue:newUserName forKey:@"userName"];
[[NSUserDefaults standardUserDefaults]setValue:aVale forKey:aKey];
[[NSUserDefaults standardUserDefaults]valueForKey:aKey];
获取Documents目录
NSArray *paths =NSSearchPathForDictionariesInDomains(NSDocumentDirectory,
NSUserDomainMask, YES);
NSString *documentsDirectory = [pathsobjectAtIndex:0];
NSString *filename = [documentsDirectory
stringByAppendingPathComponent:@"theFile.txt"];
获取tmp目录
NSString *tempPath =NSTemporaryDirectory();
NSString *tempFile = [tempPathstringByAppendingPathComponent:@"tempFile.txt"];
[[NSUserDefaults standardUserDefaults]setObject:data forKey:@"someKey"];
[[NSUserDefaults standardUserDefaults] objectForKey:aKey];
自定义NavigationBar
navigationBar = [[UINavigationBar alloc]initWithFrame:CGRectMake(0, 0, 320, 44)];
[navigationBarsetBarStyle:UIBarStyleBlackOpaque];
myNavigationItem = [[UINavigationItemalloc] initWithTitle:@"Setting"];
[navigationBar setItems:[NSArrayarrayWithObject:myNavigationItem]];
[self.view addSubview:navigationBar];
backButton = [[UIBarButtonItem alloc]initWithTitle:@"Back" style:UIBarButtonItemStylePlain target:selfaction:@selector(back)];
myNavigationItem.leftBarButtonItem =backButton;
利用Safari打开一个链接
NSURL *url = [NSURLURLWithString:@"http://www.cnblogs.com/tracy-e/"];
[[UIApplication sharedApplication]openURL:url];
利用UIWebView显示pdf文件、网页。。。
webView = [[UIWebView alloc]initWithFrame:CGRectMake(0, 0, 320, 480)];
[webView setDelegate:self];
[webView setScalesPageToFit:YES];
[webViewsetAutoresizingMask:UIViewAutoresizingFlexibleWidth |UIViewAutoresizingFlexibleHeight];
[webView setAllowsInlineMediaPlayback:YES];
[self.view addSubview:webView];
NSString *pdfPath = [[NSBundle mainBundle]pathForResource:@"ojc" ofType:@"pdf"];
NSURL *url = [NSURLfileURLWithPath:pdfPath];
NSURLRequest *request = [NSURLRequestrequestWithURL:url
cachePolicy:NSURLRequestUseProtocolCachePolicy
timeoutInterval:5];
[webView loadRequest:request];
[myWebView loadRequest:[NSURLRequestrequestWithURL:[NSURL
URLWithString:@"http://www.cnblogs.com/tracy-e/"]]];
NSString *errorString = [NSStringstringWithFormat:@"<html><center><font size=
+5 color ='red'>An ErrorOccurred:<br>%@</fone></center></html>",error];
[myWebView loadHTMLString:errorStringbaseURL:nil];
//Stopping a load request when the view isto disappear
- (void)viewWillDisappear:(BOOL)animate{
if ([myWebView loading]){
[myWebView stopLoading];
myWebView.delegate = nil;
[UIApplicationshareApplication].networkActivityIndicatorVisible = NO;
NSString *oriString =@"\u67aa\u738b";
NSString *escapedString = [oriString
stringByReplacingPercentEscapesUsingEncoding:NSUTF8StringEncoding];
Checking for background support on earlierversions of iOS
UIDevice *device = [UIDevicecurrentDevice];
BOOL backgroundSupported = NO;
if ([devicerespondsToSelector:@selector(isMultitaskingSupported)]){
backgroundSupported =device.multitaskingSupported;
Being a Responsible,Multitasking-AwareApplication
# Do not make any OpenGL ES calls from yourcode.
# Cancel any Bonjour-related servicesbefore being suspended.
# Be prepared to handle connection failuresin your network-based sockets.
# Save your application state before movingto the background.
# Release any unneeded memory when movingto the background.
# Stop using shared system resources beforebeing suspended.
# Avoid updating your windows and views.
# Respond to connect and disconnectnotification for external accessories.
# Clean up resource for active alerts whenmoving to the background.
# Remove sensitive information from viewsbefore moving to the background.
# Do minimal work while running in thebackground.
Handing the Keyboard notifications
//Call this method somewhere in your viewcontroller setup code
- (void) registerForKeyboardNotifications{
[[NSNotificationCenter defaultCenter]addObserver:self
selector:@selector(keyboardWasShown:)
name:UIKeyboardDidShowNotification
object:nil];
[[NSNotificationCenter defaultCenter]addObserver:self
selector:@selector(keyboardWasHidden:)
name:UIKeyboardDidHideNotification
object:nil];
//Called when theUIKeyboardDidShowNotification is sent
- (void)keyboardWasShown:(NSNotification *)aNotification{
if(keyboardShown)
return;
NSDictionary *info = [aNotificationuserInfo];
//get the size of the keyboard.
NSValue *aValue = [infoobjectForKey:UIKeyboardFrameBeginUserInfoKey];
CGSize keyboardSize = [aValueCGRectValue].size;
//Resize the scroll view
CGRect viewFrame = [scrollView frame];
viewFrame.size.height -=keyboardSize.height;
//Scroll the active text field into view
CGRect textFieldRect = [activeField frame];
[scrollViewscrollRectToVisible:textFieldRect animated:YES];
keyboardShown = YES;
//Called when theUIKeyboardDidHideNotification is sent
- (void)keyboardWasHidden:(NSNotification*) aNotification{
NSDictionary *info = [aNotificationuserInfo];
//Get the size of the keyboard.
NSValue *aValue = [infoobjectForKey:UIKeyboardFrameEndUserInfoKey];
CGSize keyboardSize = [aValueCGRectValue].size;
//Reset the height of the scroll view toits original value
CGRect viewFrame = [scrollView Frame];
viewFrame.size.height +=keyboardSize.height;
scrollView.frame = viewFrame;
keyboardShown = NO;
点击键盘的next按钮,在不同的textField之间换行
//首先给不同的textField赋不同的且相邻的tag值
- (BOOL)textFieldShouldReturn:(UITextField*)textField
if ([textField returnKeyType] !=UIReturnKeyDone)
NSInteger nextTag = [textField tag] + 1;
UIView *nextTextField = [[self tableView]viewWithTag:nextTag];
[nextTextField becomeFirstResponder];
else {
[textField resignFirstResponder];
return YES;
Configuring a date formatter
- (void)viewDidLoad {
[super viewDidLoad];
dateFormatter = [[NSDateFormatter alloc]init];
[dateFormatter setGeneratesCalendarDates:YES];
[dateFormatter setLocale:[NSLocalecurrentLocale]];
[dateFormatter setCalendar:[NSCalendarautoupdatingCurrentCalendar]];
[dateFormatter setTimeZone:[NSTimeZonedefaultTimeZone]];
[dateFormattersetDateStyle:NSDateFormatterShortStyle];
DOB.placeholder = [NSStringstringWithFormat:@"Example: %@",[dateFormatter stringFromDate:[NSDatedate]]];
- (void)textFieldDidEndEditing:(UITextField*)textField{
[textField resignFirstResponder];
if ([textField.textisEqualToString:@""])
return;
switch (textField.tag){
case DOBField:
NSDate *theDate = [dateFormatterdateFromString:textField.text];
if (theDate)
[inputDate setObject:theDateforKey:MyAppPersonDOBKey];
break;
default:
break;
tableView的cell高度
tableView的cell高度除了在delegate中指定外,还可以在任意位置以[tableView setRowHeight:44]的方式指定
[[self navigationItem]setLeftBarButtonItem:[self editButtonItem]];
- (void)setEditing:(BOOL)editinganimated:(BOOL)animated{
[super setEditing:editing animated:animated];
if (editing){
......
else{
......
One added a subview to a view, release thesubview to avoid the extra retain count of it, Because when you insert a viewas a subview using addSubview:, the subview is retained by its superview. When youremove the subview from its superview using the removeFromSuperview: method,subview is autoreleased.
为UINavigationBar设置背景图片
在iPhone开发中, 有时候我们想给导航条添加背景图片, 实现多样化的导航条效果, 用其他方法往往无法达到理想的效果, 经过网上搜索及多次实验, 确定如下最佳实现方案:
为UINavigatonBar增加如下Category(类别:提供一种为某个类添加方法而又不必编写子类的途径,类别只能添加成员函数,不能添加数据成员):
@implementation UINavigationBar (CustomImage)
- (void)drawRect:(CGRect)rect {
UIImage *image = [UIImage imageNamed: @"NavigationBar.png"];
[image drawInRect:CGRectMake(0, 0, self.frame.size.width, self.frame.size.height)];
例如, 在我的项目中, 添加如下代码:
/////////////////////////////////////////////////////////
/* input: The image and a tag to later identify the view */
@implementation UINavigationBar (CustomImage)
- (void)drawRect:(CGRect)rect {
UIImage *image = [UIImage imageNamed: @"title_bg.png"];
[image drawInRect:CGRectMake(0, 0, self.frame.size.width, self.frame.size.height)];
/////////////////////////////////////////////////////////
@implementation FriendsPageViewController
// Implement viewDidLoad to do additional setup after loading the view, typically from a nib.
- (void)viewDidLoad {
self.navigationBar.tintColor = [UIColor purpleColor];
[self initWithRootViewController:[[RegPageViewController alloc] init]];
[super viewDidLoad];
......
实现的效果如下图:
转载,原文地址 http://blog.csdn.net/wave_1102/archive/2009/11/04/4768212.aspx
为UINavigationBar添加自定义背景
@implementation UINavigationBar(UINavigationBarCategory)
- (void)drawRect:(CGRect)rect {
//颜色填充
// UIColor *color = [UIColor redColor];
// CGContextRef context = UIGraphicsGetCurrentContext();
// CGContextSetFillColor(context, CGColorGetComponents( [colorCGColor]));
// CGContextFillRect(context, rect);
// self.tintColor = color;
//图片填充
UIColor *color= [UIColor colorWithRed:46.0f/255.0f
green:87.0f/255.0fblue:29.0f/255.0f alpha:1.0f];
UIImage *img = [UIImageimageNamed: @"bg.png"];
[img drawInRect:CGRectMake(0, 0, self.frame.size.width,self.frame.size.height)];
self.tintColor = color;
加载图片要及时release
你还在使用myImage = [UIImage imageNamed:@"icon.png"]; 吗?
如题,是不是大家为了方便都这样加载图片啊
myImage = [UIImageimageNamed:@"icon.png"];
那么小心了
这种方法在一些图片很少,或者图片很小的程序里是ok的。
但是,在大量加载图片的程序里,请千万不要这样做。
为什么呢 ???????
这种方法在applicationbundle的顶层文件夹寻找由供应的名字的图象。 如果找到图片,装载到iPhone系统缓存图象。那意味图片是(理论上)放在内存里作为cache的。
试想你图片多了,是什么后果?
图片cache极有可能不会响应 memory warnings and releaseits objects
所以,用图片的时候一定要小心的alloc和release。
推荐使用 NSString*path = [[NSBundle mainBundle] pathForResource:@"icon"ofType:@"png"];
myImage = [UIImageimageWithContentsOfFile:path];
// Todo use of myImage
[myImage release];
From: http://www.cocoachina.com/bbs/simple/?t27420.html
uiwebview打开doc,pdf文件
UIWebView *webView = [[UIWebViewalloc]initWithFrame:CGRectMake(0, 55, 320, 300)];
webView.delegate = self;
webView.multipleTouchEnabled = YES;
webView.scalesPageToFit = YES;
NSArray *paths =NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask,YES);
NSString *documentsDirectory = [paths objectAtIndex:0];
NSString *docPath = [documentsDirectorystringByAppendingString:@"/doc2003_1.doc"]; NSLog(@"#######%@",docPath);
NSURL *url = [NSURL fileURLWithPath:docPath];
NSURLRequest *request = [NSURLRequest requestWithURL:url];
[webView loadRequest:request];
[self.view addSubview:webView];
[webViewrelease];
From:http://blog.csdn.net/dadalan/archive/2010/10/22/5959301.aspx
iPhone游戏中既播放背景音乐又播放特效声音的办法
有时候在 iPhone 游戏中,既要播放背景音乐,同时又要播放比如枪的开火音效。此时您可以试试以下方法
NSString *musicFilePath = [[NSBundlemainBundle] pathForResource:fileName ofType:@"wav"]; //创建音乐文件路径
NSURL *musicURL = [[NSURL alloc]initFileURLWithPath:musicFilePath];
AVAudioPlayer* musicPlayer =[[AVAudioPlayer alloc] initWithContentsOfURL:musicURL error:nil];
[musicURL release];
[musicPlayer prepareToPlay];
//[musicPlayer setVolume:1]; //设置音量大小
//musicPlayer .numberOfLoops = -1;//设置音乐播放次数 -1为一直循环
要导入框架 AVFoundation.framework,头文件中 #import <AVFoundation/AVFoundation.h>;做成类的话则更方便。
From: http://blog.csdn.net/dadalan/archive/2010/10/19/5950493.aspx
NSNotificationCenter用于增加回调函数
[[NSNotificationCenterdefaultCenter] addObserver:self selector:@selector(_willBecomeActive)name:UIApplicationDidBecomeActiveNotification object:nil];
UINavigationBar 背景Hack
LOGO_320×44.png 图片显示在背景上,
@implementation UINavigationBar(UINavigationBarCategory)
- (void)drawRect:(CGRect)rect {
//加入旋转坐标系代码
// Drawing code
UIImage*navBarImage = [UIImage imageNamed:@"LOGO_320×44.png"];
CGContextRefcontext = UIGraphicsGetCurrentContext();
CGContextTranslateCTM(context,0.0, self.frame.size.height);
CGContextScaleCTM(context,1.0, -1.0);
CGPointcenter=self.center;
CGImageRefcgImage= CGImageCreateWithImageInRect(navBarImage.CGImage, CGRectMake(0, 0, 1,44));
CGContextDrawImage(context,CGRectMake(center.x-160-80, 0, 80, self.frame.size.height), cgImage);
CGContextDrawImage(context,CGRectMake(center.x-160, 0, 320, self.frame.size.height), navBarImage.CGImage);
CGContextDrawImage(context,CGRectMake(center.x+160, 0, 80, self.frame.size.height), cgImage);
old code
CGContextDrawImage(context, CGRectMake(0,0, self.frame.size.width, self.frame.size.height), navBarImage.CGImage);
hack 过logo 不再拉伸
From: http://blog.163.com/fengyi1103@126/blog/static/13835627420106279102671/
清除电话号码中的其他符号(源码)
最近从通讯录读取电话号码,读出得号码如:134-1814-****。
而我需要的为11位纯数字,一直找方法解决此问题,今天终于找到了。。
分享一下……
代码如下:
NSString *originalString = @"(123)123123 abc";
NSMutableString *strippedString =[NSMutableString
stringWithCapacity:originalString.length];
NSScanner *scanner = [NSScannerscannerWithString:originalString];
NSCharacterSet *numbers = [NSCharacterSet
characterSetWithCharactersInString:@"0123456789"];
while ([scanner isAtEnd] == NO) {
NSString *buffer;
if([scanner scanCharactersFromSet:numbers intoString:&buffer]) {
[strippedString appendString:buffer];
//--------- Add the following to get out of endless loop
else {
[scanner setScanLocation:([scanner scanLocation] + 1)];
//--------- End of addition
NSLog(@"%@", strippedString); //"123123123"
From:http://stackoverflow.com/questions/1129521/remove-all-but-numbers-from-nsstring
正则判断:字符串只包含字母和数字
NSString *mystring =@"Letter1234";
NSString *regex =@"[a-z][A-Z][0-9]";
NSPredicate *predicate = [NSPredicatepredicateWithFormat:@"SELF MATCHES %@", regex];
if ([predicate evaluateWithObject:mystring]== YES) {
//implement
一行代码设置UITableViewCell 与导航条间距
UITableView 的 cell 默认出现在uitableview 的第一行,如果你想自定义UITableViewCell 与导航条间距的话,可以使用下面这行代码
tableview.tableHeaderView= [[[UIView alloc] initWithFrame:CGRectMake(0, 0, 5, 20)]autorelease];
From: http://blog.163.com/fengyi1103@126/blog/static/1383562742010101611107492/
修改 UITableview 滚动条颜色的方法
UITableview 的滚动条默认颜色是黑色的,如果 UItableview 背景也是深颜色,则滚动条会变的很不明显。您可以用下面这行代码来改变滚动条的颜色
self.tableView.indicatorStyle=UIScrollViewIndicatorStyleWhite;
当然,最后的“White”也可以换成其它颜色。
下文件之前获取到文件大小的代码
下面这段代码,能实现在下载文件之前获得文件大小,应用在软件里,能在很大程度上改善用户体验
[m_pASIHTTPRequestsetDidReceiveResponseHeadersSelector:@selector(didReceiveResponseHeaders:)];
-(void)didReceiveResponseHeaders:(ASIHTTPRequest *)request
NSLog(@"didReceiveResponseHeaders%@",[m_request.responseHeaders valueForKey:@"Content-Length"]);
网络编程总结iphone
一:确认网络环境3G/WIFI
1. 添加源文件和framework
开发Web等网络应用程序的时候,需要确认网络环境,连接情况等信息。如果没有处理它们,是不会通过Apple的审(我们的)查的。
Apple 的例程 Reachability 中介绍了取得/检测网络状态的方法。要在应用程序程序中使用Reachability,首先要完成如下两部:
1.1. 添加源文件:
在你的程序中使用 Reachability 只须将该例程中的 Reachability.h 和 Reachability.m 拷贝到你的工程中。如下图:
1.2.添加framework:
将SystemConfiguration.framework 添加进工程。如下图:
2. 网络状态
Reachability.h中定义了三种网络状态:
typedef enum {
NotReachable = 0, //无连接
ReachableViaWiFi, //使用3G/GPRS网络
ReachableViaWWAN //使用WiFi网络
} NetworkStatus;
因此可以这样检查网络状态:
Reachability *r = [ReachabilityreachabilityWithHostName:@“www.apple.com”];
switch ([r currentReachabilityStatus]) {
case NotReachable:
// 没有网络连接
break;
case ReachableViaWWAN:
// 使用3G网络
break;
case ReachableViaWiFi:
// 使用WiFi网络
break;
3.检查当前网络环境
程序启动时,如果想检测可用的网络环境,可以像这样
// 是否wifi
+ (BOOL) IsEnableWIFI {
return ([[ReachabilityreachabilityForLocalWiFi] currentReachabilityStatus] != NotReachable);
// 是否3G
+ (BOOL) IsEnable3G {
return ([[ReachabilityreachabilityForInternetConnection] currentReachabilityStatus] != NotReachable);
- (void)viewWillAppear:(BOOL)animated{
if (([ReachabilityreachabilityForInternetConnection].currentReachabilityStatus == NotReachable)&&
([Reachability reachabilityForLocalWiFi].currentReachabilityStatus ==NotReachable)) {
self.navigationItem.hidesBackButton= YES;
[self.navigationItemsetLeftBarButtonItem:nil animated:NO];
4. 链接状态的实时通知
网络连接状态的实时检查,通知在网络应用中也是十分必要的。接续状态发生变化时,需要及时地通知用户:
Reachability 1.5版本
// My.AppDelegate.h
#import "Reachability.h"
@interface MyAppDelegate : NSObject<UIApplicationDelegate> {
NetworkStatus remoteHostStatus;
@property NetworkStatus remoteHostStatus;
// My.AppDelegate.m
#import "MyAppDelegate.h"
@implementation MyAppDelegate
@synthesize remoteHostStatus;
// 更新网络状态
- (void)updateStatus {
self.remoteHostStatus = [[ReachabilitysharedReachability] remoteHostStatus];
// 通知网络状态
- (void)reachabilityChanged:(NSNotification*)note {
[self updateStatus];
if (self.remoteHostStatus ==NotReachable) {
UIAlertView *alert = [[UIAlertViewalloc] initWithTitle:NSLocalizedString(@"AppName", nil)
message:NSLocalizedString (@"NotReachable", nil)
delegate:nilcancelButtonTitle:@"OK" otherButtonTitles: nil];
[alert show];
[alert release];
// 程序启动器,启动网络监视
-(void)applicationDidFinishLaunching:(UIApplication *)application {
// 设置网络检测的站点
[[Reachability sharedReachability]setHostName:@"www.apple.com"];
[[Reachability sharedReachability]setNetworkStatusNotificationsEnabled:YES];
// 设置网络状态变化时的通知函数
[[NSNotificationCenter defaultCenter]addObserver:self selector:@selector(reachabilityChanged:)
name:@"kNetworkReachabilityChangedNotification" object:nil];
[self updateStatus];
- (void)dealloc {
// 删除通知对象
[[NSNotificationCenter defaultCenter]removeObserver:self];
[window release];
[super dealloc];
Reachability 2.0版本
// MyAppDelegate.h
@class Reachability;
@interface MyAppDelegate : NSObject<UIApplicationDelegate> {
Reachability *hostReach;
// MyAppDelegate.m
- (void)reachabilityChanged:(NSNotification*)note {
Reachability* curReach = [note object];
NSParameterAssert([curReachisKindOfClass: [Reachability class]]);
NetworkStatus status = [curReachcurrentReachabilityStatus];
if (status == NotReachable) {
UIAlertView *alert = [[UIAlertViewalloc] initWithTitle:@"AppName""
message:@"NotReachable"
delegate:nil
cancelButtonTitle:@"YES" otherButtonTitles:nil];
[alert show];
[alert release];
-(void)applicationDidFinishLaunching:(UIApplication *)application {
// ...
// 监测网络情况
[[NSNotificationCenter defaultCenter]addObserver:self
selector:@selector(reachabilityChanged:)
name:kReachabilityChangedNotification
object: nil];
hostReach = [[ReachabilityreachabilityWithHostName:@"www.google.com"] retain];
hostReach startNotifer];
// ...
二:使用NSConnection下载数据
1.创建NSConnection对象,设置委托对象
NSMutableURLRequest *request = [NSMutableURLRequestrequestWithURL:[NSURL URLWithString:[self urlString]]];
[NSURLConnectionconnectionWithRequest:request delegate:self];
2. NSURLConnection delegate委托方法
- (void)connection:(NSURLConnection*)connection didReceiveResponse:(NSURLResponse *)response;
- (void)connection:(NSURLConnection*)connection didFailWithError:(NSError *)error;
- (void)connection:(NSURLConnection*)connection didReceiveData:(NSData *)data;
- (void)connectionDidFinishLoading:(NSURLConnection*)connection;
3. 实现委托方法
- (void)connection:(NSURLConnection*)connection didReceiveResponse:(NSURLResponse *)response {
// store data
[self.receivedData setLength:0]; //通常在这里先清空接受数据的缓存
- (void)connection:(NSURLConnection*)connection didReceiveData:(NSData *)data {
/* appends the new data to thereceived data */
[self.receivedDataappendData:data]; //可能多次收到数据,把新的数据添加在现有数据最后
- (void)connection:(NSURLConnection*)connection didFailWithError:(NSError *)error {
// 错误处理
-(void)connectionDidFinishLoading:(NSURLConnection *)connection {
// disconnect
[UIApplicationsharedApplication].networkActivityIndicatorVisible = NO;
NSString *returnString = [[NSStringalloc] initWithData:self.receivedData encoding:NSUTF8StringEncoding];
NSLog(returnString);
[self urlLoaded:[self urlString]data:self.receivedData];
firstTimeDownloaded = YES;
三:使用NSXMLParser解析xml文件
1. 设置委托对象,开始解析
NSXMLParser *parser = [[NSXMLParser alloc]initWithData:data]; //或者也可以使用initWithContentsOfURL直接下载文件,但是有一个原因不这么做:
// It's also possible to have NSXMLParserdownload the data, by passing it a URL, but this is not desirable
// because it gives less control over thenetwork, particularly in responding to connection errors.
[parser setDelegate:self];
[parser parse];
2. 常用的委托方法
- (void)parser:(NSXMLParser *)parserdidStartElement:(NSString *)elementName
namespaceURI:(NSString *)namespaceURI
qualifiedName:(NSString *)qName
attributes:(NSDictionary *)attributeDict;
- (void)parser:(NSXMLParser *)parserdidEndElement:(NSString *)elementName
namespaceURI:(NSString *)namespaceURI
qualifiedName:(NSString *)qName;
- (void)parser:(NSXMLParser *)parserfoundCharacters:(NSString *)string;
- (void)parser:(NSXMLParser *)parserparseErrorOccurred:(NSError *)parseError;
static NSString *feedURLString = @"http://www.yifeiyang.net/test/test.xml";
3. 应用举例
- (void)parseXMLFileAtURL:(NSURL *)URLparseError:(NSError **)error
NSXMLParser *parser = [[NSXMLParseralloc] initWithContentsOfURL:URL];
[parser setDelegate:self];
[parser setShouldProcessNamespaces:NO];
[parsersetShouldReportNamespacePrefixes:NO];
[parser setShouldResolveExternalEntities:NO];
[parser parse];
NSError *parseError = [parserparserError];
if (parseError && error) {
*error = parseError;
[parser release];
- (void)parser:(NSXMLParser *)parserdidStartElement:(NSString *)elementName namespaceURI:(NSString *)namespaceURI
qualifiedName:(NSString*)qName attributes:(NSDictionary *)attributeDict{
// 元素开始句柄
if (qName) {
elementName = qName;
if ([elementNameisEqualToString:@"user"]) {
// 输出属性值
NSLog(@"Name is %@ , Age is%@", [attributeDict objectForKey:@"name"], [attributeDictobjectForKey:@"age"]);
- (void)parser:(NSXMLParser *)parserdidEndElement:(NSString *)elementName namespaceURI:(NSString *)namespaceURI
qualifiedName:(NSString *)qName
// 元素终了句柄
if (qName) {
elementName = qName;
- (void)parser:(NSXMLParser *)parserfoundCharacters:(NSString *)string
// 取得元素的text
NSError *parseError = nil;
[self parseXMLFileAtURL:[NSURLURLWithString:feedURLString] parseError:&parseError];
Iphone 实现画折线图
iphone里面要画图一般都是通过CoreGraphics.framwork和QuartzCore.framwork实现,apple的官方sdk demon中包含了QuartzCore的基本用法,
具体demo请参考http://developer.apple.com/library/ios/#samplecode/QuartzDemo/
要实现折线图也就把全部的点连起来,movePointLineto,具体的调用里面的api就可以实现了,但是画坐标就比较麻烦了,里面需要去转很多,好在国外有人开源了一个画折线图的开发包,首先看看效果吧,具体怎么用可以参考作者git版本库中的wiki。
http://github.com/devinross/tapkulibrary/wiki/How-To-Use-This-Library
这个包还提供了其他的很好看的UI,都可以调来用,但是我们只需要一个画图要把整个包都导进去,工程太大了,既然是开源的那就想办法提取出来吧,原先之前也有人干过这样的事。http://duivesteyn.net/2010/03/07/iphone-sdk-implementing-the-tapku-graph-in-your-application/
我对源代码进行简单的修改,使其显示坐标之类的,更加符合工程的需要,但是还没有实现画多组数据,只能画一组数据,不用viewContol,而使用addsubview,直接添加到当前的窗口,最终效果如下。
使用方法:
1.工程添加tk库里面的如下文件
2. 添加QuartzCore framework
#import <QuartzCore/QuartzCore.h>
添加TapkuLibrary.bundle资源文件
3.代码中完成实例,数据初始化就可以用了
下载修改后的版本。下次有时间在整理一个工程版本出来。
让iPhone屏幕常亮不变暗的方法
如果您希望运行自己开发的App时,iPhone的屏幕不再自动变暗,可以使用以下方法让屏幕常亮: iPhone OS用一个布尔值用来控制是否取消应用程序空闲时间:@property(nonatomic,getter=isIdleTime
如果您希望运行自己开发的App时,iPhone的屏幕不再自动变暗,可以使用以下方法让屏幕常亮:
iPhone OS用一个布尔值用来控制是否取消应用程序空闲时间:@property(nonatomic, getter=isIdleTimerDisabled) BOOLidleTimerDisabled。这个值的默认属性是"NO"。当大多数应用程序没有接收到用户输入信息的时候,系统会把设备设置成“休眠”状态,iPhone屏幕也会变暗。这样做是为了保存更多电量。事实上,应用程序在运行加速度游戏的时候是不需要用户输入的,当然这里只是一个假设,把这个变量设置为"YES",来取消系统休眠的“空闲时间”。
重点是:你必须当真正需要的时候才打开这个属性当你不用的时候马上还愿成"NO"。大多数应用程序在休眠时间到的时候让系统关闭屏幕。这个包括了有音频的应用程序。在Audio Session Services中使用适当的回放和记录功能不会被间断当屏幕关闭时。只有地图应用程序,游戏或者一些不间断的用户交互程序可以取消这个属性。
苹果开发网络编程知识总结
以下苹果开发网络编程知识由 CocoaChina 会员 cocoa_yang 总结,希望能为苹果开发新手梳理知识脉络,节省入门时间。一:确认网络环境3G/WIFI 1. 添加源文件和framework 开发Web等网络应用程序
以下苹果开发网络编程知识由 CocoaChina 会员 “cocoa_yang” 总结,希望能为苹果开发新手梳理知识脉络,节省入门时间。
一:确认网络环境3G/WIFI
1. 添加源文件和framework
开发Web等网络应用程序的时候,需要确认网络环境,连接情况等信息。如果没有处理它们,是不会通过Apple的审查的。
Apple 的例程 Reachability 中介绍了取得/检测网络状态的方法。要在应用程序程序中使用Reachability,首先要完成如下两部:
1.1. 添加源文件:
在你的程序中使用 Reachability 只须将该例程中的 Reachability.h 和 Reachability.m 拷贝到你的工程中。如下图:
1.2.添加framework:
将SystemConfiguration.framework 添加进工程。如下图:
2. 网络状态
Reachability.h中定义了三种网络状态:
typedef enum {
NotReachable = 0, //无连接
ReachableViaWiFi, //使用3G/GPRS网络
ReachableViaWWAN //使用WiFi网络
} NetworkStatus;
因此可以这样检查网络状态:
Reachability *r = [ReachabilityreachabilityWithHostName:@“www.apple.com”];
switch ([r currentReachabilityStatus]) {
case NotReachable:
// 没有网络连接
break;
case ReachableViaWWAN:
// 使用3G网络
break;
case ReachableViaWiFi:
// 使用WiFi网络
break;
3.检查当前网络环境
程序启动时,如果想检测可用的网络环境,可以像这样
// 是否wifi
+ (BOOL) IsEnableWIFI {
return ([[ReachabilityreachabilityForLocalWiFi] currentReachabilityStatus] != NotReachable);
// 是否3G
+ (BOOL) IsEnable3G {
return ([[ReachabilityreachabilityForInternetConnection] currentReachabilityStatus] != NotReachable);
- (void)viewWillAppear:(BOOL)animated{
if (([Reachability reachabilityForInternetConnection].currentReachabilityStatus== NotReachable) &&
([ReachabilityreachabilityForLocalWiFi].currentReachabilityStatus == NotReachable)) {
self.navigationItem.hidesBackButton= YES;
[self.navigationItemsetLeftBarButtonItem:nil animated:NO];
4. 链接状态的实时通知
网络连接状态的实时检查,通知在网络应用中也是十分必要的。接续状态发生变化时,需要及时地通知用户:
Reachability 1.5版本
// My.AppDelegate.h
#import "Reachability.h"
@interface MyAppDelegate : NSObject<UIApplicationDelegate> {
NetworkStatus remoteHostStatus;
@property NetworkStatus remoteHostStatus;
// My.AppDelegate.m
#import "MyAppDelegate.h"
@implementation MyAppDelegate
@synthesize remoteHostStatus;
// 更新网络状态
- (void)updateStatus {
self.remoteHostStatus = [[ReachabilitysharedReachability] remoteHostStatus];
// 通知网络状态
- (void)reachabilityChanged:(NSNotification*)note {
[self updateStatus];
if (self.remoteHostStatus ==NotReachable) {
UIAlertView *alert = [[UIAlertViewalloc] initWithTitle:NSLocalizedString(@"AppName", nil)
message:NSLocalizedString (@"NotReachable", nil)
delegate:nilcancelButtonTitle:@"OK" otherButtonTitles: nil];
[alert show];
[alert release];
// 程序启动器,启动网络监视
-(void)applicationDidFinishLaunching:(UIApplication *)application {
// 设置网络检测的站点
[[Reachability sharedReachability]setHostName:@"www.apple.com"];
[[Reachability sharedReachability]setNetworkStatusNotificationsEnabled:YES];
// 设置网络状态变化时的通知函数
[[NSNotificationCenter defaultCenter]addObserver:self selector:@selector(reachabilityChanged:)
name:@"kNetworkReachabilityChangedNotification" object:nil];
[self updateStatus];
- (void)dealloc {
// 删除通知对象
[[NSNotificationCenter defaultCenter]removeObserver:self];
[window release];
[super dealloc];
Reachability 2.0版本
// MyAppDelegate.h
@class Reachability;
@interface MyAppDelegate : NSObject<UIApplicationDelegate> {
Reachability *hostReach;
// MyAppDelegate.m
- (void)reachabilityChanged:(NSNotification*)note {
Reachability* curReach = [note object];
NSParameterAssert([curReachisKindOfClass: [Reachability class]]);
NetworkStatus status = [curReachcurrentReachabilityStatus];
if (status == NotReachable) {
UIAlertView *alert = [[UIAlertViewalloc] initWithTitle:@"AppName""
message:@"NotReachable"
delegate:nil
cancelButtonTitle:@"YES" otherButtonTitles:nil];
[alert show];
[alert release];
-(void)applicationDidFinishLaunching:(UIApplication *)application {
// ...
// 监测网络情况
[[NSNotificationCenter defaultCenter]addObserver:self
selector:@selector(reachabilityChanged:)
name:kReachabilityChangedNotification
object: nil];
hostReach = [[ReachabilityreachabilityWithHostName:@"www.google.com"] retain];
hostReach startNotifer];
// ...
二:使用NSConnection下载数据
1.创建NSConnection对象,设置委托对象
NSMutableURLRequest *request = [NSMutableURLRequestrequestWithURL:[NSURL URLWithString:[self urlString]]];
[NSURLConnectionconnectionWithRequest:request delegate:self];
2. NSURLConnection delegate委托方法
- (void)connection:(NSURLConnection*)connection didReceiveResponse:(NSURLResponse *)response;
- (void)connection:(NSURLConnection*)connection didFailWithError:(NSError *)error;
- (void)connection:(NSURLConnection*)connection didReceiveData:(NSData *)data;
- (void)connectionDidFinishLoading:(NSURLConnection*)connection;
3. 实现委托方法
- (void)connection:(NSURLConnection*)connection didReceiveResponse:(NSURLResponse *)response {
// store data
[self.receivedData setLength:0]; //通常在这里先清空接受数据的缓存
- (void)connection:(NSURLConnection*)connection didReceiveData:(NSData *)data {
/* appends the new data to thereceived data */
[self.receivedDataappendData:data]; //可能多次收到数据,把新的数据添加在现有数据最后
- (void)connection:(NSURLConnection*)connection didFailWithError:(NSError *)error {
// 错误处理
-(void)connectionDidFinishLoading:(NSURLConnection *)connection {
// disconnect
[UIApplicationsharedApplication].networkActivityIndicatorVisible = NO;
NSString *returnString = [[NSStringalloc] initWithData:self.receivedData encoding:NSUTF8StringEncoding];
NSLog(returnString);
[self urlLoaded:[self urlString]data:self.receivedData];
firstTimeDownloaded = YES;
三:使用NSXMLParser解析xml文件
1. 设置委托对象,开始解析
NSXMLParser *parser = [[NSXMLParser alloc]initWithData:data]; //或者也可以使用initWithContentsOfURL直接下载文件,但是有一个原因不这么做:
// It's also possible to have NSXMLParserdownload the data, by passing it a URL, but this is not desirable
// because it gives less control over thenetwork, particularly in responding to connection errors.
[parser setDelegate:self];
[parser parse];
2. 常用的委托方法
- (void)parser:(NSXMLParser *)parserdidStartElement:(NSString *)elementName
namespaceURI:(NSString *)namespaceURI
qualifiedName:(NSString *)qName
attributes:(NSDictionary *)attributeDict;
- (void)parser:(NSXMLParser *)parserdidEndElement:(NSString *)elementName
namespaceURI:(NSString *)namespaceURI
qualifiedName:(NSString *)qName;
- (void)parser:(NSXMLParser *)parserfoundCharacters:(NSString *)string;
- (void)parser:(NSXMLParser *)parserparseErrorOccurred:(NSError *)parseError;
static NSString *feedURLString =@"http://www.yifeiyang.net/test/test.xml";
3. 应用举例
- (void)parseXMLFileAtURL:(NSURL *)URLparseError:(NSError **)error
NSXMLParser *parser = [[NSXMLParseralloc] initWithContentsOfURL:URL];
[parser setDelegate:self];
[parser setShouldProcessNamespaces:NO];
[parsersetShouldReportNamespacePrefixes:NO];
[parsersetShouldResolveExternalEntities:NO];
[parser parse];
NSError *parseError = [parser parserError];
if (parseError && error) {
*error = parseError;
[parser release];
- (void)parser:(NSXMLParser *)parserdidStartElement:(NSString *)elementName namespaceURI:(NSString *)namespaceURI
qualifiedName:(NSString*)qName attributes:(NSDictionary *)attributeDict{
// 元素开始句柄
if (qName) {
elementName = qName;
if ([elementName isEqualToString:@"user"]){
// 输出属性值
NSLog(@"Name is %@ , Age is%@", [attributeDict objectForKey:@"name"], [attributeDictobjectForKey:@"age"]);
- (void)parser:(NSXMLParser *)parserdidEndElement:(NSString *)elementName namespaceURI:(NSString *)namespaceURI
qualifiedName:(NSString *)qName
// 元素终了句柄
if (qName) {
elementName = qName;
- (void)parser:(NSXMLParser *)parserfoundCharacters:(NSString *)string
// 取得元素的text
NSError *parseError = nil;
[self parseXMLFileAtURL:[NSURLURLWithString:feedURLString] parseError:&parseError];
如何隐藏状态栏
[ UIApplication sharedApplication].statusBarHidden = YES;
.m 文件与.mm文件的区别
.m文件是object-c文件
.mm文件相当于c++或者c文件
NSLog(@"afd")与 NSLog("afd")
细微差别会导致程序崩溃。
但是我不太明白为何苹果要把编译器做的对这两种常量有区别。
不过值得一提的是可能为了方便苹果自身的NSObject对象的格式化输出。
safari其实没有把内存的缓存写到存储卡上
NSURLCachedoesn't seem to support writing to disk on iPhone. The documentation forNSCachedURLResponse says that the NSURLCacheStoragePolicy"NSURLCacheStorageAllowed" is treated as"NSURLCacheStorageAllowedInMemoryOnly" by iPhone OS.
官方文档是这么说的。
为了证明这个,我找到了一个目录。
/private/var/mobile/Library/Caches/Safari/Thumbnails
随机数的使用
头文件的引用
#import <time.h>
#import <mach/mach_time.h>
srandom()的使用
srandom((unsigned)(mach_absolute_time()& 0xFFFFFFFF));
直接使用 random() 来调用随机数
在UIImageView 中旋转图像
float rotateAngle = M_PI;
CGAffineTransform transform=CGAffineTransformMakeRotation(rotateAngle);
imageView.transform = transform;
以上代码旋转imageView, 角度为rotateAngle, 方向可以自己测试哦!
在Quartz中如何设置旋转点
UIImageView *imageView = [[UIImageViewalloc] initWithImage:[UIImage imageNamed:@"bg.png"]];
imageView.layer.anchorPoint =CGPointMake(0.5, 1.0);
这个是把旋转点设置为底部中间。记住是在QuartzCore.framework中才得到支持。
创建.plist文件并存储
NSString *errorDesc; //用来存放错误信息
NSMutableDictionary *rootObj = [NSMutableDictionarydictionaryWithCapacity:4]; //NSDictionary, NSData等文件可以直接转化为plist文件
NSDictionary *innerDict;
NSString *name;
Player *player;
NSInteger saveIndex;
for(int i = 0; i < [playerArraycount]; i++) {
player = nil;
player = [playerArrayobjectAtIndex:i];
if(player == nil)
break;
name = player.playerName;// This"Player1" denotes the player name could also be the computer name
innerDict = [selfgetAllNodeInfoToDictionary:player];
[rootObj setObject:innerDictforKey:name]; // This "Player1" denotes the person who start thisgame
player = nil;
NSData *plistData =[NSPropertyListSerialization dataFromPropertyList:(id)rootObjformat:NSPropertyListXMLFormat_v1_0 errorDescription:&errorDesc];
红色部分可以忽略,只是给rootObj添加一点内容。这个plistData为创建好的plist文件,用其writeToFile方法就可以写成文件。下面是代码:
/*得到移动设备上的文件存放位置*/
NSString *documentsPath = [selfgetDocumentsDirectory];
NSString *savePath = [documentsPathstringByAppendingPathComponent:@"save.plist"];
/*存文件*/
if (plistData) {
[plistData writeToFile:savePathatomically:YES];
else {
NSLog(errorDesc);
[errorDesc release];
- (NSString *)getDocumentsDirectory{
NSArray *paths =NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES);
return [pathsobjectAtIndex:0];
读取plist文件并转化为NSDictionary
NSString *documentsPath = [selfgetDocumentsDirectory];
NSString *fullPath = [documentsPathstringByAppendingPathComponent:@"save.plist"];
NSMutableDictionary* plistDict =[[NSMutableDictionary alloc] initWithContentsOfFile:fullPath];
读取一般性文档文件
NSString *tmp;
NSArray *lines; /*将文件转化为一行一行的*/
lines = [[NSString stringWithContentsOfFile:@"testFileReadLines.txt"]
componentsSeparatedByString:@"\n"];
NSEnumerator *nse = [linesobjectEnumerator];
// 读取<>里的内容
while(tmp = [nse nextObject]) {
NSString*stringBetweenBrackets = nil;
NSScanner *scanner =[NSScanner scannerWithString:tmp];
[scannerscanUpToString:@"<" intoString:nil];
[scannerscanString:@"<" intoString:nil];
[scannerscanUpToString:@">" intoString:&stringBetweenBrackets];
NSLog([stringBetweenBracketsdescription]);
对于读写文件,还有补充,暂时到此。随机数和文件读写在游戏开发中经常用到。所以把部分内容放在这,以便和大家分享,也当记录,便于查找。
隐藏NavigationBar
[self.navigationControllersetNavigationBarHidden:YES animated:YES];
在想隐藏的ViewController中使用就可以了。
如何在iPhone程序中调用外部命令
下面是如何在iPhone非官方SDK程序中调用外部命令的方法。
- ( NSString *) executeCommand : ( NSString * ) cmd { NSString * output = [ NSString string ]; FILE * pipe = popen ( [ cmd cStringUsingEncoding : NSASCIIStringEnc
下面是如何在iPhone非官方SDK程序中调用外部命令的方法。
- (NSString*)executeCommand: (NSString *)cmd
NSString *output = [NSString string];
FILE *pipe = popen([cmdcStringUsingEncoding: NSASCIIStringEncoding], "r");
if (!pipe) return;
char buf[1024];
while(fgets(buf, 1024, pipe)) {
output = [output stringByAppendingFormat:@"%s", buf];
pclose(pipe);
return output;
NSString*yourcmd = [NSString stringWithFormat: @"your command"];
[selfexecuteCommand: yourcmd];
如何在iPhone程序读取数据时显示进度窗
下面代码说明如何使用iPhone 非官方SDK在读取数据时显示进度条。
以下代码参考了MobileRss。
定义头文件:
#import"uikit/UIProgressHUD.h"
@interfaceEyeCandy : UIApplication {
UIProgressHUD *progress;
- (void)showProgressHUD:(NSString *)label withWindow:(UIWindow *)w withView:(UIView *)vwithRect:(struct CGRect)rect;
- (void)hideProgressHUD;
.@end
上面的引号要改成<>。
import"EyeCandy.h"
@implementationEyeCandy
-(void)showProgressHUD:(NSString *)label withWindow:(UIWindow *)wwithView:(UIView *)v withRect:(struct CGRect)rect
progress = [[UIProgressHUD alloc]initWithWindow: w];
[progress setText: label];
[progress drawRect: rect];
[progress show: YES];
[v addSubview:progress];
-(void)hideProgressHUD
[progress show: NO];
[progress removeFromSuperview];
使用下面代码调用:
// Setup EyeCandy View
_eyeCandy =[[[EyeCandy alloc] init] retain];
// Call loadingdisplay
[_eyeCandyshowProgressHUD:@"Loading …" withWindow:window withView:mainViewwithRect:CGRectMake(0.0f, 100.0f, 320.0f, 50.0f)];
// Whenfinished for hiding the &quot;loading text&quot;
[_eyeCandyhideProgressHUD];
WebKit的基本用法
WebKit是苹果开发中比较常用的浏览器引擎,Safari使用的正是WebKit引擎。WebKit基于KDE的KHTML加以再开发,解析速度超过了以往所有的浏览器。这里简单记录一下WebKit的基本用法。
WebKit由下面的结构组成:
Excel表格的35招必学秘技[配图]
一、让数据按需排序
如果你要将员工按其所在的部门进行排序,这些部门名称既的有关信息不是按拼音顺序,也不是按笔画顺序,怎么办?可采用自定义序列来排序。 1.执行“格式→选项”命令,打开“选项”对话框,进入“自定义序列”标签中,在“输入序列”下面的方框中输入部门排序的序列(如“机关,车队,一车间,二车间,三车间”等),单击“添加”和“确定”按钮退出。 2.选中“部门”列中任意一个单元格,执行“数据→排序”命令,打开“排序”对话框,单击“选项”按钮,弹出“排序选项”对话框(如图5),按其中的下拉按钮,选中刚才自定义的序列,按两次“确定”按钮返回,所有数据就按要求进行了排序。
二、建立“常用文档”新菜单 在菜单栏上新建一个“常用文档”菜单,将常用的工作簿文档添加到其中,方便随时调用。 1.在工具栏空白处右击鼠标,选“自定义”选项,打开“自定义”对话框(图1)。在“命令”标签中,选中“类别”下的“新菜单”项,再将“命令”下面的“新菜单”拖到菜单栏。 按“更改所选内容”按钮,在弹出菜单的“命名”框中输入一个名称(如“常用文档”)。 2.再在“类别”下面任选一项(如“插入”选项),在右边“命令”下面任选一项(如“超链接”选项),将它拖到新菜单(常用文档)中,并仿照上面的操作对它进行命名(如“工资表”等),建立第一个工作簿文档列表名称。 重复上面的操作,多添加几个文档列表名称。 3.选中“常用文档”菜单中某个菜单项(如“工资表”等),右击鼠标,在弹出的快捷菜单中,选“分配超链接→打开”选项,打开“分配超链接”对话框。通过按“查找范围”右侧的下拉按钮,定位到相应的工作簿(如“工资.xls”等)文件夹,并选中该工作簿文档。 重复上面的操作,将菜单项和与它对应的工作簿文档超链接起来。 4.以后需要打开“常用文档”菜单中的某个工作簿文档时,只要展开“常用文档”菜单,单击其中的相应选项即可。 提示:尽管我们将“超链接”选项拖到了“常用文档”菜单中,但并不影响“插入”菜单中“超链接”菜单项和“常用”工具栏上的“插入超链接”按钮的功能。 三、让不同类型数据用不同颜色显示 在工资表中,如果想让大于等于2000元的工资总额以“红色”显示,大于等于1500元的工资总额以“蓝色”显示,低于1000元的工资总额以“棕色”显示,其它以“黑色”显示,我们可以这样设置。 1.打开“工资表”工作簿,选中“工资总额”所在列,执行“格式→条件格式”命令,打开“条件格式”对话框。单击第二个方框右侧的下拉按钮,选中“大于或等于”选项,在后面的方框中输入数值“2000”。单击“格式”按钮,打开“单元格格式”对话框,将“字体”的“颜色”设置为“红色”。 2.按“添加”按钮,并仿照上面的操作设置好其它条件(大于等于1500,字体设置为“蓝色”;小于1000,字体设置为“棕色”)。 3.设置完成后(图2),按下“确定”按钮。 看看工资表吧,工资总额的数据是不是按你的要求以不同颜色显示出来了。 四、制作“专业符号”工具栏 在编辑专业表格时,常常需要输入一些特殊的专业符号,为了方便输入,我们可以制作一个属于自己的“专业符号”工具栏。 1.执行“工具→宏→录制新宏”命令,打开“录制新宏”对话框,输入宏名如“fuhao1” 并将宏保存在“个人宏工作簿”中,然后“确定” 开始录制。选中“录制宏”工具栏上的“相对引用”按钮,然后将需要的特殊符号输入到某个单元格中,再单击“录制宏”工具栏上的“停止”按钮,完成宏的录制。 仿照上面的操作,一一录制好其它特殊符号的输入“宏”。 2.打开“自定义”对话框(参见图1),在“工具栏”标签中,单击“新建”按钮,弹出“新建工具栏”对话框,输入名称——“专业符号”,确定后,即在工作区中出现一个工具条。 切换到“命令”标签中,选中“类别”下面的“宏”,将“命令”下面的“自定义按钮”项拖到“专业符号”栏上(有多少个特殊符号就拖多少个按钮)。 3.选中其中一个“自定义按钮”,仿照第2个秘技的第1点对它们进行命名。 4.右击某个命名后的按钮,在随后弹出的快捷菜单中,选“指定宏”选项,打开“指定宏”对话框,选中相应的宏(如fuhao1等),确定退出。 重复此步操作,将按钮与相应的宏链接起来。 5.关闭“自定义”对话框,以后可以像使用普通工具栏一样,使用“专业符号”工具栏(图3),向单元格中快速输入专业符号了。
五、用“视面管理器”保存多个打印页面 有的工作表,经常需要打印其中不同的区域,用“视面管理器”吧。 1.打开需要打印的工作表,用鼠标在不需要打印的行(或列)标上拖拉,选中它们再右击鼠标,在随后出现的快捷菜单中,选“隐藏”选项,将不需要打印的行(或列)隐藏起来。 2.执行“视图→视面管理器”命令,打开“视面管理器”对话框,单击“添加”按钮,弹出“添加视面”对话框,输入一个名称(如“上报表”)后,单击“确定”按钮。 3.将隐藏的行(或列)显示出来,并重复上述操作,“添加”好其它的打印视面。 4.以后需要打印某种表格时,打开“视面管理器”(如图4),选中需要打印的表格名称,单击“显示”按钮,工作表即刻按事先设定好的界面显示出来,简单设置、排版一下,按下工具栏上的“打印”按钮,一切就OK了。
六、建立分类下拉列表填充项 我们常常要将企业的名称输入到表格中,为了保持名称的一致性,利用“数据有效性”功能建了一个分类下拉列表填充项。 1.在Sheet2中,将企业名称按类别(如“工业企业”、“商业企业”、“个体企业”等)分别输入不同列中,建立一个企业名称数据库。 2.选中A列(“工业企业”名称所在列),在“名称”栏内,输入“工业企业”字符后,按“回车”键进行确认。 仿照上面的操作,将B、C……列分别命名为“商业企业”、“个体企业”…… 3.切换到Sheet1中,选中需要输入“企业类别”的列(如C列),执行“数据→有效性”命令,打开“数据有效性”对话框。在“设置”标签中,单击“允许”右侧的下拉按钮,选中“序列”选项,在下面的“来源”方框中,输入“工业企业”,“商业企业”,“个体企业”……序列(各元素之间用英文逗号隔开),确定退出。 再选中需要输入企业名称的列(如D列),再打开“数据有效性”对话框,选中“序列”选项后,在“来源”方框中输入公式:=INDIRECT(C1),确定退出。 4.选中C列任意单元格(如C4),单击右侧下拉按钮,选择相应的“企业类别”填入单元格中。然后选中该单元格对应的D列单元格(如D4),单击下拉按钮,即可从相应类别的企业名称列表中选择需要的企业名称填入该单元格中。 提示:在以后打印报表时,如果不需要打印“企业类别”列,可以选中该列,右击鼠标,选“隐藏”选项,将该列隐藏起来即可。
七、把数据彻底隐藏起来 工作表部分单元格中的内容不想让浏览者查阅,只好将它隐藏起来了。 1.选中需要隐藏内容的单元格(区域),执行“格式→单元格”命令,打开“单元格格式”对话框,在“数字”标签的“分类”下面选中“自定义”选项,然后在右边“类型”下面的方框中输入“;;;”(三个英文状态下的分号)。 2.再切换到“保护”标签下,选中其中的“隐藏”选项,按“确定”按钮退出。 3.执行“工具→保护→保护工作表”命令,打开“保护工作表”对话框,设置好密码后,“确定”返回。 经过这样的设置以后,上述单元格中的内容不再显示出来,就是使用Excel的透明功能也不能让其现形。 提示:在“保护”标签下,请不要清除“锁定”前面复选框中的“∨”号,这样可以防止别人删除你隐藏起来的数据。 八、让中、英文输入法智能化地出现 在编辑表格时,有的单元格中要输入英文,有的单元格中要输入中文,反复切换输入法实在不方便,何不设置一下,让输入法智能化地调整呢? 选中需要输入中文的单元格区域,执行“数据→有效性”命令,打开“数据有效性”对话框,切换到“输入法模式”标签下,按“模式”右侧的下拉按钮,选中“打开”选项后,“确定”退出。 以后当选中需要输入中文的单元格区域中任意一个单元格时,中文输入法(输入法列表中的第1个中文输入法)自动打开,当选中其它单元格时,中文输入法自动关闭。 九、让“自动更正”输入统一的文本 你是不是经常为输入某些固定的文本,如《电脑报》而烦恼呢?那就往下看吧。 1.执行“工具→自动更正”命令,打开“自动更正”对话框。 2.在“替换”下面的方框中输入“pcw”(也可以是其他字符,“pcw”用小写),在“替换为”下面的方框中输入“《电脑报》”,再单击“添加”和“确定”按钮。 3.以后如果需要输入上述文本时,只要输入“pcw”字符此时可以不考虑“pcw”的大小写 ,然后确认一下就成了。 十、在Excel中自定义函数 Excel函数虽然丰富,但并不能满足我们的所有需要。我们可以自定义一个函数,来完成一些特定的运算。下面,我们就来自定义一个计算梯形面积的函数: 1.执行“工具→宏→Visual Basic编辑器”菜单命令(或按“Alt+F11”快捷键),打开Visual Basic编辑窗口。 2.在窗口中,执行“插入→模块”菜单命令,插入一个新的模块——模块1。 3.在右边的“代码窗口”中输入以下代码: Function V(a,b,h) V = h*(a+b)/2 End Function 4.关闭窗口,自定义函数完成。 以后可以像使用内置函数一样使用自定义函数。 提示:用上面方法自定义的函数通常只能在相应的工作簿中使用。 十一、表头下面衬张图片 为工作表添加的背景,是衬在整个工作表下面的,能不能只衬在表头下面呢? 1.执行“格式→工作表→背景”命令,打开“工作表背景”对话框,选中需要作为背景的图片后,按下“插入”按钮,将图片衬于整个工作表下面。 2.在按住Ctrl键的同时,用鼠标在不需要衬图片的单元格(区域)中拖拉,同时选中这些单元格(区域)。 3.按“格式”工具栏上的“填充颜色”右侧的下拉按钮,在随后出现的“调色板”中,选中“白色”。 经过这样的设置以后,留下的单元格下面衬上了图片,而上述选中的单元格(区域)下面就没有衬图片了(其实,是图片被“白色”遮盖了)。 提示衬在单元格下面的图片是不支持打印的。 十二、用连字符“&”来合并文本 如果我们想将多列的内容合并到一列中,不需要利用函数,一个小小的连字符“&”就能将它搞定(此处假定将B、C、D列合并到一列中)。 1.在D列后面插入两个空列(E、F列),然后在D1单元格中输入公式:=B1&C1&D1。 2.再次选中D1单元格,用“填充柄”将上述公式复制到D列下面的单元格中,B、C、D列的内容即被合并到E列对应的单元格中。 3.选中E列,执行“复制”操作,然后选中F列,执行“编辑→选择性粘贴”命令,打开“选择性粘贴”对话框,选中其中的“数值”选项,按下“确定”按钮,E列的内容(不是公式)即被复制到F列中。 4.将B、C、D、E列删除,完成合并工作。 提示:完成第1、2步的操作,合并效果已经实现,但此时如果删除B、C、D列,公式会出现错误。故须进行第3步操作,将公式转换为不变的“值”。 十三、快速打印学生成绩条 常有朋友问“如何打印成绩条”这样的问题,有不少人采取录制宏或VBA的方法来实现,这对于初学者来说有一定难度。出于此种考虑,我在这里给出一种用函数实现的简便方法。 此处假定学生成绩保存在Sheet1工作表的A1至G64单元格区域中,其中第1行为标题,第2行为学科名称。 1.切换到Sheet2工作表中,选中A1单元格,输入公式:=IF(MOD(ROW(),3)=0,″″ ,IF(0MODROW(),3(=1,sheet1!A$2,INDEX(sheet1!$A:$G,INT(((ROW()+4)/3)+1),COLUMN())))。 2.再次选中A1单元格,用“填充柄”将上述公式复制到B1至G1单元格中;然后,再同时选中A1至G1单元格区域,用“填充柄”将上述公式复制到A2至G185单元格中。 至此,成绩条基本成型,下面简单修饰一下。 3.调整好行高和列宽后,同时选中A1至G2单元格区域(第1位学生的成绩条区域),按“格式”工具栏“边框”右侧的下拉按钮,在随后出现的边框列表中,选中“所有框线”选项,为选中的区域添加边框(如果不需要边框,可以不进行此步及下面的操作)。 4.同时选中A1至G3单元格区域,点击“常用”工具栏上的“格式刷”按钮,然后按住鼠标左键,自A4拖拉至G186单元格区域,为所有的成绩条添加边框。 按“打印”按钮,即可将成绩条打印出来。 十四、Excel帮你选函数 在用函数处理数据时,常常不知道使用什么函数比较合适。Excel的“搜索函数”功能可以帮你缩小范围,挑选出合适的函数。 执行“插入→函数”命令,打开“插入函数”对话框(图6),在“搜索函数”下面的方框中输入要求(如“计数”),然后单击“转到”按钮,系统即刻将与“计数”有关的函数挑选出来,并显示在“选择函数”下面的列表框中。再结合查看相关的帮助文件,即可快速确定所需要的函数。
十五、同时查看不同工作表中多个单元格内的数据 有时,我们编辑某个工作表(Sheet1)时,需要查看其它工作表中(Sheet2、Sheet3……)某个单元格的内容,可以利用Excel的“监视窗口”功能来实现。 执行“视图→工具栏→监视窗口”命令,打开“监视窗口”(图7),单击其中的“添加监视”按钮,展开“添加监视点”对话框(图8),用鼠标选中需要查看的单元格后,再单击“添加”按钮。重复前述操作,添加其它“监视点”。
以后,无论在哪个工作表中,只要打开“监视窗口”,即可查看所有被监视点单元格内的数据和相关信息。 十六、为单元格快速画边框 在Excel 2002以前的版本中,为单元格区域添加边框的操作比较麻烦,Excel 2002对此功能进行了全新的拓展。 单击“格式”工具栏上“边框”右侧的下拉按钮,在随后弹出的下拉列表中,选“绘图边框”选项,或者执行“视图→工具栏→边框”命令,展开“边框”工具栏(图9)。Excel表格的35招必学秘技 图 9 单击工具栏最左侧的下拉按钮,选中一种边框样式(参见图9),然后在需要添加边框的单元格区域中拖拉,即可为相应的单元格区域快速画上边框。 提示:①如果画错了边框,没关系,选中工具栏上的“擦除边框”按钮,然后在错误的边框上拖拉一下,就可以清除掉错误的边框。②如果需要画出不同颜色的边框,可以先按工具栏右侧的“线条颜色”按钮,在随后弹出的调色板中选中需要的颜色后,再画边框即可。③这一功能还可以在单元格中画上对角的斜线。 十七、控制特定单元格输入文本的长度 你能想象当你在该输入四位数的单元格中却填入了一个两位数,或者在该输入文字的单元格中你却输入了数字的时候,Excel就能自动判断、即时分析并弹出警告,那该多好啊!要实现这一功能,对Excel来说,也并不难。 例如我们将光标定位到一个登记“年份”的单元格中,为了输入的统一和计算的方便,我们希望“年份”都用一个四位数来表示。所以,我们可以单击 “数据”菜单的“有效性”选项。在“设置”卡片“有效性条件”的“允许”下拉菜单中选择“文本长度”。然后在“数据”下拉菜单中选择“等于”,且“长度” 为“4”。同时,我们再来到“出错警告”卡片中,将“输入无效数据时显示的出错警告”设为“停止”,并在“标题”和“错误信息”栏中分别填入“输入文本非法!”和“请输入四位数年份。”字样。 很显然,当如果有人在该单元格中输入的不是一个四位数时,Excel就会弹出如图10所示的警告对话框,告诉你出错原因,并直到你输入了正确 “样式”的数值后方可继续录入。神奇吧?其实,在Excel的“数据有效性”判断中,还有许多特殊类型的数据格式可选,比如“文本类型”啊,“序列大小” 啊,“时间远近”啊,如你有兴趣,何不自作主张,自己设计一种检测标准,让你的Excel展示出与众不同的光彩呢。Excel表格的35招必学秘技 图 10 十八、成组填充多张表格的固定单元格 我们知道每次打开Excel,软件总是默认打开多张工作表。由此就可看出Excel除了拥有强大的单张表格的处理能力,更适合在多张相互关联的表格中协调工作。要协调关联,当然首先就需要同步输入。因此,在很多情况下,都会需要同时在多张表格的相同单元格中输入同样的内容。 那么如何对表格进行成组编辑呢?首先我们单击第一个工作表的标签名“Sheet1”,然后按住Shift键,单击最后一张表格的标签名 “Sheet3”(如果我们想关联的表格不在一起,可以按住Ctrl键进行点选)。此时,我们看到Excel的标题栏上的名称出现了“工作组”字样,我们就可以进行对工作组的编辑工作了。在需要一次输入多张表格内容的单元格中随便写点什么,我们发现,“工作组”中所有表格的同一位置都显示出相应内容了。 但是,仅仅同步输入是远远不够的。比如,我们需要将多张表格中相同位置的数据统一改变格式该怎么办呢?首先,我们得改变第一张表格的数据格式,再单击“编辑”菜单的“填充”选项,然后在其子菜单中选择“至同组工作表”。这时,Excel会弹出“填充成组工作表”的对话框(图11),在这里我们选择“格式”一项,点“确定”后,同组中所有表格该位置的数据格式都改变了。Excel表格的35招必学秘技 图 11 十九、改变文本的大小写 在Excel中,为表格处理和数据运算提供最强大支持的不是公式,也不是数据库,而是函数。不要以为Excel中的函数只是针对数字,其实只要是写进表格中的内容,Excel都有对它编辑的特殊函数。例如改变文本的大小写。 在Excel 2002中,至少提供了三种有关文本大小写转换的函数。它们分别是:“=UPPER(源数据格)”,将文本全部转换为大写;“=LOWER(源数据格)”,将文本全部转换成小写;“=PROPER(源数据格)”,将文本转换成“适当”的大小写,如让每个单词的首字母为大写等。例如,我们在一张表格的 A1单元格中输入小写的“excel”,然后在目标单元格中输入“=UPPER(A1)”,回车后得到的结果将会是“EXCEL”。同样,如果我们在A3 单元格中输入“mr.weiwei”,然后我们在目标单元格中输入“=PROPER(A3)”,那么我们得到的结果就将是“Mr.Weiwei”了(图 12)。Excel表格的35招必学秘技 图 12 二十、提取字符串中的特定字符 除了直接输入外,从已存在的单元格内容中提取特定字符输入,绝对是一种省时又省事的方法,特别是对一些样式雷同的信息更是如此,比如员工名单、籍贯等信息。 如图12所示,如果我们想快速从A4单元格中提取称谓的话,最好使用“=RIGHT(源数据格,提取的字符数)”函数,它表示“从A4单元格最右侧的字符开始提取2个字符”输入到此位置。当然,如果你想提取姓名的话,则要使用“=LEFT(源数据格,提取的字符数)”函数了。还有一种情况,我们不从左右两端开始,而是直接从数据中间提取几个字符。比如我们要想从A5单元格中提取“武汉”两个字时,就只须在目标单元格中输入 “=MID(A5,4,2)”就可以了。意思是:在A5单元格中提取第4个字符后的两个字符,也就是第4和第5两个字。 二十一、把基数词转换成序数词 将英文的基数词转换成序数词是一个比较复杂的问题。因为它没有一个十分固定的模式:大多数的数字在变成序数词都是使用的“th”后缀,但大凡是以“1”、“2”、“3”结尾的数字却分别是以“st”、“nd”和“rd”结尾的。而且,“11”、“12”、“13”这3个数字又不一样,它们却仍然是以“th”结尾的。因此,实现起来似乎很复杂。其实,只要我们理清思路,找准函数,只须编写一个公式,就可轻松转换了。不信,请看:“=A2& IF(OR(VALUE(RIGHT(A2,2))={11,12,13}),″th″,IF(OR(VALUE(RIGHT(A2))= {1,2,3,},CHOOSE(RIGHT(A2),″st″,″nd″,″rd″),″th″))”。该公式尽管一长串,不过含义却很明确:①如果数字是以“11”、“12”、“13”结尾的,则加上“th”后缀;②如果第1原则无效,则检查最后一个数字,以“1”结尾使用“st”、以“2”结尾使用 “nd”、以“3”结尾使用“rd”;③如果第1、2原则都无效,那么就用“th”。因此,如图13所示,基数词和序数词的转换实现得如此轻松和快捷。Excel表格的35招必学秘技 图 13 二十二、用特殊符号补齐位数 和财务打过交道的人都知道,在账面填充时有一种约定俗成的“安全填写法”,那就是将金额中的空位补齐,或者在款项数据的前面加上“$”之类的符号。其实,在Excel中也有类似的输入方法,那就是“REPT”函数。它的基本格式是“=REPT(“特殊符号”,填充位数)”。
比如,我们要在图14中A2单元格里的数字结尾处用“#”号填充至16位,就只须将公式改为“=(A2&REPT(″#″,16- LEN(A2)))”即可;如果我们要将A3单元格中的数字从左侧用“#”号填充至16位,就要改为“=REPT(″#″,16-LEN(A3)))& amp;A3”;另外,如果我们想用“#”号将A4中的数值从两侧填充,则需要改为“=REPT(″#″,8-LEN(A4)/2)&A4&REPT(″ #″)8-LEN(A4)/2)”;如果你还嫌不够专业,要在A5单元格数字的顶头加上“$”符号的话,那就改为:“=(TEXT(A5, ″$#,##0.00″(&REPT(″#″,16-LEN(TEXT(A5,″$#,##0.00″))))”,一定能满足你的要求。
二十三、创建文本直方图 除了重复输入之外,“REPT”函数另一项衍生应用就是可以直接在工作表中创建由纯文本组成的直方图。它的原理也很简单,就是利用特殊符号的智能重复,按照指定单元格中的计算结果表现出长短不一的比较效果。 比如我们首先制作一张年度收支平衡表,然后将“E列”作为直方图中“预算内”月份的显示区,将“G列”则作为直方图中“超预算”的显示区。然后根据表中已有结果“D列”的数值,用“Wingdings”字体的“N”字符表现出来。具体步骤如下: 在E3单元格中写入公式“=IF(D3<0,REPT(″n″,-ROUND(D3*100,0)),″″)”,然后选中它并拖动“填充柄”,使E列中所有行都能一一对应D列中的结果(图15);接着在G3单元格中写入公式“=IF(D3>0,REPT(″n″ ,ROUND(D3*100,0)),″″)”,也拖动填充柄至G14。我们看到,一个没有动用Excel图表功能的纯文本直方图已展现眼前,方便直观,简单明了。Excel表格的35招必学秘技 图 15 二十四、计算单元格中的总字数 有时候,我们可能对某个单元格中字符的数量感兴趣,需要计算单元格中的总字数。要解决这个问题,除了利用到“SUBSTITUTE”函数的虚拟计算外,还要动用“TRIM”函数来删除空格。比如现在A1单元格中输入有“how many words?”字样,那么我们就可以用如下的表达式来帮忙: “=IF(LEN(A1)=0,0,LEN(TRIM(A1))-LEN(SUBSTITUTE(TRIM(A1),″,″,″″))+1)” 该式的含义是先用“SUBSTITUTE”函数创建一个新字符串,并且利用“TRIM”函数删除其中字符间的空格,然后计算此字符串和原字符串的数位差,从而得出“空格”的数量,最后将空格数+1,就得出单元格中字符的数量了。 二十五、关于欧元的转换 这是Excel 2002中的新工具。如果你在安装Excel 2002时选择的是默认方式,那么很可能不能在“工具”菜单中找到它。不过,我们可以先选择“工具”菜单中的“加载宏”,然后在弹出窗口中勾选“欧元工具”选项,“确定”后Excel 2002就会自行安装了。 完成后我们再次打开“工具”菜单,单击“欧元转换”,一个独立的专门用于欧元和欧盟成员国货币转换的窗口就出现了(图16)。与Excel的其他函数窗口一样,我们可以通过鼠标设置货币转换的“源区域”和“目标区域”,然后再选择转换前后的不同币种即可。如图16所示的就是“100欧元”分别转换成欧盟成员国其他货币的比价一览表。当然,为了使欧元的显示更显专业,我们还可以点击Excel工具栏上的“欧元”按钮,这样所有转换后的货币数值都是欧元的样式了。Excel表格的35招必学秘技 图 16 二十六、给表格做个超级搜索引擎 我们知道,Excel表格和Word中的表格最大的不同就是Excel是将填入表格中的所有内容(包括静态文本)都纳入了数据库的范畴之内。我们可以利用“函数查询”,对目标数据进行精确定位,就像网页中的搜索引擎一样。 比如在如图17所示的表格中,从A1到F7的单元格中输入了多名同学的各科成绩。而在A8到A13的单元格中我们则建立了一个“函数查询”区域。我们的设想是,当我们在“输入学生姓名”右边的单元格,也就是C8格中输入任何一个同学的名字后,其下方的单元格中就会自动显示出该学生的各科成绩。具体实现的方法如下:Excel表格的35招必学秘技 图 17 将光标定位到C9单元格中,然后单击“插入”之“函数”选项。在如图18弹出的窗口中,选择 “VLOOKUP” 函数,点“确定”。在随即弹出的“函数参数”窗口中我们设置“Lookup_value”(指需要在数据表首列中搜索的值)为“C8”(即搜索我们在C8 单元格中填入的人名);“Table_array”(指数据搜索的范围)为“A2∶B6”(即在所有学生的“语文”成绩中搜索);“Col_vindex_num”(指要搜索的数值在表格中的序列号)为“2”(即数值在第2 列);“Range_lookup”(指是否需要精确匹配)为“FALSE”(表明不是。如果是,就为“TURE”)。设定完毕按“确定”。Excel表格的35招必学秘技 图 18 此时回到表格,单击C9单元格,我们看到“fx”区域中显示的命令行为“=VLOOKUP(C8,A2∶B6,2,FALSE)”。复制该命令行,在C10、C11、C12、C13单元格中分别输入:“=VLOOKUP(C8,A2∶C6,3,FALSE)”;“=VLOOKUP(C8,A2∶D6,4,FALSE)”;“=VLOOKUP(C8,A2∶E6,5,FALSE)”;“=VLOOKUP(C8,A2∶F6,6,FALSE)” (其参数意义同C9中一样,不再赘述)。 接下来,我们就来检验“VLOOKUP”函数的功效。试着在“C8”单元格中输入某个学生名,比如“赵耀”,回车之下我们会发现,其下方每一科目的单元格中就自动显示出该生的入学成绩了。 二十七、Excel工作表大纲的建立 和Word的大纲视图一样,Excel这个功能主要用于处理特别大的工作表时,难以将关键条目显示在同一屏上的问题。如果在一张表格上名目繁多,但数据类型却又有一定的可比性,那么我们完全可以先用鼠标选择数据区域(图19),然后点击“数据”菜单的“分类汇总”选项。并在弹出菜单的“选定汇总项”区域选择你要汇总数据的类别。最后,如图19所示,现在的表格不是就小了许多吗?当然,如果你还想查看明细的话,单击表格左侧的“+”按钮即可。Excel表格的35招必学秘技 图 19 二十八、插入“图示” 尽管有14大类50多种“图表”样式给Excel撑着腰,但对于纷繁复杂的数据关系,常规的图表表示方法仍显得枯燥和缺乏想象力。因此在最新版本Excel 2002中加入了“图示”的功能。虽然在“插入”菜单的“图示”窗口中只有区区6种样式,但对于说明数据之间的结构却起到了“四两拨千斤”的效果。比如要显示数据的层次关系可以选择“组织结构图”;而要表达资金的流通过程则可以选择“循环图”;当然,要说明各种数据的交叉重叠性可以选择“维恩图”。你看,如图20所示的维恩图多么漂亮。而且你还可以右击该图示,调出“图示”工具栏。随心所欲地设置“图示样式库”甚至还可以多添加几个圆环。Excel表格的35招必学秘技 图 20
二十九、熟悉Excel的“从文本到语音” 这是Excel 2002中的一个抢眼的新功能。它就是让Office软件不仅能写、能算,还要能看、能说。尽管目前已经有许多软件都致力于文本的机器朗读,但微软的Office不论从语音的柔和度和语气的抑扬顿挫都是其它同类软件不可比拟的。 按照Office的默认安装,你可能还不能在Excel的菜单中找到它,在我们确认安装了“从文本到语音”的选项后,就可以在Excel的“工具”菜单中看到“语音”项目了。如图21所示,打开一个表格,随便选择其中的内容,然后单击“从文本到语音”工具栏上的“朗读单元格”按钮,此时一个带有磁性的声音就开始一字一句地朗读了。值得一提的是,当碰到标点符号时,Excel的朗读会自动停顿一会儿,然后再接着朗读,这一点和其他软件完全不同,笔者认为这样的处理更加自然。Excel表格的35招必学秘技 图 21 还有一点需要说明的是,如果你想调整Excel 2002中语音朗读的速度,可以在“控制面板”中双击“语音”图标,然后在“文字到语音”卡片上调整即可(图22)。Excel表格的35招必学秘技 图 22 三十、Excel中“摄影”功能的妙用 这个功能比较另类,似乎和计算、统计、排序等等“正统”功能格格不入,因为它的作用竟然是——“抓屏”!而且还不是像“PrintScreen”按钮那样“一把乱抓”,而是允许让你通过鼠标进行选择,“指哪抓哪”。 要找到这个功能还不太容易,我们点击Excel“工具”菜单的“自定义”选项。在“命令”卡片的“类别”中点“工具”,再在命令栏中找到“摄影”按钮,并将它拖到工具栏的任意位置。如果我们想要对表格中的某一部分“照相”,只须先选择它们(图23),然后按下“摄影”按钮,这时该选定区域就被 “拍”了下来。然后将鼠标移动到需要显示“照片”的地方(当然,也可以是另一张表格),再次按下“摄影”按钮,这样刚才被“拍摄”的“照片”就立即粘贴过来了。当然,和“照片”一同出现的还有“图片”工具栏。很显然,Excel是将它作为一幅图片来对待了,我们可随意将它进行旋转、缩放处理。Excel表格的35招必学秘技 图 23 不过,请各位一定要注意:这可不是一般的照片!你可以试着改动原来被我们“拍摄”下来的表格数据看看——刷新一下“照片”,结果“照片”中的数据竟然也被同步更新了! 三十一、在多张表格间实现公用数据的链接和引用 也许我们会奇怪,为什么每次打开Excel,软件总是打开了一个由3张空白表格组成的文件组呢?如果你是专业的会计师、统计师或者谙熟于此的表格高手,就一定会明白,由于计算项目的名目繁多、数据信息的头绪复杂,单靠一张表格往往解决不了所有的问题,多表格数据链接、多文件数据互动才是以一当十的制胜法宝。 比如我们首先制作“Sheet1”为“一班学生成绩表”,“Sheet2”为“二班学生成绩表”,然后来到“Sheet3”,想进行“一班”和 “二班”各科成绩的比较以及“年级平均分”的计算。此时我们就可以将光标定位到目标位置,选择好相关函数。然后在Excel弹出的函数对话框中,利用数据列表右侧的“ ”按钮点击一下其他表格中想引用的单元格就行了。你看,如图24所示,这时函数窗口中就会出现“×班学生成绩表!××单元格”的字样了。此后,不管我们在源单元格中进行怎样的修改,在“Sheet3”的目标位置都会适时进行重新计算。Excel表格的35招必学秘技 图 24 三十二、“驯服”Excel 2002的剪贴板窗口 Excel 2002极大地改进了旧版本中比较薄弱的剪贴板功能,最大可以支持容纳24个项目(而Excel 2000只能容纳12个)。而且,这个剪贴板可以在任何Office应用程序之间来回拷贝,所以对于经常需要拷贝和粘贴的用户来说,确实更加方便。但每次当你连续使用两次“复制”或“剪切”命令时,剪贴板就会弹出来,和你争夺有限的文档显示空间,让人讨厌。好在,“驯服”剪贴板的方法非常简单。 笔者建议,如果你不希望剪贴板总是出其不意地蹦出来,只须点击剪贴板菜单底部的“选项”,清除“自动显示Office剪贴板”复选框上的钩。如果你不希望剪贴板的图标出现在系统任务栏上或随时弹出来,只须清除掉“在任务栏上显示Office剪贴板的图标”和“复制时在任务栏附近显示状态”两个复选框上的选择。只保留“收集而不显示Office剪贴板”复选框前面的钩即可。 当然,在取消剪贴板自动显示功能之后,你还可以随时恢复这个功能。比如我们可以自定义一组快捷键,以便随时迅速调出剪贴板。从菜单中选取“工具”之“自定义”选项,点击弹出对话框下部的 “键盘”按钮,在弹出对话框的 “类别”列表中选取“编辑”,然后,在对话框右上方的“命令”列表中选取“EditOfficeClipboard”; 将光标置于“请按新快捷键”对话框中,并按下Alt+Shift+C(或者你喜欢的其他组合),“关闭”对话框。现在,我们只要一按下 Alt+Shift+C,Excel 2002的剪贴板就会立刻出现在你面前了。 提示:此秘技也适用于Word 2002、PowerPint 2002。 三十三、利用公式审核工具查看数据出处 Excel 2002有一秘密武器——“公式审核”工具,它可以将任一单元格中数据的来源和计算结果的去处显示得清清楚楚、明明白白。 让我们单击“工具”菜单的“公式审核”选项,并点击“显示公式审核工具栏”。我们仍然借用“给表格做个超级搜索引擎”一招中的例子,用鼠标选择 C12单元格。从图25中我们可以看到,该单元格中的结果是通过函数“=VLOOKUP(C8,A2∶C6,3,FALSE)”得出的。因此,数据来源有 3个:C8、A2和C6。所以,当我们单击“公式审核”工具栏上的“追踪引用单元格”按钮后,Excel立刻用箭头和蓝点指明了这3个单元格的所在(图 25)。当然,如果我们表格中某个数据无效或语法不当的话,也可以点击“公式审核”工具栏上的“圈释无效数据”按钮来让Excel自动帮我们检查纰漏。Excel表格的35招必学秘技 图 25 三十四、巧用Excel 2002的“智能鼠标” 我们知道,滚轮鼠标现在几乎成为了电脑的“标配”,但当我们滚动鼠标滚轮上下翻页时,你是否想过我们还可以利用它完成一些其他的功能呢? 点击Excel 2002“工具”菜单中的“选项”命令,然后在“常规”选项卡中选中“用智能鼠标缩放”复选框,点“确定”后,我们再来看看现在的鼠标滚轮都有些怎样的功能: 在“智能鼠标”的默认状态下,上下滚动鼠标滚轮,工作区中的表格会以15%的比例放大或缩小,而只有当我们按住Ctrl键,再滚动鼠标滚轮时,工作表才会像往常一样上下翻页。另外,如果我们使用了Excel的“分级显示”,那么当我们按住Shift和滚动鼠标滚轮时,又可以控制各级条目的显示或隐藏了。当然,还有更多的特殊功用需要各位在实践中慢慢摸索。 三十五、Excel 2002“监视”窗口的应用 如果你创建了一个较大的电子表格,并且该表格具有链接到其他工作簿的数据时, Excel 中的“监视窗口”可以为你提供很大的帮助。通过它你可以轻松看到工作表、单元格和公式函数在改动时是如何影响当前数据的。 在“工具”菜单中单击“公式审核”子菜单,然后单击“显示监视窗口”按钮。右击我们想跟踪的单元格,并在快捷菜单中选择“添加监视点”。这时,“监视窗口”的列表中就出现了被Excel监视的单元格及其公式了。 以后,只要我们双击“监视窗口”中的该条目,被监视的单元格就会不请自来了。 提示:当包含有指向其他工作簿的单元格被监视时,只有当所有被引用的工作簿都打开时,才能在“监视窗口”的列表中显示出来。
微软等公司数据结构+算法面试100题
1.把二元查找树转变成排序的双向链表(树)题目:输入一棵二元查找树,将该二元查找树转换成一个排序的双向链表。要求不能创建任何新的结点,只调整指针的指向。10/ /6 14/ / / /4 8 12 16转换成双向链表4=6=8=10=12=14=16。首先我们定义的二元查找树 节点的数据结构如下:struct BSTreeNode{int m_nValue; // value of nodeBSTreeNode *m_pLeft; // left child of nodeBSTreeNode *m_pRight; // right child of node};
2.设计包含min函数的栈(栈)定义栈的数据结构,要求添加一个min函数,能够得到栈的最小元素。要求函数min、push以及pop的时间复杂度都是O(1)。
3.求子数组的最大和(数组)题目:输入一个整形数组,数组里有正数也有负数。数组中连续的一个或多个整数组成一个子数组,每个子数组都有一个和。求所有子数组的和的最大值。要求时间复杂度为O(n)。
例如输入的数组为1, -2, 3, 10, -4, 7, 2, -5,和最大的子数组为3, 10, -4, 7, 2,因此输出为该子数组的和18。
4.在二元树中找出和为某一值的所有路径(树)
题目:输入一个整数和一棵二元树。从树的根结点开始往下访问一直到叶结点所经过的所有结点形成一条路径。打印出和与输入整数相等的所有路径。例如 输入整数22和如下二元树10 / / 5 12 / / 4 7则打印出两条路径:10, 12和10, 5, 7。
二元树节点的数据结构定义为:struct BinaryTreeNode // a node in the binary tree{int m_nValue; // value of nodeBinaryTreeNode *m_pLeft; // left child of nodeBinaryTreeNode *m_pRight; // right child of node};
5.查找最小的k个元素(数组)题目:输入n个整数,输出其中最小的k个。例如输入1,2,3,4,5,6,7和8这8个数字,则最小的4个数字为1,2,3和4。
第6题(数组)腾讯面试题: 给你10分钟时间,根据上排给出十个数,在其下排填出对应的十个数 要求下排每个数都是先前上排那十个数在下排出现的次数。 上排的十个数如下: 【0,1,2,3,4,5,6,7,8,9】
举一个例子, 数值: 0,1,2,3,4,5,6,7,8,9 分配: 6,2,1,0,0,0,1,0,0,0 0在下排出现了6次,1在下排出现了2次, 2在下排出现了1次,3在下排出现了0次.... 以此类推..
第7题(链表)微软亚院之编程判断俩个链表是否相交给出俩个单向链表的头指针,比如h1,h2,判断这俩个链表是否相交。为了简化问题,我们假设俩个链表均不带环。
问题扩展:1.如果链表可能有环列?2.如果需要求出俩个链表相交的第一个节点列?
第8题(算法)此贴选一些 比较怪的题,,由于其中题目本身与算法关系不大,仅考考思维。特此并作一题。1.有两个房间,一间房里有三盏灯,另一间房有控制着三盏灯的三个开关,
这两个房间是 分割开的,从一间里不能看到另一间的情况。现在要求受训者分别进这两房间一次,然后判断出这三盏灯分别是由哪个开关控制的。有什么办法呢?
2.你让一些人为你工作了七天,你要用一根金条作为报酬。金条被分成七小块,每天给出一块。如果你只能将金条切割两次,你怎样分给这些工人?
3. 用一种算法来颠倒一个链接表的顺序。现在在不用递归式的情况下做一遍。 用一种算法在一个循环的链接表里插入一个节点,但不得穿越链接表。 用一种算法整理一个数组。你为什么选择这种方法? 用一种算法使通用字符串相匹配。 颠倒一个字符串。优化速度。优化空间。 颠倒一个句子中的词的顺序,比如将“我叫克丽丝”转换为“克丽丝叫我”,
实现速度最快,移动最少。 找到一个子字符串。优化速度。优化空间。 比较两个字符串,用O(n)时间和恒量空间。 假设你有一个用1001个整数组成的数组,这些整数是任意排列的,但是你知道所有的整数都在1到1000(包括1000)之间。此外,除一个数字出现两次外,其他所有数字只出现一次。假设你只能对这个数组做一次处理,用一种算法找出重复的那个数字。如果你在运算中使用了辅助的存储方式,那么你能找到不用这种方式的算法吗? 不用乘法或加法增加8倍。现在用同样的方法增加7倍。
第9题(树)判断整数序列是不是二元查找树的后序遍历结果题目:输入一个整数数组,判断该数组是不是某二元查找树的后序遍历的结果。如果是返回true,否则返回false。
例如输入5、7、6、9、11、10、8,由于这一整数序列是如下树的后序遍历结果:
8/ /6 10/ / / /5 7 9 11因此返回true。如果输入7、4、6、5,没有哪棵树的后序遍历的结果是这个序列,因此返回false。
第10题(字符串)翻转句子中单词的顺序。题目:输入一个英文句子,翻转句子中单词的顺序,但单词内字符的顺序不变。
句子中单词以空格符隔开。为简单起见,标点符号和普通字母一样处理。例如输入“I am a student.”,则输出“student. a am I”。
第11题(树)求二叉树中节点的最大距离...
如果我们把二叉树看成一个图,父子节点之间的连线看成是双向的,我们姑且定义"距离"为两节点之间边的个数。写一个程序,求一棵二叉树中相距最远的两个节点之间的距离。
第12题(语法)题目:求1+2+…+n,要求不能使用乘除法、for、while、if、else、switch、case等关键字以及条件判断语句(A?B:C)。
第13题(链表):题目:输入一个单向链表,输出该链表中倒数第k个结点。链表的倒数第0个结点为链表的尾指针。链表结点定义如下: struct ListNode{int m_nKey;ListNode* m_pNext;};
第14题(数组):题目:输入一个已经按升序排序过的数组和一个数字,在数组中查找两个数,使得它们的和正好是输入的那个数字。要求时间复杂度是O(n)。如果有多对数字的和等于输入的数字,输出任意一对即可。例如输入数组1、2、4、7、11、15和数字15。由于4+11=15,因此输出4和11。
第15题(树):题目:输入一颗二元查找树,将该树转换为它的镜像,即在转换后的二元查找树中,左子树的结点都大于右子树的结点。用递归和循环两种方法完成树的镜像转换。 例如输入:8/ /6 10// //5 7 9 11
输出:8/ /10 6// //11 9 7 5
定义二元查找树的结点为:struct BSTreeNode // a node in the binary search tree (BST){int m_nValue; // value of nodeBSTreeNode *m_pLeft; // left child of nodeBSTreeNode *m_pRight; // right child of node};
第16题(树):题目(微软):输入一颗二元树,从上往下按层打印树的每个结点,同一层中按照从左往右的顺序打印。 例如输入
8/ /6 10/ / / /5 7 9 11
输出8 6 10 5 7 9 11。
第17题(字符串):题目:在一个字符串中找到第一个只出现一次的字符。如输入abaccdeff,则输出b。 分析:这道题是2006年google的一道笔试题。
第18题(数组):题目:n个数字(0,1,…,n-1)形成一个圆圈,从数字0开始,每次从这个圆圈中删除第m个数字(第一个为当前数字本身,第二个为当前数字的下一个数字)。当一个数字删除后,从被删除数字的下一个继续删除第m个数字。求出在这个圆圈中剩下的最后一个数字。July:我想,这个题目,不少人已经 见识过了。
第19题(数组、递归):题目:定义Fibonacci数列如下: / 0 n=0f(n)= 1 n=1/ f(n-1)+f(n-2) n=2
输入n,用最快的方法求该数列的第n项。分析:在很多C语言教科书中讲到递归函数的时候,都会用Fibonacci作为例子。因此很多程序员对这道题的递归解法非常熟悉,但....呵呵,你知道的。。
第20题(字符串):题目:输入一个表示整数的字符串,把该字符串转换成整数并输出。例如输入字符串"345",则输出整数345。
第21题(数组)2010年中兴面试题编程求解:输入两个整数 n 和 m,从数列1,2,3.......n 中 随意取几个数,使其和等于 m ,要求将其中所有的可能组合列出来.
第22题(推理):有4张红色的牌和4张蓝色的牌,主持人先拿任意两张,再分别在A、B、C三人额头上贴任意两张牌,A、B、C三人都可以看见其余两人额头上的牌,看完后让他们猜自己额头上是什么颜色的牌,A说不知道,B说不知道,C说不知道,然后A说知道了。请教如何推理,A是怎么知道的。如果用程序,又怎么实现呢?
第23题(算法):用最简单,最快速的方法计算出下面这个圆形是否和正方形相交。" 3D坐标系 原点(0.0,0.0,0.0)圆形:半径r = 3.0圆心o = (*.*, 0.0, *.*)
正方形:4个角坐标; 1:(*.*, 0.0, *.*)2:(*.*, 0.0, *.*)3:(*.*, 0.0, *.*)4:(*.*, 0.0, *.*)
第24题(链表):链表操作,单链表就地逆置,
第25题(字符串):写一个函数,它的原形是int continumax(char *outputstr,char *intputstr)功能:在字符串中找出连续最长的数字串,并把这个串的长度返回,并把这个最长数字串付给其中一个函数参数outputstr所指内存。例如:"abcd12345ed125ss123456789"的首地址传给intputstr后,函数将返回9,outputstr所指的值为123456789
26.左旋转字符串(字符串)
题目:定义字符串的左旋转操作:把字符串前面的若干个字符移动到字符串的尾部。
如把字符串abcdef左旋转2位得到字符串cdefab。请实现字符串左旋转的函数。要求时间对长度为n的字符串操作的复杂度为O(n),辅助内存为O(1)。
27.跳台阶问题(递归)题目:一个台阶总共有n级,如果一次可以跳1级,也可以跳2级。求总共有多少总跳法,并分析算法的时间复杂度。
这道题最近经常出现,包括MicroStrategy等比较重视算法的公司都曾先后选用过个这道题作为面试题或者笔试题。
28.整数的二进制表示中1的个数(运算)题目:输入一个整数,求该整数的二进制表达中有多少个1。例如输入10,由于其二进制表示为1010,有两个1,因此输出2。
分析:这是一道很基本的考查位运算的面试题。包括微软在内的很多公司都曾采用过这道题。
29.栈的push、pop序列(栈)题目:输入两个整数序列。其中一个序列表示栈的push顺序,判断另一个序列有没有可能是对应的pop顺序。为了简单起见,我们假设push序列的任意两个整数都是不相等的。
比如输入的push序列是1、2、3、4、5,那么4、5、3、2、1就有可能是一个pop系列。因为可以有如下的push和pop序列:push 1,push 2,push 3,push 4,pop,push 5,pop,pop,pop,pop,这样得到的pop序列就是4、5、3、2、1。但序列4、3、5、1、2就不可能是push序列1、2、3、4、5的pop序列。
30.在从1到n的正数中1出现的次数(数组)题目:输入一个整数n,求从1到n这n个整数的十进制表示中1出现的次数。
例如输入12,从1到12这些整数中包含1 的数字有1,10,11和12,1一共出现了5次。分析:这是一道广为流传的google面试题。
31.华为面试题(搜索):一类似于蜂窝的结构的图,进行搜索最短路径(要求5分钟)
32.(数组、规划)有两个序列a,b,大小都为n,序列元素的值任意整数,无序;要求:通过交换a,b中的元素,使[序列a元素的和]与[序列b元素的和]之间的差最小。例如: var a=[100,99,98,1,2, 3];var b=[1, 2, 3, 4,5,40];
33.(字符串)实现一个挺高级的字符匹配算法:给一串很长字符串,要求找到符合要求的字符串,例如目的串:1231******3***2 ,12*****3这些都要找出来其实就是类似一些和谐系统。。。。。
34.(队列)实现一个队列。队列的应用场景为:一个生产者线程将int类型的数入列,一个消费者线程将int类型的数出列
35.(矩阵)求一个矩阵中最大的二维矩阵(元素和最大).如:1 2 0 3 42 3 4 5 11 1 5 3 0中最大的是:4 55 3要求:(1)写出算法;(2)分析时间复杂度;(3)用C写出关键代码
第36题-40题(有些题目搜集于CSDN上的网友,已标明):36.引用自网友:longzuo(运算)谷歌笔试:n支队伍比赛,分别编号为0,1,2。。。。n-1,已知它们之间的实力对比关系,存储在一个二维数组w[n][n]中,w[i][j] 的值代表编号为i,j的队伍中更强的一支。
所以w[i][j]=i 或者j,现在给出它们的出场顺序,并存储在数组order[n]中,比如order[n] = {4,3,5,8,1......},那么第一轮比赛就是 4对3, 5对8。.......胜者晋级,败者淘汰,同一轮淘汰的所有队伍排名不再细分,即可以随便排,下一轮由上一轮的胜者按照顺序,再依次两两比,比如可能是4对5,直至出现第一名
编程实现,给出二维数组w,一维数组order 和 用于输出比赛名次的数组result[n],求出result。
37.(字符串)有n个长为m+1的字符串,如果某个字符串的最后m个字符与某个字符串的前m个字符匹配,则两个字符串可以联接,问这n个字符串最多可以连成一个多长的字符串,如果出现循环,则返回错误。
38.(算法)百度面试:1.用天平(只能比较,不能称重)从一堆小球中找出其中唯一一个较轻的,使用x次天平,最多可以从y个小球中找出较轻的那个,求y与x的关系式。
2.有一个很大很大的输入流,大到没有存储器可以将其存储下来,而且只输入一次,如何从这个输入流中随机取得m个记录。
3.大量的URL字符串,如何从中去除重复的,优化时间空间复杂度
39.(树、图、算法)网易有道笔试:(1).求一个二叉树中任意两个节点间的最大距离,两个节点的距离的定义是 这两个节点间边的个数,比如某个孩子节点和父节点间的距离是1,和相邻兄弟节点间的距离是2,优化时间空间复杂度。
(2).求一个有向连通图的割点,割点的定义是,如果除去此节点和与其相关的边,有向图不再连通,描述算法。
40.百度研发笔试题(栈、算法)引用自:zp1553348771)设计一个栈结构,满足一下条件:min,push,pop操作的时间复杂度为O(1)。
2)一串首尾相连的珠子(m个),有N种颜色(N<=10),设计一个算法,取出其中一段,要求包含所有N中颜色,并使长度最短。并分析时间复杂度与空间复杂度。
3)设计一个系统处理词语搭配问题,比如说 中国 和人民可以搭配,则中国人民 人民中国都有效。要求:
*系统每秒的查询数量可能上千次;*词语的数量级为10W;*每个词至多可以与1W个词搭配
当用户输入中国人民的时候,要求返回与这个搭配词组相关的信息。
41.求固晶机的晶元查找程序(匹配、算法)晶元盘由数目不详的大小一样的晶元组成,晶元并不一定全布满晶元盘,
照相机每次这能匹配一个晶元,如匹配过,则拾取该晶元,若匹配不过,照相机则按测好的晶元间距移到下一个位置。求遍历晶元盘的算法 求思路。
42.请修改append函数,利用这个函数实现(链表):
两个非降序链表的并集,1->2->3 和 2->3->5 并为 1->2->3->5另外只能输出结果,不能修改两个链表的数据。
43.递归和非递归俩种方法实现二叉树的前序遍历。
44.腾讯面试题(算法):1.设计一个魔方(六面)的程序。2.有一千万条短信,有重复,以文本文件的形式保存,一行一条,有重复。请用5分钟时间,找出重复出现最多的前10条。
3.收藏了1万条url,现在给你一条url,如何找出相似的url。(面试官不解释何为相似)
45.雅虎(运算、矩阵):1.对于一个整数矩阵,存在一种运算,对矩阵中任意元素加一时,需要其相邻(上下左右)
某一个元素也加一,现给出一正数矩阵,判断其是否能够由一个全零矩阵经过上述运算得到。2.一个整数数组,长度为n,将其分为m份,使各份的和相等,求m的最大值比如{3,2,4,3,6} 可以分成{3,2,4,3,6} m=1; {3,6}{2,4,3} m=2{3,3}{2,4}{6} m=3 所以m的最大值为3
46.搜狐(运算):四对括号可以有多少种匹配排列方式?比如两对括号可以有两种:()()和(())
47.创新工场(算法):求一个数组的最长递减子序列 比如{9,4,3,2,5,4,3,2}的最长递减子序列为{9,5,4,3,2}
48.微软(运算):一个数组是由一个递减数列左移若干位形成的,比如{4,3,2,1,6,5}是由{6,5,4,3,2,1}左移两位形成的,在这种数组中查找某一个数。
49.一道看上去很吓人的算法面试题(排序、算法):如何对n个数进行排序,要求时间复杂度O(n),空间复杂度O(1)
50.网易有道笔试(sorry,与第39题重复):1.求一个二叉树中任意两个节点间的最大距离,两个节点的距离的定义是 这两个节点间边的个数,比如某个孩子节点和父节点间的距离是1,和相邻兄弟节点间的距离是2,优化时间空间复杂度。
2.求一个有向连通图的割点,割点的定义是,如果除去此节点和与其相关的边,有向图不再连通,描述算法。-------------------------------------------------------------------
51.和为n连续正数序列(数组)。题目:输入一个正数n,输出所有和为n连续正数序列。
例如输入15,由于1+2+3+4+5=4+5+6=7+8=15,所以输出3个连续序列1-5、4-6和7-8。分析:这是网易的一道面试题。
52.二元树的深度(树)。
题目:输入一棵二元树的根结点,求该树的深度。
从根结点到叶结点依次经过的结点(含根、叶结点)形成树的一条路径,最长路径的长度为树的深度。
例如:输入二元树:10/ /6 14/ / /4 12 16
输出该树的深度3。
二元树的结点定义如下:
struct SBinaryTreeNode // a node of the binary tree{int m_nValue; // value of nodeSBinaryTreeNode *m_pLeft; // left child of nodeSBinaryTreeNode *m_pRight; // right child of node};分析:这道题本质上还是考查二元树的遍历。
53.字符串的排列(字符串)。题目:输入一个字符串,打印出该字符串中字符的所有排列。例如输入字符串abc,则输出由字符a、b、c所能排列出来的所有字符串abc、acb、bac、bca、cab和cba。
分析:这是一道很好的考查对递归理解的编程题,因此在过去一年中频繁出现在各大公司的面试、笔试题中。
54.调整数组顺序使奇数位于偶数前面(数组)。
题目:输入一个整数数组,调整数组中数字的顺序,使得所有奇数位于数组的前半部分,所有偶数位于数组的后半部分。要求时间复杂度为O(n)。
55.(语法)题目:类CMyString的声明如下:class CMyString{public:CMyString(char* pData = NULL);CMyString(const CMyString& str);~CMyString(void);CMyString& operator = (const CMyString& str);
private:char* m_pData;};请实现其赋值运算符的重载函数,要求异常安全,即当对一个对象进行赋值时发生异常,对象的状态不能改变。
56.最长公共字串(算法、字符串)。
题目:如果字符串一的所有字符按其在字符串中的顺序出现在另外一个字符串二中,
则字符串一称之为字符串二的子串。
注意,并不要求子串(字符串一)的字符必须连续出现在字符串二中。请编写一个函数,输入两个字符串,求它们的最长公共子串,并打印出最长公共子串。
例如:输入两个字符串BDCABA和ABCBDAB,字符串BCBA和BDAB都是是它们的最长公共子串,则输出它们的长度4,并打印任意一个子串。
分析:求最长公共子串(Longest Common Subsequence, LCS)是一道非常经典的动态规划题,
因此一些重视算法的公司像MicroStrategy都把它当作面试题。
57.用俩个栈实现队列(栈、队列)。
题目:某队列的声明如下:
template<typename T> class CQueue{public:CQueue() {}~CQueue() {}
void appendTail(const T& node); // append a element to tailvoid deleteHead(); // remove a element from head
private:T> m_stack1;T> m_stack2;};
分析:从上面的类的声明中,我们发现在队列中有两个栈。因此这道题实质上是要求我们用两个栈来实现一个队列。相信大家对栈和队列的基本性质都非常了解了:栈是一种后入先出的数据容器,因此对队列进行的插入和删除操作都是在栈顶上进行;队列是一种先入先出的数据容器,我们总是把新元素插入到队列的尾部,而从队列的头部删除元素。
58.从尾到头输出链表(链表)。
题目:输入一个链表的头结点,从尾到头反过来输出每个结点的值。链表结点定义如下:struct ListNode{
int m_nKey;ListNode* m_pNext;};分析:这是一道很有意思的面试题。该题以及它的变体经常出现在各大公司的面试、笔试题中。
59.不能被继承的类(语法)。题目:用C++设计一个不能被继承的类。
分析:这是Adobe公司2007年校园招聘的最新笔试题。这道题除了考察应聘者的C++基本功底外,还能考察反应能力,是一道很好的题目。
60.在O(1)时间内删除链表结点(链表、算法)。
题目:给定链表的头指针和一个结点指针,在O(1)时间删除该结点。链表结点的定义如下:
struct ListNode
int m_nKey;
ListNode* m_pNext;
函数的声明如下:void DeleteNode(ListNode* pListHead, ListNode* pToBeDeleted);
分析:这是一道广为流传的Google面试题,能有效考察我们的编程基本功,还能考察我们的反应速度,
更重要的是,还能考察我们对时间复杂度的理解。-------------------------------------------------------------------------
61.找出数组中两个只出现一次的数字(数组)题目:一个整型数组里除了两个数字之外,其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。要求时间复杂度是O(n),空间复杂度是O(1)。
分析:这是一道很新颖的关于位运算的面试题。
62.找出链表的第一个公共结点(链表)。题目:两个单向链表,找出它们的第一个公共结点。
链表的结点定义为:struct ListNode
int m_nKey;
ListNode* m_pNext;
分析:这是一道微软的面试题。微软非常喜欢与链表相关的题目,因此在微软的面试题中,链表出现的概率相当高。
63.在字符串中删除特定的字符(字符串)。题目:输入两个字符串,从第一字符串中删除第二个字符串中所有的字符。
例如,输入”They are students.”和”aeiou”,
则删除之后的第一个字符串变成”Thy r stdnts.”。
分析:这是一道微软面试题。在微软的常见面试题中,与字符串相关的题目占了很大的一部分,因为写程序操作字符串能很好的反映我们的编程基本功。
64. 寻找丑数(运算)。题目:我们把只包含因子2、3和5的数称作丑数(Ugly Number)。例如6、8都是丑数,但14不是,因为它包含因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第1500个丑数。
分析:这是一道在网络上广为流传的面试题,据说google曾经采用过这道题。
65.输出1到最大的N位数(运算)题目:输入数字n,按顺序输出从1最大的n位10进制数。比如输入3,
则输出1、2、3一直到最大的3位数即999。分析:这是一道很有意思的题目。看起来很简单,其实里面却有不少的玄机。
66.颠倒栈(栈)。题目:用递归颠倒一个栈。例如输入栈{1, 2, 3, 4, 5},1在栈顶。颠倒之后的栈为{5, 4, 3, 2, 1},5处在栈顶。
67.俩个闲玩娱乐(运算)。
1.扑克牌的顺子从扑克牌中随机抽5张牌,判断是不是一个顺子,即这5张牌是不是连续的。2-10为数字本身,A为1,J为11,Q为12,K为13,而大小王可以看成任意数字。
2.n个骰子的点数。把n个骰子扔在地上,所有骰子朝上一面的点数之和为S。输入n,打印出S的所有可能的值出现的概率。
68.把数组排成最小的数(数组、算法)。题目:输入一个正整数数组,将它们连接起来排成一个数,输出能排出的所有数字中最小的一个。例如输入数组{32, 321},则输出这两个能排成的最小数字32132。请给出解决问题的算法,并证明该算法。
分析:这是09年6月份百度的一道面试题,从这道题我们可以看出百度对应聘者在算法方面有很高的要求。
69.旋转数组中的最小元素(数组、算法)。题目:把一个数组最开始的若干个元素搬到数组的末尾,我们称之为数组的旋转。输入一个排好序的数组的一个旋转,
输出旋转数组的最小元素。例如数组{3, 4, 5, 1, 2}为{1, 2, 3, 4, 5}的一个旋转,该数组的最小值为1。
分析:这道题最直观的解法并不难。从头到尾遍历数组一次,就能找出最小的元素,时间复杂度显然是O(N)。但这个思路没有利用输入数组的特性,我们应该能找到更好的解法。
70.给出一个函数来输出一个字符串的所有排列(经典字符串问题)。ANSWER 简单的回溯就可以实现了。当然排列的产生也有很多种算法,去看看组合数学,
还有逆序生成排列和一些不需要递归生成排列的方法。印象中Knuth的<TAOCP>第一卷里面深入讲了排列的生成。这些算法的理解需要一定的数学功底,也需要一定的灵感,有兴趣最好看看。
71.数值的整数次方(数字、运算)。
题目:实现函数double Power(double base, int exponent),求base的exponent次方。不需要考虑溢出。
分析:这是一道看起来很简单的问题。可能有不少的人在看到题目后30秒写出如下的代码:double Power(double base, int exponent){
double result = 1.0;for(int i = 1; i <= exponent; ++i)result *= base;return result;}
72.(语法)题目:设计一个类,我们只能生成该类的一个实例。分析:只能生成一个实例的类是实现了Singleton模式的类型。
73.对称字符串的最大长度(字符串)。
题目:输入一个字符串,输出该字符串中对称的子字符串的最大长度。比如输入字符串“google”,由于该字符串里最长的对称子字符串是“goog”,因此输出4。
分析:可能很多人都写过判断一个字符串是不是对称的函数,这个题目可以看成是该函数的加强版。
74.数组中超过出现次数超过一半的数字(数组)
题目:数组中有一个数字出现的次数超过了数组长度的一半,找出这个数字。
分析:这是一道广为流传的面试题,包括百度、微软和Google在内的多家公司都曾经采用过这个题目。要几十分钟的时间里很好地解答这道题,除了较好的编程能力之外,还需要较快的反应和较强的逻辑思维能力。
75.二叉树两个结点的最低共同父结点(树)题目:二叉树的结点定义如下:struct TreeNode{
int m_nvalue;TreeNode* m_pLeft;TreeNode* m_pRight;};
输入二叉树中的两个结点,输出这两个结点在数中最低的共同父结点。分析:求数中两个结点的最低共同结点是面试中经常出现的一个问题。这个问题至少有两个变种。
76.复杂链表的复制(链表、算法)
题目:有一个复杂链表,其结点除了有一个m_pNext指针指向下一个结点外,还有一个m_pSibling指向链表中的任一结点或者NULL。其结点的C++定义如下:struct ComplexNode{int m_nValue;ComplexNode* m_pNext;ComplexNode* m_pSibling;};
下图是一个含有5个结点的该类型复杂链表。图中实线箭头表示m_pNext指针,虚线箭头表示m_pSibling指针。为简单起见,指向NULL的指针没有画出。
请完成函数ComplexNode* Clone(ComplexNode* pHead),以复制一个复杂链表。 分析:在常见的数据结构上稍加变化,这是一种很新颖的面试题。要在不到一个小时的时间里解决这种类型的题目,我们需要较快的反应能力,对数据结构透彻的理解以及扎实的编程功底。
77.关于链表问题的面试题目如下(链表):
1.给定单链表,检测是否有环。使用两个指针p1,p2从链表头开始遍历,p1每次前进一步,p2每次前进两步。如果p2到达链表尾部,说明无环,否则p1、p2必然会在某个时刻相遇(p1==p2),从而检测到链表中有环。
2.给定两个单链表(head1, head2),检测两个链表是否有交点,如果有返回第一个交点。
如果head1==head2,那么显然相交,直接返回head1。否则,分别从head1,head2开始遍历两个链表获得其长度len1与len2,假设len1>=len2,那么指针p1由head1开始向后移动len1-len2步,指针p2=head2,下面p1、p2每次向后前进一步并比较p1p2是否相等,如果相等即返回该结点,否则说明两个链表没有交点。
3.给定单链表(head),如果有环的话请返回从头结点进入环的第一个节点。运用题一,我们可以检查链表中是否有环。如果有环,那么p1p2重合点p必然在环中。从p点断开环,方法为:p1=p, p2=p->next, p->next=NULL。此时,原单链表可以看作两条单链表,一条从head开始,另一条从p2开始,于是运用题二的方法,我们找到它们的第一个交点即为所求。
4.只给定单链表中某个结点p(并非最后一个结点,即p->next!=NULL)指针,删除该结点。办法很简单,首先是放p中数据,然后将p->next的数据copy入p中,接下来删除p->next即可。
5.只给定单链表中某个结点p(非空结点),在p前面插入一个结点。办法与前者类似,首先分配一个结点q,将q插入在p后,接下来将p中的数据copy入q中,然后再将要插入的数据记录在p中。
78.链表和数组的区别在哪里(链表、数组)?
分析:主要在基本概念上的理解。但是最好能考虑的全面一点,现在公司招人的竞争可能就在细节上产生,谁比较仔细,谁获胜的机会就大。
79.(链表、字符串)1.编写实现链表排序的一种算法。说明为什么你会选择用这样的方法?2.编写实现数组排序的一种算法。说明为什么你会选择用这样的方法?3.请编写能直接实现strstr()函数功能的代码。
80.阿里巴巴一道笔试题(运算、算法)
问题描述:12个高矮不同的人,排成两排,每排必须是从矮到高排列,而且第二排比对应的第一排的人高,问排列方式有多少种?这个笔试题,很YD,因为把某个递归关系隐藏得很深。
先来几组百度的面试题:
===================
81.第1组百度面试题1.一个int数组,里面数据无任何限制,要求求出所有这样的数a[i],其左边的数都小于等于它,右边的数都大于等于它。能否只用一个额外数组和少量其它空间实现。2.一个文件,内含一千万行字符串,每个字符串在1K以内,要求找出所有相反的串对,如abc和cba。3.STL的set用什么实现的?为什么不用hash?
82.第2组百度面试题1.给出两个集合A和B,其中集合A={name},集合B={age、sex、scholarship、address、...},要求:问题1、根据集合A中的name查询出集合B中对应的属性信息;问题2、根据集合B中的属性信息(单个属性,如age<20等),查询出集合A中对应的name。
2.给出一个文件,里面包含两个字段{url、size},即url为网址,size为对应网址访问的次数,要求:问题1、利用Linux Shell命令或自己设计算法,查询出url字符串中包含“baidu”子字符串对应的size字段值;问题2、根据问题1的查询结果,对其按照size由大到小的排列。(说明:url数据量很大,100亿级以上)
83.第3组百度面试题1.今年百度的一道题目百度笔试:给定一个存放整数的数组,重新排列数组使得数组左边为奇数,右边为偶数。要求:空间复杂度O(1),时间复杂度为O(n)。
2.百度笔试题用C语言实现函数void * memmove(void *dest, const void *src, size_t n)。memmove函数的功能是拷贝src所指的内存内容前n个字节到dest所指的地址上。分析:由于可以把任何类型的指针赋给void类型的指针这个函数主要是实现各种数据类型的拷贝。
84.第4组百度面试题2010年3道百度面试题[相信,你懂其中的含金量]1.a~z包括大小写与0~9组成的N个数用最快的方式把其中重复的元素挑出来。2.已知一随机发生器,产生0的概率是p,产生1的概率是1-p,现在要你构造一个发生器,使得它构造0和1的概率均为1/2;构造一个发生器,使得它构造1、2、3的概率均为1/3;...,构造一个发生器,使得它构造1、2、3、...n的概率均为1/n,要求复杂度最低。3.有10个文件,每个文件1G,每个文件的每一行都存放的是用户的query,每个文件的query都可能重复。要求按照query的频度排序.
85.又见字符串的问题1.给出一个函数来复制两个字符串A和B。字符串A的后几个字节和字符串B的前几个字节重叠。分析:记住,这种题目往往就是考你对边界的考虑情况。2.已知一个字符串,比如asderwsde,寻找其中的一个子字符串比如sde的个数,如果没有返回0,有的话返回子字符串的个数。
86.怎样编写一个程序,把一个有序整数数组放到二叉树中?分析:本题考察二叉搜索树的建树方法,简单的递归结构。关于树的算法设计一定要联想到递归,因为树本身就是递归的定义。
而,学会把递归改称非递归也是一种必要的技术。毕竟,递归会造成栈溢出,关于系统底层的程序中不到非不得以最好不要用。但是对某些数学问题,就一定要学会用递归去解决。
87.1.大整数数相乘的问题。(这是2002年在一考研班上遇到的算法题)2.求最大连续递增数字串(如“ads3sl456789DF3456ld345AA”中的“456789”)3.实现strstr功能,即在父串中寻找子串首次出现的位置。(笔试中常让面试者实现标准库中的一些函数)
88.2005年11月金山笔试题。编码完成下面的处理函数。函数将字符串中的字符'*'移到串的前部分,
前面的非'*'字符后移,但不能改变非'*'字符的先后顺序,函数返回串中字符'*'的数量。如原始串为:ab**cd**e*12,处理后为*****abcde12,函数并返回值为5。(要求使用尽量少的时间和辅助空间)
89.神州数码、华为、东软笔试题1.2005年11月15日华为软件研发笔试题。实现一单链表的逆转。2.编码实现字符串转整型的函数(实现函数atoi的功能),据说是神州数码笔试题。如将字符串 ”+123”123, ”-0123”-123, “123CS45”123, “123.45CS”123, “CS123.45”03.快速排序(东软喜欢考类似的算法填空题,又如堆排序的算法等)4.删除字符串中的数字并压缩字符串。如字符串”abc123de4fg56”处理后变为”abcdefg”。注意空间和效率。(下面的算法只需要一次遍历,不需要开辟新空间,时间复杂度为O(N))5.求两个串中的第一个最长子串(神州数码以前试题)。如"abractyeyt","dgdsaeactyey"的最大子串为"actyet"。
90.1.不开辟用于交换数据的临时空间,如何完成字符串的逆序(在技术一轮面试中,有些面试官会这样问)。2.删除串中指定的字符(做此题时,千万不要开辟新空间,否则面试官可能认为你不适合做嵌入式开发)3.判断单链表中是否存在环。
91.1.一道著名的毒酒问题有1000桶酒,其中1桶有毒。而一旦吃了,毒性会在1周后发作。现在我们用小老鼠做实验,要在1周内找出那桶毒酒,问最少需要多少老鼠。2.有趣的石头问题有一堆1万个石头和1万个木头,对于每个石头都有1个木头和它重量一样,把配对的石头和木头找出来。
92.1.多人排成一个队列,我们认为从低到高是正确的序列,但是总有部分人不遵守秩序。如果说,前面的人比后面的人高(两人身高一样认为是合适的),那么我们就认为这两个人是一对“捣乱分子”,比如说,现在存在一个序列:176, 178, 180, 170, 171这些捣乱分子对为<176, 170>, <176, 171>, <178, 170>, <178, 171>, <180, 170>, <180, 171>, 那么,现在给出一个整型序列,请找出这些捣乱分子对的个数(仅给出捣乱分子对的数目即可,不用具体的对)
要求:输入:为一个文件(in),文件的每一行为一个序列。序列全为数字,数字间用”,”分隔。输出:为一个文件(out),每行为一个数字,表示捣乱分子的对数。
详细说明自己的解题思路,说明自己实现的一些关键点。并给出实现的代码 ,并分析时间复杂度。限制:输入每行的最大数字个数为100000个,数字最长为6位。程序无内存使用限制。
93.在一个int数组里查找这样的数,它大于等于左侧所有数,小于等于右侧所有数。直观想法是用两个数组a、b。a[i]、b[i]分别保存从前到i的最大的数和从后到i的最小的数,
一个解答:这需要两次遍历,然后再遍历一次原数组,将所有data[i]>=a[i-1]&&data[i]<=b[i]的data[i]找出即可。
给出这个解答后,面试官有要求只能用一个辅助数组,且要求少遍历一次。
94.微软笔试题求随机数构成的数组中找到长度大于=3的最长的等差数列9 d- x' W) w9 ?" o3 b0 R输出等差数列由小到大: 如果没有符合条件的就输出格式:输入[1,3,0,5,-1,6]输出[-1,1,3,5]要求时间复杂度,空间复杂度尽量小
95.华为面试题1 判断一字符串是不是对称的,如:abccba2.用递归的方法判断整数组a[N]是不是升序排列
96.08年中兴校园招聘笔试题1.编写strcpy 函数已知strcpy 函数的原型是char *strcpy(char *strDest, const char *strSrc);其中strDest 是目的字符串,strSrc 是源字符串。不调用C++/C 的字符串库函数,请编写函数 strcpy
最后压轴之戏,终结此微软等100题系列V0.1版。那就,连续来几组微软公司的面试题,让你一次爽个够:======================97.第1组微软较简单的算法面试题1.编写反转字符串的程序,要求优化速度、优化空间。 2.在链表里如何发现循环链接?3.编写反转字符串的程序,要求优化速度、优化空间。4.给出洗牌的一个算法,并将洗好的牌存储在一个整形数组里。 5.写一个函数,检查字符是否是整数,如果是,返回其整数值。(或者:怎样只用4行代码编写出一个从字符串到长整形的函数?)
98.第2组微软面试题1.给出一个函数来输出一个字符串的所有排列。2.请编写实现malloc()内存分配函数功能一样的代码。3.给出一个函数来复制两个字符串A和B。字符串A的后几个字节和字符串B的前几个字节重叠。 4.怎样编写一个程序,把一个有序整数数组放到二叉树中? 5.怎样从顶部开始逐层打印二叉树结点数据?请编程。 6.怎样把一个链表掉个顺序(也就是反序,注意链表的边界条件并考虑空链表)?
99.第3组微软面试题1.烧一根不均匀的绳,从头烧到尾总共需要1个小时。现在有若干条材质相同的绳子,问如何用烧绳的方法来计时一个小时十五分钟呢?2.你有一桶果冻,其中有黄色、绿色、红色三种,闭上眼睛抓取同种颜色的两个。抓取多少个就可以确定你肯定有两个同一颜色的果冻?(5秒-1分钟) 3.如果你有无穷多的水,一个3公升的提捅,一个5公升的提捅,两只提捅形状上下都不均匀,问你如何才能准确称出4公升的水?(40秒-3分钟) 一个岔路口分别通向诚实国和说谎国。来了两个人,已知一个是诚实国的,另一个是说谎国的。诚实国永远说实话,说谎国永远说谎话。现在你要去说谎国,但不知道应该走哪条路,需要问这两个人。请问应该怎么问?(20秒-2分钟)
100.第4组微软面试题,挑战思维极限1.12个球一个天平,现知道只有一个和其它的重量不同,问怎样称才能用三次就找到那个球。
13个呢?(注意此题并未说明那个球的重量是轻是重,所以需要仔细考虑)(5分钟-1小时) 2.在9个点上画10条直线,要求每条直线上至少有三个点?(3分钟-20分钟) 3.在一天的24小时之中,时钟的时针、分针和秒针完全重合在一起的时候有几次?都分别是什么时间?你怎样算出来的?(5分钟-15分钟)
终结附加题:微软面试题,挑战你的智商==========说明:如果你是第一次看到这种题,并且以前从来没有见过类似的题型,并且能够在半个小时之内做出答案,说明你的智力超常..)1.第一题 . 五个海盗抢到了100颗宝石,每一颗都一样大小和价值连城。他们决定这么分: 抽签决定自己的号码(1、2、3、4、5) 首先,由1号提出分配方案,然后大家表决,当且仅当超过半数的人同意时,按照他的方案进行分配,否则将被扔进大海喂鲨鱼 如果1号死后,再由2号提出分配方案,然后剩下的4人进行表决,当且仅当超过半数的人同意时,按照他的方案进行分配,否则将被扔入大海喂鲨鱼。
依此类推 条件:每个海盗都是很聪明的人,都能很理智地做出判断,从而做出选择。问题:第一个海盗提出怎样的分配方案才能使自己的收益最大化?
2.一道关于飞机加油的问题,已知: 每个飞机只有一个油箱, 飞机之间可以相互加油(注意是相互,没有加油机) 一箱油可供一架飞机绕地球飞半圈, 问题:为使至少一架飞机绕地球一圈回到起飞时的飞机场,至少需要出动几架飞机?(所有飞机从同一机场起飞,而且必须安全返回机场,不允许中途降落,中间没有飞机场)