前两天上线,同事碰见个shell脚本的问题,当时场景,异常诡异。
脚本的判断逻辑很长,为了方便说明,此处只给出关键步骤,
a=`curl ...` (期待返回值是AA) echo $a\$$b (期待输出是AA$BB,实际输出$BB) echo $b\$$a (实际输出BB$AA)
其中,变量a是通过curl以及一系列管道操作截取的信息,使用echo打印多个变量的值,非常诡异的是,出现了一些字符没有出现或者从首字符处出现了叠写、相互覆盖、覆写的现象,例如$a\$$b,$b重叠到首字母进行覆盖输出,甚至相同的两个变量,互换顺序,结果显示不同。
这个时候,sh命令的-x这个参数,就开始起作用了,他的意思是显示shell执行过程中的命令,通过执行,我们看到了区别,变量a的值,不是期待的AA,而是"AA\r",
+ a='AA\r'
不要小瞧\r,我们知道Windows下的空行是\r\n,,但是linux下是\n,没有识别\r。
\n是LF或ASCII中的0x0A(10),\r是CR或ASCII中的0x0D(13)。
问题来了,LF和CR是什么?这就要讲讲“回车”(carriage return)和“换行”(line feed)这两个概念的来历和区别了。
在计算机还没有出现之前,有一种叫做电传打字机(Teletype Model 33)的玩意,每秒钟可以打10个字符。但是有一个问题,就是打完一行换行的时候,要用去0.2秒,正好可以打两个字符。要是在这0.2秒里面,又有新的字符传过来,那么这个字符将丢失。
于是,研制人员想了个办法解决这个问题,就是在每行后面加两个表示结束的字符。一个叫做“回车”,告诉打字机把打印头定位在左边界,另一个叫做“换行”,告诉打字机把纸向下移一行。
这就是“换行”和“回车”的来历,从它们的英语名字上也可以看出一二,CR就是carriage return的缩写,LF是line feed的缩写。
后来,计算机发明了,这两个概念也就被般到了计算机上。那时,存储器很贵,一些科学家认为在每行结尾加两个字符太浪费了,加一个就可以。于是,就出现了分歧。
Unix系统里,每行结尾只有“<换行>”,即“\n”,Windows系统里面,每行结尾是“<换行><回车>”,即“\n\r”,Mac系统里,每行结尾是“<回车>”。一个直接后果是,Unix/Mac系统下的文件在Windows里打开的话,所有文字会变成一行,而Windows里的文件在Unix/Mac下打开的话,在每行的结尾可能会多出一个^M符号。
因此,\r就是return回到本行行首,这就会把这一行以前的输出覆盖掉。
$a\$$b,其中$a='AA\r',所以$b重叠到首字母进行覆盖输出,就可以解释了。
我们用下面的脚本模拟下,可能会更清晰,
#!/bin/bash a='SE\r' b='SA' echo -e $a$b echo -e $a\$$b echo -e $b$a echo -e $b\$$a
可以看到变量a='SE\r',然后使用echo -e参数,他的作用是enable interpretation of backslash escapes,即启用反斜杠转义功能,
+ a='SE\r' + b=SA + echo -e 'SE\rSA' + echo -e 'SE\r$SA'