摄影：产品经理

春暖花开

文本不会讲具体某个网站的弹幕抓取方法。而是描述抓取到二进制的弹幕信息以后，如何进行处理。

不少 直播 网站会使用 websockets 来传输弹幕，当我们使用某种方式抓取到弹幕以后，你看到的弹幕可能是这样的：

b'\x00\x00\x00\x1a\x00\x10\x00\x01\x00\x00\x00\x08\x00\x00\x00\x01{"code":0}'
b'\x00\x00\x00\x14\x00\x10\x00\x01\x00\x00\x00\x03\x00\x00\x00\x01\x00\x00\x19\xfd'
b'\x00\x00\x01\xed\x00\x10\x00\x02\x00\x00\x00\x05\x00\x00\x00\x00x\xda|R]k\xdc0\x10<(}\xe9S\x7f\xc3\x16\xfc\xa4\x9ce\xd9:\xeb\x1cLI\xda\x04B!\x94\x92\x06Z\x04B\x96t\xb1\x1a\x7f\x08Y\xf65\x84\xfc\xf7\xa2\xbb\x12(m#X\xa1\xdd\x19\xcd.\xcb\xacV\xaf\xde\xac\xde\xae\xe2y\x1d\xafGP\xbd\x86\n\xce>\xdc\\\xdd^\xdd|\x13\xe7g\xd7\xd7\x17_\xc4\xd7\xcf\x1f\xcfn.\xc4-\x01\x04Z\x06\t\xd5#X\rU^2\x04\xc1\x86\xce@\x05|.\x1b\xa2X\xc9gZ`\r\x08\xd4\xb8\x18\x0f\x15\x00\x82F\xaa\xfb;?\xceCToCpS\xc5S\x9eZ\xbcn\xf5\xd45k5\xf6<mv\x13O\xa5\nv\xb1\xe1\xe1\xc4u2\xf0t\n2X\xc5S\x82\xb3-\xde\xe2\x82\xa7\r5$\xc3f\xb7a\x86R\x85\x0b\xb2+p\xc9J\xac\ral[4<\xcd\x8a\xe5\xfb\\\xb6[\xf7i\xed\x86;@\xf0c\xee\x9d\x98}\xf7G\xef\xce.f\xdd\xd8\xce\xc68\x0e\xe0x\xda\x86\xbe;b\'\xd2\xb9\x13/\x87{5{o\x86\xc0S;h\xf3s\x1d\x19\xef\xed$"G\xb4\xb2\xdb\x89\xbdi\x16k\xf6u\x96\xb4\x0f\x8d\xb7\xfaX\x9dm\x9d!\x8a\x18u\xa8\xc4\x0e]^^\x90m\x8e0\xca1\xcap\x8cS\x82\x08\xca\xc9!\xfd\x1b\xc7\xa7\xc5\xcb\xf0\x06Q\xb4\xa1\x0em\xfe-N\x11E\xf4\xffp\xfe\xf2h\xe5\xcb\xe2\x89\x1cT;z1[]\x13\xb6a\x84\x16\x89\x9d\xc4`\xf6"nL\xa8q\x08\xd2\x0e\xc6\xd7Y"\xbd\x91b!\xc2\xea:\xc7\xe5s\xead\\\xea\xa1\x9a\x1c\xfe\x84\x07g\xea^N\xc1x\xe1\x8d\xec\x82\xed\x8d8\xb0\xdbq\xf6\xc9\xf3\xab\xce\xe0\xb7\xe7\x84\x1a\xbb1\x1a\xec\x1d;\xa7,+\xa3\xe5\xbaq2\xb2\x89~\xcc\xa2\xeb\x86\xc1\xf8\x832T\x05\x82\xbd\xb1wm\x80*c\x08\xa4\xd6\xe2\x88C\x85\x9f\x9e~\x05\x00\x00\xff\xff)b\xe55'

遇到这些二进制数据，如何把它解析为人眼能够看得懂的内容呢？

对于第一个bytes 型的数据，你可能会这样操作：

>>> data = b'\x00\x00\x00\x1a\x00\x10\x00\x01\x00\x00\x00\x08\x00\x00\x00\x01{"code":0}'
>>> data[16:]
b'{"code":0}'
>>> data[16:].decode()
'{"code":0}'

那第二条数据又应该怎么解析？第三条数据呢？第一条这个16是怎么来的呢？

为了解释这个问题，我们需要知道 Python 的struct 模块。这个模块可以使用Python的 bytes 型数据来表示 C 语言的结构体。

一般通过 websocket 传过来的弹幕，前面会有若干个字节作为头部数据，记录数据包的长度、头部长度、数据包的类型等等信息。

今天我们要作为例子的这个弹幕网站，它的弹幕头部格式如下：

这个头部对应的结构体为:

struct.Struct('>I2H2I')

其中， > 表示这是一个大端序，二进制高位在左边。 I 表示无符号整型数字，占4个字节， H 表示无符号短整型，占用2个字节。 2H 是 HH 的简化写法，类似的还有 3I 表示 III 以此类推。

什么叫做大端序和小端序呢？这是由 CPU 架构决定的一种二进制数据储存方式。我们现在的 X86电脑，是小端序。

有一个数字7，它的二进制数据为111只占用3位。但是当我们使用整型的时候，一般会使用4字节，也就是32位二进制位。于是数字7会写为： 00000000 00000000 00000000 00000111 。其中最左边的8位是高位。最右边的8位是低位。这就是大端序。

但数字7在我们的电脑上，真正储存为 00000111 00000000 00000000 00000000 。最左边是低位，最右边是高位。这就是小端序。

我们可以用 struct 模块来测试一下：

>>> struct.pack('>I', 7)
b'\x00\x00\x00\x07'
>>> struct.pack('<I', 7)
b'\x07\x00\x00\x00'

这里返回的结果是十六进制， \x07 表示十六进制的7.

看到这里，可能有同学会问，数字7本来用3位就能表示，为什么要搞个4字节32位？这不是浪费吗？

这是因为，当我们提前定义好数据的类型以后，就可以提前知道数据的长度。例如两个整型数100和67，他们各占用4字节，于是总长度是8字节。现在我把这两个数字都改了，改成3999和6785，两个数字都变大了。但是由于没有超过4字节能表示的最大范围，所以这两个数字占用的空间仍然是8字节。

回到我们开头说的弹幕网站。通过技术手段，我知道了它的头部有5个部分，分别用1个4直接无符号整数、两个无符号短整数、2个无符号整数表示。

所以我们可以提前构造头部的结构体，并知道头部的长度：

>>> head = struct.Struct('>I2H2I')
>>> head.size
16

那么，对于第一种情况，我们先截取头部，并把它还原为数字：

>>> data = b'\x00\x00\x00\x1a\x00\x10\x00\x01\x00\x00\x00\x08\x00\x00\x00\x01{"code":0}'
>>> header = head.unpack_from(data[:head.size])
>>> header
(26, 16, 1, 8, 1)

返回的元组中，第一个元素 26 表示包体长度为26个字节（包含头部），第三个元素 1 表示数据类型为未压缩的版本。所以我们直接获取数据的第16-26字节即可：

>>> data = b'\x00\x00\x00\x1a\x00\x10\x00\x01\x00\x00\x00\x08\x00\x00\x00\x01{"code":0}'
>>> data[16: 26]
b'{"code":0}'

同理。我们来看一下第二段数据：

>>> data = b'\x00\x00\x00\x14\x00\x10\x00\x01\x00\x00\x00\x03\x00\x00\x00\x01\x00\x00\x19\xfd'
>>> header = head.unpack_from(data)
>>> header
(20, 16, 1, 3, 1)