需求描述

因为种种原因，线上服务打印的日志是类json字符串，所谓类json字符串即整体上符合json串的结构，但是细节处总会有不规范的地方。比如：某些key、value没有带双引号；空值位置直接什么都没有等。例子：

{ver: , caller: test_caller, token: test_token, "args": {"arg": {"id":43523053453453, "model":{"city": 1, "time":1561519119}}}}

因为要使用这种数据且需要是严格的json格式，所以只能写脚本特别处理一下了。

实际遇到的问题比上面的字符串复杂的多，可能有各种难处理的点，比如：

step1:

首先，如果要处理的字符甚至不是类json字符，可以找一下规律，利用shell先转变为类json字符。可能会常用到sed的文本替换功能：

sed -i 's#oldstring#newstring#g' 文件名
比如上面提到的，有部分文本带了双引号，有了没带，为了方便统一处理，我们可以先把所有的双引号先全部删除（替换为空字符即可）。注意双引号要用转义字符：
sed -i 's#\"##g' 文件名``
step2:
抽象出现有的类json字符串不符合json格式的规律。看似杂乱无章的文本其实往往也是有规律可循的。把目标锁定在字符串中'{}[],:'这六个分隔符上，罗列出它们左侧和右侧有哪些不同的情况，再把不符合json格式的情况分别处理掉。一个这样的分析样例：
类json字符分析
把这个图画出来之后，这项工作就完成80%了，之后把每个特殊字符左右两侧的情况梳理，提取出非法json格式，同时考虑到有些特殊字符可能会存在联动情况，分别处理就可以了。

方法很笨拙，但是可以解决问题。
python代码示例
以下是对上文总结规律的字符串做处理的代码，只是展示以下思路，可能每个人遇到的类json字符串逻辑都是不同的，所以可能不会有通用的处理方法。用python写起来很方便，但是执行起来效率非常低，python的多线程又是假的，采用多进程并发读文件方式可以大幅提升速度，但是也需要增添大量代码。

首先，定义一个Tojson类，用于字符串处理。
class Tojson:
    # 待处理字符
    old_str = ''
    # 处理后字符
    new_str = ''
    # 当前位置
    current_pos = 0
    def __init__(self, old_str):
        self.old_str = old_str
    def json(self):
        return self.new_str
    # 返回当前要处理的字符
    def peek(self):
        current_value = self.old_str[self.current_pos]
        if self.current_pos < len(self.old_str) - 1:
            self.current_pos += 1
        return current_value
    # 返回当前位置偏移offset位的字符,正值后移,负值前移
    def next_val(self, offset):
        return self.old_str[self.current_pos + offset - 1]
    # 字符c写入处理结果
    def append(self, c):
        self.new_str += c
    # 判断是否是开始位置
    def start(self):
        if self.current_pos == 0:
            return True
        else:
            return False
    # 判断是否是结束位置
    def end(self):
        if self.current_pos == len(self.old_str) - 1:
            return True
        else:
            return False
# 判断是否是特殊字符
def is_sign(val):
    if val in '{}[],:':
        return True
    else:
        return False
然后是递归处理方法：
def decode(to_json):
    if to_json.end():
        return
    if to_json.start():
        c = to_json.peek()
        if c != "{":
            raise Exception('input string should start with \'{\'')
        else:
            to_json.append(c)
            to_json.append('"')
            decode(to_json)
    c = to_json.peek()
    if not is_sign(c):
        to_json.append(c)
        decode(to_json)
    else:
        quota = '"'
        if c == '{':
            to_json.append(c)
            if not is_sign(to_json.next_val(1)):
                to_json.append(quota)
        elif c == '}':
            if not is_sign(to_json.next_val(-1)):
                to_json.append(quota)
            to_json.append(c)
        elif c == '[':
            to_json.append(c)
            if not is_sign(to_json.next_val(1)):
                to_json.append(quota)
        elif c == ']':
            if not is_sign(to_json.next_val(-1)):
                to_json.append(quota)
            to_json.append(c)
        elif c == ':':
            if not is_sign(to_json.next_val(-1)):
                to_json.append(quota)
            to_json.append(c)
            if not is_sign(to_json.next_val(1)):
                to_json.append(quota)
        elif c == ',':
            if not is_sign(to_json.next_val(-1)):
                to_json.append(quota)
            to_json.append(c)
            if to_json.next_val(1).isspace():
                if not is_sign(to_json.next_val(2)):
                    to_json.append(quota)
                to_json.peek()
    decode(to_json)
    return
f = open(srcfilename)
fw = open(destfilename + 'new', 'w+')
line = f.readline()
start = time.time()
num = 0
print "开始处理数据..."
while line:
    line_json = Tojson(line)
    decode(line_json)