【Share 2021】caoyang.log（END）_囚生CY的博客

相关文章推荐

想出国的勺子 · python操作csv文件：读取、写入、末行 ...· 1 年前 ·

行走的酱肘子 · 面向AI大模型的智算中心网络演进白皮书（20 ...· 1 年前 ·

率性的啤酒 · 使用nodejs通过_id删除mongodb ...· 2 年前 ·

开篇序

May 2021
- 05-08
- 05-09
- 05-10
- 05-11
- 05-12
- 05-13
- 05-14
- 05-15
- 05-16
- 05-17
- 05-18
- 05-19
- 05-20
- 05-21
- 05-22
- 05-23
- 05-24
- 05-25
- 05-26
- 05-27
- 05-28
- 05-29
- 05-30
- 05-31
June 2021
- 06-01
- 06-02
- 06-03
- 06-04
- 06-05
- 06-06
- 06-07
- 06-08
- 06-09
- 06-10
- 06-11
- 06-12
- 06-13
- 06-14
- 06-15
- 06-16
- 06-17
- 06-18
- 06-19
- 06-20
- 06-21
- 06-22
- 06-23
- 06-24
- 06-25
- 06-26
- 06-27
- 06-28
- 06-29
- 06-30
July 2021
- 07-01
- 07-02
- 07-03
- 07-04
- 07-05
- 07-06
- 07-07
- 07-08
- 07-09
- 07-10
- 07-11
- 07-12
- 07-13
- 07-14
- 07-15
- 07-16
- 07-17
- 07-18
- 07-19
- 07-20
- 07-21
- 07-22
- 07-24
- 07-24
- 07-25
- 07-26
- 07-27
- 07-28
- 07-29
- 07-30
- 07-31
August 2021
- 08-01
- 08-02
- 08-03
- 08-04
- 08-05
真实原因是上一篇字数超上限不给写了，虽然我也确实很想重写新的…

目测上半年剩余时间会以更新运筹优化，数值计算以及随机分析的内容为主，等到下半年可能会重归本业做些有趣的事情。

今日凌晨VAE发布了新曲MV《乌鸦》，感觉VAE的创作风格真的是越来越剑走偏锋，与前三张专辑的风格迥异，但是多听几遍总是可以产生共情的。

所以有时候会想人和人的喜怒真的是不相通么？也许只是难以同乐，单论共悲或许要容易得多。

由于诸多的偏差，往往我们多数时候只能看到别人光鲜面，却发现自己大部分时候都是在平淡地活着，甚至是颓唐地活着，因此一旦觉察倒世上也有与我一样的人，难免就会触而生情。

但是我想到了这个年纪，并没有几个人真的可以做到无忧无虑，各式各样的烦恼总是会有。

人到底血肉之躯，脆弱的时候至刚易折，偶然有烛火照亮我，就会下意识地去追求这团微弱的光芒，渴求还能找到春天。

假若有缘，或许时间并不是问题，谁知道呢。确实是很久了，有时候觉得可能还是像这次决绝一点好罢。

宴尔新昏，如兄如弟。宴尔新昏，不我屑矣。品荼苦而故作乐，大约是会有一点这种感觉的罢。

May 2021

05-08
- 午休起来看到W已在801，克制，虽然看到了还是觉得有点遗憾，
定义【可达常数】：若存在常数
05-09
- 真的狼灭啊，三点不睡发邮件，当日还得早起有事。话说这反射弧也太长了，不回也没啥其实，好在这样事件算是正式画上句号，明天最后一课我也不会太尴尬了，如释重负。
- 31℃，4km，17’03"，这么好的状态也破不了16’56"的pb，接下来要刷新pb越来越难，下周二周四比较凉快，争取再试一次。
- 被迫参加月底研学代会，其实现在我倒是不太抗拒这些无聊的琐事，就算是我本科四年欠下的经历给补上罢。
机器学习×数值分析，就决定做这个方向了，lh想做迭代算法做那我就一个人搞这个，还是有点意思的，至少我现在看了这么多ACL EMNLP的顶会paper从来没有人用过这些最传统的统计方法，以及对优化算法的底层进行改进，现在想想确实如此，有那么多ill-conditioned的问题，凭什么你会觉得在你找到的训练集上模型的损失函数真的可以被优化算法（如SGD，ADAM）优化得很好。

现在的问题是在DL年代，我们并不关心训练数据长什么样子，反正一股脑儿输进去就完事了，但是我觉得至少输入数据的条件数还是非常有参考意义的（即输入矩阵的最大奇异值除以最小奇异值），尤其是在NLP领域，很多外部知识（如词袋模型，tfidf矩阵，乃至知识图谱？）都是可以转换为矩阵形式输入到模型中去的。只是这里面有个trick，就是现在的输入数据越来越复杂，可能大多数时候已经不是矩阵，而是至少三维的张量，这个条件数以及预条件子矩阵怎么从二维推广到三维确实是个问题，另一个问题是输入的广度也是复杂的，可能有时候需要综合多个不同类型的输入（比如还有其他特征）。我想对于前者可能切片处理，这也许是一个解决方案，给每个切片找个预条件子矩阵，现在不是确实也有人在研究用CNN自动生成预条件子矩阵的事情嘛。对于后者的话，我倾向于建立子模型来处理，我还是挺反对把所有能用的东西全部输入到模型训练，应当将不同的输入分别训练，这可能需要设计更加合理的结构，还得实践才能知道该怎么做。

总之我越来越觉得邓琪的研究方向很有趣，这学期虽然这门课没有怎么听（因为太难听不懂，而且不考试），但是确实是非常有帮助的知识，对我之后的进展大概率会有思路上的开拓，总之人还是不能太局限于代码上的能力，理论知识，无论紧密与否，选择走这条路就得博采众长，包括计量那边的一些研究方法，也是很值得借鉴的，现在毕业真TM难，我可不想被延毕。
05-10
- 《散去的时候》我听到了，一个人比较好，尽力在躲避，行吧，还是这样的歌词比较适合你的风格。
- 再见很早就已经说过，多说还是太过于矫揉造作。最后一课，我是有想说点什么作为告别，毕竟那晚回来后就再也没有见过了，再次看到时总还是会有点在意，实话说我还真是容易被这种假小子的装扮给惊艳到…
- 好在以后不太可能再见了，无声的告别也许确实更好，让一切都淡去吧。总之还是多谢了，各种意义上，前路安好。
- 我发誓这是最后一个颓废的晚上了，以后绝对要足够自律起来了，再不自律真的凉了。
GPR的scipy实现：其实我之前就很奇怪，这种根据一条样本曲线去拟合整个样本空间分布的做法实在是很胃疼，虽然看起来是很有道理，但是有道理的事情一般都不太行得通。
```
from scipy.optimize import minimize
import numpy as np
from matplotlib import pyplot as plt
class GPR:
    def __init__(self, optimize=True):
        self.is_fit = False
        self.train_X, self.train_y = None, None
        self.params = {"l": 0.5, "sigma_f": 0.2}
        self.optimize = optimize
    def fit(self, X, y):
        # store train data
        self.train_X = np.asarray(X)
        self.train_y = np.asarray(y)
        self.is_fit = True
    def predict(self, X):
        if not self.is_fit:
            print("GPR Model not fit yet.")
            return
        X = np.asarray(X)
        Kff = self.kernel(self.train_X, self.train_X)  # (N, N)
        Kyy = self.kernel(X, X)  # (k, k)
        Kfy = self.kernel(self.train_X, X)  # (N, k)
        Kff_inv = np.linalg.inv(Kff + 1e-8 * np.eye(len(self.train_X)))  # (N, N)
        mu = Kfy.T.dot(Kff_inv).dot(self.train_y)
        cov = Kyy - Kfy.T.dot(Kff_inv).dot(Kfy)
        return mu, cov
    def kernel(self, x1, x2):
        dist_matrix = np.sum(x1**2, 1).reshape(-1, 1) + np.sum(x2**2, 1)




    
 - 2 * np.dot(x1, x2.T)
        return self.params["sigma_f"] ** 2 * np.exp(-0.5 / self.params["l"] ** 2 * dist_matrix)
def y(x, noise_sigma=0.0):
    x = np.asarray(x)
    y = np.cos(x) + np.random.normal(0, noise_sigma, size=x.shape)
    return y.tolist()
train_X = np.array([3, 1, 4, 5, 9]).reshape(-1, 1)
train_y = y(train_X, noise_sigma=1e-4)
test_X = np.arange(0, 10, 0.1).reshape(-1, 1)
gpr = GPR()
gpr.fit(train_X, train_y)
mu, cov = gpr.predict(test_X)
test_y = mu.ravel()
uncertainty = 1.96 * np.sqrt(np.diag(cov))
plt.figure()
plt.title("l=%.2f sigma_f=%.2f" % (gpr.params["l"], gpr.params["sigma_f"]))
plt.fill_between(test_X.ravel(), test_y + uncertainty, test_y - uncertainty, alpha=0.1)
plt.plot(test_X, test_y, label="predict")
plt.scatter(train_X, train_y, label="train", c="red", marker="x")
plt.legend()
plt.show()
05-11
 
 还可以，计量终于不会布置作业了，剩下的作业应该就只有随机模型和运筹优化两门课的了。不过一下子就已经跳到考试月，来得还挺突然，只剩四周时间，有两门期末项目要赶，没能抱到lth的大腿，要自己动手，那就跟我来分个高下呗。
冒雨冲了五圈，均配3’55"，很久没有这样在大雨中狂奔，难得畅快。
童安格的干燥花，和折翼蝶还挺搭。本打算晚上下课去一趟511的，可惜gjj拖太久，而且似乎也没什么理由去，作罢。 
更新预告：我越来越觉得这块内容很有用了。 
      ：对四维卷积核张量的分解研究。如张量秩分解（CPD），可以将四维卷积核直接分解为四个低秩的卷积层。 
  
备注：CPD这个词我第一次是在RE2RNN那篇paper里碰到的，在那篇博客里有关于CPD的详细说明，对于三维张量的CPD应该是会分解成三个二维矩阵，但是对于四维张量的话，分解得到的矩阵数量可能会非常多。
 
```


      
       
        05-12
       
      
      
       
        
         好天气，手环到手，计划试跑一次半马。
        
        
         刚跑就出太阳，跑完就下山，真就针对我呗。最终4’40"的配跑了12km，测了一下发现心率基本维持在175左右，很离谱，看到别人4分配以内心率都不会超过170，差距还真是有够大。
        
        
         still not so easy，果然还是对自己的适应的水平太高估。
        
       
       
        介绍一种
        
         SVD训练
        
        ：
       
      
      
       
       
       
        
         
          对于神经网络而言，这相当于是将权重矩阵
          
         
        
        
         
         
         
          05-13
         
        
        
         
          
           休整，月头12天跑了3次10km以上，感觉这个状态其实还行，不算糟糕。晚上进场恰好看到了那个叫WXY的大佬，跟三圈实在是跟不住，回来刷keep看到他3’46"的配跑了5公里多，离谱。下半年一定要把5km练进20分钟，跟这种顶尖的业余跑者比还是差得挺远。
          
          
           写proposal时突然感觉邓琪做的事情真的好有趣，我担心wyl指导不了我这方面的东西，我有直觉这些方法是比较可能发paper的。
          
          
           回翻了一下近一个月的日记，每天都能写满至少一页纸，想休假在家两三天才能写满一页。事多有事多的紧凑，事少也有事少的清闲，以前回翻自己初高中的日记，那种狂妄自大的气息扑面而来，不知道多年以后我再回翻自己某些时期的日记还会作何感想，人嘛，总得成长。
          
         
         
          
           
            关于bibtex的使用方法：
           
           
            
             编写.bib文件（如proposal.bib），内容如下：
             @article{2020Convolutional,
 title={Convolutional neural nets for estimating the run time and energy consumption of the sparse matrix-vector product},
 author={ Barreda, M.  and  Dolz, M. F.  and  Castao, M. A. },
 journal={International Journal of High Performance Computing Applications},
 number={1},
 year={2020},

            
            
             编写.tex文件（如proposal.tex）：
                \documentclass{article}
   \usepackage[utf8]{inputenc}
   \usepackage[margin=1in]{geometry}
   \usepackage{cite}
   \usepackage{graphicx}
   \usepackage{caption2}
   \usepackage{subfigure}
   \begin{document}
   	\begin{center}
   		\LARGE{\textbf{Proposal}}\\
           \vspace{1em}
           \normalsize\textbf{Hao Li, Yang Cao}\\
   	\end{center}
       \begin{normalsize}
       \section{Research Questions and Objectives}
   	\section{Objectives}
      	\section{Significance/Contributions}
       \section{Research Plan}
   	\nocite{1} %只加入到参考文献列表中，不在文中引用（显示[id]）
   	\nocite{*} %显示所有文献
   	\bibliography{proposal.bib}
   	\bibliographystyle{plain}
   	\end{normalsize}
   \end{document}

            
            
             接下来就是先用pdflatex编译，然后bibtex编译，再pdflatex编译即可。上述
             
              \bibliographystyle{plain}
             
             是默认的plain，可自定义，但比较麻烦。
            
           
          
         
        
        
         
         
         
          05-14
         
        
        
         
          
           MD，proposal硬是拖到下午才写完，最近真废，恨铁不成钢，周末得把这周欠下的都给补上，时隔近一年终于可以开始好好写代码了。
          
          
           刚发现明月姐7号发了一篇ACL，组里都给点赞了，就我没点… 关了朋友圈信息就总是特别滞后。博二第一篇顶会paper，我也得加把劲才行，争取要硕士阶段能整点东西。
          
          
           麦当劳有这么好吃么… 如果健身锻炼不是为了畅所欲食，那就毫无意义。
          
          
           晚课lth居然把zsj带过来了，虽然是带的口罩，我还是一眼就认出了，没好意思去打招呼，老妈说我贼没礼貌，害。课下雷暴，怕被雷击，三圈走人，预报上周末闷热带雨，实在是让人很颓败的天气，不过下周一倒是很凉快，计划再试一次半马，弥补寒假未能完成20km的遗憾。
          
         
         
          最近要开始写代码了，实话说还有点小兴奋。
         
         
          关于python中的稀疏矩阵：
          
           from scipy import sparse
          
         
         
          scipy中封装了七种常用的稀疏矩阵存储结构，最常用的还是coo：
         
        
        import numpy as np
from scipy.sparse import coo_matrix
_row  = np.array([0, 3, 1, 0])
_col  = np.array([0, 3, 1, 2])
_data = np.array([4, 5, 7, 9])
coo = coo_matrix((_data, (_row, _col)), shape=(4, 4), dtype=np.int)
coo.todense()  # 通过todense方法转化成密集矩阵(numpy.matrix)
coo.toarray()  # 通过toarray方法转化成密集矩阵(numpy.ndarray)
其他像csc与csr的存储方式也有用，但是我觉得理解起来相对会比较复杂，至少matlab中默认存储稀疏矩阵的方式仍然是coo。 
稀疏矩阵的稀疏存储结构可以大大加快科学计算中矩阵乘法运算的速度，如果能够在特定问题环境下找到合适的预条件子，还能够使得很多迭代求解算法的收敛速度大大提升。 
目前在做这方面的工作，很有趣，因为以前没做过，我发现人总是对新事物会很好奇的，但是真正坚持走下去的确实很少。不思进取，人之常情，也不必多虑，虽然我现在也不太喜欢和别人再争什么，但是至少也别让过去的自己瞧不起现在的自己，最终活成自己讨厌的样子。 
05-15
 
 鬼天气，又热又闷，四圈就给报废了。凡事还是得慢慢来，欲速不达，本来三月份已经可以达到4分配坚持3km的水平了，最近自从认识了那个5km跑进18分半的大佬后，开始对自己的配速特别不满，急躁了。
其实pytorch也有稀疏训练的方法，似乎并没有什么人注意到过，值得好好学习一下。 
E2006数据集转稀疏矩阵方法： 
# -*- coding: utf-8 -*-
# @author: caoyang
# @email: caoyang@163.sufe.edu.cn
import numpy as np
import scipy as sp
from scipy.sparse import coo_matrix, csr_matrix, save_npz, load_npz, hstack, vstack
from scipy.sparse.linalg import cg, gmres
def load_dataset(filepath, format_='csr', add_constant=False, export_path_matrix=None, export_path_vector=None):
	format_ = format_.lower()
	if format_ == 'coo':
		print(




    
'coo')
		coo_rows = []
		coo_columns = []
		coo_values = []
		vector = []
		row = -1
		with open(filepath, 'r') as f:
			while True:
				line = f.readline()
				if not line:
					break
				row += 1
				blocks = line.split()
				vector.append(blocks[0])
				for block in blocks[1:]:
					column, value = block.split(':')
					coo_rows.append(row)
					coo_columns.append(int(column) - 1)
					coo_values.append(float(value))
		vector_array = np.array(vector, dtype=np.float64)
		sparse_matrix = coo_matrix((coo_values, (coo_rows, coo_columns)), dtype=np.float64)
	elif format_ == 'csr':
		print('csr')
		csr_index_pointers = [0]
		csr_indices = []
		csr_values = []
		vector = []
		with open(filepath, 'r') as f:
			while True:
				line = f.readline()
				if not line:
					break
				blocks = line.split()
				vector.append(blocks[0])
				index_pointer = csr_index_pointers[-1] + len(blocks) - 1
				csr_index_pointers.append(index_pointer)
				for block in blocks[1:]:
					column, value = block.split(':')
					csr_indices.append(int(column) - 1)
					csr_values.append(float(value))
		vector_array = np.array(vector, dtype=np.float64)
		sparse_matrix = csr_matrix((csr_values, csr_indices, csr_index_pointers), dtype=np.float64)	
	else:
		raise Exception('Unknown keyword augment `format_`: {}'.format(format_))
	if add_constant:
		sparse_matrix = hstack([np.ones((sparse_matrix.shape[0], 1)), sparse_matrix])
	if export_path_matrix is not None:
		print(type(sparse_matrix))
		save_npz(open(export_path_matrix, 'wb'), sparse_matrix)
	if export_path_vector is not None:
		np.save(export_path_vector, vector_array)
	return sparse_matrix, vector_array
05-16
 
 萎靡了四天，天气确实也不太好，但是明天一定无论如何要试一次半马的了。 
scipy.sparse.linalg下若干线性系统求解迭代方法的评测（以E2006数据集为例）：（API见https://docs.scipy.org/doc/scipy/reference/sparse.linalg.html#module-scipy.sparse.linalg）： 
求解方法 运行时间 是否需要计算 $pytorch更新到1.6.0后开始出现torch.sparse模块，可惜这个模块做得太垃圾了，且不说只有COO格式的存储（不支持CSR格式的存储），导致无法做稀疏张量切片，而且也不能直接用torch.nn.utils.DataLoader去包装（原因很简单，dataloader是可以做批生成的，但是本来这个稀疏矩阵就不能切片，怎么做批生成？），但是我测试下来直接把整个稀疏张量拿进去训练是可行的，但是显然这个代价相比于批训练要大得多。如果放弃稀疏存储而用.to_dense()方法转为普通的张量，显存就直接炸了。scipy中coo稀疏格式和csr稀疏格式的转换的时间代价很小，即便矩阵很大（本质上运行时间只和非零元nnz的数量有关，所以很快），因此无需存下来多个不同格式的稀疏矩阵，一般存csr格式的就行了，这个是最常用的，转成其他格式的也快。巨型坑点：torch中稀疏矩阵乘法问题 目前这个坑在于不同版本的torch稀疏矩阵乘法是有不同结论的，笔者目前用的是1.7.0gpu版本，torch已经更新到1.8.0，不知是否有更新，目前的情况似乎是支持稀疏乘稀疏，支持稀疏乘普通，但是不支持普通乘稀疏，这就很tricky了，所以很多时候如果要普通乘稀疏，还得反过来写然后再转置，真的是蠢到不行… 总之要用稀疏矩阵做训练，估计得自己改写底层代码了，建议直接手写DNN 05-18 keep的路线主任从3月2日做到4月5日，然后驾崩（四月中途零碎了做了十天左右），现在从5月4日一直做到现在，这个时间点还真是够敏感的，显然这并不是什么巧合，很直观的因果关系…双腿严重残废，我早在5月1日刷新10km pb后就做好残废的准备了，没想到这个月还能跑4次10km+的里程，最后完成半马，血赚，只是我那路线主任的位置… 收到CSDN定制的nova7的手机壳，看起来还不错，反正我也从来不会买这玩意儿，都是用烂原装的之后就开始“裸机”。 关于稀疏矩阵求奇异值的问题： 问题来源于求解矩阵条件数（最大奇异值/最小奇异值），常规做法源自于numpy.linalg中的svd与eig方法，这两种方法是精确求解的方法，算法应该是通过求解线性系统得出所有奇异值和特征值，以及对应的奇异向量与特征向量，缺点是慢。 注意到scipy.sparse.linalg中提供了svds和eigs两种方法，都是迭代方法，所以会非常快，这里值得注意的是svds方法的调用（https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.linalg.svds.html#scipy.sparse.linalg.svds）： 注意到参数which，取值为'LM'（求最大奇异值）或'SM'（求最小奇异值）；另外还有一个k指找出最大的几个奇异值；有兴趣的朋友可以去看看求 k=1时（即只找到一个）的算法是比较浅显的，我记得找多个其实就是初始化时找若干线性不相关的初始向量去迭代，好像还可能涉及需要QR分解的内容但是我实际想说的是这个迭代算法求最大特征值确实非常快（实测100k维的稀疏矩阵只需要不到1秒钟就能找到最大奇异值，而且相当精准），但是找最小奇异值算法是很难迭代收敛（一小时无法收敛），某次测试花了93分钟后报错：ArpackNoConvergence: ARPACK error -1: No convergence (33081 iterations, 0/1 eigenvectors converged) 这意味着矩阵奇异得厉害，最小奇异值非常小，导致条件数很大，即矩阵是ill-conditioned 这里想做的事情是去找预条件子矩阵 05-19 wyl又找了好活，这次的明显靠谱得多，还是跟科大讯飞合作的，大约是问答这块的东西。虽然最近忙得离谱，但是我还是跟wyl说了一句“多少事我都能做”。怎么说呢，多点事儿好，省得我瞎TM乱想别的东西，五月以来一直没有好好做事，该给我点颜色看看了。吃苦耐劳能致富，emmm…昨晚熬夜搞掉gjj的作业，下午复习完算法，准备开始正事。饭后冒中雨干了3km，很明显感觉跑姿越来越自然，很畅快地跑，有迫切去参加一次半马的渴望。 今日痛点：LaTeX参考文献.bib文件编译失败的一个原因 有些期刊名称里包含特殊字符，比如&，关键是好多paper提供的BibTex里都不注意这些小问题，然后编译的时候就会出问题。比如下面这个： \bibitem{2009A} T.~Strohmer and R.~Vershynin. \newblock A randomized kaczmarz algorithm with exponential convergence. \newblock {\em Journal of Fourier Analysis & Applications}, 15(2):262, 2009. 解决方案要么加反斜杠\&，要么直接把&换成and拉倒。 还有一个问题，就是你按照pdflatex →pdflatex的顺序编译后如果发现引用部分（\cite{...}）显示出来的还是[?]，那就紧接着再用pdflatex编译一次，实话说这玩意儿很玄学，有时候三步走能好，有时候就得四步。这年头LaTeX还是硬技能，只是这玩意儿老是犯病，有时候还就很难找到问题在哪。 05-20 520果然还是图书馆更适合单身狗。这年头还有人热心地在食堂门口放一束应急玫瑰，唉，需要的人不缺，不需要的人有了也没用…今年11月21日，杨浦新江湾国际半程马拉松，目标首马破100分钟。 牛顿法小结： 本质上就是在该点附近根据一阶导，二阶导来用一个二次函数近似，然后将二次函数的最低点作为下一个迭代点 05-21 520看《情书》，属实雅兴，终于拉黑，解脱…好天气，可惜睡晚了，加上几天不午睡，状态不算很好。膝盖偶尔还是有点刺痛的，还真以为自己练成钢铁膝盖了，休息一两天回口血，事情也比较多暂时。有空也去科技园一趟，这年头汉堡真有这么好吃？ITCS来了些玩飞盘的访问学者，准备陪他们耍耍，看起来还挺好玩的，主要是跑步、跳跃与投掷，权当锻炼身体，培养一些额外的兴趣~ 关于连续时间马尔科夫链的转移概率矩阵的计算（实例中的技巧）： 我们知道可以用下面的ODE来解 \left\{\begin{aligned} &\dot P(t)=\frac{\text{d}P(t)}{\text{d}t}=P(t)\cdot Q\\ &P(0)=I \end{aligned}\right.\tag{3.1} ⎩⎨ (adsbygoogle = window.adsbygoogle || []).push({}); ⎧​​P˙(t)=dtdP(t)​=P(t)⋅QP(0)=I​(3.1) 具体解为： P(t)=e^{tQ}=\sum_{i=0}^{+\infty}\frac{1}{i!}t^iQ^i=I+tQ+\frac1{2!}t^2Q^2+\frac1{3!}t^3Q^3+...\tag{3.2} P(t)=etQ=i=0∑+∞​i!1​tiQi=I+tQ+2!1​t2Q2+3!1​t3Q3+...(3.2) 这个无穷级数很多时候在 Q=\left[\begin{matrix}1-m&1&1&...&1\\1&1-m&1&...&1\\1&1&1-m&...&1\\...&...&...&...&...\\1&1&1&...&1-m\end{matrix}\right]_{m\times m}\tag{3.3} Q=⎣⎢⎢⎢⎢⎡​1−m11...1​11−m1...1​111−m. (adsbygoogle = window.adsbygoogle || []).push({}); ..1​...............​111...1−m​⎦⎥⎥⎥⎥⎤​m×m​(3.3) 虽然通过观察容易发现特征值，但是特征向量并不好求。 因此这里需要一些别的技巧。通过观察可以发现 P(t)=\left[\begin{matrix}f'(t)&g'(t)&...&g'(t)\\g'(t)&f'(t)&...&g'(t)\\...&...&...&...\\g'(t)&g'(t)&...&f'(t)\end{matrix}\right]=\left[\begin{matrix}f(t)&g(t)&...&g(t)\\g(t)&f(t)&...&g(t)\\...&...&...&...\\g(t)&g(t)&...&f(t)\end{matrix}\right]\left[\begin{matrix}1-m&1&...&1\\1&1-m&...&1\\...&...&...&...\\1&1&...&1-m\end{matrix}\right]=P(t)\cdot Q P(t)=⎣⎢⎢⎡​f′(t)g′(t)...g′(t)​g′(t)f′(t)...g′(t)​............​g′(t)g′(t)...f′(t)​⎦⎥⎥⎤​=⎣ (adsbygoogle = window.adsbygoogle || []).push({}); ⎢⎢⎡​f(t)g(t)...g(t)​g(t)f(t)...g(t)​............​g(t)g(t)...f(t)​⎦⎥⎥⎤​⎣⎢⎢⎡​1−m1...1​11−m...1​............​11...1−m​⎦⎥⎥⎤​=P(t)⋅Q 即： \left\{\begin{aligned} &f'(t)=(1-m)f(t)+(m-1)g(t)\\ &g'(t)=f(t)+(1-m)g(t)+(m-2)g(t)=f(t)-g(t) \end{aligned}\right.\tag{3.6} {​f′(t)=(1−m)f(t)+(m−1)g(t)g′(t)=f(t)+(1−m)g(t)+(m−2)g(t)=f(t)−g(t)​(3.6) 这个ODE很好解，结论是： P_{ij}(t)=\left\{\begin{aligned} &\frac1m+\frac{m-1}me^{-mt}\quad&(i=j)\\ &\frac1m-\frac1me^{-mt}\quad&(i\neq j) \end{aligned}\right.\tag{3.11} Pij​(t)=⎩⎪⎨⎪⎧​​m1​+$