tensorflow: 对variable_scope进行reuse的两种方法_JNingWei的博客

相关文章推荐

坚韧的伤痕 · Util 应用框架 UI 全新升级 - ...· 1 月前 ·

豪气的创口贴 · numpy版本问题_51CTO博客_numpy版本· 1 年前 ·

不爱学习的甘蔗 · FreeSWITCH ...· 1 年前 ·

冲动的水煮肉 · Socket 常见错误码及说明 - 简书· 1 年前 ·

耍酷的四季豆 · Qt - ...· 1 年前 ·

在tensorflow中，为了 节约变量存储空间 ，我们常常需要通过共享 变量作用域(variable_scope) 来实现 共享变量 。

大家比较常用也比较笨的一种方法是，在重复使用（即 非第一次使用 ）时，设置 reuse=True 来 再次调用 该共享变量作用域（variable_scope）。但是这种方法太繁琐了。

注意：reuse=tf.AUTO_REUSE要慎用，博主自己就踩过坑（debug了半天最后发现问题处在这。运行的时候不报错，每次给你偷偷重新初始化这部分的参数。。。）

有两种 更简洁 的方法来一次性对variable_scope进行reuse，现将代码模板总结如下：

使用 tf.Variable_scope(..., reuse=tf.AUTO_REUSE) 。

# -*- coding: utf-8 -*-
import tensorflow as tf
def func(...):
    with tf.variable_scope(name_or_scope='', reuse=tf.AUTO_REUSE):    ### 改动部分 ###
def main():
    with tf.Graph().as_default():
        for _ in xrange(5):
            output = func(...)
            with tf.Session() as sess:
                sess.run(tf.global_variables_initializer())
                _output = sess.run(func(), feed_dict=...)
if __name__ == "__main__":
    main()
应用示例：
 
# -*- coding: utf-8 -*-
import tensorflow as tf
def func(in_put, in_channel, out_channel):
    with tf.variable_scope(name_or_scope='', reuse=tf.AUTO_REUSE):    ### 改动部分 ###
        weights = tf.get_variable(name="weights", shape=[2, 2, in_channel, out_channel],
                                  initializer=tf.contrib.layers.xavier_initializer_conv2d())
        convolution = tf.nn.conv2d(input=in_put, filter=weights, strides=[1, 1, 1, 1], padding="SAME")
    return convolution
def main():
    with tf.Graph().as_default():
        input_x = tf.placeholder(dtype=tf.float32, shape=[1, 4, 4, 1])
        for _ in xrange(5):
            output = func(input_x, 1, 1)
            with tf.Session() as sess:
                sess.run(tf.global_variables_initializer())
                import numpy as np
                _output = sess.run([output], feed_dict={input_x:np.random.uniform(low=0, high=255, size=[1, 4, 4, 1])})
                print _output
if __name__ == "__main__":
    main()
通过 from tensorflow.python.ops import variable_scope as vs来导入操作。 
# -*- coding: utf-8 -*-
import tensorflow as tf
from tensorflow.python.ops import variable_scope as vs    ### 改动部分 ###
def func(..., reuse=False):    ### 改动部分 ###
    if reuse:                                        ### 改动部分 ###
        vs.get_variable_scope().reuse_variables()    ### 改动部分 ###
    return output
def main():
    with tf.Graph().as_default():
        for _ in xrange(5):
            output = func(..., reuse=(_!=0))    ### 改动部分 ###
            with tf.Session() as sess:
                sess.run(tf.global_variables_initializer())
                _output = sess.run(output, feed_dict=...)
if __name__ == "__main__":
    main()
应用示例：
 
# -*- coding: utf-8 -*-
import tensorflow as tf
from tensorflow.python.ops import variable_scope as vs    ### 改动部分 ###
def func(in_put, in_channel, out_channel, reuse=False):    ### 改动部分 ###
    if reuse:                                        ### 改动部分 ###
        vs.get_variable_scope().reuse_variables()    ### 改动部分 ###
    weights = tf.get_variable(name="weights", shape=[2, 2, in_channel, out_channel],
                              initializer=tf.contrib.layers.xavier_initializer_conv2d())
    output = tf.nn.conv2d(input=in_put, filter=weights, strides=[1, 1, 1, 1], padding="SAME")
    return output
def main():
    with tf.Graph().as_default():
        input_x = tf.placeholder(dtype=tf.float32, shape=[1, 4, 4, 1])
        for _ in xrange(5):
            output = func(input_x, 1, 1, reuse=(_!=0))    ### 改动部分 ###
            with tf.Session() as sess:
                sess.run(tf.global_variables_initializer())
                import numpy as np
                _output = sess.run(output, feed_dict={input_x:np.random.uniform(low=0, high=255, size=[1, 4, 4, 1])})
                print _output
if __name__ == "__main__":
    main()
来自utils import *
def network ( x , is_training = True , reuse = False , scope = "network" ):
    with tf . variable_scope ( scope , reuse = reuse ):
                                    mobilenetv3
 这是MobileNetV3架构的多GPU Tensorflow实现，如论文。 对于一些更改。 论文V1的实现请参见该存储库中的以获得详细信息。
 在tf1.3.0，tf1.10.0，python3.5上进行了测试。
mobilenetv3大
mobilenetv3小
from mobilenet_v3 import mobilenet_v3_large, mobilenetv3_small
model, end_points = mobilenet_v3_large(input, num_classes, multiplier=1.0, is_training=True, reuse=None)
model, end_points = mobilenet_v3_small(input, num_classes, multiplier=1.0, is_trai
                                    一、两种scope：variable与name
tf.variable_scope()是对变量进行命名管理，而tf.name_scope是对算子(op)进行命名管理，二者相互不影响。见下例：
import tensorflow as tf
for i in range(10):
    with tf.name_scope('test'):
        a = tf.constant([1])
        b = tf.constant([1])
        c = a + b
tf.variable_scope() 用于生成上下文管理器，创建命名空间，命名空间可以嵌套。
函数**tf.get_variable()**既可以创建变量，也可以获取...
                                    写本篇博客的初衷：因本人使用tf.variable_scope()变量域在jupyter多次运行程序时，经常会遇到： 
Variable …… already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope? Originally defined at:…… 
此报错，在查看...
                                    变量共享主要涉及到两个函数： tf.get_variable(<name>, <shape>, <initializer>) 和 tf.variable_scope(<scope_name>)。先来看第一个函数： tf.get_variable。tf.get_variable 和tf.Variable不同的一点是，前者拥有一个变量检查机制，会检测已经存在的变量是否设置为共享变量，如果已经存在的变量没
4 CountVectorizer与TfidfVectorizer的异同：
5.sklearn中TfidfTransformer和TfidfVectorizer对tf-idf的计算方式
文本数据预处理的第一步通常是进行分词，分词后会进行...
                                    TensorFlow用于变量管理的函数主要有两个： tf. get_variable()和tf.variable_scope()，
前者用于创建和获取变量的值，后者用于生成上下文管理器，创建命名空间，命名空间可以嵌套。
函数tf.get_variable()既可以创建变量，也可以获取变量。控制创建还是获取的开关来自函数tf.variable.scope()中的参数reuse为“True”还是&amp;amp;quot;Fa...
                                    variable scopetensorflow 为了更好的管理变量,提供了variable scope机制 
官方解释: 
Variable scope object to carry defaults to provide to get_variable.Many of the arguments we need for get_variable in a variable store are
                                    Reusing模式会被子vs继承
tf.get_variable_scope().reuse_variables()
print('"'+tf.get_variable_scope().name+'"', tf.get_variable_scope().reuse)
with tf.variable_scope('ss'): # ss是默认vs的子vs，故虽然没有使用reuse=True，wit...