- 博客(24)
- 收藏
- 关注
RSS订阅原创 Tensorflow模型训练时维度处理技巧（主要针对tf1版本）
Tensorflow模型训练时维度处理技巧修改模型一周，调BUG半个月，特此总结：1.在某一个维度为1时，用tf.reshape2.tf.matmul（要求两个元素维度正好相反）要求两个元素维度正好相反3.和tf.multiply ( 张量1 ，张量2）要求两个元素维度一致4.assign_sub（）：重新赋值，但需要先用 tf.Variable 定义变量 w5.要求输出的数据格式保持一致且支持广播作用的函数：6.tf.muliply(x, y, name=None)7.tf.add(x,
2021-02-04 13:13:40
564
原创 Linux常用操作命令
查看客户端与服务器主机地址： echo $SSH_CONNECTION查看当前目录： echo $PATH查看服务器上的所有环境变量，进入vim语言： vim ~/.bashrc查看服务器上的所有conda虚拟环境名字： conda info -e远程操作：ssh user@客户端号如何找到客户端号：转到电脑WINDOWS系统中，使用cmd:cd …查找网络IP配置：ipconfig查找密码：regedit...
2020-09-28 11:20:21
259
原创 pytorch框架如何搭建
#参考官方文档：https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#参考：https://blog.csdn.net/wsp_1138886114/article/details/83717787?utm_medium=distribute.pc_relevant.none-task-blog-blogcommendfrombaidu-5.channel_param&depth_1-utm_source=
2020-09-13 09:56:40
368
原创 conda 命令更新版本
cuda search tensorflow-gpu #查询pip freeze#查看已经安装的packagepip uninstall 库#卸载pip install 库==版本#安装我们要的版本conda update 模块名conda create -n py34 python=3.4 anaconda #创建环境source activate py34#激活
2020-08-14 23:00:33
4367
原创 array与list的异同
array：创建数组需要一个类型码，这样在序列很大的时候，我们能节省很多空间；数组支持所有跟可变序列有关的操作,包括.pop,.insert和.extend；还提供从文件读取和存入文件的更快的方法，如.frombytes和.tofile；只能够保存一种类型的数；数组不适用于数字操作（比如矩阵和矢量运算）；另外+=和*=运算符可以用于array的添加；从python3.4开始，数组（array）类型不再支持诸如list.sort()这种就地排序方法。要给数组排序的话，得用sorted函数新建一个数
2020-08-11 09:27:40
341
原创 tensorflow篇——lamda层
将expand_dim, squeeze或者自定义层转换成keras中的Layer时，一般有两种方法，一种是直接定义类class然后继承Layer，一种是直接使用Lambda函数。1.lamda层的构建方法如下：from tensorflow import kerassqueeze = keras.layers.Lambda(lambda x: keras.backend.squeeze(x, axis=-1))(x)###等同于===================================
2020-07-03 20:07:59
1988
原创 tensorflow篇——embedding代码实现
离散特征常见做法是将其转换为one-hot，但对于itemid这种离散特征，转换成one-hot之后维度非常高，但里面只有一个是1，其余都为0。这种情况下，我们的通常做法就是将其转换为embedding。1.一个离散特征有一个取值，one-hot的时候，有一个地方为1。用embedding_lookup函数来实现emedding。# embedding用tf.nn.embedding_lookupimport tensorflow as tfembedding = tf.constant(
2020-07-03 17:01:18
1625
原创 词向量构建
· sentences：可以是一个list，对于大语料集，建议使用BrownCorpus,Text8Corpus或lineSentence构建。· size：是指特征向量的维度，默认为100。· alpha: 是初始的学习速率，在训练过程中会线性地递减到min_alpha。· window：窗口大小，表示当前词与预测词在一个句子中的最大距离是多少。· min_count: 可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5。· max_vocab_size: 设置词向
2020-06-29 17:34:04
1017
原创 如何使用xshell跑数据
连接上以后，“ls”打开目录，再“cd”进入该目录的下一级目录。反复操作，直至打开到有Python文件的末端。输入"python demo.py"。如果显示“ImportError: No module named tensorflow”,则“source activate tensorflow”，如果没有该环境，则需要先部署环境。最后如果想要终止进程，则找到运行进程号 ，然后输入“kill 此号”即可。...
2020-06-29 15:31:08
1408
原创 jupyter notebook打开出问题
用anaconda prompt打开jupyter时，出现AttributeError: type object ‘IOLoop’ has no attribute ‘initialized’，解决方案如下：conda install tornado=4.5进行tornado下载
2020-06-29 15:23:56
382
原创 illegal multibyte sequence问题
解决UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xa6 in position 9737:with open(file) as f：将其改成：with open(file,encoding=“utf-8”) as f：
2020-06-29 15:18:34
653
原创 rand、randn、randi区别及用法
①random() 方法返回随机生成的一个实数，它在[0,1)范围内，不接受参数：import randomprint(random.random())#random 0.03563083745692497②rand()方法随机样本位于[0, 1)中；参数（行，列）import numpy as npprint("rand",np.random.rand(2,3))#rand [[0.25755196 0.81740437 0.79738575] [0.02873379 0.22991188 0
2020-06-21 16:28:28
976
原创 列表切片 trick
列表切片容易混淆，特总结下，希望大家一起补充交流：import numpy as npa=[1,2,3,4,5,6,7,8]b=np.array([[0,1],[0,1],[0,1],[0,1],[0,1],[0,1],[0,1]])print("无逗号",a[:2])#第一个索引截止（左闭右开，从0开始）print("逗号",b[:,1])#二维元组不能切片，要转化成array，最后面的数为（从0开始的索引）print("三个",a[::-1])#当s<0时，i缺省时，默认为-1. j缺
2020-06-20 23:00:24
316
原创 防止输出报错的小技巧
如果不在元组内，print会输出报错，如何解决，可以参考下列小技巧：import randomrandom_list = []for i in range(10): ran = random.randint(1,20) random_list.append(ran)print(random_list)#添加数，可重复a=tuple(random_list)#判断元组中是否存在1这个元素print(4 in a)#False#-------------------------
2020-06-19 15:07:37
187
原创 列表操作小trick
不同的数使列表元素有所不同，特将代码总结下，可以细品区别：import randomrandom_list = []# for i in range(10):# ran = random.randint(1,20)# random_list.append(ran)# print(random_list)#添加数，可重复#---------------# i = 0# while i < 10:#相当于for i in range(10)# ran = ra
2020-06-19 14:34:08
279
原创 遍历列表易错点
a=[]a.append("a")b=["b","c"]a.extend(b)a[-1]="ee"首先先建立列表，下列两种类型比较下：for i in a: if "a" in i: i="aa"print(a)“a”不在“i”里面，所以输出为：[‘a’, ‘b’, ‘ee’]for i in range(len(a)): if "a" in a[i]: a[i]="aa"print(a)i在a的列表具体位置才是正确形式，输出为
2020-06-19 11:22:41
232
原创 pandas处理csv文件 小trick
import pandas as pdimport randomimport numpy as npfirst = pd.read_csv(r"/file",usecols=[1])first.drop_duplicates(inplace=True)#first = np.ndarray(first[:,0])#print(type(first))second = [random.randint(1,10) for i in range(0,1000000)]third = [rando
2020-06-18 22:08:39
221
原创 斐波那契数列解法分析
这个数列从第3项开始，每一项都等于前两项之和。解法可以从递归、马尔科夫、最大值、位数等方面考虑。常见的面试考题有：兔子生兔子、青蛙跳楼梯、从0开始输入数求斐波那契数列的第n项。#一、从最大值考虑numMax = int(input('please input a maxnumber : '))def flibsOne(numMax): c = [] a, b = 0, 1 while a < numMax: a, b = b, a + b
2020-06-16 19:23:03
589
1
原创 tensorflow训练速成
成本函数中不能使用距离，而应当使用概率分布的差异，例如：交叉熵函数；而实际结果的概率分布常用one-hot，预测结果的概率分布常用softmax。import tensorflow as tfimport numpy# [First] TensorFlow图y = tf.matmul(x,W) + bcost = tf.reduce_mean(tf.square(y_-y))# [Second] 用固定「学习率（learn_rate）」训练learn_rate = 0.1train_step
2020-06-16 19:13:32
335
1
原创 embedding+w2v
embedding与Word2Vec是序列模型的基础，其代码总结如下：Word2Vec模型定义及存储与下载：from gensim.test.utils import common_texts, get_tmpfilefrom gensim.models import Word2Vecpath = get_tmpfile("word2vec.model")model = Word2Vec(common_texts, size=100, window=5, min_count=1, workers=
2020-05-25 09:56:35
483
原创 文件读取时的编码错误问题如何解决
编码遇到些错误，所以写一下部分解决办法：①f = codecs.open(’./sentence.txt’,‘r’,‘utf-8’)RuntimeError: you must first build vocabulary before training the modelopen(file)默认GBK，所以要注明用UTF-8来读文件。中文词先建立词库。②s1=ss.split(" ".encode(encoding=‘utf-8’))TypeError: must be str or None,
2020-05-23 18:43:18
1515
原创 栈和队列的应用 刷题总结
栈主要用于：括号匹配、算符优先算法求表达式的值、表达式的括号匹配问题、迷宫求解、进制转换、计算器、深度优先的非递归遍历、子程序与函数的调用和返回、数字转字符，表达式求值、中断时数据保存和返回。队列主要用于：广度优先层次遍历、进程调度、用户文件访问。也可以下图关注公众号：...
2020-05-23 18:38:01
454
原创 编码 LableEncoder与OneHotEncoder
在id处理与nlp处理中，离散编码的处理比较重要。可以考虑用sklearn库LableEncoder，而涉及到01编码或多重属性编码时用OneHotEncoder。代码如下：import pandas as pdfrom sklearn.preprocessing import LabelEncoderdata=pd.DataFrame({'A':[1,2,3,4],'B':[5,6,7,8],'C':[9,10,11,12]})for i in data: try: dat
2020-05-23 18:35:32
529
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人