【米乐体育app网页登录】textCNN论文与原理——漫笔天职类(基于pytorch)
前言前文已经先容了TextCNN的基本原理，如果还不熟悉的建议看看原理：【深度学习】textCNN论文与原理[1]及一个简朴的基于pytorch的图像分类案例：【深度学习】卷积神经网络-图片分类案例(pytorch实现)[2]。现在先容一下如何使用textcnn举行文天职类，该部门内容参考了:Pytorch-textCNN（不挪用torchtext与挪用torchtext）[3]。
固然原文写的也挺好的，不外感受不够工程化。现在我们就来看看如何使用pytorch和cnn来举行文天职类吧。1 实验语料先容与预处置惩罚本文举行的任务本质是一个情感二分类的任务，语料内容为英文，其花样如下：一行文本即实际的一个样本，样本数据划分在neg.txt和pos.txt文件中。在举行数据预处置惩罚之前，先先容一下本任务可能用到的一些参数，这些参数我放在了一个config.py的文件中，内容如下：#!/usr/bin/python#-*-coding:UTF-8-*-"""@author:juzipi@file:config.py@time:2020/12/06@description:设置文件"""LARGE_SENTENCE_SIZE=50#句子最大长度BATCH_SIZE=128#语料批次巨细LEARNING_RATE=1e-3#学习率巨细EMBEDDING_SIZE=200#词向量维度KERNEL_LIST=[3,4,5]#卷积核长度FILTER_NUM=100#每种卷积核输出通道数DROPOUT=0.5#dropout概率EPOCH=20#训练轮次下面就是数据预处置惩罚历程啦，先把代码堆上来：importnumpyasnpfromcollectionsimportCounterimportrandomimporttorchfromsklearn.model_selectionimporttrain_test_splitimportconfigrandom.seed(1000)np.random.seed(1000)torch.manual_seed(1000)defread_data(filename):"""数据读取:paramfilename:文件路径:return:数据读取内容（整个文档的字符串）"""withopen(filename,"r",encoding="utf8")asreader:content=reader.read()returncontentdefget_attrs():"""获取语料相关参数:return:vob_size,pos_text,neg_text,total_text,index2word,word2index"""pos_text,neg_text=read_data("corpus/pos.txt"),read_data("corpus/neg.txt")total_text=pos_text+'\n'+neg_texttext=total_text.split()vocab=[wforw,finCounter(text).most_common()iff>1]vocab=[' 这些代码我放在了一个dataloader.py的python文件中了，相信你汇合理的使用它，如果有啥不明确的可以留言交流哦。2 textcnn模型构建我依然先把代码堆出来，不是网传那么一句话嘛：“talk is cheap, show me code”，客官，代码来咯：#!/usr/bin/python#-*-coding:UTF-8-*-"""@author:juzipi@file:model.py@time:2020/12/06@description:"""importnumpyasnpimporttorchfromtorchimportnn,optimimportmatplotlib.pyplotaspltimportconfigimportdataloaderimportutilsclassTextCNN(nn.Module):#output_size为输出种别（2个种别，0和1）,三种kernel，size划分是3,4，5，每种kernel有100个def__init__(self,vocab_size,embedding_dim,output_size,filter_num=100,kernel_list=(3,4,5),dropout=0.5):super(TextCNN,self).__init__()self.embedding=nn.Embedding(vocab_size,embedding_dim)#1表现channel_num，filter_num即输出数据通道数，卷积核巨细为(kernel,embedding_dim)self.convs=nn.ModuleList([nn.Sequential(nn.Conv2d(1,filter_num,(kernel,embedding_dim)),nn.LeakyReLU(),nn.MaxPool2d((config.LARGE_SENTENCE_SIZE-kernel+1,1)))forkernelinkernel_list])self.fc=nn.Linear(filter_num*len(kernel_list),output_size)self.dropout=nn.Dropout(dropout)defforward(self,x):x=self.embedding(x)#[128,50,200](batch,seq_len,embedding_dim)x=x.unsqueeze(1)#[128,1,50,200]即(batch,channel_num,seq_len,embedding_dim)out=[conv(x)forconvinself.convs]out=torch.cat(out,dim=1)#[128,300,1,1]，各通道的数据拼接在一起out=out.view(x.size(0),-1)#展平out=self.dropout(out)#构建dropout层logits=self.fc(out)#效果输出[128,2]returnlogits#数据获取VOB_SIZE,pos_text,neg_text,total_text,index2word,word2index=dataloader.get_attrs()#数据处置惩罚X_train,X_test,y_train,y_test=dataloader.number_sentence(pos_text,neg_text,word2index)#模型构建cnn=TextCNN(VOB_SIZE,config.EMBEDDING_SIZE,2)#print(cnn)#优化器选择optimizer=optim.Adam(cnn.parameters(),lr=config.LEARNING_RATE)#损失函数选择criterion=nn.CrossEntropyLoss()deftrain(model,opt,loss_function):"""训练函数:parammodel:模型:paramopt:优化器:paramloss_function:使用的损失函数:return:该轮训练模型的损失值"""avg_acc=[]model.train()#模型处于训练模式#批次训练forx_batch,y_batchindataloader.get_batch(X_train,y_train):x_batch=torch.LongTensor(x_batch)#需要是Long类型y_batch=torch.tensor(y_batch).long()y_batch=y_batch.squeeze()#数据压缩到1维pred=model(x_batch)#模型预测#获取批次预测效果最大值，max返回最大值和最大索引（已经默认索引为0的为负类，1为为正类）acc=utils.binary_acc(torch.max(pred,dim=1)[1],y_batch)avg_acc.append(acc)#记载该批次正确率#使用损失函数盘算损失值，预测值要放在前loss=loss_function(pred,y_batch)#清楚之前的梯度值opt.zero_grad()#反向流传loss.backward()#参数更新opt.step()#所有批次数据的正确率盘算avg_acc=np.array(avg_acc).mean()returnavg_accdefevaluate(model):"""模型评估:parammodel:使用的模型:return:返回当前训练的模型在测试集上的效果"""avg_acc=[]model.eval()#打开模型评估状态withtorch.no_grad():forx_batch,y_batchindataloader.get_batch(X_test,y_test):x_batch=torch.LongTensor(x_batch)y_batch=torch.tensor(y_batch).long().squeeze()pred=model(x_batch)acc=utils.binary_acc(torch.max(pred,dim=1)[1],y_batch)avg_acc.append(acc)avg_acc=np.array(avg_acc).mean()returnavg_acc#记载模型训练历程中模型在训练集和测试集上模型预测正确率体现cnn_train_acc,cnn_test_acc=[],[]#模型迭代训练forepochinrange(config.EPOCH):#模型训练train_acc=train(cnn,optimizer,criterion)print('epoch={},训练准确率={}'.format(epoch,train_acc))#模型测试test_acc=evaluate(cnn)print("epoch={},测试准确率={}".format(epoch,test_acc))cnn_train_acc.append(train_acc)cnn_test_acc.append(test_acc)#模型训练历程效果展示plt.plot(cnn_train_acc)plt.plot(cnn_test_acc)plt.ylim(ymin=0.5,ymax=1.01)plt.title("TheaccuracyoftextCNNmodel")plt.legend(["train",'test'])plt.show()多说无益法式都在这，相关原理已经先容了，列位读者逐步品尝，有事call me。对了，法式最后运行的效果如下：模型分类效果3 效果的一个简要分析其中随着模型的训练，模型倒是在训练集上效果倒好（究竟模型在训练集上调整参数嘛），测试集上的效果也逐步上升最后还略有下降，可见开始过拟合咯。 本任务没有使用一些预训练的词向量以及语料先容，总体也就1万多条，在测试集到达了这个效果也是差强人意了。主要想说明如何使用pytorch构建textcnn模型，实际中的任务可能更庞大，对语料的处置惩罚也更贫苦（数据决议模型的上限嘛）。 或许看完这个文章后，你对损失函数、优化器、数据批次处置惩罚等另有一些未解之谜和革新的期待，我努力在事情之余书写相关文章以飨读者，敬请关注哦。打条广告，想实时看到最新小我私家原创文章记得关注“AIAS编程有道”民众号哦，我在那里等你。至于本文的全部代码和语料，我都上传到github上了:https://github.com/Htring/NLP_Applications[4]，后续其他相关应用代码也会陆续更新，也接待star，指点哦。 参考资料[1]【深度学习】textCNN论文与原理: https://piqiandong.blog.csdn.net/article/details/110099713[2]【深度学习】卷积神经网络-图片分类案例(pytorch实现): https://piqiandong.blog.csdn.net/article/details/109967487[3] Pytorch-textCNN（不挪用torchtext与挪用torchtext）: https://www.cnblogs.com/cxq1126/p/13466998.html[4] https://github.com/Htring/NLP_Applications: https://github.com/Htring/NLP_Applications。 本文来源：m6米乐官网入口-www.ibangqu.com
本文关键词：m6米乐官网入口,m6米乐app官网登录,米乐体育app网页登录
