关注
码龄
粉丝数
原力等级 --
被采纳
被点赞
采纳率
VmsNoone
2022-11-04 20:56
采纳率: 0%
浏览 24
首页
编程语言
sos!使用jieba分词一直报错list index out of range
python
谢
收起
写回答
好问题
0
提建议
关注问题
微信扫一扫
点击复制链接
分享
邀请回答
编辑
收藏
删除
结题
收藏
举报
1
条回答
默认
最新
关注
码龄
粉丝数
原力等级 --
被采纳
被点赞
采纳率
[小G]
2022-11-04 21:17
关注
for line in inputs 改为
for line in inputs.readlines()
本回答被题主选为最佳回答
, 对您是否有帮助呢?
本回答被专家选为最佳回答
, 对您是否有帮助呢?
本回答被题主和专家选为最佳回答
, 对您是否有帮助呢?
解决
无用
评论
打赏
微信扫一扫
点击复制链接
分享
举报
评论
按下Enter换行,Ctrl+Enter发表内容
查看更多回答(0条)
向“C知道”追问
报告相同问题?
提交
关注问题
7-day06语言模型
2025-07-10 21:29
心灵Haven的博客
通俗来讲语言模型评价一句话是否“合理”或“是人话”数学上讲P(今天天气不错) > P(今错不天天气)语言模型用于计算文本的成句概率。
详细介绍NLP文本摘要
2022-12-09 17:03
若年封尘的博客
然而,这些模型大都有两个问题 : 1.OOV(out of vocabulary)问题:目标任务中可能出现一些罕见词或是派生词,词的复数或者其他的一些组合词的规则而产生的词无法用现有词向量模型表示。 2.重复生成。 指针生成网络...
NLP_自然语言处理项目(2):seq2seq_attention_机器翻译(基于PyTorch)
2023-04-27 12:55
@硬train一发的博客
print(lang1_cls.
index
2word) print(lang2_cls.n_words) print(lang2_cls.
index
2word) 代码是一个语言模型读取数据的预处理部分,目的是将源语言和目标语言的文本进行读取、
分词
和处理,以便在机器翻译模型中
使用
。...
ai学习(2)
分词
、
分词
算法、加入注意力机制的Seq2Seq结构模型(编码器、解码器、注意力机制)、日期转换实战代码
2024-09-07 20:54
阿格在努力的博客
例如,“江”“河”“湖”“海”这四个字都跟水有关,并且它们都是三点水旁,那么在
分词
的时候,“氵”很可能会作为一个词元,“工”“可”“胡”“每”是另外的词元。假如“氵”的词元ID为1,...
深度学习&PyTorch 之 RNN-中文多分类
2024-02-28 15:35
Andy_shenzl的博客
词汇表是自然语言处理中的一个基本概念,它将文本中的单词映射到唯一的整数ID上。这样,文本数据就可以被转换为机器可以理解的数字格式。 创建好的词汇表如下我们之前看到标签是,等文本,需要转换成数值标签 代码...
还在调API写所谓的AI“女友”,唠了唠了,教你基于python咱们“new”一个(深度学习)
2022-11-24 19:58
Huterox的博客
input): b,_,_=input.shape out=self.embed (input).view(b,-1) out=self.fc1 (out) out=self.act1(out) out=self.fc2(out) out=self.act2(out) out=out.view(b,1,-1) return out if __name__=='__main__': pre_...
自然语言处理(五)——实现机器翻译Seq2Seq完整经过
2019-04-03 10:52
李英俊小朋友的博客
我只能说这本书太烂了,看完这本书中关于自然语言处理的内容,代码全部敲了一遍,感觉学的很绝望,代码也运行不了。 具体原因,我也写过一篇博客diss过这本书。可是既然学了,就要好好学呀。为了搞懂自然语言处理,...
实践总结:AI语言翻译系统的「神经机器翻译架构」,如何让跨语言沟通「零障碍」?
2025-07-29 14:46
SuperAGI架构师的AI实验室的博客
根据Ethnologue的统计,全球共有7000多种正在
使用
的语言,这种语言多样性既是人类文化的宝贵财富,也为跨语言沟通带来了巨大困难。神经机器翻译(Neural Machine Translation, NMT)的出现,标志着我们在消除语言...
nlp培训重点-3
2025-01-17 20:05
heine162的博客
同时
使用
transformer里的encoder和decoder模型层会太大,现在
使用
生成式语言模型,普遍是对transformer层进行改造,具体的做法是对输入或者输入输出,过decoder层时做mask attention操作,如果没有mask就看做是...
python-pytorch 下批量seq2seq+Bahdanau Attention实现问答1.0.000
2024-05-22 17:13
liwulin0506的博客
python-pytorch 下批量seq2seq+Bahdanau Attention实现简单问答1.0.000 前言 原理看图 数据准备
分词
、
index
2word、word2
index
、vocab_size 输入模型的数据构造 注意力模型 decoder的编写 关于损失函数和优化器 在...
Seq2Seq-Attention编程实例——机器翻译问题
2021-05-25 16:26
酸菜鱼_2323的博客
使用
Seq2Seq-Attention结构 数据处理模块 数据资源下载:平行语料库 http://www.manythings.org/anki 首先下载的数据集中有繁体,我们在github上找到一个模型(langconv.py)来处理繁体,将繁体转换成简体 ...
从零实现基于sequence2sequence的中英翻译模型(torch版)
2020-04-18 13:01
赵队的博客
if word not in self.word2
index
: self.word2
index
[word] = self.n_words self.
index
2word[self.n_words] = word self.n_words += 1 def setence2
index
(self,setence): #setence为一个句子
分词
后的
list
index
=[]...
Seq2Seq实现闲聊机器人
2021-08-07 22:39
chaser&upper的博客
Seq2Seq实现闲聊机器人1. 准备训练数据2. 数据的处理和保存2.1 小黄鸡的语料的处理2.2 微博语料的...单轮次的聊天数据非常不好获取,所以这里我们从github上
使用
一些开放的数据集来训练我们的闲聊模型 数据地址:https
AI如何助推电力行业新未来?飞桨ERNIE有妙招!
2021-11-24 20:51
飞桨PaddlePaddle的博客
使用
jieba
库
分词
,并用百度提供的停用词表筛去停用词后,对剩下的词随机进行如下操作: 同义词替换(SR: Synonyms Replace):在句子中随机抽取 n 个词,然后从同义词词典中随机抽取同义词,并进行替换。...
没有解决我的问题,
去提问
向专家提问
向AI提问
付费问答(悬赏)服务下线公告
◇ 用户帮助中心
◇ 新手如何提问
◇ 奖惩公告
问题事件
关注
码龄
粉丝数
原力等级 --
被采纳
被点赞
采纳率
创建了问题
11月4日