nodejs 导入大txt文件 到mongodb

TXT如:
查询表名@#$机构编码|!?|姓名|!?|品种|!?|@#$53|!?|张三|!?|苹果|!?|@#$54|!?|李四|!?|菜篮|!|?@#$......

@#$ |!?| 是原始文件分隔符

查询表名 为mongodb 集合名
机构编码 姓名 品种 字段名 ?var lines = strchunk.split("@#$").trim();?
53 张三 苹果 字段内容 var cols = lines[i].split("@#$").trim();?
参考
第2 行 a b c d
2 21 22 23 24
3 31 32 33 34
问1:如何转换为json {{a:21,b:22,c:23,d:24} , {a:31,b:32,c:33,d:34}}

mongodb数据库 第1 行 a b c d为字段名
第2、3 行为内容

                                                    注意TXT可能有近5000行

问2:如何导入数据库

                                                    求 代码

var fstorm = require('fstorm');
var readLine = require('lei-stream').readLine;
我用过但不成功
注意要处理中文
var iconv = require("iconv-lite");//中文转码

2个回答

var http = require("http"),
    url = require("url"),
    mongo = require('mongodb'),
    path = require("path"),
    ObjectID = require('mongodb').ObjectID,
    Grid = require('gridfs-stream'),
    gridform = require('gridform'),
    fs = require("fs"),
    GridStore = require('mongodb').GridStore;

function FileServer(db) {
    if (!(this instanceof FileServer)) return new FileServer(db);
    this.db = db;
}

FileServer.prototype.start = function start(listenport) {
    var me = this;
    me.db.open(function(err) {
        if (err) {
            console.log(err);

以下代码采纳后可见

weixin_41634604
weixin_41634604 您好!我是要将TXT内容导入mongodb,而不是保存文件本身??
12 个月之前 回复

以下代码采纳后可见,在哪,谢谢?

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
nodejs 导入大txt文件 到mongodb
TXT如:rn查询表名@#$机构编码|!?|姓名|!?|品种|!?|@#$53|!?|张三|!?|苹果|!?|@#$54|!?|李四|!?|菜篮|!|?@#$......rnrn@#$ |!?| 是原始文件分隔符rnrn查询表名 为mongodb 集合名rn机构编码 姓名 品种 字段名 ?var lines = strchunk.split("@#$").trim();?rn53 张三 苹果 字段内容 var cols = lines[i].split("@#$").trim();?rn参考rn第2 行 a b c d rn 2 21 22 23 24rn 3 31 32 33 34rn问1:如何转换为json {a:21,b:22,c:23,d:24 , a:31,b:32,c:33,d:34 rnmongodb数据库 第1 行 a b c d为字段名rn 第2、3 行为内容rn rn 注意TXT可能有近5000行rn问2:如何导入数据库rn rn 求 代码rnvar fstorm = require('fstorm');rnvar readLine = require('lei-stream').readLine;rn我用过但不成功rn 注意要处理中文rnvar iconv = require("iconv-lite");//中文转码
nodejs连接mongodb增删改查
1、nodejs连接数据库            const mongoClient = require("mongodb").MongoClient;            url = "mongodb://localhost:27017";            const dbName ="blog";              MongoClient.connect(url,functio...
NodeJS开发指南——mongoDB、Session
记录一下这两天用nodeJS搭建一个博客系统遇到的坑;关于mongoDB数据库的连接db.jsvar settings = require('../settings'); var mongo = require('mongodb');var Server=mongo.Server; var Db=mongo.Db; var server = new Server('localhost', 27017
NodeJS中的MongoDB快速入门
一、MongoDB必须理解的概念1.数据库:每个数据库都有自己的权限和集合。2.文档:一个键值对。3.集合:一组文档,即一组键值对。当第一个文档插入时,集合就会被创建。二、Mac下的MongoDB安装和启动1.使用brew进行安装:brew install mongodb。2.建立目录:mkdir -p /data/db。这样建立的是mongodb配置中的默认目录。3.设置/data/db的权限为
MongoDB 授权连接数据库 Nodejs
授权连接数据库(版本3.6)const MongoClient = require('mongodb').MongoClient; const assert = require('assert');// Connection URL const url = 'mongodb://localhost:27017';// Database Name const dbName = 'test';Mongo
nodejs操作数据库mongodb
nodejs操作数据sqlite、redis、mysql、mongodb
NodeJS 使用 mongodb 更新数据
目前使用的 mongodb nodeJS driver 版本为 3.2.3, 不同的 Driver 版本,方法有很大的差异。 For example, given a books collection with the following document: { _id: 1, item: "TBD", stock: 0, info: { publisher: "1111", pa...
nodeJS使用 mongodb查询数据
源代码请查看GitHub: https://github.com/slhuang520/study/tree/master/web/nodeJS/mongoDB/find.js 目前使用的 mongodb nodeJS driver 版本为 3.2.3, 不同的 Driver 版本,方法有很大的差异。 const MongodbClient = require("mongodb").MongoCl...
MongoDb nodejs 虚拟机小记
链接:mongod --dbpatch=E:\db(你自己的db的位置) 查看所有库:show dbs 切换数据库: use adv(你数据库名称) 增删改查上篇文章里有 //用虚拟机链接本机网络下的服务 windows ipconfig 查看你本地建的局域网 用虚拟机访问该局域网的网址即可 应用步骤:先打开mongod 然后运行nodejs( node XXX.js)然后访
nodejs + mongodb 合集 (1)
nodejs + mongodb 资源 合集 01
nodejs和mongoDB教程.rar
w3cschool官网的教程离线版,没网可以看看
基于nodejs + MongoDB 的图书管理系统
莫名的有点懒,那就直戳链接好了,代码已经上传到github https://github.com/luoyimaid/book_manage
Nodejs对MongoDB模糊查询
从零开始nodejs系列文章 从零开始nodejs系列文章,将介绍如何利Javascript做为服务端脚本,通过Nodejs框架web开发。Nodejs框架是基于V8的引擎,是目前速度最快的Javascript引擎。chrome浏览器就基于V8,同时打开20-30个网页都很流畅。Nodejs标准的web开发框架Express,可以帮助我们迅...
nodejs操作mongodb数据库(mongodb)
nodejs操作mongodb数据库(mongodb)
nodejs与mongodb建立连接
1.首先启动数据库服务器 http://blog.csdn.net/liusong0605/article/details/10574863 2.编写代码 var mongo = require('mongodb'); var host = "localhost"; var port = 27017; var server = new mongo.Server(host,port,{au
手动启动mongodb和nodejs程序
手动启动mongodb和nodejs程序 2014-12-01 10:33 by 冷水菜, ... 阅读, ... 评论, 收藏, 编辑 最近做单片机去了,以前用的mongodb和nodejs没有配置成服务,居然忘了如何手动启动。在此记录下 一、手动启动mongodb 1.进入cmd 2.在dos下打开mongodb路径E:\...
NodeJS 使用 mongodb 批量插入数据
目前使用的 mongodb nodeJS driver 版本为 3.2.3, 不同的 Driver 版本,方法有很大的差异。 const MongodbClient = require("mongodb").MongoClient, assert = require("assert"); (async () => { const url = "mongodb://127.0...
mongodb,nodejs,电子商务网站
用mongodb和nodejs写的一个电子商务网站,实现了基本的用户注册和管理,商品查询浏览,商品管理,购物车和评论功能。管理员账号是0,密码是0.
nodejs连接mongodb示例代码
nodejs连接mongodb示例,实现对数据的增删改查操作(跳过不必要的坑) Windows版 http://blog.csdn.net/wangyunbo158/article/details/78751398
nodejs添加数据库mongodb
为了在 Node.js 中使用 MongoDB,我们需要获取一个模块。 打开工程目录中的 package.json,在 dependencies 属性中添加一行代码: { "name": "lzyfn-name", "version": "0.0.1", "private": true, "scripts": { &quot
Asp.Net .txt文件导入数据库
把txt格式的文件导入到数据库中,用了StreamReader进行读取文件,然后采用分隔符,分割成字符串,写到数据库中
导入txt文件到oracle数据库
把txt文件数据导入到oracle数据库当中,进行保存,使用map进行操作
exal导入txt文件
首先,打开excel,选择数据选项卡,自文本选项。在弹出的资源管理器界面选择存放好的txt文件后,点击打开按钮。此时弹出文本导入向导,由于我的数字是以空格为分隔字符的,所以我选择分隔符号,当然,如果你的文本是固定宽度,你可以选择第二个。然后点击下一步按钮。勾选空格,检验预览数据是否和自己预想的一致。一致后继续点击下一步按钮。查看预览效果。并选择列数据格式,此处没什么特别要求,建议选择常规,常规也是e
Hive表txt文件导入
---- 建表格式 USE dw_htlbizdb; CREATE TABLE CiiFcst_hotel_forecast_result_type_test( masterhotel int COMMENT '酒店ID', ciiquantity  double COMMENT '间夜量' ) comment '测试表' PARTITIONED BY(d STRING COMMEN
txt文件导入数据库
代码 package com.mingrisoft.model; import java.io.File; import java.io.IOException; import javax.swing.JOptionPane; import org.apache.commons.io.FileUtils; import org.apache.commons.io.LineIterator; im...
Flex TXT文件导入
Flex TXT文件导入 2010年09月20日   在上一篇文章中,我们做了一个文件上传、导入组件,其实就是一个文件选择并上传的组件,该组件是基于Blazeds来实现的。本文利用该组件实现Flex客户端Txt文件的导入,并将导入的txt文本数据展现到Flex客户端的AdvancedDataGrid中,其它文件格式如excel等导入同理。   假设Txt文件内容如下,该文件没有抬头,...
.txt文件导入SQLserver?
如何实现以下功能?rn1.把.txt文件定时导入SQLserver一个表A中?rn2.把表A导入表B,但需要判断,是否中有某一纪录重复,如果重复,则不导入表B。rn3.清空表Arnrn是否job可以实现?具体步骤?
asp导入txt文件问题
用asp导入txt文件到服务器rn再用fso读出rn原有txt文件中文本格式为:rn1392323232rn1392323232rn1392323232rn1392323232rn每个手机一行rn这个换行要替换成逗号,是替换什么代码?rnrn即替换为1392323232,1392323232,1392323232,1392323232
txt文件的导入问题!
我从一个数据窗口dw_1导出一个txt文件a.txt.用的是saveas()函数。rn现在我要导入到数据窗口dw_1中,用的是importfile()函数。rn但是在导入的时候提示,item validation error on import.rn数据窗口是一个,但是为什么会出现这种情况呢?好象数据窗口不支持txt文件的导入,只支持dbf的写入和有分隔的txt文件。rn请问有什么好的处理办法吗?rn我想先把txt文件转化成dbf文件。但是在ole中不知道用哪个应用文件,notepad也不成功。excel用excel.exe,但是txt就不知道用什么程序了。
txt文件导入exel
1、打开txt文件,ctrl+A,ctrl+C,然后粘贴到exel中,如下图所示: 2、点击数据——分列——分隔符——并在其他处填入“”=“” 点击下一步,如下图所示: 3、然后即可得到分好列的数据。 ...
如何将txt文件导入数据库
求各位专家帮忙.让我可安心回家过年.rn将一个txt报文,一行行导入数据库中.应该怎么做.网上查了下.用fso应该可以做到.怎么编请指教 非常感谢.有实例吗?rn以下是报文格式,以"^" 分段:rn[color=#FF0000]ISA^00^ ^00^ ^ZZ^TRADIANT ^ZZ^CARRIERSENDERID^090105^1936^U^00401^015758190^1^P^>rnGS^RO^TRADIANT^CARRIERSENDERID^20090105^193634^15758190^X^004010rnST^300^0001rnB1^TRAD^15758190^20090105^NrnY7^^^^^20090124rnY1^20090112^^SCAC^O^^^^HHrnY2^4^R^HH^42GPrnN9^AG^15758190rnN9^BN^BOOKINGNUMBERrnN9^SI^PLI00349rnN9^FN^PLI00349rnN9^KL^SW1203rnN1^SH^TOSPO O/BrnN3^LEVEL 6, THREE PACIFIC PLACE 1^QUEEN'S ROAD EASTrnN4^DONGYANG^^200000^CNrnN1^CN^PHILIPS LIGHTING LAMPSrnN3^BRACKMILLS IND. ESTATE^GOWERTON ROAD,rnN4^NORTHAMPTON^^NN4 7BW^GBrnN1^R6^PHILIPS ELECTRONICS HK LTD^25^PHIL02^^ZZrnN3^LEVEL 6 THREE PACIFIC PLACE^1 QUEENS RD. EAST WANCHAIrnN4^HONG KONG^^HK-ZZZ^HKrnG61^RQ^CHERRY GUAN^TE^+86 21 24128807rnG61^RQ^CHERRY GUAN^EM^CHERRY@DHL.COMrnG61^RQ^CHERRY GUAN^FX^+86 21 54411115rnN1^CA^CARRIERrnG61^CA^ADMINrnR4^E^ZZ^GBSOU^SOUTHAMPTON^GBrnR4^L^ZZ^CNSHA^SHANGHAI^CNrnR4^D^ZZ^GBSOU^SOUTHAMPTON^GBrnLX^1rnL0^1^^^45948^G^184.8^X^84^PLT^^KrnL5^1^ENERGY SAVING LAMPSrnL1^1^^^99999^^^^^^^PrnV1^^APL RUSSIA^^004WrnSE^33^0001rnGE^1^15758190rnIEA^1^015758190[/color]
TXT文件导入MYSQL中
我想把我的txt或者ecxel文件在我的页面上通过按下导入键按钮后自动导入到我想要的数据库表中,如我的txt文件中只包含有电话号码,1:待导入的黑名单号码必须为txt扩展名的文本文件或Excel文件rn2:txt文件内容的格式必须为每行手机号码,行与行之间不能空格rn3:Excel文件内容的格式为所有黑名单号码必须在第一列显示rn4:导入的文件只覆盖原有的内容,不删除已有的内容rn我在后台代码中应该怎么写代码去解析每一行的手机号码?并将它插入数据库中,谢谢!
Txt文件怎么导入PB
我现在要做一个功能 就是要把数据框的数据以Execl TXT DBF的格式导出和导入操作.rn我使用导出的方法和导入的方法分别为GETFILESAVENAME和ImportFile()rnExecl和DBF都没问题 就TXT报错 错误为rnItem 'XXXXXXXXXX' does not pass validation testrnrnrn 我觉得TXT文件中字段没有Execl那种格式 所有我把所有字段合成一个 然后以逗号隔开导入rn 但是还是报这个错rnrn请问我该怎么解决?
导入txt文件到list怎么改?
[code=VB]ReDim a(List1.ListCount - 1) As String '定义变量a,用来存储listbox的listrnDim i As Integer, k As StringrnFor i = 0 To UBound(a)rna(i) = List1.List(i) '将list全部存储到a()中rnNext irnk = Join(a(), vbCrLf) '将a()的以回车为分隔符保存到k中rnOpen "e:\url.txt" For Output As #1rnPrint #1, krnClose #1 '输出k[/code]rnrnOpen 改成什么?
导入txt文件的内容
A.txt 里有rnrn@@_1 AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAArn BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBrn CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCrn@@_2 DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDrn EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEErn FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFrn@@_3 HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHrn IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIrn jjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjrn@@_4 SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSrn VVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVrnrn现在我只象导入:rn@@_3 HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHrn IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIrn jjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjrn里的内容rnrn帮助里只能导入整个文档rnrnDim text As String, fileNum As IntegerrnfileNum% = FreeFile()rnOpen "c:\A.txt" For Input As fileNum%rnDo While Not EOF(fileNum%)rn Line Input #1, text$ rn Print text$ ' Prints one line of config.sysrnLooprnClose fileNum%rnrn怎样才能只取出@@_3 的内容???rnrn
txt文件导入access出错
asp.net页面上有个BUTTON,单击后将指定的文本文件contacts.txt导入access中,但是出错了,帮忙看看函数哪里错了?rnrnprivate void Button1_Click(object sender, System.EventArgs e)rnrn string ConnStr="Provider=Microsoft.Jet.OLEDB.4.0;Data source="+Server.MapPath("test.mdb");rn OleDbConnection oleConnection = new OleDbConnection(ConnStr);rnrn oleConnection .Open();rn this.Label1.Text="连接状态:" + oleConnection.State; //监测rn string query="SELECT * INTO NewContact FROM [Text;HDR=Yes;DATABASE=D:\\project\\webexcel\\].Contacts#txt";rn IDbCommand idbCommand=oleConnection.CreateCommand();rn idbCommand.CommandText=query;rn idbCommand.ExecuteNonQuery();rn this.Label1.Text="操作成功";rn rnrnrn“/WebApplication1”应用程序中的服务器错误。rn--------------------------------------------------------------------------------rnrn在文本文件规范 'Contacts.txt' 中, Format 选项无效。 rn说明: 执行当前 Web 请求期间,出现未处理的异常。请检查堆栈跟踪信息,以了解有关该错误以及代码中导致错误的出处的详细信息。 rnrn异常详细信息: System.Data.OleDb.OleDbException: 在文本文件规范 'Contacts.txt' 中, Format 选项无效。rnrn源错误: rnrnrn行 84: IDbCommand idbCommand=oleConnection.CreateCommand();rn行 85: idbCommand.CommandText=query;rn行 86: idbCommand.ExecuteNonQuery();rn行 87: this.Label1.Text="操作成功";rn行 88: rn rnrn源文件: d:\project\webexcel\webaccess.aspx.cs 行: 86 rnrn堆栈跟踪: rnrnrn[OleDbException (0x80004005): 在文本文件规范 'Contacts.txt' 中, Format 选项无效。]rn System.Data.OleDb.OleDbCommand.ExecuteCommandTextErrorHandling(Int32 hr) +41rn System.Data.OleDb.OleDbCommand.ExecuteCommandTextForSingleResult(tagDBPARAMS dbParams, Object& executeResult) +174rn System.Data.OleDb.OleDbCommand.ExecuteCommandText(Object& executeResult) +92rn System.Data.OleDb.OleDbCommand.ExecuteCommand(CommandBehavior behavior, Object& executeResult) +65rn System.Data.OleDb.OleDbCommand.ExecuteReaderInternal(CommandBehavior behavior, String method) +112rn System.Data.OleDb.OleDbCommand.ExecuteNonQuery() +67rn WebApplication1.WebAccess.Button1_Click(Object sender, EventArgs e) in d:\project\webexcel\webaccess.aspx.cs:86rn System.Web.UI.WebControls.Button.OnClick(EventArgs e) +108rn System.Web.UI.WebControls.Button.System.Web.UI.IPostBackEventHandler.RaisePostBackEvent(String eventArgument) +57rn System.Web.UI.Page.RaisePostBackEvent(IPostBackEventHandler sourceControl, String eventArgument) +18rn System.Web.UI.Page.RaisePostBackEvent(NameValueCollection postData) +33rn System.Web.UI.Page.ProcessRequestMain() +1277rnrnrn其中contacts.txt内容如下:中间是空格rn姓名 单位 联系日期rn王海 上海有机化学研究所 2002-1-1rn罗炙 数字化机床研究院 2004-1-1rn rnschema.ini内容如下:rn[Contacts.txt]rnColNameHeader=Truernformat=Delimited(" ")rnMaxScanRows=0rnCharacterSet=ANSIrnCol1="姓名" Char Width 10rnCol2="单位" Char Width 9rnCol3="联系日期" Date Width 8rn
python导入处理txt文件
使用python对数据进行计算分析,数据文件一般需要进行导入并处理为可直接使用的格式。 打开: 使用python的内置函数open(),会创建一个file对象。使用该对象的方法可以对文件进行操作。  file_object = open(file_name) 例如 file_object = open('E:\pythonProject\datingTestSet.txt')
sqlload导入txt文件
1、创建表  create table dm_ip_class   (    ipstart             varchar2(50),        ipend               varchar2(50),        country             varchar2(50),        isp                 varchar2(100)
HBase导入TXT文件
1.文件导入HDFS 创建一个txt测试文件 (列与列之间用 ","分割) vi test.txt 将文件传入HDFS hadoop fs -put /user/training 查看目录下的文件 hadoop fs -ls /user/training 查看文件内容 hadoop fs -cat test.txt 2.在Hbase中新建表
MySQL中导入txt文件
1 txt文件导入步骤 1.1 表tt的格式: CREATE TABLE `tt` ( `ind` int NOT NULL auto_increment, `name` char(100) default NULL, PRIMARY KEY (`ind`) ) 1.2 文件d.txt的内容示例: 1,a 2,b 3,c 1.3 导入命令: mysql> lo
相关热词 c#检测非法字符 c#双屏截图 c#中怎么关闭线程 c# 显示服务器上的图片 api嵌入窗口 c# c# 控制网页 c# encrypt c#微信网页版登录 c# login 居中 c# 考试软件