lzo的VS工程编译出现snprintf宏重定义

我用cmake编译出lzo源码的vs工程文件,通过vs2015打开lzo.sin工程文件并生成,生成的时候报错:
C1189 #error: Macro definition of snprintf conflicts with Standard Library function declaration

错误文件显示是:C:\Program Files (x86)\Windows Kits\10\Include\10.0.10240.0\ucrt\stdio.h
我将个人文件里lzo-supp.h里的:
#define snprintf _snprintf
替换成为:

ifndef

define snprintf _snprintf

endif

但是文件依然报错,请问怎么处理?

1个回答

lzo没用过,但是作为一般的重定义的解决方法,参考:
http://blog.csdn.net/wcsgzc/article/details/54096791

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
LZO在VS中如何添加到现有的工程中?

从网上下载LZO源码后,怎么在VS中自己的C++工程中使用?网上的linux命令行方法我都看过了,源码里的说明我也看了,但是不知道该怎么做,请详细的说下。

交叉编译OPENVPN。编依赖库lzo时碰到的问题

交叉编译链:arm-。。。-linux-uclibceabi。碰到checking whether your compiler passes the LZO conformance test... FAILED问题。lzo版本2.10, 编译命令../configure --host=arm-dspg-linux-uclibceabi --prefix=/home/fanvil/dvf97/vcore/external/openVpn/lzo-2.10/linux/bin --enable-shared。 和CC没关系。

hive 里面不能split lzo的文件,这是怎么回事?

创建testlzo表 ``` CREATE external TABLE `testlzo`( xxxx) row format delimited fields terminated by '|' STORED AS INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat" OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat" LOCATION '/nginx/testlzo'; ``` 执行查询 ``` select count(*) from testlzo; ``` 没有建索引时 ``` $ hadoop fs -du -s -h /nginx/testlzo/* 427.8 M 1.3 G /nginx/testlzo/123.lzo Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1 1679356 ``` 建立索引 ``` hadoop jar hadoop/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /nginx/testlzo/123.lzo $ hadoop fs -du -s -h /nginx/testlzo/* 427.8 M 1.3 G /nginx/testlzo/123.lzo 32.0 K 96.0 K /nginx/testlzo/123.lzo.index Hadoop job information for Stage-1: number of mappers: 2; number of reducers: 1 1679759 ``` 可以看到 并没有hive 并没有split lzo文件,并且还把index文件算进去了,这是怎么回事? 并且,使用stream方式,是可以split的 ``` hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar wordcount -Dmapreduce.job.inputformat.class=com.hadoop.mapreduce.LzoTextInputFormat /nginx/testlzo/123.lzo /tmp/2019081401 执行这句的时候,可以看到split 4 ,确实是可以分割的,但是hive为什么没有分割了? hive的版本是2.3.5 ```

交叉编译如何输入命令

我有一个交叉编译链,我写了一个简单的helloword c程序,进行交叉编译。在bin目录下有个 mips-linux-g cc 这个 我敲入 [root@Master bin]# mips-linux-gcc -L/home/opt/toolchains/crosstools-mips-gcc-4.6-linux-3.4-uclibc-0.9.32-binu tils-2.21/usr/lib -c / home/opt/toolchains/hell.c 报错 /home/opt/toolchains/crosstools-mips-gcc-4.6-linux-3.4-uclibc-0.9.32-binutils-2.21/usr/bin/../libexec/gcc/mips-unknown-linux-uclibc/4.6.2/cc1: error while loading shared libraries: libmpc.so.2: cannot open shared object file: No such file oshared libraryq 其中libmpc.so.2我已经在上面指认路径的lib库里面了是不是我写的编译命令有问题啊,求解决

spark读取hdfs中lzo文件时hadoop版本冲突

各位大神跪求lzo-hadoop.jar支持hadoop-2.6版本的,或者是解决方法,本人想要用spark读取hdfs中*.lzo格式的压缩文件, 但是当前lzo-hadoop.jar包只支持hadoop-1.2.1,跪求解决办法!很急在线等!!!! 邮箱island_lonely@163.com

在PHP中解压缩LZO流

<div class="post-text" itemprop="text"> <p>I have a number of LZO-compressed log files on Amazon S3, which I want to read from PHP. The AWS SDK provides a nice <a href="http://blogs.aws.amazon.com/php/post/TxKV69TBGSONBU/Amazon-S3-PHP-Stream-Wrapper" rel="nofollow">StreamWrapper</a> for reading these files efficiently, but since the files are compressed, I need to decompress the content before I can process it.</p> <p>I have installed the <a href="https://github.com/adsr/php-lzo" rel="nofollow">PHP-LZO extension</a> which allows me to do <code>lzo_decompress($data)</code>, but since I'm dealing with a stream rather than the full file contents, I assume I'll need to consume the string one LZO compressed block at a time. In other words, I want to do something like:</p> <pre><code>$s3 = S3Client::factory( $myAwsCredentials ); $s3-&gt;registerStreamWrapper(); $stream = fopen("s3://my_bucket/my_logfile", 'r'); $compressed_data = ''; while (!feof($stream)) { $compressed_data .= fread($stream, 1024); // TODO: determine if we have a full LZO block yet if (contains_full_lzo_block($compressed_data)) { // TODO: extract the LZO block $lzo_block = get_lzo_block($compressed_data); $input = lzo_decompress( $lzo_block ); // ...... and do stuff to the decompressed input } } fclose($stream); </code></pre> <p>The two <code>TODO</code>s are where I'm unsure what to do:</p> <ol> <li>Inspecting the data stream to dtermine whether I have a full LZO block yet</li> <li>Extracting this block for decompression</li> </ol> <p>Since the compression was done by Amazon (s3distCp) I don't have control over the block size, so I'll probably need to inspect the incoming stream to determine how big the blocks are -- is this a correct assumption?</p> <p>(ideally, I'd use a custom StreamFilter directly on the stream, but I haven't been able to find anyone who has done that before)</p> </div>

arm交叉编译共享库的问题?

现在开发板上需要三个库,一个库的安装, 需要依赖于其他两个库,那这个库怎么进行交叉编译呢?这个库编译的时候肯定去/lib下找其他两个库,现在是编译arm的库,编译好的库肯定不在/lib下,请问这个问题怎么解决呢?就是怎么编译依赖其他库的这个库呢

使用LZO库解压时报错,读取位置时发生访问冲突

代码如下: #define IN_LEN (6400*1024L) FILE* fp2; FILE* fp3; errno_t err; //错误变量的定义 lzo_bytep in; lzo_bytep out1; lzo_uint out_len; lzo_uint file_len; lzo_uint new_len; err = fopen_s(&fp2, "文件1.txt", "r+");//打开欲解压的文件 if (err) { printf("打开原始文件失败! \n"); return 1; } //获取文件长度 long cur = ftell(fp2); fseek(fp2, 0L, SEEK_END); file_len = ftell(fp2); fseek(fp2, cur, SEEK_SET); //将文件读取到内存中 out1 = (lzo_bytep)malloc(file_len); int err1 = fread(out1, file_len, 1, fp2); if (err1 == file_len) { printf("读取%lu个字符", file_len); } else if (err1 == 0) printf("读到文件末尾或错误"); //开辟解压后的数据存放空间 in = (lzo_bytep)malloc(IN_LEN); //解压数据 int r = lzo1x_decompress(out1, out_len, in, &new_len, NULL); if (r == LZO_E_OK) { printf("解压成功:decompressed %lu bytes back into %lu bytes\n", (unsigned long)out_len, (unsigned long)new_len); char* uDestName = "解压后文件.txt"; //创建一个文件用来写入解压缩后的数据 err = fopen_s(&fp3, uDestName, "w+b"); if (err) { printf("解压缩文件创建失败! \n"); getchar(); return 1; } printf("写入数据... \n"); fwrite(in, new_len, 1, fp3); fclose(fp3); } else { // this should NEVER happen printf("解压失败:internal error - decompression failed: %d\n", r); getchar(); return 1; } lzo_free(in); printf("Simple compression test passed.\n"); getchar(); return 0; } 整个过程就是读取文件到内存,解压后再写入文件,但是怎么调试都会报:读取位置时发生访问冲突,请大神们帮忙看看到底哪里有问题。

.lzo_deflate文件解析,语言java,求代码

.lzo_deflate文件解析,语言java,求代码 从hdfs上读取,解析出来

用java读取hdfs的.lzo_deflate文件报错

linux环境没有问题,hadoop环境、配置也没有问题,并且通过hdoop fs -text 指令能正常打开该压缩文件。但是用java读取就报错了,请大神帮忙看看,谢谢 代码如下: public static void main(String[] args) { String uri = "/daas/****/MBLDPI3G.2016081823_10.1471532401822.lzo_deflate"; Configuration conf = new Configuration(); String path = "/software/servers/hadoop-2.6.3-bin/hadoop-2.6.3/etc/hadoop/"; conf.addResource(new Path(path + "core-site.xml")); conf.addResource(new Path(path + "hdfs-site.xml")); conf.addResource(new Path(path + "mapred-site.xml")); try { CompressionCodecFactory factory = new CompressionCodecFactory(conf); CompressionCodec codec = factory.getCodec(new Path(uri)); if (codec == null) { System.out.println("Codec for " + uri + " not found."); } else { CompressionInputStream in = null; try { in = codec.createInputStream(new java.io.FileInputStream(uri)); byte[] buffer = new byte[100]; int len = in.read(buffer); while (len > 0) { System.out.write(buffer, 0, len); len = in.read(buffer); } } finally { if (in != null) { in.close(); } } } } catch (Exception e) { e.printStackTrace(); } } 报错信息如下: log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.NativeCodeLoader). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. java.io.FileNotFoundException: /daas/***/MBLDPI3G.2016081823_10.1471532401822.lzo_deflate (没有那个文件或目录) at java.io.FileInputStream.open(Native Method) at java.io.FileInputStream.<init>(FileInputStream.java:146) at java.io.FileInputStream.<init>(FileInputStream.java:101) at FileDecompressor.main(FileDecompressor.java:53) 加载的jar包: <classpathentry kind="lib" path="lib/commons-cli-1.2.jar"/> <classpathentry kind="lib" path="lib/commons-collections-3.2.2.jar"/> <classpathentry kind="lib" path="lib/commons-configuration-1.6.jar"/> <classpathentry kind="lib" path="lib/commons-lang-2.6.jar"/> <classpathentry kind="lib" path="lib/commons-logging-1.1.3.jar"/> <classpathentry kind="lib" path="lib/guava-18.0.jar"/> <classpathentry kind="lib" path="lib/hadoop-auth-2.6.3.jar"/> <classpathentry kind="lib" path="lib/hadoop-common-2.6.3.jar"/> <classpathentry kind="lib" path="lib/hadoop-hdfs-2.6.3.jar"/> <classpathentry kind="lib" path="lib/htrace-core-3.0.4.jar"/> <classpathentry kind="lib" path="lib/log4j-1.2.17.jar"/> <classpathentry kind="lib" path="lib/protobuf-java-2.5.0.jar"/> <classpathentry kind="lib" path="lib/slf4j-api-1.7.5.jar"/> <classpathentry kind="lib" path="lib/slf4j-log4j12-1.7.5.jar"/> <classpathentry kind="lib" path="lib/hadoop-lzo-0.4.20.jar"/>

关于x264交叉编译(linux to windows)的库在vs2005中链接失败的问题

环境: centos mingw gcc版本: [root@localhost x264]# x86_64-w64-mingw32-gcc -v Using built-in specs. COLLECT_GCC=x86_64-w64-mingw32-gcc COLLECT_LTO_WRAPPER=/usr/libexec/gcc/x86_64-w64-mingw32/4.9.2/lto-wrapper Target: x86_64-w64-mingw32 Configured with: ../configure --prefix=/usr --bindir=/usr/bin --includedir=/usr/include --mandir=/usr/share/man --infodir=/usr/share/info --datadir=/usr/share --build=x86_64-redhat-linux-gnu --host=x86_64-redhat-linux-gnu --with-gnu-as --with-gnu-ld --verbose --without-newlib --disable-multilib --disable-plugin --with-system-zlib --disable-nls --without-included-gettext --disable-win32-registry --enable-languages=c,c++,objc,obj-c++,fortran --with-bugurl=http://bugzilla.redhat.com/bugzilla --enable-threads=posix --enable-libgomp --target=x86_64-w64-mingw32 --with-sysroot=/usr/x86_64-w64-mingw32/sys-root --with-gxx-include-dir=/usr/x86_64-w64-mingw32/sys-root/mingw/include/c++ Thread model: posix gcc version 4.9.2 20141030 (Fedora MinGW 4.9.2-1.el6) (GCC) 配置: ./configure \ --prefix=../windows/x86_64 \ --enable-static \ --enable-pic \ --host=x86_64-w64-mingw32 \ --cross-prefix=x86_64-w64-mingw32- 结果: 1、生成的x264.exe能正常在windows中运行; 2、生成的libx264.a在vs2005的工程中不能被正常链接!!! 测试程序: #include "stdafx.h" #include "stdint.h" #include "x264.h" int _tmain(int argc, _TCHAR* argv[]) { x264_param_t param; x264_encoder_open(&param); return 0; } 1>Linking... 1>VideoEncoder.obj : error LNK2019: unresolved external symbol _x264_encoder_open_148 referenced in function _wmain 1>F:\personal\sourcecode\VideoEncoder\Debug\VideoEncoder.exe : fatal error LNK1120: 1 unresolved externals 分析: dumpbin /ALL libx264.a > 1.txt String Table Size = 0x539 bytes COFF SYMBOL TABLE 000 00000000 DEBUG notype Filename | .file encoder.c 002 00000000 SECT1 notype () Static | x264_slice_header_init tag index 00000000 size 00000000 lines 00000000 next function 00000000 004 000002D0 SECT1 notype () Static | mbcmp_init 005 000007D0 SECT1 notype () Static | sprintf 006 00000800 SECT1 notype () Static | snprintf 007 00000820 SECT1 notype () Static | x264_fdec_filter_row 008 00000F00 SECT1 notype () Static | x264_set_aspect_ratio.isra.3 009 00001020 SECT1 notype () Static | x264_encoder_thread_init 00A 00001050 SECT1 notype () Static | x264_nal_end 00B 00001190 SECT1 notype () Static | x264_encoder_encapsulate_nals.constprop.13 00C 00001360 SECT1 notype () Static | x264_encoder_frame_end.part.7 00D 00002870 SECT1 notype () Static | x264_slice_write 00E 00001400 SECT7 notype Static | x264_ue_size_tab 00F 000013EC SECT7 notype Static | x264_mb_chroma_pred_mode_fix 010 00006470 SECT1 notype () Static | x264_slices_write 011 000066B0 SECT1 notype () External | x264_encoder_open_148 012 00000000 SECTB notype Static | .rdata$.refptr.x264_levels 发现libx264.a中是x264_encoder_open_148,而vs2005链接的时候寻找的是_x264_encoder_open_148,因此产生了链接问题。 经查资料,发现是因为msvc在链接c函数时都会加"_",而在linux中使用mingw编译的库却没有加"_", 在configure时增加--extra-cflags="-fleading-underscore": No working C compiler found. Makefile:3: config.mak: 没有那个文件或目录 cat: config.h: 没有那个文件或目录 有谁知道解决办法?不胜感激!

交叉编译openvpn时,执行./configure报错:configure: error: openssl check failed

下面是我执行的代码: ./configure --host=arm-fullhanv2-linux-uclibcgnueabi --prefix=/home/fanvil/share/dx_lib/openvpn/build/ --enable-lzo --disable-lzo-stub --enable-ssl --enable-crypto --disable-libpam --disable-plugin-auth-pam OPENSSL_CRYPTO_CFLAGS="-L/home/fanvil/share/dx_lib/openssl/openssl-1.0.2d" OPENSSL_SSL_CFLAGS="-L/home/fanvil/share/dx_lib/openssl/openssl-1.0.2d" 报错信息: configure: error: openssl check failed

求大神,bb_black 编译内核出错

/bin/sh: 1: lzop: not found make[2]: *** [arch/arm/boot/compressed/piggy.lzo] 错误 1 make[1]: *** [arch/arm/boot/compressed/vmlinux] 错误 2 make: *** [uImage] 错误 2 编译最后出现这些报错,求出错在哪?有没有好的解决方案

cmake编译报错,显示找不到VS

我装的VS015 Win64版,后安装cmake对LZO进行编译,发现cmake 运行后报错如下: CMake Error at CMakeLists.txt:51 (project): Generator Visual Studio 15 2017 Win64 could not find any instance of Visual Studio. Configuring incomplete, errors occurred! See also "E:/cmake\_test/CMakeFiles/CMakeOutput.log“ 求大神帮助!

编译arm内核是make出错

os@os-PC:~/fl2440/linux-2.6.12$ make s3c2410_defconfig make[1]: scripts/Makefile.build: 没有那个文件或目录 make[1]: *** 没有规则可制作目标“scripts/Makefile.build”。 停止。 make: *** [Makefile:386:scripts_basic] 错误 2 os@os-PC:~/fl2440/linux-2.6.12$ make menuconfig make[1]: scripts/Makefile.build: 没有那个文件或目录 make[1]: *** 没有规则可制作目标“scripts/Makefile.build”。 停止。 make: *** [Makefile:386:scripts_basic] 错误 2 386行代码: # =========================================================================== # Rules shared between *config targets and build targets # Basic helpers built in scripts/ .PHONY: scripts_basic scripts_basic: $(Q)$(MAKE) $(build)=scripts/basic .PHONY: outputmakefile make版本 os@os-PC:~/fl2440/linux-2.6.12$ make -v GNU Make 4.2.1 为 x86_64-pc-linux-gnu 编译 Copyright (C) 1988-2016 Free Software Foundation, Inc. 许可证:GPLv3+:GNU 通用公共许可证第 3 版 本软件是自由软件:您可以自由修改和重新发布它。 在法律允许的范围内没有其他保证。

在ubuntu下编译内核出错,请各位帮我看看,谢谢

root@kuangpan-virtual-machine:/sdk4300/MT7621/RT288x_SDK/source/linux-2.6.36.x# make CHK include/linux/version.h CHK include/generated/utsrelease.h CALL scripts/checksyscalls.sh CHK include/generated/compile.h GEN usr/initramfs_data.cpio.lzma /sdk4300/MT7621/RT288x_SDK/source/linux-2.6.36.x/scripts/gen_initramfs_list.sh: 行 300: /lzma_alone: 没有那个文件或目录 /sdk4300/MT7621/RT288x_SDK/source/linux-2.6.36.x/usr/Makefile:65: recipe for target 'usr/initramfs_data.cpio.lzma' failed make[1]: *** [usr/initramfs_data.cpio.lzma] Error 1 Makefile:893: recipe for target 'usr' failed make: *** [usr] Error 2 第300行 ![图片说明](https://img-ask.csdn.net/upload/201607/27/1469609313_843629.png) 第65行 ![图片说明](https://img-ask.csdn.net/upload/201607/27/1469609327_650489.png)

ffmpeg ubuntu(linux)下生成so问题

前面都是按照网上文章的教程一步步安装好了gcc cmake yasm,并配置好了jdk和ndk的环境变量。然后修改configure并创建build_android.sh。 执行./configure的时候,前面执行没问题,最后出现一句:WARNING: pkg-config not found, library detection may fail. 我不管,反正该生成的文件都生成了,继续执行./build_android.sh。 发现执行过程中没有error,但是有很多warning,都是提示方法弃用的。唯一不同的是不同目录不同文件的方法而已。 截取片段如下: In file included from fftools/ffprobe.c:31:0: ./libavformat/avformat.h:885:21: note: declared here AVCodecContext *codec; 等了很久。最后执行结尾是: ............. .............. INSTALL libavutil/timecode.h INSTALL libavutil/timestamp.h INSTALL libavutil/tree.h INSTALL libavutil/twofish.h INSTALL libavutil/version.h INSTALL libavutil/xtea.h INSTALL libavutil/tea.h INSTALL libavutil/tx.h INSTALL libavutil/lzo.h INSTALL libavutil/avconfig.h INSTALL libavutil/ffversion.h INSTALL libavutil/libavutil.pc 但最后发现当前目录(.build_android.sh所在目录)下没有生成android目录,于是查看确认了一下build_android.sh,目录输出设置是: .............................. export PREFIX=$(pwd)/android/$CPU export ADDI_CFLAGS="-marm" 求问一下,楚什么问题了? 补充:root用户下执行的,ffmpeg版本是4.2.2

Spark读取错误PrematureEOFfrominputStream

:主要问题java.io.EOFException: Premature EOF from inputStream 使用textFile或者newAPIHadoopFile都出现这个错误 写spark读取数据的时候一直报这个错误。 连count,repartition都过不去。数据读的比平常慢的多。 看数据文件,应该是很均匀的,应该不是数据倾斜的问题了吧。 下面是报错信息: ``` 16/09/15 23:27:57 ERROR yarn.ApplicationMaster: User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 41 in stage 0.0 failed 4 times, most recent failure: Lost task 41.3 in stage 0.0 (TID 5736, dn076179.heracles.sohuno.com): java.io.EOFException: Premature EOF from inputStream at com.hadoop.compression.lzo.LzopInputStream.readFully(LzopInputStream.java:75) at com.hadoop.compression.lzo.LzopInputStream.readHeader(LzopInputStream.java:114) at com.hadoop.compression.lzo.LzopInputStream.<init>(LzopInputStream.java:54) at com.hadoop.compression.lzo.LzopCodec.createInputStream(LzopCodec.java:83) at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.initialize(LineRecordReader.java:102) at org.apache.spark.rdd.NewHadoopRDD$$anon$1.<init>(NewHadoopRDD.scala:133) at org.apache.spark.rdd.NewHadoopRDD.compute(NewHadoopRDD.scala:104) at org.apache.spark.rdd.NewHadoopRDD.compute(NewHadoopRDD.scala:66) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:277) at org.apache.spark.rdd.RDD.iterator(RDD.scala:244) at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:35) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:277) at org.apache.spark.rdd.RDD.iterator(RDD.scala:244) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:70) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:41) at org.apache.spark.scheduler.Task.run(Task.scala:70) at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:744) Driver stacktrace: org.apache.spark.SparkException: Job aborted due to stage failure: Task 41 in stage 0.0 failed 4 times, most recent failure: Lost task 41.3 in stage 0.0 (TID 5736, dn076179.heracles.sohuno.com): java.io.EOFException: Premature EOF from inputStream at com.hadoop.compression.lzo.LzopInputStream.readFully(LzopInputStream.java:75) at com.hadoop.compression.lzo.LzopInputStream.readHeader(LzopInputStream.java:114) at com.hadoop.compression.lzo.LzopInputStream.<init>(LzopInputStream.java:54) at com.hadoop.compression.lzo.LzopCodec.createInputStream(LzopCodec.java:83) at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.initialize(LineRecordReader.java:102) at org.apache.spark.rdd.NewHadoopRDD$$anon$1.<init>(NewHadoopRDD.scala:133) at org.apache.spark.rdd.NewHadoopRDD.compute(NewHadoopRDD.scala:104) at org.apache.spark.rdd.NewHadoopRDD.compute(NewHadoopRDD.scala:66) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:277) at org.apache.spark.rdd.RDD.iterator(RDD.scala:244) at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:35) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:277) at org.apache.spark.rdd.RDD.iterator(RDD.scala:244) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:70) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:41) at org.apache.spark.scheduler.Task.run(Task.scala:70) at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:744) ```

linux执行source /etc/profile时出现如下情况

declare -x CLASSPATH=".:/usr/local/java/jdk1.8.0_191//lib/dt.jar:/usr/local/java/jdk1.8.0_191//lib/tools.jar:/usr/local/java/jdk1.8.0_191/jre//lib:.:/usr/local/java/jdk1.8.0_191//lib/dt.jar:/usr/local/java/jdk1.8.0_191//lib/tools.jar:/usr/local/java/jdk1.8.0_191/jre//lib:" declare -x DISPLAY="localhost:10.0" declare -x HADOOP_HOME="/usr/local/hadoop/hadoop-2.8.5/" declare -x HISTCONTROL="ignoredups" declare -x HISTSIZE="1000" declare -x HIVE_HOME="/usr/local/hive" declare -x HOME="/root" declare -x HOSTNAME="hadoop01" declare -x JAVA_HOME="/usr/local/java/jdk1.8.0_191/" declare -x JRE_HOME="/usr/local/java/jdk1.8.0_191/jre/" declare -x LANG="zh_CN.UTF-8" declare -x LESSOPEN="||/usr/bin/lesspipe.sh %s" declare -x LOGNAME="root" declare -x LS_COLORS="rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=01;05;37;41:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=01;36:*.au=01;36:*.flac=01;36:*.mid=01;36:*.midi=01;36:*.mka=01;36:*.mp3=01;36:*.mpc=01;36:*.ogg=01;36:*.ra=01;36:*.wav=01;36:*.axa=01;36:*.oga=01;36:*.spx=01;36:*.xspf=01;36:" declare -x MAIL="/var/spool/mail/root" declare -x OLDPWD="/root" declare -x PATH="/usr/local/hive/bin:/usr/local/hive/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/local/java/jdk1.8.0_191//bin:/usr/local/hadoop/hadoop-2.8.5//bin:/usr/local/hadoop/hadoop-2.8.5//sbin::/root/bin:/usr/local/java/jdk1.8.0_191//bin:/usr/local/java/jdk1.8.0_191/jre//bin:/usr/local/hadoop/hadoop-2.8.5//bin:/usr/local/hadoop/hadoop-2.8.5//sbin:" declare -x PWD="/usr/local/hadoop/hadoop-2.8.5" declare -x SELINUX_LEVEL_REQUESTED="" declare -x SELINUX_ROLE_REQUESTED="" declare -x SELINUX_USE_CURRENT_RANGE="" declare -x SHELL="/bin/bash" declare -x SHLVL="1" declare -x SSH_CLIENT="192.168.240.1 52834 22" declare -x SSH_CONNECTION="192.168.240.1 52834 192.168.240.131 22" declare -x SSH_TTY="/dev/pts/0" declare -x TERM="xterm" declare -x USER="root" declare -x XDG_DATA_DIRS="/root/.local/share/flatpak/exports/share:/var/lib/flatpak/exports/share:/usr/local/share:/usr/share" declare -x XDG_RUNTIME_DIR="/run/user/0" declare -x XDG_SESSION_ID="1"

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

CSDN:因博主近期注重写专栏文章(已超过150篇),订阅博主专栏人数在突增,近期很有可能提高专栏价格(已订阅的不受影响),提前声明,敬请理解!

CSDN:因博主近期注重写专栏文章(已超过150篇),订阅博主专栏人数在突增,近期很有可能提高专栏价格(已订阅的不受影响),提前声明,敬请理解! 目录 博客声明 大数据了解博主粉丝 博主的粉丝群体画像 粉丝群体性别比例、年龄分布 粉丝群体学历分布、职业分布、行业分布 国内、国外粉丝群体地域分布 博主的近期访问每日增量、粉丝每日增量 博客声明 因近期博主写专栏的文章越来越多,也越来越精细,逐步优化文章。因此,最近一段时间,订阅博主专栏的人数增长也非常快,并且专栏价

我说我不会算法,阿里把我挂了。

不说了,字节跳动也反手把我挂了。

培训班出来的人后来都怎么样了?(二)

接着上回说,培训班学习生涯结束了。后面每天就是无休止的背面试题,不是没有头脑的背,培训公司还是有方法的,现在回想当时背的面试题好像都用上了,也被问到了。回头找找面试题,当时都是打印下来天天看,天天背。 不理解呢也要背,面试造飞机,上班拧螺丝。班里的同学开始四处投简历面试了,很快就有面试成功的,刚开始一个,然后越来越多。不知道是什么原因,尝到胜利果实的童鞋,不满足于自己通过的公司,嫌薪水要少了,选择...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

工作八年,月薪60K,裸辞两个月,投简历投到怀疑人生!

近日,有网友在某职场社交平台吐槽,自己裸辞两个月了,但是找工作却让自己的心态都要崩溃了,全部无果,不是已查看无回音,就是已查看不符合。 “工作八年,两年一跳,裸辞两个月了,之前月薪60K,最近找工作找的心态崩了!所有招聘工具都用了,全部无果,不是已查看无回音,就是已查看不符合。进头条,滴滴之类的大厂很难吗???!!!投简历投的开始怀疑人生了!希望 可以收到大厂offer” 先来看看网...

97年世界黑客编程大赛冠军作品(大小仅为16KB),惊艳世界的编程巨作

这是世界编程大赛第一名作品(97年Mekka ’97 4K Intro比赛)汇编语言所写。 整个文件只有4095个字节, 大小仅仅为16KB! 不仅实现了3D动画的效果!还有一段震撼人心的背景音乐!!! 内容无法以言语形容,实在太强大! 下面是代码,具体操作看最后! @echo off more +1 %~s0|debug e100 33 f6 bf 0 20 b5 10 f3 a5...

不要再到处使用 === 了

我们知道现在的开发人员都使用 === 来代替 ==,为什么呢?我在网上看到的大多数教程都认为,要预测 JavaScript 强制转换是如何工作这太复杂了,因此建议总是使用===。这些都...

什么是a站、b站、c站、d站、e站、f站、g站、h站、i站、j站、k站、l站、m站、n站?00后的世界我不懂!

A站 AcFun弹幕视频网,简称“A站”,成立于2007年6月,取意于Anime Comic Fun,是中国大陆第一家弹幕视频网站。A站以视频为载体,逐步发展出基于原生内容二次创作的完整生态,拥有高质量互动弹幕,是中国弹幕文化的发源地;拥有大量超粘性的用户群体,产生输出了金坷垃、鬼畜全明星、我的滑板鞋、小苹果等大量网络流行文化,也是中国二次元文化的发源地。 B站 全称“哔哩哔哩(bilibili...

终于,月薪过5万了!

来看几个问题想不想月薪超过5万?想不想进入公司架构组?想不想成为项目组的负责人?想不想成为spring的高手,超越99%的对手?那么本文内容是你必须要掌握的。本文主要详解bean的生命...

MySQL性能优化(五):为什么查询速度这么慢

前期回顾: MySQL性能优化(一):MySQL架构与核心问题 MySQL性能优化(二):选择优化的数据类型 MySQL性能优化(三):深入理解索引的这点事 MySQL性能优化(四):如何高效正确的使用索引 前面章节我们介绍了如何选择优化的数据类型、如何高效的使用索引,这些对于高性能的MySQL来说是必不可少的。但这些还完全不够,还需要合理的设计查询。如果查询写的很糟糕,即使表结构再合理、索引再...

用了这个 IDE 插件,5分钟解决前后端联调!

点击上方蓝色“程序猿DD”,选择“设为星标”回复“资源”获取独家整理的学习资料!作者 |李海庆我是一个 Web 开发前端工程师,受到疫情影响,今天是我在家办公的第78天。开发了两周,...

大厂的 404 页面都长啥样?最后一个笑了...

每天浏览各大网站,难免会碰到404页面啊。你注意过404页面么?猿妹搜罗来了下面这些知名网站的404页面,以供大家欣赏,看看哪个网站更有创意: 正在上传…重新上传取消 腾讯 正在上传…重新上传取消 网易 淘宝 百度 新浪微博 正在上传…重新上传取消 新浪 京东 优酷 腾讯视频 搜...

【高并发】高并发秒杀系统架构解密,不是所有的秒杀都是秒杀!

网上很多的文章和帖子中在介绍秒杀系统时,说是在下单时使用异步削峰来进行一些限流操作,那都是在扯淡! 因为下单操作在整个秒杀系统的流程中属于比较靠后的操作了,限流操作一定要前置处理,在秒杀业务后面的流程中做限流操作是没啥卵用的。

自从喜欢上了B站这12个UP主,我越来越觉得自己是个废柴了!

不怕告诉你,我自从喜欢上了这12个UP主,哔哩哔哩成为了我手机上最耗电的软件,几乎每天都会看,可是吧,看的越多,我就越觉得自己是个废柴,唉,老天不公啊,不信你看看…… 间接性踌躇满志,持续性混吃等死,都是因为你们……但是,自己的学习力在慢慢变强,这是不容忽视的,推荐给你们! 都说B站是个宝,可是有人不会挖啊,没事,今天咱挖好的送你一箩筐,首先啊,我在B站上最喜欢看这个家伙的视频了,为啥 ,咱撇...

代码注释如此沙雕,会玩还是你们程序员!

某站后端代码被“开源”,同时刷遍全网的,还有代码里的那些神注释。 我们这才知道,原来程序员个个都是段子手;这么多年来,我们也走过了他们的无数套路… 首先,产品经理,是永远永远吐槽不完的!网友的评论也非常扎心,说看这些代码就像在阅读程序员的日记,每一页都写满了对产品经理的恨。 然后,也要发出直击灵魂的质问:你是尊贵的付费大会员吗? 这不禁让人想起之前某音乐app的穷逼Vip,果然,穷逼在哪里都是...

Java14 新特性解读

Java14 已于 2020 年 3 月 17 号发布,官方特性解读在这里:https://openjdk.java.net/projects/jdk/14/以下是个人对于特性的中文式...

爬虫(101)爬点重口味的

小弟最近在学校无聊的很哪,浏览网页突然看到一张图片,都快流鼻血。。。然后小弟冥思苦想,得干一点有趣的事情python 爬虫库安装https://s.taobao.com/api?_ks...

疫情后北上广深租房价格跌了吗? | Alfred数据室

去年3月份我们发布了《北上广深租房图鉴》(点击阅读),细数了北上广深租房的各种因素对租房价格的影响。一年过去了,在面临新冠疫情的后续影响、城市尚未完全恢复正常运转、学校还没开学等情况下...

面试官给我挖坑:a[i][j] 和 a[j][i] 有什么区别?

点击上方“朱小厮的博客”,选择“设为星标”后台回复&#34;1024&#34;领取公众号专属资料本文以一个简单的程序开头——数组赋值:int LEN = 10000; int[][] ...

又一起程序员被抓事件

就在昨天互联网又发生一起让人心酸的程序员犯罪事件,著名的百度不限速下载软件 Pandownload PC 版作者被警方抓获。案件大致是这样的:软件的作者不仅非法盗取用户数据,还在QQ群进...

应聘3万的职位,有必要这么刁难我么。。。沙雕。。。

又一次被面试官带到坑里面了。面试官:springmvc用过么?我:用过啊,经常用呢面试官:springmvc中为什么需要用父子容器?我:嗯。。。没听明白你说的什么。面试官:就是contr...

太狠了,疫情期间面试,一个问题砍了我5000!

疫情期间找工作确实有点难度,想拿到满意的薪资,确实要点实力啊!面试官:Spring中的@Value用过么,介绍一下我:@Value可以标注在字段上面,可以将外部配置文件中的数据,比如可以...

Intellij IDEA 美化指南

经常有人问我,你的 IDEA 配色哪里搞的,我会告诉他我自己改的。作为生产力工具,不但要顺手而且更要顺眼。这样才能快乐编码,甚至降低 BUG 率。上次分享了一些 IDEA 有用的插件,反...

【相亲】96年程序员小哥第一次相亲,还没开始就结束了

颜值有点高,条件有点好

太厉害了,终于有人能把TCP/IP 协议讲的明明白白了

一图看完本文 一、 计算机网络体系结构分层 计算机网络体系结构分层 计算机网络体系结构分层 不难看出,TCP/IP 与 OSI 在分层模块上稍有区别。OSI 参考模型注重“通信协议必要的功能是什么”,而 TCP/IP 则更强调“在计算机上实现协议应该开发哪种程序”。 二、 TCP/IP 基础 1. TCP/IP 的具体含义 从字面意义上讲,有人可能会认为...

腾讯面试题: 百度搜索为什么那么快?

我还记得去年面腾讯时,面试官最后一个问题是:百度/google的搜索为什么那么快? 这个问题我懵了,我从来没想过,搜素引擎的原理是什么 然后我回答:百度爬取了各个网站的信息,然后进行排序,当输入关键词的时候进行文档比对……巴拉巴拉 面试官:这不是我想要的答案 我内心 这个问题我一直耿耿于怀,终于今天,我把他写出来,以后再问,我直接把这篇文章甩给他!!! 两个字:倒排,将贯穿整篇文章,也是面试官...

相关热词 c# 开发接口 c# 中方法上面的限制 c# java 时间戳 c#单元测试入门 c# 数组转化成文本 c#实体类主外键关系设置 c# 子函数 局部 c#窗口位置设置 c# list 查询 c# 事件 执行顺序
立即提问
相关内容推荐