Presto调用Hive启动时显示报错/usr/bin/env: 'python': No such file or directory

Presto的配置如下:

节点属性:node.properties

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/var/presto/data

配置属性:config.properties

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=5GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://hadoop1:8080

JVM Config

-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

连接Hive的配置

connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadoop1:9083
hive.config.resources=/usr/local/hadoop/etc/hadoop/core-site.xml,/usr/local/hadoop/etc/hadoop/hdfs-site.xml

以上就是在presto的所有配置
启动时就显示报错

root@hadoop1:/usr/local/presto-server-0.225# bin/launcher start
/usr/bin/env: 'python': No such file or directory

但是我的系统是有python的

root@hadoop1:# python3  -V
Python 3.6.8

请问,这个如何解决
新手求教,求助各位大佬们,拜托了。

2个回答

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hive能查到数据,但是presto查询时报错

在hive中查询时可以查到数据,没有问题,但是用presto查询时会报错: ``` java.lang.IllegalArgumentException: Unsupported encoding timestamp ``` 具体的错误信息如下: ```SQL 错误 [16777217]: Query failed (#20190723_075844_00196_8ifu8): Failed to read ORC file: hdfs://hexindai-bj-dfgc-233:8020/warehouse/tablespace/managed/hive/ti_car.db/ti_car_evt_rea_da_contractinfo/bdw_statis_year=2019/bdw_statis_month=07/bdw_statis_day=21/ContractInfo__a6b98c8c_253b_4bf2_9ffc_c425e9a7389f Query failed (#20190723_075844_00196_8ifu8): Failed to read ORC file: hdfs://hexindai-bj-dfgc-233:8020/warehouse/tablespace/managed/hive/ti_car.db/ti_car_evt_rea_da_contractinfo/bdw_statis_year=2019/bdw_statis_month=07/bdw_statis_day=21/ContractInfo__a6b98c8c_253b_4bf2_9ffc_c425e9a7389f Query failed (#20190723_075844_00196_8ifu8): Failed to read ORC file: hdfs://hexindai-bj-dfgc-233:8020/warehouse/tablespace/managed/hive/ti_car.db/ti_car_evt_rea_da_contractinfo/bdw_statis_year=2019/bdw_statis_month=07/bdw_statis_day=21/ContractInfo__a6b98c8c_253b_4bf2_9ffc_c425e9a7389f com.facebook.presto.spi.PrestoException: Failed to read ORC file: hdfs://hexindai-bj-dfgc-233:8020/warehouse/tablespace/managed/hive/ti_car.db/ti_car_evt_rea_da_contractinfo/bdw_statis_year=2019/bdw_statis_month=07/bdw_statis_day=21/ContractInfo__a6b98c8c_253b_4bf2_9ffc_c425e9a7389f Failed to read ORC file: hdfs://hexindai-bj-dfgc-233:8020/warehouse/tablespace/managed/hive/ti_car.db/ti_car_evt_rea_da_contractinfo/bdw_statis_year=2019/bdw_statis_month=07/bdw_statis_day=21/ContractInfo__a6b98c8c_253b_4bf2_9ffc_c425e9a7389f java.lang.IllegalArgumentException: Unsupported encoding timestamp Unsupported encoding timestamp ``` 还有这个错误: ``` SQL 错误 [65536]: Query failed (#20190723_075845_00197_8ifu8): outputFormat should not be accessed from a null StorageFormat ``` 具体如下: ``` org.jkiss.dbeaver.DBException: SQL 错误 [65536]: Query failed (#20190723_075845_00197_8ifu8): outputFormat should not be accessed from a null StorageFormat at org.jkiss.dbeaver.model.impl.jdbc.cache.JDBCStructCache.loadChildren(JDBCStructCache.java:176) at org.jkiss.dbeaver.model.impl.jdbc.cache.JDBCStructCache.getChild(JDBCStructCache.java:230) at org.jkiss.dbeaver.ext.generic.model.GenericTable.getAttribute(GenericTable.java:164) at org.jkiss.dbeaver.ext.generic.model.GenericTable.getAttribute(GenericTable.java:1) at org.jkiss.dbeaver.ui.controls.resultset.ResultSetUtils.bindAttributes(ResultSetUtils.java:161) at org.jkiss.dbeaver.ui.controls.resultset.ResultSetDataReceiver.fetchEnd(ResultSetDataReceiver.java:159) at org.jkiss.dbeaver.model.impl.jdbc.struct.JDBCTable.readData(JDBCTable.java:222) at org.jkiss.dbeaver.ui.controls.resultset.ResultSetJobDataRead.lambda$0(ResultSetJobDataRead.java:93) at org.jkiss.dbeaver.model.DBUtils.tryExecuteRecover(DBUtils.java:1553) at org.jkiss.dbeaver.ui.controls.resultset.ResultSetJobDataRead.run(ResultSetJobDataRead.java:91) at org.jkiss.dbeaver.model.runtime.AbstractJob.run(AbstractJob.java:95) at org.eclipse.core.internal.jobs.Worker.run(Worker.java:60) Caused by: java.sql.SQLException: Query failed (#20190723_075845_00197_8ifu8): outputFormat should not be accessed from a null StorageFormat at com.facebook.presto.jdbc.PrestoResultSet.resultsException(PrestoResultSet.java:1840) at com.facebook.presto.jdbc.PrestoResultSet$ResultsPageIterator.computeNext(PrestoResultSet.java:1820) at com.facebook.presto.jdbc.PrestoResultSet$ResultsPageIterator.computeNext(PrestoResultSet.java:1759) at com.facebook.presto.jdbc.internal.guava.collect.AbstractIterator.tryToComputeNext(AbstractIterator.java:141) at com.facebook.presto.jdbc.internal.guava.collect.AbstractIterator.hasNext(AbstractIterator.java:136) at com.facebook.presto.jdbc.internal.guava.collect.TransformedIterator.hasNext(TransformedIterator.java:42) at com.facebook.presto.jdbc.internal.guava.collect.Iterators$ConcatenatedIterator.getTopMetaIterator(Iterators.java:1319) at com.facebook.presto.jdbc.internal.guava.collect.Iterators$ConcatenatedIterator.hasNext(Iterators.java:1335) at com.facebook.presto.jdbc.PrestoResultSet.next(PrestoResultSet.java:144) at org.jkiss.dbeaver.model.impl.jdbc.exec.JDBCResultSetImpl.next(JDBCResultSetImpl.java:284) at org.jkiss.dbeaver.model.impl.jdbc.cache.JDBCStructCache.loadChildren(JDBCStructCache.java:102) ... 11 more Caused by: java.lang.IllegalStateException: outputFormat should not be accessed from a null StorageFormat at com.facebook.presto.hive.metastore.StorageFormat.getOutputFormat(StorageFormat.java:62) at com.facebook.presto.hive.HiveMetadata.extractHiveStorageFormat(HiveMetadata.java:2214) at com.facebook.presto.hive.HiveMetadata.getTableMetadata(HiveMetadata.java:459) at com.facebook.presto.hive.HiveMetadata.listTableColumns(HiveMetadata.java:564) at com.facebook.presto.spi.connector.classloader.ClassLoaderSafeConnectorMetadata.listTableColumns(ClassLoaderSafeConnectorMetadata.java:262) at com.facebook.presto.metadata.MetadataManager.listTableColumns(MetadataManager.java:556) at com.facebook.presto.metadata.MetadataListing.listTableColumns(MetadataListing.java:93) at com.facebook.presto.connector.system.jdbc.ColumnJdbcTable.cursor(ColumnJdbcTable.java:126) at com.facebook.presto.connector.system.SystemPageSourceProvider$1.cursor(SystemPageSourceProvider.java:124) at com.facebook.presto.split.MappedRecordSet.cursor(MappedRecordSet.java:53) at com.facebook.presto.spi.RecordPageSource.<init>(RecordPageSource.java:37) at com.facebook.presto.connector.system.SystemPageSourceProvider.createPageSource(SystemPageSourceProvider.java:103) at com.facebook.presto.split.PageSourceManager.createPageSource(PageSourceManager.java:56) at com.facebook.presto.operator.ScanFilterAndProjectOperator.getOutput(ScanFilterAndProjectOperator.java:221) at com.facebook.presto.operator.Driver.processInternal(Driver.java:379) at com.facebook.presto.operator.Driver.lambda$processFor$8(Driver.java:283) at com.facebook.presto.operator.Driver.tryWithLock(Driver.java:675) at com.facebook.presto.operator.Driver.processFor(Driver.java:276) at com.facebook.presto.execution.SqlTaskExecution$DriverSplitRunner.processFor(SqlTaskExecution.java:1077) at com.facebook.presto.execution.executor.PrioritizedSplitRunner.process(PrioritizedSplitRunner.java:162) at com.facebook.presto.execution.executor.TaskExecutor$TaskRunner.run(TaskExecutor.java:483) at com.facebook.presto.$gen.Presto_0_221____20190620_074001_1.run(Unknown Source) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) ``` 找了好久没找到原因,在这里求助大家!

presto查询es报错:NoNodeAvailableException

![图片说明](https://img-ask.csdn.net/upload/202002/17/1581944246_377375.png) use catalog 或者 show schemas 什么都是正常的. 但是 select 查询具体表的时候就会报这个错..求教是什么原因. 配置文件也试着改了好几次,以后可能会使用java 配置如下(其余配置如官网,如有怀疑请提问),拜谢各位: ![图片说明](https://img-ask.csdn.net/upload/202002/17/1581950758_684158.png)![图片说明](https://img-ask.csdn.net/upload/202002/17/1581950767_293136.png)

presto集群连接其他集群的hive和hdfs问题

我现在有一个presto集群.和一个hive集群. 在我的presto集群的/etc/hosts中 没有hive集群的ip与主机名映射,只有presto集群自己的映射 比如说我的presto集群的hosts文件是 * 192.168.1.1 presto1 * 192.168.1.2 presto2 * 192.168.1.3 presto3 hive集群的hosts文件是 * 190.192.1.1 hive1 * 190.192.1.2 hive2 * 190.192.1.3 hive3 元数据服务是在hive3 我presto配置的hive.metastore.uri=thrift//hive3:9083 (190.192.1.3:9083)也试过. 报以下错误: ![图片说明](https://img-ask.csdn.net/upload/202002/23/1582459307_296226.jpg) 个人感觉应该是没有映射. 所以是unknowhost.. 请问.能让presto集群 识别 hive集群的主机名呢?

linux yum源问题 急求

[root@web01 yum.repos.d]# yum -y update Loaded plugins: fastestmirror, security Setting up Update Process Error: File contains no section headers. file: file:///etc/yum.repos.d/epel.repo, line: 1 '--2018-03-12 19:30:42-- http://mirrors.aliyun.com/repo/epel-6.repo\n' 一直出现这个,怎么解决?

Linux下 yum报错 [Errno 14] HTTP Error 404 - Not Found

有哪位大神出面帮我解决一下此问题,centos在使用yum下载安装软件的时候老是报如下错误: [root@localhost yum.repos.d]# yum install ** 已加载插件:fastestmirror, langpacks, presto, refresh-packagekit Unable to send message to PackageKit Repository updates is listed more than once in the configuration Repository updates-debuginfo is listed more than once in the configuration Repository updates-source is listed more than once in the configuration Repository fedora is listed more than once in the configuration Repository fedora-debuginfo is listed more than once in the configuration Repository fedora-source is listed more than once in the configuration http://mirrors.sohu.com/fedora/releases/%24releasever/Everything/i386/os/repodata/repomd.xml: [Errno 14] HTTP Error 404 - Not Found : http://mirrors.sohu.com/fedora/releases/$releasever/Everything/i386/os/repodata/repomd.xml 尝试其他镜像。 错误:failure: repodata/repomd.xml from fedora: [Errno 256] No more mirrors to try. http://mirrors.sohu.com/fedora/releases/$releasever/Everything/i386/os/repodata/repomd.xml: [Errno 14] HTTP Error 404 - Not Found : http://mirrors.sohu.com/fedora/releases/$releasever/Everything/i386/os/repodata/repomd.xml

关于hive的时间转换问题

请问各位大神,能不能用hive的时间戳把 201704271211 这个日期换成 2017-04-27 12:11 这样的函数呢,应该怎么转换?还请各位大神赐教~~

Hive错误: Unrecognized Hadoop major version number: 3.2.0

我在学习hadoop的过程中,在虚拟机中下载hive,之后将mysql-connector-java-5.1.46-bin.jar拷贝到hive/lib目录下,但是启动hive的时候,出现以下错误,有没有大神知道怎么解决。(我是在启动hadoop之后启动hive)![图片说明](https://img-ask.csdn.net/upload/201906/07/1559909793_711470.png)

impala读取hive元数据问题

hive可以正常使用,切换成impal时可以读取到hive库表元数据,单数读取不到标的字段信息,查询时就报错![图片说明](https://img-ask.csdn.net/upload/201808/06/1533552128_262405.png) 请教各位大神,又遇到过类似问题么?

在使用SQLAlchemy调用mysql数据库时报错

此报错的环境为:Python3.6.6 pychar2018.2 在pychar中编写的书程序如下: from flask_sqlalchemy import SQLAlchemy from flaskapp import app app.config['SQLALCHEMY_DATABASE_URI'] = 'mysql+pymsql://root:111111@127.0.0.1:3306/test' app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = True db = SQLAlchemy(app) class Role(db.Model): __tablename__ ='roles' id = db.Column(db.Integer,primary_key=True,autoincrement=True,nullable=False) name = db.Column(db.String(32),unique=True,nullable=False) if __name__ == '__main__': #创建一个roles表 db.create_all() 但是在运行后报的错误为:sqlalchemy.exc.NoSuchModuleError: Can't load plugin: sqlalchemy.dialects:mysql.pymsql 在网上查询相关错误解决方法后,表示没有安装mysql驱动,但是有的帖子说在Python2.7后不用mysql-python。这个环境中已经安装了pymysql。 但是在安装mysql-Python时报如下错误: ![图片说明](https://img-ask.csdn.net/upload/201812/13/1544702998_868666.jpg) 请问各位大声该如何结局,谢谢! 如能解决我会多付80c币

关于Linux6 系统dvd加载yum源问题,加载不起

我按照网上说明,先把硬盘挂在mnt/cdrom下: .repos.d 文件配置如下: [local] name=local_yum baseurl=file:///mnt/cdrom/Server enabled=1 gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-releas 执行结果: [root@Lu]# yum update Loaded plugins: aliases, changelog, downloadonly, kabi, presto, product-id, refresh-packagekit, security, : subscription-manager, tmprepo, verify, versionlock This system is not registered to Red Hat Subscription Management. You can use subscription-manager to register. Loading support for Red Hat kernel ABI local | 3.9 kB 00:00 ... local/primary_db | 3.1 MB 00:00 ... Setting up Update Process No Packages marked for Update 请问下为什么 No Packages ........ 的啊 请问我们哪里错了?

Cloudera Impala & Facebook Presto & Hive

Hive将SQL语言映射为MapReduce进而实现查询,但往往相应较慢,在实时性上有欠缺。而Cloudera公司的Impala和Facebook提出的Presto同样支持SQL语言,但都没有使用MapReduce框架,查询的实时性很好。 我想请问一下Impala和Presto工作的具体原理是什么?

Fedora下的yum数据源问题

oot@localhost yum.repos.d]# ls fedora-163.repo 之前的数据源我也换成了163的数据源了 如今出现这个问题: [root@localhost yum.repos.d]# yum update Loaded plugins: langpacks, presto, refresh-packagekit fedora/18/i386/metalink | 34 kB 00:02 **Could not parse metalink https://mirrors.fedoraproject.org/metalink?repo=fedora-18&arch=i386 error was No repomd file Error: File /var/cache/yum/fedora/metalink.xml does not exist** 求大神给个解决方案 谢谢 百度的一些相关信息我也看了 没有作用 求解决方案

presto连接es.select表的时候报错?

![图片说明](https://img-ask.csdn.net/upload/202002/24/1582558176_611493.png) select * 查询表的时候就报这个错.. 不知道是因为es账号密码 还是什么原因 因为不懂es 请问需要添加什么参数吗??

Memcached客户端报错:您的主机中的软件中止了一个已建立的连接。

[单点登陆系统 2015-11-23 17:45:08]: [ERROR] - ++++ exception thrown while writing bytes to server on set [单点登陆系统 2015-11-23 17:45:08]: [ERROR] - 您的主机中的软件中止了一个已建立的连接。 java.io.IOException: 您的主机中的软件中止了一个已建立的连接。 at sun.nio.ch.SocketDispatcher.read0(Native Method) at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:25) at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:233) at sun.nio.ch.IOUtil.read(IOUtil.java:206) at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:236) at sun.nio.ch.SocketAdaptor$SocketInputStream.read(SocketAdaptor.java:184) at sun.nio.ch.ChannelInputStream.read(ChannelInputStream.java:86) at java.io.DataInputStream.read(DataInputStream.java:132) at com.alisoft.xplatform.asf.cache.memcached.client.SockIOPool$SockIO.readLine(SockIOPool.java:2469) at com.alisoft.xplatform.asf.cache.memcached.client.MemCachedClient.set(MemCachedClient.java:839) at com.alisoft.xplatform.asf.cache.memcached.client.MemCachedClient.add(MemCachedClient.java:585) at com.alisoft.xplatform.asf.cache.memcached.MemcachedCache.add(MemcachedCache.java:887) at com.ysx.wacc.sso.util.CookieUtil.addMemeberinfoBeanCookie(CookieUtil.java:85) at com.ysx.wacc.sso.controller.LoginController.loginIn(LoginController.java:169) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.springframework.web.bind.annotation.support.HandlerMethodInvoker.invokeHandlerMethod(HandlerMethodInvoker.java:176) at org.springframework.web.servlet.mvc.annotation.AnnotationMethodHandlerAdapter.invokeHandlerMethod(AnnotationMethodHandlerAdapter.java:436) at org.springframework.web.servlet.mvc.annotation.AnnotationMethodHandlerAdapter.handle(AnnotationMethodHandlerAdapter.java:424) at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:900) at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:827) at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:882) at org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:778) at javax.servlet.http.HttpServlet.service(HttpServlet.java:624) at javax.servlet.http.HttpServlet.service(HttpServlet.java:731) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:303) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:88) at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:76) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) at net.bull.javamelody.MonitoringFilter.doFilter(MonitoringFilter.java:198) at net.bull.javamelody.MonitoringFilter.doFilter(MonitoringFilter.java:176) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) at com.alibaba.druid.support.http.WebStatFilter.doFilter(WebStatFilter.java:123) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) at com.ysx.wacc.sso.filter.LoginFilter.doFilter(LoginFilter.java:39) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:220) at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:122) at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:505) at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:170) at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:103) at org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:956) at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:116) at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:423) at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1079) at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:625) at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1757) at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.run(NioEndpoint.java:1716) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908) at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61) at java.lang.Thread.run(Thread.java:619) # memcached客户端用的alisoft-xplatform-asf-cache-2.5.1.jar 服务刚启动时memcached存取都正常,停一段时间不操作,再去进行存取操作时就报错 [DEBUG] - +++ ending self maintenance. [单点登陆系统 2015-11-23 17:44:56]: [DEBUG] - ++++ Starting self maintenance.... [单点登陆系统 2015-11-23 17:44:56]: [DEBUG] - ++++ Size of avail pool for host (*****:10293) = 5 [单点登陆系统 2015-11-23 17:44:56]: [DEBUG] - ++++ Size of avail pool for host (*****:10293) = 5 [单点登陆系统 2015-11-23 17:44:56]: [DEBUG] - +++ ending self maintenance. [单点登陆系统 2015-11-23 17:45:04]: [ERROR] - ErrorOnSet, cacheKey: 31082003d2584f0c97f1ac2814271452 java.io.IOException: 您的主机中的软件中止了一个已建立的连接。

hive 如何判断字段名是否存在,或者字段总数?

hive中如何判断字段名是否存在,或者字段总数为多少? 如果不能回答,下面的问题场景有好的解决方案也可以采纳 问题场景: 目前问题是这样的:公司hive库需要新增一个字段,但是数据部的同事为了保证hive代码在公司新增数据字段后仍能正常运行不会报错,需要自动判断是否添加了新字段(或者是判断字段数目为x or x+1),这样就能用if执行2个逻辑。 为什么我们不直接创建一个新表呢? 因为要保证数据连续性,不能在某天中断了(跑一次全量表数据公司服务器要跑一个月,历史数据非常庞大)

请教为什么我的JVM启动时不能设置-XX:-HeapDumpOnOutOfMemoryError

请教为什么我的JVM启动时不能设置-XX:-HeapDumpOnOutOfMemoryError,当我在ECLIPSE的VM参数中加入-XX:-HeapDumpOnOutOfMemoryError时,提示Unrecognized VM option '-HeapDumpOnOutOfMemoryError'.我的JVM是1.5版本,系统有内存泄露还是得到outofmemory时候的.hprof 文件.我应该怎么设置vm参数? [b]问题补充:[/b] 1.5是没有支持-XX:-HeapDumpOnOutOfMemoryError,但是还是有办法可以得到.hprof文件的.通过-Xrunhprof配置即可得到

如何读取ORC文件元数据?

<div class="post-text" itemprop="text"> <p>I am trying to read an ORC file using the Go <a href="https://github.com/scritchley/orc" rel="nofollow noreferrer"><code>github.com/scritchley/orc</code></a> package. I am able to read the content of the ORC file but I also wanted to read the ORC metadata. I can't find a straight forward of doing that with the package.</p> <p>The example from the package:</p> <pre><code>r, err := orc.Open(localFileName) if err != nil { log.Fatal(err) } defer r.Close() logging.Info("reader returned") // Create a new Cursor reading the provided columns. c := r.Select() // Iterate over each stripe in the file. for c.Stripes() { // Iterate over each row in the stripe. for c.Next() { // Retrieve a slice of interface values for the current row. log.Println(c.Row()) } } if err := c.Err(); err != nil { log.Fatal(err) } </code></pre> </div>

求教python requests.get中传多个UA的问题

如题。 因为被重定向,所以写了用多个UA来获取网页源码,不是很清楚是不是只要在header中写个UA字典然后request.get方法就会在获取网页源码的时候自己从几个UA中随机选一个(像proxies?),还是还需要手动写random函数? 另,如果在header中写了几个UA,然后还加上referer可以吗? 就是像下面这样写: ``` header = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/601.4.4 (KHTML, like Gecko) Version/9.0.3 Safari/601.4.4', 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1', 'User-Agent':'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11', 'User-Agent':' Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11', 'referer':'https://www.taobao.com/' } ..... html = requests.get(url,headers = header,cookies = cookie,proxies = proxies) ``` 谢谢!

python 爬虫,爬取google搜索结果,爬一段时间就被噤掉了,怎么破?

已经进行了一些伪装,但是还是不够,希望有经验的哥们给个指点 def google_search(keyword,page): proxy_handler1 = urllib2.ProxyHandler({"https":"https://..........1:8080"}) proxy_handler2 = urllib2.ProxyHandler({"https":"https://..........2:8080"}) proxys = [proxy_handler1,proxy_handler2] proxy_choice = random.randint(0, 1) proxy_handler = proxys[proxy_choice] cookie_handler = urllib2.HTTPCookieProcessor(cookielib.CookieJar()) opener = urllib2.build_opener(proxy_handler, cookie_handler, urllib2.HTTPHandler) urllib2.install_opener(opener) user_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0', 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+ \ (KHTML, like Gecko) Element Browser 5.0', 'IBM WebExplorer /v0.94', 'Galaxy/1.0 [en] (Mac OS X 10.5.6; U; en)', 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)', 'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14', 'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) \ Version/6.0 Mobile/10A5355d Safari/8536.25', 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) \ Chrome/28.0.1468.0 Safari/537.36', 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; TheWorld)'] index = random.randint(0,9) user_agent = user_agents[index] headers = { "User-Agent":user_agent, #"Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0", "Referer":"https://www.google.com", "Host":"www.google.com", "Connection":"keep-alive", "Accept-Language":"en-US,en;q=0.5", #"Accept-Encoding":"gzip, deflate", "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8" } url = 'https://www.google.com' + GOOGLE_POSTFIX + '/search?' values = { 'q':keyword, 'start':page*10, 'hl':'en' } data = urllib.urlencode(values) req = urllib2.Request(url+data, headers=headers) html = '' try: rsp = urllib2.urlopen(req) html = rsp.read() except urllib2.HTTPError, e: print 'The server couldn\'t fulfill the request.' print 'Error code: ', e.code except urllib2.URLError, e: print 'We failed to reach a server.' print 'Reason: ', e.reason except ssl.SSLError,e: print 'The read opertaion timed out' except Exception,e: print Exception,e else: pass return html

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

我说我不会算法,阿里把我挂了。

不说了,字节跳动也反手把我挂了。

抖音上很火的时钟效果

反正,我的抖音没人看,别人都有几十万个赞什么的。 发到CSDN上来,大家交流下~ 主要用到原生态的 JS+CSS3。 具体不解释了,看注释: &lt;!DOCTYPE html&gt; &lt;html lang="en"&gt; &lt;head&gt; &lt;meta charset="UTF-8"&gt; &lt;title&gt;Title&lt;/tit...

记录下入职中软一个月(外包华为)

我在年前从上一家公司离职,没想到过年期间疫情爆发,我也被困在家里,在家呆着的日子让人很焦躁,于是我疯狂的投简历,看面试题,希望可以进大公司去看看。 我也有幸面试了我觉得还挺大的公司的(虽然不是bat之类的大厂,但是作为一名二本计算机专业刚毕业的大学生bat那些大厂我连投简历的勇气都没有),最后选择了中软,我知道这是一家外包公司,待遇各方面甚至不如我的上一家公司,但是对我而言这可是外包华为,能...

培训班出来的人后来都怎么样了?(二)

接着上回说,培训班学习生涯结束了。后面每天就是无休止的背面试题,不是没有头脑的背,培训公司还是有方法的,现在回想当时背的面试题好像都用上了,也被问到了。回头找找面试题,当时都是打印下来天天看,天天背。 不理解呢也要背,面试造飞机,上班拧螺丝。班里的同学开始四处投简历面试了,很快就有面试成功的,刚开始一个,然后越来越多。不知道是什么原因,尝到胜利果实的童鞋,不满足于自己通过的公司,嫌薪水要少了,选择...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

推荐9个能让你看一天的网站

分享的这9个保证另你意外的网站,每个都非常实用!非常干货!毫不客气的说,这些网站最少值10万块钱。 利用好这些网站,会让你各方面的技能都得到成长,不说让你走上人生巅峰,但对比现在的你,在眼界、学识、技能方面都有质的飞跃。 一、AIRPANO 传送门:https://www.airpano.com/360photo_list.php 这是一个可以躺在家里,就能环游世界的神奇网站。 世界那么大,绝大多...

大牛都会用的IDEA调试技巧!!!

导读 前天面试了一个985高校的实习生,问了他平时用什么开发工具,他想也没想的说IDEA,于是我抛砖引玉的问了一下IDEA的调试用过吧,你说说怎么设置断点...

都前后端分离了,咱就别做页面跳转了!统统 JSON 交互

文章目录1. 无状态登录1.1 什么是有状态1.2 什么是无状态1.3 如何实现无状态1.4 各自优缺点2. 登录交互2.1 前后端分离的数据交互2.2 登录成功2.3 登录失败3. 未认证处理方案4. 注销登录 这是本系列的第四篇,有小伙伴找不到之前文章,松哥给大家列一个索引出来: 挖一个大坑,Spring Security 开搞! 松哥手把手带你入门 Spring Security,别再问密...

97年世界黑客编程大赛冠军作品(大小仅为16KB),惊艳世界的编程巨作

这是世界编程大赛第一名作品(97年Mekka ’97 4K Intro比赛)汇编语言所写。 整个文件只有4095个字节, 大小仅仅为16KB! 不仅实现了3D动画的效果!还有一段震撼人心的背景音乐!!! 内容无法以言语形容,实在太强大! 下面是代码,具体操作看最后! @echo off more +1 %~s0|debug e100 33 f6 bf 0 20 b5 10 f3 a5...

不要再到处使用 === 了

我们知道现在的开发人员都使用 === 来代替 ==,为什么呢?我在网上看到的大多数教程都认为,要预测 JavaScript 强制转换是如何工作这太复杂了,因此建议总是使用===。这些都...

什么是a站、b站、c站、d站、e站、f站、g站、h站、i站、j站、k站、l站、m站、n站?00后的世界我不懂!

A站 AcFun弹幕视频网,简称“A站”,成立于2007年6月,取意于Anime Comic Fun,是中国大陆第一家弹幕视频网站。A站以视频为载体,逐步发展出基于原生内容二次创作的完整生态,拥有高质量互动弹幕,是中国弹幕文化的发源地;拥有大量超粘性的用户群体,产生输出了金坷垃、鬼畜全明星、我的滑板鞋、小苹果等大量网络流行文化,也是中国二次元文化的发源地。 B站 全称“哔哩哔哩(bilibili...

十个摸鱼,哦,不对,是炫酷(可以玩一整天)的网站!!!

文章目录前言正文**1、Kaspersky Cyberthreat real-time map****2、Finding Home****3、Silk – Interactive Generative Art****4、Liquid Particles 3D****5、WINDOWS93****6、Staggering Beauty****7、Ostagram图片生成器网址****8、全历史网址*...

终于,月薪过5万了!

来看几个问题想不想月薪超过5万?想不想进入公司架构组?想不想成为项目组的负责人?想不想成为spring的高手,超越99%的对手?那么本文内容是你必须要掌握的。本文主要详解bean的生命...

大厂的 404 页面都长啥样?最后一个笑了...

每天浏览各大网站,难免会碰到404页面啊。你注意过404页面么?猿妹搜罗来了下面这些知名网站的404页面,以供大家欣赏,看看哪个网站更有创意: 正在上传…重新上传取消 腾讯 正在上传…重新上传取消 网易 淘宝 百度 新浪微博 正在上传…重新上传取消 新浪 京东 优酷 腾讯视频 搜...

自从喜欢上了B站这12个UP主,我越来越觉得自己是个废柴了!

不怕告诉你,我自从喜欢上了这12个UP主,哔哩哔哩成为了我手机上最耗电的软件,几乎每天都会看,可是吧,看的越多,我就越觉得自己是个废柴,唉,老天不公啊,不信你看看…… 间接性踌躇满志,持续性混吃等死,都是因为你们……但是,自己的学习力在慢慢变强,这是不容忽视的,推荐给你们! 都说B站是个宝,可是有人不会挖啊,没事,今天咱挖好的送你一箩筐,首先啊,我在B站上最喜欢看这个家伙的视频了,为啥 ,咱撇...

代码注释如此沙雕,会玩还是你们程序员!

某站后端代码被“开源”,同时刷遍全网的,还有代码里的那些神注释。 我们这才知道,原来程序员个个都是段子手;这么多年来,我们也走过了他们的无数套路… 首先,产品经理,是永远永远吐槽不完的!网友的评论也非常扎心,说看这些代码就像在阅读程序员的日记,每一页都写满了对产品经理的恨。 然后,也要发出直击灵魂的质问:你是尊贵的付费大会员吗? 这不禁让人想起之前某音乐app的穷逼Vip,果然,穷逼在哪里都是...

一场疫情,炸出了退休的COBOL程序员

COBOL编程语言,估计大多数程序员从没听说过,我这样的编程老司机,也是只闻其名,从未一睹芳容。出门问了问度娘,答案如下:COBOL语言,是一种面向过程的高级程序设计语言,主要用于数据...

爬虫(101)爬点重口味的

小弟最近在学校无聊的很哪,浏览网页突然看到一张图片,都快流鼻血。。。然后小弟冥思苦想,得干一点有趣的事情python 爬虫库安装https://s.taobao.com/api?_ks...

讲真,这两款idea插件,能治愈你英语不好的病

时不时就有小伙伴问我,“二哥,能推荐一款 IDE 吗?”你看这话问的,现在搞 Java 的不都在用 Intellij IDEA 吗,还用得着推荐(我已经和 Eclipse 分手了)。然后小伙伴又说,“二哥,IDEA 支持中文吗?我英语不太好。”你看这话问的,搞编程的,英语不好是硬伤啊! 不过,随着 IDEA 最新版(版本号是 2020.1)的发布,英语不好的病可以彻底治愈了。为什么这么说呢?因为 ...

在拼多多上班,是一种什么样的体验?我心态崩了呀!

之前有很多读者咨询我:武哥,在拼多多上班是一种什么样的体验?由于一直很忙,没抽出时间来和大家分享。上周末特地花点时间来写了一篇文章,跟大家分享一下拼多多的日常。 1. 倒时差的作息 可能很多小伙伴都听说了,拼多多加班很严重。这怎么说呢?作息上确实和其他公司有点区别,大家知道 996,那么自然也就能理解拼多多的“11 11 6”了。 所以当很多小伙伴早上出门时,他们是这样的: 我们是这样的: 当...

又一起程序员被抓事件

就在昨天互联网又发生一起让人心酸的程序员犯罪事件,著名的百度不限速下载软件 Pandownload PC 版作者被警方抓获。案件大致是这样的:软件的作者不仅非法盗取用户数据,还在QQ群进...

瑞德西韦重症用药结果再曝光,上百名重症一周内好转,股价大涨19%

郭一璞 发自 凹非寺量子位 报道 | 公众号 QbitAI期盼已久的瑞德西韦临床数据,现在“偷跑”了。在芝加哥大学医学院的临床试验中,125名病人参与,大部分人都已经出院,其中只有2名病...

应聘3万的职位,有必要这么刁难我么。。。沙雕。。。

又一次被面试官带到坑里面了。面试官:springmvc用过么?我:用过啊,经常用呢面试官:springmvc中为什么需要用父子容器?我:嗯。。。没听明白你说的什么。面试官:就是contr...

Vue商城——详情页功能

详情页实现思路 点击商品进去详情页,根据点击请求更加详细的信息,要传过来goodsItem的iid,根据id去服务器请求更加详细的信息;配置路由映射关系,点击进行跳转,带参数传递跳转 itemClick(){ this.$router.push('/detail/'+this.goodsItem.iid) /* this.$router.push({ ...

太狠了,疫情期间面试,一个问题砍了我5000!

疫情期间找工作确实有点难度,想拿到满意的薪资,确实要点实力啊!面试官:Spring中的@Value用过么,介绍一下我:@Value可以标注在字段上面,可以将外部配置文件中的数据,比如可以...

自学编程的 6 个致命误区

嗨,小伙伴们大家好,我是沉默王二。本篇文章来和大家聊聊自学编程中的一些误区——这是我在 B 站上看了羊哥的一期视频后有感而发的文章。因为确实有很多读者也曾私信问过我这些方面的问题,很有代表性,所以我就结合自己的亲身体会来谈一谈,希望对小伙伴们有所启发。 01、追求时髦 所谓基础不牢,地动山摇啊。可很多小伙伴压根就没注意过这个问题,市面上出什么新鲜的技术就想去尝试,结果把自己学的乱七八糟,心灰意冷...

相关热词 c#树形选择 c#中类图的使用方法 c# 传参 调用exe c# 怎么定义方法 c# 修改本地时间 c#前台怎么读取资源文件 c# xml转list c#实现框选截图 m*m乘法表c# c# 乘法99表
立即提问