shell不使用定时任务,按月份整理历史日志,需要什么关键的语句吗?

各位大佬问一下,我现在需要用按月份整理以前的历史日志。
1.输入年、月两个参数
2.根据获得的时间参数匹配日志
3.归档到备份目录下,删除源目录下的日志文件
(不使用corn定时任务)

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Shell中按月打包日志小脚本
Linux中的各种Web,数据库,各种服务经常会按日产生大量日志。运维的时候经常要做的就是按月来压缩、归档。 UserWeb.log.2011-1-1 UserWeb.log.2011-1-2 ... UserWeb.log.2011-2-1 UserWeb.log.2011-2-2 ... UserWeb.log.2011-3-1 UserWeb.log.2011-3-2 ... User...
linux.查看定时任务,查看定时任务日志(类似于eclispe控制台)
在 /var/spool/mail/root 文件中,有crontab执行日志的记录,用tail -f /var/spool/mail/root 即可查看最近的crontab执行情况
crontab定时任务脚本不执行,日志无执行记录
在linux下用crontab启动定时脚本,放到crontab中死活没反应,这是可能的原因: 1、看日志,cat /var/log/cron。如果日志中有执行记录可能是脚本没有执行权限,此时要赋予执行权限,如 chmod +x xxx.sh   就是给xxx.sh这个脚本赋予执行权限。 2、看日志,日志完全没反应,没有脚本执行记录,crontab -l 查看列表没问题,crontab也是运行状
定时任务,打包每天的日志
先把日志内容复制到其它文件夹,改名为当天日期,再把日志内容清空 #!/bin/sh  cp -f /home/weblogic/bea/../bin/nohup.out /home/weblogic/bea/../bin/nohup/`date +%Y%m%d%H`.log  ture > /home/weblogic/bea/../bin/nohup.out 写一个定时任务
crontab 使用日期时间命名重定向文件
linux crontab命令可以实现定时执行任务,最小的执行周期是1分钟。本文将介绍linux crontab命令,定时执行任务,并说明如何使用日期时间命名重定向文件。
Linux 定时切割日志任务
系统定时任务配置文件: SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root HOME=/ 1 0 * * * /home/feifan/Document/rotate_nginx_log.sh # For details see man 4 crontabs # Example of job definition:
Crontab定时脚本语句无效,直接执行脚本就可以
昨天写了一个定时脚本,用于每天早上从另外一台机器scp日志,然后对日志进行分析。每当通过secureCRT连接到服务器上直接执行脚本的时候,没有问题。但是当在crontab定时任务中执行该脚本的时候就不能够拉取到日志内容了。 后面找同事问了一下,原因可能如下: (1)是否在脚本中用到了一些环境变量,而该环境变量只有当前用户可用。比如环境变量配置到了.bash_profile中,而通过定
shell脚本定时任务--日志压缩(删除)
前面遇到一个问题,就是日志文件过大,占据了磁盘空间导致构建项目失败 于是就想写个定时任务删除日志或者压缩日志文件 在网上看了很久都没找到正确的脚本方式 于是就自己请教别人,写了一个,分享给找不到而且需要这样一个脚本的新手同学 优点:定时压缩,节约空间      按需求寻找需要压缩或者删除的日志文件 命名为rm_log.sh shell脚本如下:     #!/bin/bash
shell实现按日期删除elk系统产生的logstash日志索引数据
分享一个简单的按日期删除elk系统产生的logstash日志索引数据的shell脚本,直接上代码: #/bin/bash #author: john li #created at 2017/9/15 16:00 if test ! -f "/var/log/elkDailyDel.log" ;then touch /var/log/elkDailyDel.log fi #请将该行当中
shell 切割nginx日志工具 保留五天,不重启nginx
思路: 1、备份昨天的日志的时候,同时删除之前五天时候备份的数据。2、复制日志文件,同时设置原日志文件为空shell:#!/bin/bash #function: cut nginx log files #author kung log_path='/home/wwwlogs/' log_bak_path='/home/wwwlogs_bak/' date_yesterday=$(date -d...
oracle定时任务记录
一、 Oracle定时任务说明 注意:所有的脚本都是在普通用户账号下登陆操作的(都是plsq的SQL窗口下执行的)。 1 创建分区表 create table vts_ais_history      (        id                   VARCHAR2(64)     primary key    not null,        lat      
linux shell 脚本 历史文件清理脚本,按天,按月,清理前N天的历史文件,删除指定大小历史文件,历史文件归档清理
关于清理linux大量历史文件的shell脚本,清理历史文件脚本,对于有日期格式的文件,如"log20170425123300.txt",可以通过改脚本进行清理。 其实如果文件格式不是这类情况的,也可以通过find命令,查找指定范围内的文件来进行清理,可以稍微改下脚本的文件部分逻辑即可。 但是在文件量非常大的情况下,find的查找效率是非常低的,速度要比ls慢很多。 脚本比较简洁,功能不是特别强大,只是为了减少手工操作,大家也可以一同来优化。 谢谢
centos下用定时任务执行shell脚本操作db2
centos下定时任务去连接db2操作数据库
在linux中执行shell脚本,当前用户执行没有问题,设置为定时任务却报错
在linux中执行shell脚本,当前用户执行没有问题,设置为定时任务却报错,有可能的原因有主要原因是crontab执行和当前用户的执行权限和配置环境不一样,所以导致你的配置环境在crontab用户上还得重新配置一次,只需要在开头的时候引用一下配置环境的脚本就可以了。比如:我的一个shell脚本中会有一条命令:`hadoop fs -get xxxxx ./` 我在当前用户运行脚本没有问题,但是在配
HBase Shell使用记录
1.以非交互式运行hbase shell 用法:hbase shell -n 务必转义HBase命令中的字符,否则shell将会解释这些字符 例子 echo "describe 'test'"|hbase shell -n 2.文件方式运行hbase shell命令 hbase shell filename 将路径作为命令的唯一参数传递给命令文件hbase shell。每个命令都...
postgresql中查看操作执行的具体sql语句
1)在psql启动命令行中加入-E 例子: C:\Users\Administrator>psql -E -h localhost -p 5432 postgres postgres psql (9.5.1) 输入 "help" 来获取帮助信息. postgres=# \d ********* 查询 ********** SELECT n.nspname as "Schema", c.rel
Linux定时任务
详细介绍了Linux定时任务的shell代码,需要使用定时任务的可以参考下
PYTHON关键语句整理
Python 3 Cheat Sheet 一共包含两页,分成了多个框图,涉及基本的 Python 数据结构、数学运算、条件和循环语句、文件读写,以及异常值处理等。在每个框图中,右上角是类型名称,蓝色和红色字体是该类型包含的关键字,绿色字体是示例,黑色斜体字提供更详细的信息。 pdf地址: 项目地址 ...
shell 定时执行php 并写入自定义日志
1.crontab 命令12 5 * * * bash  /alidata/server/php/script/day_sum.sh >> /alidata/log/php/day_sum.log 2>&12.day_sum.sh脚本内容#!/bin/bashsource /etc/profilesource ~/.bashrcdate#交易额统计php /alidata...
Linux中,使用cron,按照日期日志,并且删除n天以前的日志归档
代码cat > my_daily.sh<<EOF #!/bin/bashdir=/path/to/logs; file=my.log; date_file=$file-$(date +%Y%m%d); # 形如my.log-20160620# 删除20天前的日志归档 find $dir -mtime +20 -name "$file-*.tar.gz" -exec rm -rf {} \;# 归档当
按照时间 查找数据库历史存储内容
--按照时间 查找数据库历史存储内容 select * from jw_jg_jzgxxb as of timestamp to_timestamp('2018-09-27 18:00:00', 'yyyy-mm-dd hh24:mi:ss') where 1=1;
按月份统计每个月的订单总金额SQL语句解析
一.SQL语句: select              IFNULL(sum(case month(createTime) when '1' then price else 0 end), 0) as 一月份,             IFNULL(sum(case month(createTime) when '2' then price else 0 end), 0) as 二月份,   ...
历史数据按月分表脚本
 declare @start_time datetime= '2017-03-12';        --开始时间(根据需要输入)   declare @end_time   datetime= '2017-05-31';        --结束时间(根据需要输入)   declare @source_table_name varchar(100)='ods.s_dc_data';    --要...
shell关于sed,awk日志分割
首先是一段日志内容: [09/Aug/2017:12:00:05 +0800] [09/Aug/2017:12:00:08 +0800] [09/Aug/2017:12:00:12 +0800] [09/Aug/2017:12:00:15 +0800] [09/Aug/2017:12:00:19 +0800] [09/Aug/2017:12:00:57 +0800] [09/Aug/
SQL 语句按月份统计查询
// SQL 语句按月份统计查询  select  year(createdate) 年,  month(createdate) 月,  count(1) from xx   where (userid in (select id from cms_admin where userid='392') or userid='392')  group by year(createdate),
Linux定时对日志批量打包Shell脚本
一、需求背景      因此次项目的生产环境中部署了多套系统,每天会产生大量的日志(数百GB的量),侵占了服务器宝贵的存储资源空间。为了有效缓解服务器存储压力,考虑通过Linux的Shell脚本结合crontab定时每周一对上周7天的日志打包压缩,并删除原被打包的日志文件,以腾出更多可利用的存储资源空间。         对于初次接触Shell脚本的同学,建议先花几个小时时间学习一下Shell...
crontab定时任务中不能执行python shell命令
命令需要使用真实路径而不是快捷方式。比如,在shell中,检测是否开启nginx如果未开启就开启,写好了service nginx start,突然发现不能执行一定要用真实路径运行,应该是/etc/init.d/nginx start
linux脚本加定时任务自动整理日志
这个操作主要是对一些很老的程序没有做每天日志存档并自动删除历史log功能,运维人员采用的一个对整个控制台log进行每天存储。 具体需求 现有一个应用程序每天产生大量log需要经常手动清理磁盘,但是又需要保存每天的日志方便查找问题 通过linux脚本加定时任务的方式来对每天产生的info.log进行压缩存档,并删除历史info.log,然后重启程序,这样又会重新产生info.log,然后每天循...
shell中根据日期进行循环
在写shell脚本时,我们经常会有需求,对某一个日期时间范围内进行循环处理,可以通过设置起止日期,在起止日期范围内进行循环, ``` dateStart="2016-11-16" dateEnd="2017-03-07" date_s=`date -d "${dateStart}" +%s` date_e=`date -d "${dateEnd}" +%s` w
linux/unix下执行crontab定时任务中文乱码问题
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
Linux定时任务Crontab以及nohup启动
linux 定时重启nohup 服务 按理说nohup启动的程序不要再去写定时任务了,但是今天早上小伙伴告诉我线上的MQ消息,爬虫已经累积了十二条没消费掉,这可真是把我吓尿了.后面一看日志,表面原因是nohup守护的爬虫进程挂掉了 总结nohup 挂掉的两个理由 1. 程序自己报错停掉 2. kill -9 被强制杀掉 当时也没多想,直接就重启了脚本,爬虫夸夸的跑,跑着跑着又出错...
Linux定期删除文件,并重定向到以日期命名的log的shell脚本
由于工作需要,写了个脚本定期删除归档文件,防止系统空间负载导致速度太慢 首先设置定时任务: [root@EHP4 test1]# service crond start [root@EHP4 test1]# vi crontest1.cron [root@EHP4 test1]# crontab crontest1.cron [root@EHP4 test1]# crontab -l 00...
shell实现日志滚动
什么是日志滚动? 在日常linux的操作中,经常会产生各种各样的日志文件,如果不加以处理,经常会导致单个日志文件体积过于臃肿,不利于后期排查。因此需要对日志文件定期操作,比如每天将日志文件打包备份,重新编排版本号等。linux发行版中也默认安装了logrotate这款上古神器来管理日志,它可以自动对日志进行截断(或轮循)、压缩以及删除旧的日志文件。 但是这里并不想去过多介绍logrotate这
LINUX使用shell定时压缩tomcat日志文件
LINUX使用shell定时压缩tomcat日志文件Linux服务器上每天会产生大量的日志文件,占用大量的磁盘空间;因此就有了压缩日志文件的需要,使用shell脚本来完成定时压缩日志文件。shell脚本日志目录/var/log/tomcat/需要对该目录下的多个日志文件(文件名格式:xxxx.log.yyyy-mm-dd)进行压缩处理的思路:1. 每个月的一种日志,以月份为单位压缩在同一个文件中,...
利用redis实现定时任务,完全不需要crontab
主要原理 利用redis过期通知事件 1.redis配置 daemonize yes //守护进程 这里需要配置 notify-keyspace-events 的参数为 “Ex”。x 代表了过期事件 2.封装redis类 &amp;lt;?php namespace app\common\service; class MyRedis { private $...
zabbix使用Elasticsearch索引按日期存储历史数据
Zabbix 4.0后支持Elasticsearch索引按日期存储历史数据,这个功能比较实用,不用所有数据都在一个索引下,另外 删除也方便,推荐使用。 安装Elasticsearch和zabbix 可参考之前的博文。 1.在zabbix_server.conf 开启配置 HistoryStorageDateIndex=1 2.索引创建时执行以下指令,在kibana 下De...
crontab+shell命令按照文件大小切割tomcat日志
业务场景:基于cronolog按日期切割日志之后,会出现某天的日志出现存储很大的情况,用notepad++打开的时候比较慢,查询的时候也比较卡,响应很慢解决方案:通过crontab+shell命令将每天的日志进行监控并按照文件大小切割tomcat日志,每100M切割解决步骤:(1)安装crontab:yum install crontabs(2)新建autocutcatalina.sh:路径/da...
MySQL日志表按月分区
MySQL日志表按月自动分区
在什么地方打印日志
1.方法的开头和结尾,重要的参数需要打印出来的地方 (log.info()) 2.catch语句里面需要打印(log.error())
tomcat日志自动分割
今天在tomcat上查看项目日志的时候,发现catalina.out文件竟然已经达到202M了,决定做一下日志的分割.先看了一下crontab任务中,发现有个删除前10天日志的自动任务,但是没有发现切割的自动任务. 放狗搜了一下,据说tomcat有默认的日志分割功能,能每天自动生成类似catalina.2010-10-08.log的文件,但是默认catalina.out文件却一直...