ラベル ログ の投稿を表示しています。 すべての投稿を表示
ラベル ログ の投稿を表示しています。 すべての投稿を表示

2015年1月12日月曜日

rsyslog + MySQL 特定ホストだけMySQLへの出力を停止するには No.2

少し前に「rsyslog + MySQL 特定ホストだけMySQLへの出力を停止するには」という記事を書いているのですが、実現手段としてもう一つ追加します。
※評価は、CentOS6.6 + rsyslogのver8.6.0で行っています



ログを受信するポート + rulesetで除外する方法


リモートホスト側で、ログを転送するポートが自由に変更(例えばTCPの5140ポートなどに)できる場合には、以下のように設定することで、テンプレートSTOPSQLとして指定した先にのみログを出力し、その他のファイルやMySQLへの出力を止める事ができます。


input(type="imtcp" port="5140" ruleset="stopsql")

$template STOPSQL, "/var/log/%fromhost%/%$year%%$month%%$day%.log"

ruleset(name="stopsql"){
     action(type="omfile" dynaFile="STOPSQL")
}


(備考)
※詳細は以下のページで確認してください。
http://www.rsyslog.com/doc/v8-stable/concepts/multi_ruleset.html?highlight=ruleset

設定次第で、特定のホストのログだけを特別扱いするといった事が、より簡単に実現できると思います。

2014年11月15日土曜日

rsyslog + MySQL 特定ホストだけMySQLへの出力を停止するには

以前、シスログをMySQLへ書き出す「rsyslog + MySQL」という記事を書きました。
今回はその記事に少し内容をプラスしてみます。

・ログサーバで、リモートから受け取ったログをファイルとして保存する以外に、MySQLにも保存している
・非常に大量のログを出力するホストがいるが、そのホストからのシスログだけMySQLには出力したいくない

といったシナリオを実現させる方法について2つピックアップしてみます。
※評価は、CentOS6.6 + rsyslogのver8.5.0で行っています


ファシリティで除外する方法


ログを送ってくる側でファシリティを指定できるのであれば、そのファシリティだけMySQLに出力されないようにするのがお手軽です。
*.*;local4.none     :ommysql:localhost,Syslog,rsyslog,PASSWORD


アクションで除外する方法


記述は面倒になりますが、以下のように記述する事で192.168.233.100と192.168.233.101から送られてくるシスログはMySQLへは出力されなくなります。
この場合のキモは”stop”の記述で、それ以降のログ出力の停止、つまりMySQLへのログ出力を停止する事ができます。

$template STOPSQL, "/var/log/%fromhost%/%$year%%$month%%$day%.log"

if \
  ( $fromhost-ip == '192.168.233.100' or \
   $fromhost-ip == '192.168.233.101' ) \
then {
        action(type="omfile"
          DirCreateMode="0750"
          DirGroup="logadmin"
          FileCreateMode="0640"
          FileOwner="logadmin"
          dynaFile="STOPSQL")
        stop
}

*.*     :ommysql:localhost,Syslog,rsyslog,PASSWORD

(備考)
actionとしてomfileを指定する場合、2つ注意することがあります。

1.DirCreateModeやFileCreateModeなどパーミッションに関連するパラメータは、全体に適用されるようにグローバルで指定してあったとしても、上記のように改めて指定する必要があります
2.さらに出力されるファイルの指定(上記だとdynaFileの行)は、一番最後に指定する必要があります

2013年3月17日日曜日

rsyslog + MySQL

2014/11/07追記: ”データベースの作成の箇所”に赤字でコメントを追加


シスログをMySQLに書き出す方法です。

今回の環境はCentOS6.4+rsyslogのVer7.2.6になり、こちらの記事のようにリポジトリを用意してある前提で話を進めます。


rsyslog-mysqlパッケージの導入

リポジトリに用意されているパッケージをインストールします。

[root@cent6 ~]# yum install rsyslog-mysql


データベースの作成

インストールしたrsyslog-mysqlパッケージに、シスログをMySQLに書き出す為に必要なデータベースとテーブルを作成するSQL(青字の部分)が含まれているので、今回はそれをそのまま利用します。
(2014/11/07追記:)
・SystemEventsテーブルのIDはint型で定義されていますが、受け取るログが多いと直ぐにあふれます。最初からbigint型にしておいたほうが良いと思います。
・デフォルトのMyISAMで運用していたら、比較的簡単に壊れました。最初からInnoDBにしておいたほうが無難です。
[root@cent6 ~]# rpm -ql rsyslog-mysql
/lib64/rsyslog/ommysql.so
/usr/share/doc/rsyslog-mysql-7.2.6
/usr/share/doc/rsyslog-mysql-7.2.6/createDB.sql
[root@cent6 ~]#

以下のように実行(インポート)します。
※この作業で、「Syslog」データベース、その中に2つのテーブルが作成されます


[root@cent6 ~]# mysql -u root < /usr/share/doc/rsyslog-mysql-7.2.6/createDB.sql
[root@cent6 ~]# mysql
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| Syslog             |
| mysql              |
+--------------------+
3 rows in set (0.00 sec)
mysql> use Syslog;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show tables;
+------------------------+
| Tables_in_Syslog       |
+------------------------+
| SystemEvents           |
| SystemEventsProperties |
+------------------------+
2 rows in set (0.00 sec)
mysql>




ログ出力用ユーザの作成

rsyslogからMySQLへアクセスする為のユーザを以下のように作成します。
※ここでは、ユーザ名をrsyslog、パスワードをpasswordとして作成しています

mysql> grant all privileges on Syslog.* to rsyslog@localhost identified by 'password';
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
mysql>select host,user,password from mysql.user where user='rsyslog';
+-----------+---------+-------------------------------------------+
| host      | user    | password                                  |
+-----------+---------+-------------------------------------------+
| localhost | rsyslog | *2470C0C06DEE42FD1618BB99005ADCA2EC9D1E19 |
+-----------+---------+-------------------------------------------+
1 row in set (0.00 sec)
mysql>



rsyslogの設定

/etc/rsyslog.confにMySQLにシスログを出力する為の設定(以下の2行)を追記します。
※下記では、全てのログをMySQLに出力するよう設定しています
※MySQLに出力する為の書式は、:ommysql: / 接続ホスト / データベース名 / ユーザ名 / パスワード となります

module(load="ommysql")
*.*     :ommysql:localhost,Syslog,rsyslog,password

設定を追加したら、rsyslogを再起動します。



動作確認

rsyslogの再起動が完了すると、MySQLにログが格納されるようになります。
[root@cent6 ~]# mysql Syslog
mysql> show tables;
+------------------------+
| Tables_in_Syslog       |
+------------------------+
| SystemEvents           |
| SystemEventsProperties |
+------------------------+
2 rows in set (0.00 sec)
mysql> select * from SystemEvents \G
*************************** 1. row ***************************
                ID: 1
        CustomerID: NULL
        ReceivedAt: 2013-03-17 23:34:43
DeviceReportedTime: 2013-03-17 23:34:43
          Facility: 5
          Priority: 6
          FromHost: cent6
           Message:  [origin software="rsyslogd" swVersion="7.2.6" x-pid="18401" x-info="http://www.rsyslog.com"] start
        NTSeverity: NULL
        Importance: NULL
       EventSource: NULL
         EventUser: NULL
     EventCategory: NULL
           EventID: NULL
   EventBinaryData: NULL
      MaxAvailable: NULL
         CurrUsage: NULL
          MinUsage: NULL
          MaxUsage: NULL
        InfoUnitID: 1
         SysLogTag: rsyslogd:
      EventLogType: NULL
   GenericFileName: NULL
          SystemID: NULL
1 row in set (0.00 sec)
mysql>



2012年12月10日月曜日

CentOS5でrsyslog ver7.xを使う

rsyslog ver7.2.3のリリースノートを覗いたらRPMのリポジトリが用意されたようなので、利用してみる。
なお、今回の環境はCentOS5.8で、普通のsyslogが稼動している状態から検証している。

以下、その手順。


リポジトリの作成


ここの記述どおりに、/etc/yum.repos.d/rsyslog.repo として 作成した。



インストール


[root@cent5 ~]# yum install rsyslog
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: www.ftp.ne.jp
 * extras: www.ftp.ne.jp
 * updates: www.ftp.ne.jp
Setting up Install Process
Resolving Dependencies
--> Running transaction check
---> Package rsyslog.i386 0:7.2.3-1.el5.centos set to be updated
--> Processing Dependency: libjson.so.0 for package: rsyslog
--> Processing Dependency: libestr.so.0 for package: rsyslog
--> Processing Dependency: libee.so.0 for package: rsyslog
--> Running transaction check
---> Package json-c.noarch 0:0.9-4.el5.centos set to be updated
---> Package libee.i386 0:0.4.1-1.el5.centos set to be updated
---> Package libestr.i386 0:0.1.3-1.el5.centos set to be updated
--> Finished Dependency Resolution

Dependencies Resolved

========================================================================
 Package           Arch             Version                         Repository            Size
========================================================================
Installing:
 rsyslog           i386             7.2.3-1.el5.centos              rsyslog_v7           885 k
     replacing  sysklogd.i386 1.4.1-46.el5

Installing for dependencies:
 json-c            noarch           0.9-4.el5.centos                rsyslog_v7            37 k
 libee             i386             0.4.1-1.el5.centos              rsyslog_v7            22 k
 libestr           i386             0.1.3-1.el5.centos              rsyslog_v7           7.9 k

Transaction Summary
========================================================================
Install       4 Package(s)
Upgrade       0 Package(s)

Total size: 952 k
Total download size: 922 k
Is this ok [y/N]: y
Downloading Packages:
(1/2): json-c-0.9-4.el5.centos.noarch.rpm                               |  37 kB     00:00
(2/2): rsyslog-7.2.3-1.el5.centos.i386.rpm                              | 885 kB     00:02
-------------------------------------------------------------------------
Total                                                          181 kB/s | 922 kB     00:05
Running rpm_check_debug
Running Transaction Test
Finished Transaction Test
Transaction Test Succeeded
Running Transaction
  Installing     : libestr                                                                 1/5
  Installing     : libee                                                                   2/5
  Installing     : json-c                                                                  3/5
  Installing     : rsyslog                                                                 4/5
  Erasing        : sysklogd                                                                5/5

Installed:
  rsyslog.i386 0:7.2.3-1.el5.centos

Dependency Installed:
  json-c.noarch 0:0.9-4.el5.centos                libee.i386 0:0.4.1-1.el5.centos
  libestr.i386 0:0.1.3-1.el5.centos

Replaced:
  sysklogd.i386 0:1.4.1-46.el5

Complete!
[root@cent5 ~]#



起動


後は起動するだけだが、”-c”オプションがobsoleteになっている(man rsyslogdで確認を)ようで、単純に起動すると以下のようにerrorがでる。

[root@cent5 ~]# /etc/rc.d/init.d/rsyslog start
Starting system logger: rsyslogd: error: option -c is no longer supported - ignored
                                                           [  OK  ]
[root@cent5 ~]#


なので、/etc/sysconfig/rsyslogの記述を以下のように修正し、rsyslogを再起動する。

SYSLOGD_OPTIONS=""


(備考)


なお、/etc/rsyslog.confは特にいじらなくても普通に起動できるが、v6 formatというのもあるらしい。
こちらはおいおい・・・


2012年8月5日日曜日

任意のタイミングでのログをローテーションする

例えば、メールログを日付が変わる0:00のタイミングでローテートし、日付をつけて保存したい場合などはないでしょうか?自分の場合、そんな時は以下のようにしています。

1.OS標準のログローテートからはずす

  メールログの場合は、/etc/logrotate.d/syslogを修正する
      →/var/log/maillogの記述を削除する

 (修正前)
 /var/log/messages /var/log/maillog /var/log/secure /var/log/spooler /var/log/boot.log /var/log/cron {


 (修正後)
 /var/log/messages /var/log/secure /var/log/spooler /var/log/boot.log /var/log/cron {

2.ログをローテートさせるスクリプトを作成する

 例)maillog-rotate.sh  (コテコテですが)
 <ここから>------------------------------------------------------------------
 #!/bin/bash
 

 PID=`cat /var/run/rsyslogd.pid`
 SRCDIR=/var/log
 DSTDIR=/var/log/postfix
 YESTERDAY=`env TZ=JST+15 date +%Y%m%d`

 # PRE ROTATE
 #
 if [ -r ${SRCDIR}/maillog ]; then
         cp -p ${SRCDIR}/maillog ${SRCDIR}/maillog.1
         cp /dev/null ${SRCDIR}/maillog
 fi

 kill -HUP ${PID}        #RECONFIG SYSLOG PROCCESS
 # POST ROTATE
 #
 mv ${SRCDIR}/maillog.1 ${DSTDIR}/maillog-${YESTERDAY}
 find /var/log/postfix -type f ! -name "*.gz" -and -mtime +7 -exec gzip {} \;

 exit 0

   <ここまで>------------------------------------------------------------------

3.cronを設定する

 0 0 * * * /usr/local/sbin/maillog-rotate.sh



以上を設定すると、こんな感じにログが保存されるようになります。

-rw-r----- 1 root logadmin   8342 Jul 24 23:55 maillog-20120724.gz
-rw-r----- 1 root logadmin   9636 Jul 25 23:59 maillog-20120725.gz
-rw-r----- 1 root logadmin   8049 Jul 26 23:59 maillog-20120726.gz
-rw-r----- 1 root logadmin   8204 Jul 27 23:58 maillog-20120727.gz
-rw-r----- 1 root logadmin  50061 Jul 28 23:54 maillog-20120728
-rw-r----- 1 root logadmin  52978 Jul 29 23:52 maillog-20120729
-rw-r----- 1 root logadmin 105343 Jul 30 23:55 maillog-20120730
-rw-r----- 1 root logadmin  51856 Jul 31 23:52 maillog-20120731
-rw-r----- 1 root logadmin  67329 Aug  1 23:56 maillog-20120801
-rw-r----- 1 root logadmin  73968 Aug  2 23:58 maillog-20120802
-rw-r----- 1 root logadmin  53923 Aug  3 23:53 maillog-20120803
-rw-r----- 1 root logadmin  33898 Aug  4 23:56 maillog-20120804

2012年7月29日日曜日

一般ユーザでログを参照する

rootじゃなくても(sudoを実行しなくても)ログを参照したいが、
特定のユーザに限定したい時は以下のようにする。

1.まず、ログを参照するユーザだけが所属するグループを作成
 
 [root@cent6 ~]# groupadd logadmin

2.そのグループにユーザを追加

 [root@cent6  ~]# usermod -a -G logadmin user1

3.ログのアクセス権を修正

  [root@cent6 ~]# chmod g+r /var/log/maillog
  [root@cent6 ~]# chgrp logadmin /var/log/maillog


これでlogadminグループに所属するuser1ユーザは、rootにならずとも/var/log/maillogが参照できるようになる。

なお、ログローテーションが実施された時に都度アクセス権を修正するのではなく、自動的に修正された状態にするには、/etc/logrotate.confの記述を以下のように修正する。

(修正前)
create

(修正後)
create 640 root logadmin