লগস্ট্যাশের সাহায্যে একাধিক ভিন্ন ভিন্ন ইনপুট কীভাবে পরিচালনা করবেন?

Question 1

ধরা যাক আপনার কাছে প্রযুক্তিগত এবং ব্যবসায়িক লগের মতো 2 খুব আলাদা ধরণের লগ রয়েছে এবং আপনি চান:

কাঁচা প্রযুক্তিগত লগগুলি একটি gelfআউটপুট ব্যবহার করে একটি গ্রেলোগ 2 সার্ভারের দিকে যেতে হবে ,
উত্সর্গীকৃত elasticsearch_httpআউটপুট ব্যবহার করে জসন ব্যবসায় লগগুলি একটি স্থিতিস্থাপক ক্লাস্টারে সংরক্ষণ করা হবে ।

আমি জানি যে Syslog-NGউদাহরণস্বরূপ, কনফিগারেশন ফাইলটি বিভিন্ন স্বতন্ত্র ইনপুটগুলি সংজ্ঞায়িত করতে দেয় যা প্রেরণের আগে আলাদাভাবে প্রক্রিয়া করা যায়; কি Logstashকরতে অক্ষম বলে মনে হচ্ছে। এমনকি যদি একটি উদাহরণ দুটি নির্দিষ্ট কনফিগারেশন ফাইল দিয়ে শুরু করা যায় তবে সমস্ত লগ একই চ্যানেল নেয় এবং একই প্রক্রিয়া প্রয়োগ করা হয় ...

আমার কাছে বিভিন্ন ধরণের লগ থাকার মতো যতগুলি দৃষ্টান্ত চালানো উচিত?

Question 2

আমার কাছে বিভিন্ন ধরণের লগ থাকার মতো যতগুলি দৃষ্টান্ত চালানো উচিত?

না! আপনি বিভিন্ন ধরণের লগগুলি পরিচালনা করতে কেবল একটি উদাহরণ চালাতে পারেন।

লগস্ট্যাশ কনফিগারেশন ফাইলে আপনি প্রতিটি ইনপুট বিভিন্ন ধরণের দিয়ে নির্দিষ্ট করতে পারেন । তারপর ফিল্টার আপনি ব্যবহার করতে পারেন যদি স্বতন্ত্র বিভিন্ন প্রক্রিয়াকরণ, এবং এছাড়াও আউটপুট এ আপনি "যদি" বিভিন্ন গন্তব্যে আউটপুট ব্যবহার করতে পারেন।

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
} 
filter {
    if [type] == "technical" {
            # processing .......
    }
    if [type] == "business" {
            # processing .......
    }
}
output {
    if [type] == "technical" {
            # output to gelf
    }
    if [type] == "business" {
            # output to elasticsearch
    }
}

আশা করি এটি আপনাকে সহায়তা করতে পারে :)

Question 3

আমি একাধিক ফাইল ইনপুট জন্য ট্যাগ ব্যবহার:

input {
    file {
        type => "java"
        path => "/usr/aaa/logs/stdout.log"
        codec => multiline {
            ...
        },
        tags => ["aaa"]
    }

    file {
        type => "java"
        path => "/usr/bbb/logs/stdout.log"
        codec => multiline {
                ...
        }
        tags => ["bbb"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
    if "aaa" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "aaa"
            document_type => "aaa-%{+YYYY.MM.dd}"
        }
    }

    if "bbb" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "bbb"
            document_type => "bbb-%{+YYYY.MM.dd}"
        }
    }
}

Question 4

আমি মনে করি লগস্ট্যাশ ইনপুট বিভাগে 2 টিরও বেশি ফাইল পড়তে পারে না। নীচে চেষ্টা করুন

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
 file {
            type => "business1"
            path => "/home/business/log1"
    }
}