লগস্ট্যাশ ডেটা লেখার চেষ্টা করার সময় ইলাস্টিকসারচ মারা যায়


9

আমি একটি রাস্পবেরি পাই 2 (এপ্রিল 2015-র হিসাবে সর্বশেষ রাস্পবিয়ান) সেটআপ পেয়েছি যা গত সপ্তাহে একটি ইলাস্টিক অনুসন্ধান এবং লগস্ট্যাশ উভয়ই একটি পরীক্ষার নেটওয়ার্কে চালিত ছিল (কোনও সোজা সেটআপ নয়, তবে এটি এক সপ্তাহেরও বেশি স্থিতিশীল ছিল!)! আমি আজ আমার মেশিনটি পুনরায় বুট করেছি এবং জিনিসগুলি আবার চলতে খুব কষ্ট পেয়েছে; ES এবং LS উভয়ই স্বতন্ত্রভাবে চলবে, কিন্তু যখন আমি এলএস আউটপুটটিকে ES এ ঠেলে দেওয়ার চেষ্টা করি ES উদাহরণটি ব্যাখ্যা ছাড়াই মারা যায়। আমার লক্ষ্য হ'ল স্ট্যান্ডার্ড আউটপুট প্লাগইনটির মাধ্যমে চলমান এবং এলএস পাম্পিং ডেটা উভয়ই ES এ get

ইলাস্টিকস অনুসন্ধান [v1.5.0]

আমি বিশ্বাস করি মূল সমস্যাটি এখানেই। ES মাধ্যমে শুরু হতে পারে service elasticsearch startএবং চলতে থাকবে, 9200 পোর্ট করার জন্য HTTP অনুরোধের মাধ্যমে অ্যাক্সেসযোগ্য এবং জীবনের সমস্ত লক্ষণগুলি স্বাস্থ্যকর বলে মনে হচ্ছে। যত তাড়াতাড়ি কিছু (যে কোনও কিছু, যতদূর আমি বলতে পারি) কোনও সূচকে ডেটা লেখার চেষ্টা করার সাথে সাথে প্রক্রিয়াটি মারা যায় এবং ডিবাগ লগ @ / var / লগ / ইলাস্টিকসার্চ / * পরিষেবা ব্যর্থতার সাথে সম্পর্কিত কিছু থাকে না। আমি লগস্ট্যাশের মাধ্যমে belowোকানোর চেষ্টা করেছি (নীচে দেখুন) পাশাপাশি কার্ল দিয়ে, উভয়ই ইএস প্রক্রিয়াটি সমাপ্ত করে। আমি যে কার্ল কমান্ডটি চালাচ্ছি তা হ'ল curl -XPOST "http://localhost:9200/logstash-2015.04.05/records/" -d "{ \"type\" : \"specialRecord\" }"

লগস্ট্যাশ [v1.4.2]

আমি বর্তমানে এই সাধারণ কনফিগারেশনটি নিয়ে চলছি:

input {
    stdin { }
}

output {
        stdout { codec => rubydebug }
        elasticsearch {
                host => '127.0.0.1'
                cluster => 'elasticsearch'
        }
}

অন্যান্য নোট

কিছু জিনিস আমি চেষ্টা করেছি:

  • আমি ইলাস্টিক অনুসন্ধানের জন্য ডিবিইউজি / ট্র্যাসে লগিংয়ের স্তরগুলি ক্র্যাঙ্কিংয়ের চেষ্টা করেছি এবং আউটপুটটি উল্লেখযোগ্যভাবে উদ্বেগজনক। লগগুলি সহায়ক হলে খুশি to

  • আমি ES 256MB এবং 512MB হ্যাপ স্পেস দেওয়ার চেষ্টা করেছি, যা কোনও কিছুর উপর প্রভাব ফেলবে বলে মনে হয় না। আমি এই সমস্ত সময়ে মেমরির ব্যবহার দেখেছি এবং মেমরির বাইরে চলে যাওয়া কোনও সমস্যা বলে মনে হচ্ছে না।

  • অনেকগুলি নেটওয়ার্কিং ভেরিয়েবলের আগাছা ফেলে দেওয়ার চেষ্টা করার জন্য আমি মাল্টিকাস্টকে অক্ষম করার চেষ্টা করেছি কিন্তু তাতে কোনও পার্থক্য মনে হচ্ছে না।

  • আমি নিশ্চিত করেছি যে ES এর জন্য ডেটা ডিরেক্টরিতে প্রচুর স্থান রয়েছে, লেখার অনুমতি ইত্যাদি রয়েছে E path.dataডিরেক্টরিটি লোড হওয়ার সাথে সাথে ডিরেক্টরিতে সাব-ডাইরেক্টরিগুলি তৈরি করে তবে আমি বিশ্বাস করি না যে আমি ES প্রক্রিয়া পুনরায় আরম্ভ করার পরে সূচী পরিসংখ্যানগুলি সূচিত করে যেহেতু কিছুই যুক্ত হয় না I নথিগুলির মোট # শূন্য।

আমি এখন বেশ স্ট্যাম্পড এবং হতাশ হয়েছি যে আমার কোনও প্রয়োজন (বা কমপক্ষে খুঁজে পেতে সক্ষম) লগ করা হচ্ছে না। এখানে কি হতে পারে কোন ধারণা?


আপনি যদি লগগুলি থেকে কার্যকর কিছু না পান তবে একমাত্র বিকল্প (উত্স থেকে সংকলন করা এবং আরও ডিবাগ স্টেটমেন্ট যোগ করা ব্যতীত) সিস্টেম কলগুলি দেখার জন্য স্ট্রেস ব্যবহার করছে বলে মনে হচ্ছে। এটি আপনাকে ইঙ্গিত দিতে পারে কেন স্থিতিস্থাপক যন্ত্রটি মারা যাচ্ছে। ভলিউম হ্রাস করতে, স্বাভাবিক হিসাবে শুরু করুন এবং তারপরে আপনি লেখার সূচনা করার ঠিক আগে চলমান প্রক্রিয়াটি স্ট্রেস করুন।
পল হালডেন

কোনও লগ ছাড়াই ক্র্যাশ হওয়া আমাকে জেএনআই সমস্যার কথা মনে করিয়ে দেয়, সেখানে কোন জেভিএম প্রক্রিয়া ডাম্প নেই hs_err_PID.log? ES 1.5 পর্যবেক্ষণের জন্য সিগার নামক একটি নেটিভ গ্রন্থাগার ব্যবহার করে, এটি রাস্পবেরির এআরএম নিয়ে সমস্যা হতে পারে। আপনি নিজে সিগার চালানোর চেষ্টা করতে পারেন? আমি ES 1.5.2 বা ES 2.0 এ আপগ্রেড করার চেষ্টা করব যা সিগার আর ব্যবহার করে না।
জি কুইন্টানা

আপনি কি অদলবদল বন্ধ করেছেন?
রাম্বলে

ইলাস্টিকসার্ক 8 জি র‌্যাম শুরু করার পরামর্শ দেয়। আমি এটি একবার রাস্পবেরি পাই 3 এ চালিয়েছি এটি কাজ করে তবে আপনার ডেটা যে গতিতে প্রেরণ করা হয় সে সম্পর্কে আপনাকে কিছুটা সতর্ক হওয়া দরকার এবং কোয়েরিতে কিছুটা সময় নিতে পারে।
ওয়েবওয়ার্স

উত্তর:


1

আপনার আরও হার্ডওয়ার দরকার

আপনার রাসপি আপনার কাজের চাপের জন্য চালিত হতে পারে (যথেষ্ট)।

আমি কোনওভাবেই কোনও ইলাস্টিক স্ট্যাক বিশেষজ্ঞ নই, তবে আমি এটি বেশ কয়েকটি পরীক্ষার পরিস্থিতিতে এবং সীমিত / হালকা উত্পাদন ব্যবহারের জন্য সেট আপ করেছি। আমার অভিজ্ঞতায়, প্রাথমিক সেটআপটির তুলনায় অপেক্ষাকৃত কয়েকটি সংস্থান প্রয়োজন, যেহেতু সূচকের সংখ্যা বৃদ্ধি পাওয়ায় সিস্টেমটি উল্লেখযোগ্যভাবে আরও ডিস্ক আইও এবং সিপিইউ লোড উৎপন্ন করে।

সিস্টেমটি শারডগুলি পুনরুদ্ধার করার পরে এটি পুনরায় চালু হওয়ার পরে বিশেষত স্পষ্ট। যদি আপনার সূচকগুলি খুব বড় না হয় তবে আপনি ডিফল্ট দৈনিক বালতিগুলির পরিবর্তে মাসিক বালতি বিবেচনা করতে পারেন, যা এই ক্ষেত্রে সহায়তা বলে মনে হচ্ছে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.