আর মেমরির সীমাবদ্ধতাগুলি কী কী?

Question

" ফলিত ভবিষ্যদ্বাণীমূলক মডেলিং " পর্যালোচনা করে একজন পর্যালোচক বলেছেন :

আমার কাছে স্ট্যাটিস্টিকাল লার্নিংয়ের (এসএল) শিক্ষাগুলির একটি সমালোচনা হ'ল বিভিন্ন মডেলিং কৌশলগুলির মূল্যায়নে গণনা কর্মক্ষমতা বিবেচনার অনুপস্থিতি। বুটস্ট্র্যাপিং এর উপর জোর দেওয়া এবং সুর / পরীক্ষার মডেলগুলিতে ক্রস-বৈধকরণের সাথে, এসএল বেশ গণ্য-নিবিড়। এতে আরও যোগ করুন যে ব্যাগিং এবং বুস্ট করার মতো কৌশলগুলিতে এম্বেড হওয়া পুনরায় স্যাম্পলিং রয়েছে এবং বড় ডেটা সেটগুলির তদারকি করার জন্য আপনার কাছে গণনা নরকের স্পেকটার রয়েছে। প্রকৃতপক্ষে, আর এর স্মৃতিশক্তি বাধাগুলি এমন মডেলগুলির আকারের উপর বেশ তীব্র সীমাবদ্ধতা আরোপ করে যা এলোমেলো বনগুলির মতো শীর্ষস্থানীয় পদ্ধতিতে উপযুক্ত হতে পারে। যদিও এসএল ছোট ডেটা সেটগুলির বিপরীতে মডেল পারফরম্যান্সটি ক্যালিব্রেট করে তোলে তবে বড় ডেটার জন্য পারফরম্যান্স বনাম গণনা ব্যয় বুঝতে ভাল লাগবে।

আর মেমরির সীমাবদ্ধতাগুলি কী কী এবং এগুলি কী এমন মডেলগুলির আকারের উপর গুরুতর সীমাবদ্ধতা আরোপ করে যা এলোমেলো বনের মতো শীর্ষস্থানীয় পদ্ধতিতে উপযুক্ত হতে পারে ?

Comments

এছাড়াও বড় ভাষার জন্য উপযুক্ত ভাষাটি দেখুন ।

— আমির আলী আকবরী

Answer 1

কনস্ট্যান্টিন যেমন উল্লেখ করেছেন, আর সিস্টেমের স্মৃতিতে র‌্যামে তার সমস্ত গণনা সম্পাদন করে। সুতরাং, আর-তে গণনা নিবিড় ক্রিয়াকলাপের জন্য র্যামের ক্ষমতা একটি অত্যন্ত গুরুত্বপূর্ণ প্রতিবন্ধকতা const এই সীমাবদ্ধতা অতিক্রম করে এই দিনগুলিতে এইচডিএফএস সিস্টেমগুলিতে ডেটা সংরক্ষণ করা হচ্ছে, যেখানে ডেটা মেমরিতে লোড হয় না এবং পরিবর্তে প্রোগ্রামটি চালানো হয়, প্রোগ্রাম ডেটাতে যায় এবং অপারেশনগুলি সম্পাদন করে, এভাবে স্মৃতির সীমাবদ্ধতাগুলি অতিক্রম করে। আরএইচডোপ ( https://github.com/RevolutionAnalytics/RHadoop/wiki ) আপনি যে সংযোগটির সন্ধান করছেন is

গণনা নিবিড় যা অ্যালগরিদমে প্রভাব পড়তে চলেছে, যথেষ্ট পরিমাণে ডেটা (এলোমেলো বন / সিদ্ধান্ত গাছ / ন্যূনতম পদ্ধতিসমূহ) আমার পদ্ধতিতে ন্যূনতম 50,000 পর্যবেক্ষণ) প্রচুর স্মৃতি গ্রহণ করে এবং যথেষ্ট ধীর হয়। প্রক্রিয়াটির গতি বাড়ানোর জন্য, সমান্তরালতা হ'ল পথ এবং সমান্তরালতা হডোওপে অন্তর্নিহিতভাবে উপলব্ধ! হ্যাডোপ সত্যিই দক্ষ where

সুতরাং, আপনি যদি জড়ো পদ্ধতিতে যাচ্ছেন যা গণনা নিবিড় এবং ধীর গতির হয়, আপনি এইচডিএফএস সিস্টেমে চেষ্টা করে দেখতে চান যা যথেষ্ট কর্মক্ষমতা উন্নতি করে।

Comments

+1 বিদ্যমান উত্তরটির উন্নতি করতে সময় দেওয়ার জন্য আপনাকে ধন্যবাদ, এবং আমার মতে আপনার উত্তরটি এখন আরও ভাল উত্তর, আমি উত্তর হিসাবে আপনার উত্তরটি নির্বাচন করেছি। চিয়ার্স!

— ভুলগুলি

উত্তর দিয়ে খুশি!

— বিঙ্গা

Answer 2

আর মেমরির সমস্ত গণনা সম্পাদন করে যাতে আপনি উপলব্ধ রামের পরিমাণের চেয়ে বড় কোনও ডেটাসেটে অপারেশন করতে পারবেন না। তবে কিছু লাইব্রেরি রয়েছে যা হ্যাডুপের মতো বিগডাটা প্রসেসিংয়ের জন্য আর এবং জনপ্রিয় লাইব্রেরিগুলির সাহায্যে বিগডাটা প্রসেসিং ব্যবহার করে।

Answer 3

এই সমালোচনা আর ন্যায়সঙ্গত নয়:

যদিও এটি সত্য যে বেশিরভাগ স্ট্যান্ডার্ড এবং সর্বাধিক সম্মানিত আরআর পাঠাগারগুলি মেমরির গণনাগুলিতে সীমাবদ্ধ ছিল, মেমরির সাথে খাপ খায় না এমন ডেটা নিয়ে কাজ করার জন্য ক্রমবর্ধমান বিশেষাধিকার গ্রন্থাগার রয়েছে।
উদাহরণস্বরূপ, বড় ডেটাসেটের এলোমেলো বনগুলির জন্য, আপনার কাছে গ্রন্থাগার রয়েছে bigrf। এখানে আরও তথ্য: http://cran.r-project.org/web/packages/bigrf/

প্রবৃদ্ধির আর একটি ক্ষেত্র হ্যাডোপের মতো বড় ডেটা পরিবেশের সাথে আর এর সংযোগ, যা সম্ভাবনার আরও একটি জগত খুলে দেয়।