সুতরাং, আমি গভীর আগ্রহের সাথে হাদুপকে দেখছিলাম , এবং সত্যি বলতে আমি মুগ্ধ, বিষয়গুলি খুব শীতল হয় না।
আমার একমাত্র গৌণ সমস্যা হ'ল আমি সি # বিকাশকারী এবং এটি জাভাতে।
এটি হ্যাডোপ নেট.এনএইচ বা এনএইচডোপ বা। নেট প্রকল্প যা গুগল ম্যাপ্রেডস পদ্ধতির সাথে জড়িত সেটিকে আমি জাভা বুঝতে পারি না এমনটা নয় । কেউ কি কেউ জানেন?
উত্তর:
আপনি কি হ্যাডোপের স্ট্রিমিং ব্যবহার করে দেখেছেন ?
আমি এটি অজগরটিতে সর্বদা ব্যবহার করি :-)।
আমি দেখতে শুরু করেছি যে ভিন্নজাতীয় দৃষ্টিভঙ্গি প্রায়শই সেরা এবং এটি দেখে মনে হয় যে অন্যান্য লোকেরাও এটি করছে।
আপনি যদি প্রোটোকল-বাফার বা ফেসবুকের বিকাশের মতো প্রকল্পগুলি দেখেন তবে আপনি দেখতে পাবেন যে কখনও কখনও অন্য ভাষায় লিখিত অ্যাপ্লিকেশন ব্যবহার করা এবং আপনার পছন্দের ভাষায় আঠা তৈরি করা ভাল best
সম্প্রতি, মাইস্পেস ওপেন সোর্স হিসাবে তাদের। নেট ম্যাপ্রেডস ফ্রেমওয়ার্ক, কিজমিট প্রকাশ করেছে , সুতরাং এটিও এই স্থানের সম্ভাব্য প্রতিযোগী।
আমি আমার প্রশ্নের উত্তরটি এখানে দিয়েছি
উত্সটিতে এখানে এটি বলতে:
মাইক্রোসফ্ট হাদোপের পক্ষে তার বিকল্প ( ড্রায়ড ) বাদ দিয়েছে । পরের বছর তারা এমএস এসকিউএল সার্ভার 2012 হ্যাডোপ ইন্টিগ্রেশন সহ প্রকাশ করবে। আমাদের কথা বলার সাথে সাথে আজুর এবং উইন্ডোজ সেভার সমর্থন বিকাশ করা হচ্ছে।
এটি ২০১২ সালের প্রথমার্ধে উপলব্ধ হবে।
হাদুপ হল # 1 বিগডাটা প্ল্যাটফর্ম এবং এটি ওপেনসোর্স এবং মালিকানাধীন উত্স (জাভা,। নেট, পাইথন, ...) দ্বারা সমর্থিত হতে পারে এমনকি ওরাকলও এটি গ্রহণ করছে ting
আপনি যদি কিছু বিকাশ করছিলেন তবে আপনি নেট নেট প্ল্যাটফর্মে থাকলে অপেক্ষা করা উচিত।
আমি বলব যে ড্রাইডলিংক আমাদের নিকটতম জিনিস। তবে আপনি হ্যাডোপটি কী ব্যবহার করতে চান তা নির্ভর করে। আপনি যদি অনুকূলিত স্ব-রক্ষণাবেক্ষণ বিতরণকারী ফাইল (ডিএফএস) সিস্টেমের সন্ধান করে থাকেন তবে ড্রাইডলিংক আপনি যা সন্ধান করছেন তা নয়। এটিতে ডিএফএসের সাথে একটি অ্যানালগ রয়েছে তবে আপনাকে নিজেই পার্টিশনগুলি তৈরি করতে হবে এবং প্রতিটি পার্টিশন বিতরণ করতে হবে।
বলা হচ্ছে, এটি যদি হাদুপের বিতরণ কার্যকরকরণের দিকটি যা আপনি ড্রাইডলিংক-এর চেয়ে সন্ধান করছেন তা সত্যিই দুর্দান্ত (এবং না, আমি এমএসের সাথে অনুমোদিত নয়)। DryadLINQ এর সাথে যাওয়ার চেয়ে আপনার যতক্ষণ কোনও মাইক্রোসফ্ট এইচপিসি ক্লাস্টার সেটআপ রয়েছে ততক্ষণ সহজ really
আপনি যে কোডটি লিখেছেন তা হ'ল সরাসরি লিনক কোড, IEnumerable<T>এটির পরিবর্তে আপনাকে লিনকিউ চালানোর পরিবর্তে PartitionedTable<T>(স্ব-বিল্ড বিতরণ করা ডেটা স্ট্রাকচার) প্রয়োগ করতে হবে ।
ড্রাইডলিংক সম্পর্কে যা সত্যই শীতল হয়েছে তা হল অ্যালগরিদমগুলি বিকাশ করার সময় সময়ের কাছাকাছি (আবার চেষ্টা করুন, পরীক্ষা করুন, সামঞ্জস্য করুন, পুনরাবৃত্তি করুন) turn আপনার গণনা করার জন্য আপনি কেবল লিনকিউ কোডটি লিখেছেন এবং ড্রাইডলিংক সম্পূর্ণ বিতরণকৃত এক্সিকিউশন অংশটির যত্ন নেবে। এটি সবচেয়ে প্রাকৃতিক অ্যানালগ যা আমি এসেছি যা একক প্রক্রিয়া প্রসেসিংয়ের জন্য লিখিত কোডের মতো বিতরণ প্রক্রিয়াকরণের জন্য লিখন কোড তৈরি করে।
আপনি রাভেনডিবি এর মতো কিছুতে নজর রাখতে পারেন এটি মোটামুটি বড় আকারের ডেটার জন্য মানচিত্রের জন্য খুব শালীন সমর্থন সরবরাহ করে। এটি অন্তর্নির্মিত হিসাবে। নেট এখনই একটি উপযুক্ত লিনকুই ক্লায়েন্ট এপিআই উপলব্ধ।
আপনাকে শুরু করতে আপনি আমার ব্লগ এন্টি পড়তে পারেন ।
অ্যাপাচি হ্যাডোপ এবং স্ট্রিমিং ব্যবহার করা আরও ভাল হতে পারে কারণ ইয়াহু এবং ফেসবুকের মতো ইন্ডাস্ট্রিতে বড় বড় জায়ান্টরা সক্রিয়ভাবে অ্যাপাচি হাদোপ বিকাশিত এবং রক্ষণাবেক্ষণ করছে। সুতরাং এটি আপনি এটি প্রত্যাশা করেন তা করতে পারে।
.NET- এ যদি আপনার কোনও সমাধানের প্রয়োজন হয় তবে দয়া করে মাইস্পেস বাস্তবায়ন @ মাইস্পেস কিজমিট - মাইস্পেসের ওপেন সোর্স ম্যাপ্রেডুস ফ্রেমওয়ার্কটি পরীক্ষা করুন
মাইক্রোসফ্ট এইচডিআইনসাইটকে রোল আউট করার প্রক্রিয়াধীন রয়েছে , যা তাদের "100% অ্যাপাচি সুসংগত হ্যাডোপ বিতরণ" হিসাবে বিল করা হয়েছে।
এটি উইন্ডোজ সার্ভারে এবং উইন্ডোজ আযুর পরিষেবা হিসাবে উভয়ই উপলব্ধ।
মাইক্রোসফ্ট রিসার্চটিতে ডেটোনা প্রকল্প রয়েছে:
আপনি এটি ডাউনলোড করতে পারেন। সি # তে একটি ওয়ার্ডকাউন্টের নমুনা রয়েছে।
আপনি এখন নেট নেট থেকে সরাসরি হডোপ ব্যবহার করতে পারেন মাইক্রোসফ্ট এটি করার জন্য একটি এসডিকে প্রকাশ করেছে।
https://hadoopsdk.codeplex.com/
অবশ্যই এর অর্থ জাভা ভিত্তিক হাদুপ নেটওয়ার্ক ব্যবহার করা। তবে সার্ভারটি জাভাতে চলছে কিনা তা বিবেচনা করে? আমি নিশ্চিত যে কেউ এটি বন্দর দেওয়ার চেষ্টা করতে পারে তবে কর্পোরেশনগুলি ইতিমধ্যে জাভা সংস্করণটিকে সমর্থন করছে বলে আমার মনে হয় না যে নেট বন্দরও একই মনোযোগ পাবে I
একবার দেখুন:
http://www.windowsazure.com/en-us/services/hdinsight/
এটি আজুরের জন্য হাদোপের একটি বাস্তবায়ন এবং আপনি এটি অ্যাক্সেসের জন্য। নেট ব্যবহার করতে পারেন।
অভ্যন্তরীণভাবে, মাইক্রোসফ্ট কসমস ব্যবহার করে আসছে। এটি মাইক্রোসফ্টের মাধ্যমে অ্যাজুরে মাধ্যমে উপলব্ধ করা হয়েছে। এর নাম দেওয়া হয়েছে অ্যাজুরে ডেটা লেক অ্যানালিটিক্স এবং অ্যাজুরি ডেটা লেক স্টোর । আজুর ডেটা লেকের অ্যানালিটিকাগুলি পরিষেবা হিসাবে এক ধরণের সূতা এবং পরিষেবা হিসাবে অ্যাজুরে ডেটা লেক স্টোর ওয়েবএইচডিএফএস। আজুর ডেটা লেক অ্যানালিটিকাগুলির প্রথম সংস্করণ কেবল লেনদেন-এসকিউএল + সি # এর উপর ভিত্তি করে একটি ভাষা ইউএস-এসকিউএল হোস্ট করে।
.NET- র জন্য এখানে একটি সুন্দর কিউট মানচিত্রের বাস্তবায়ন রয়েছে: http://mapsharp.codeplex.com/
Dryad / linq productized হচ্ছে এবং শীঘ্রই প্রকাশ করা হবে: http://blogs.technet.com/b/windowshpc/archive/2011/07/07/announcing-linq-to-hpc-beta-2.aspx একত্রে ব্যবহার অস্ট্রাকচারাল ডেটা অনুসন্ধানের জন্য শক্তিশালী, ক্লাস্টার ভিত্তিক সমাধানের জন্য মাইক্রোসফ্ট এইচপিসির সাথে
অন্যরা যেমন উল্লেখ করেছে, ড্রাইডলিংক হ'ল একটি প্রোগ্রামিং ফ্রেমওয়ার্ক যা বিকাশকারীদের লাইনকিউ কোয়েরি লিখতে এবং তাদের ক্লাস্টারে ম্যাপ্রেইডুসের অনুরূপভাবে সম্পাদন করতে দেয়। ড্রাইডলিংক প্রকল্পটি সম্প্রতি গিটহাবের অ্যাপাচি লাইসেন্সের অধীনে প্রকাশিত হয়েছে এবং রিলিজটিতে ইয়ার্ন ক্লাস্টারগুলিতে ( অ্যাজুরে এইচডিআইন্সাইট ক্লাস্টার সহ) চলমান সমর্থন অন্তর্ভুক্ত রয়েছে।