সিপিইউ-অভিযোজিত সংক্ষেপণ


10

ধরে নেওয়া যাক আমাকে খুব দ্রুত নেটওয়ার্কের মাধ্যমে একটি কম্পিউটার থেকে অন্য কম্পিউটারে কিছু ডেটা প্রেরণ করা প্রয়োজন ... উদাহরণস্বরূপ স্ট্যান্ডার্ড 100Mbit সংযোগ (M 10MB / s)। আমার ডিস্ক ড্রাইভগুলি স্ট্যান্ডার্ড এইচডিডি, তাই তাদের গতি কোথাও 30MB / s এবং 100MB / s এর মধ্যে। সুতরাং আমি অনুমান করি যে ফ্লাইয়ের ডেটা সংকুচিত করা সাহায্য করতে পারে।

তবে ... আমি সিপিইউ দ্বারা সীমাবদ্ধ থাকতে চাই না। আমি যদি সিপিইউতে নিবিড় একটি অ্যালগরিদম চয়ন করি তবে স্থানান্তরটি আসলে সংকোচনের চেয়ে ধীর হয়ে যাবে।

জিজেআইপি এবং বিজেডআইপি 2 এর মতো সংকোচকারীদের সাথে এটি কঠিন কারণ আপনি সাধারণত পুরো স্থানান্তরটির জন্য একবার সংকোচনের শক্তি সেট করে থাকেন এবং আমার ডেটা স্ট্রিমগুলি কখনও কখনও সহজ, কখনও কখনও সংকোচন করা শক্ত হয় - এটি প্রক্রিয়াটিকে সাবমোটিমাল করে তোলে কারণ কখনও কখনও আমি সম্পূর্ণ সিপিইউ ব্যবহার করি না, এবং কখনও কখনও ব্যান্ডউইদথ ব্যবহার করা হয় না।

এমন কোনও সংক্ষেপণ প্রোগ্রাম রয়েছে যা বর্তমান সিপিইউ / ব্যান্ডউইথের সাথে খাপ খাইয়ে নেবে এবং মিষ্টি স্পটে আঘাত করবে যাতে স্থানান্তরটি অনুকূল হতে পারে? আদর্শভাবে লিনাক্সের জন্য, তবে আমি এখনও সমস্ত সমাধান সম্পর্কে আগ্রহী। আমি GZIP / BZIP2 ডেকম্প্রেসারের সাথে সামঞ্জস্যপূর্ণ কিছু দেখতে চাই, তবে এটি প্রয়োজনীয় নয়।

সুতরাং আমি মোট স্থানান্তর সময়টি অনুকূলিত করতে চাই, কেবল পাঠানোর জন্য বাইটের পরিমাণ নয়।

এছাড়াও আমার রিয়েল টাইম ডিকম্প্রেশন দরকার নেই ... রিয়েল টাইম সংক্ষেপণ যথেষ্ট is গন্তব্য হোস্টটি তার অতিরিক্ত সময় পরে ডেটা প্রক্রিয়া করতে পারে। আমি জানি যে এটি খুব বেশি পরিবর্তন করে না (কম্প্রেশনটি সাধারণত ডেকম্প্রেশনের তুলনায় অনেক বেশি সিপিইউ-নিবিড় থাকে), তবে যদি এমন কোনও সমাধান থাকে যা এই সত্যটিকে ব্যবহার করতে পারে তবে আরও ভাল।

প্রতিবার আমি বিভিন্ন ডেটা স্থানান্তর করছি এবং আমি সত্যিই এই ওয়ান-টাইম স্থানান্তর যত তাড়াতাড়ি সম্ভব করতে চাই make সুতরাং শক্তিশালী সংকোচনের কারণে আমি একাধিক স্থানান্তর দ্রুত পেয়ে লাভ করব না।

ধন্যবাদ,


1
+1 আকর্ষণীয় এবং সম্ভাব্য দরকারী ধারণা। যদি আপনি এটির জন্য কোনও ভাল উপায় খুঁজে পান তবে আমি এটি সম্পর্কে শুনতে চাই।
ডেভিড ক্যারি

উত্তর:


3

এটি বর্তমান গবেষণার বিষয় - মূলত সেন্সর নেটওয়ার্কগুলির ক্ষেত্রে যেখানে সর্বাধিক মাধ্যমে থ্রুটপুট না বাড়িয়ে বিদ্যুতের ব্যবহার হ্রাস করা লক্ষ্য। অভিযোজিত সংকোচনের নীতি যদিও একই।

এখানে ইউএসসির একজন অধ্যাপকের সাম্প্রতিক একটি কাগজ রয়েছে ।

আপনি তার অ্যালগরিদম বাস্তবায়নে যেতে পারেন? আমি নিশ্চিত যে ভাল প্রয়োগে আগ্রহী অনেক লোক থাকবে।


আমি পছন্দ করতাম, যদি আমি পারতাম ... তবে মানুষের স্বাভাবিক সময়ের সীমাবদ্ধতাগুলি এখানে প্রয়োগ হয়। তবুও আমি এটি পরীক্ষার জন্য প্রথম হতে পারি ;-) কাগজের লিঙ্কগুলির জন্য আপনাকে ধন্যবাদ, আমি আগ্রহী হতে পারে এমন অন্যান্য ব্যক্তির সন্ধানের চেষ্টা করতে পারি।
লিওরি

2

হুম, এই প্রশ্নটি এখন এক বছরেরও বেশি পুরানো, সুতরাং এটি অযত্নে কেটে যেতে পারে:

যাইহোক, গুগল সম্প্রতি স্নাপি প্রকাশ করেছে যা আপনি যা খুঁজছেন ঠিক তেমনই হতে পারে:

[...] এটি সর্বাধিক সংক্ষেপণ, বা অন্য কোনও সংক্ষেপণ গ্রন্থাগারের সাথে সামঞ্জস্যের লক্ষ্য নয়; পরিবর্তে, এটি খুব উচ্চ গতি এবং যুক্তিসঙ্গত সংক্ষেপণের জন্য লক্ষ্য করে। উদাহরণস্বরূপ, জিলিবের দ্রুততম মোডের সাথে তুলনা করে স্নাপি হ'ল বেশিরভাগ ইনপুটগুলির জন্য দ্রুতগতির একটি ক্রম, তবে ফলাফলযুক্ত সংকোচিত ফাইলগুলি যে কোনও জায়গায় 20% থেকে 100% বড় [...]

এটি সি ++ এ সি এর জন্য উপলব্ধ এবং অন্যান্য ভাষার বিভিন্ন সীমাবদ্ধতার সাথে প্রয়োগ করা হয়েছে।


ওহ, না, এটি লক্ষ্য করা যায় না, কমপক্ষে আমার দ্বারা ;-) এবং মনে হয় এটি যে অর্থে আমি খুঁজছি তাতে এটি অভিযোজিত নয় - এটি কেবল দ্রুত।
লাইওরি
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.