নেটওয়ার্কে অনুলিপি করা ফাইলটি মূল থেকে আলাদা

Question

নেটওয়ার্কে এক স্টোরেজ থেকে আরেকটি ডাটা (~ 1 টিবি) সরানো হয়েছে, লক্ষ্য করেছি যে টার্গেট সিস্টেমের ফাইলটি মূল থেকে আলাদা।

সেটআপ: উইন্ডোজ শেয়ারিং সহ পিসি (উইন্ডোজ 7 64) - & gt; 1000 বেসেট নেটওয়ার্ক 2x 1 জি সুইচ - & gt; উইন্ডোজ শেয়ারিং ক্লায়েন্ট হিসাবে পিসি (উইন্ডোজ এক্সপি) অথবা উইন্ডোজ শেয়ারিং এর সাথে নাস (সম্ভবত সাম্বা?) - & gt; 1000 বেসেট নেটওয়ার্ক 1x 1 জি সুইচ - & gt; উইন্ডোজ শেয়ারিং ক্লায়েন্ট হিসাবে পিসি (উইন্ডোজ 7 64)

পদ্ধতি: মোট কমান্ডারের সাথে ভাগ থেকে অনুলিপি করুন - কোন ত্রুটি প্রতিবেদন করা হয়নি - & gt; মোট কমান্ডের মধ্যে dirs সিঙ্ক্রোনাইজ করুন (কন্টেন্ট দ্বারা তুলনা) - কিছু ফাইল ভিন্ন - & gt; মোট কমান্ডারের ডিফ (ডাইরি আউটপুট সিঙ্ক্রোনাইজ করতে ডাবল ক্লিক করুন) - বিভিন্ন হিসাবে চিহ্নিত কিছু ফাইল পার্থক্য প্রদর্শন করে, তাদের মধ্যে কয়েকটি একই সময় একই হিসাবে রিপোর্ট করা হয়। আমি পিসি-পিসি এবং পিসি-নাস চেষ্টা করেছি এবং উভয় একই।

আমি ফাইলগুলির মধ্যে একটি পরীক্ষা করেছি (~ 60 গিগাবাইট এক) এবং মনে হচ্ছে পার্থক্যগুলি সর্বদা একক বাইটের মূল মান 0 এবং লক্ষ্যমাত্রা 128 হয়। তারা এলোমেলোভাবে ফাইলের উপর ছড়িয়ে আছে, তাদের প্রায় 10। বিভাজন পুনরায় চালানো তাদের কিছু কিছু অব্যাহত দেখায় এবং তাদের মধ্যে কিছু পরিবর্তিত হয়, কিন্তু তাদের একই পরিমাণ সম্পর্কে আছে।

সম্পাদন করুন: টিসি সম্পর্কে সিটিক্টন-ডিজে সন্দেহের উত্তর দিতে, আমার মনে রাখা দরকার যে আমি একটি সাধারণ C # অ্যাপ্লিকেশন লিখেছি যা .NET API ব্যবহার করে দুটি ফাইল পড়ে এবং বাইটি দ্বারা বাইট তুলনা করে। এইভাবে আমি পূর্ববর্তী অনুচ্ছেদে diff তথ্য পেয়েছিলাম।

মনে হচ্ছে নেটওয়ার্ক ট্রান্সফার প্রতি 6 গিগাবাইটে এক বিট ব্যর্থ হয়। কিভাবে এটা সম্ভব? এটা স্বাভাবিক আচরণ? কিভাবে এটি টিসিপি স্তরে চেকসামস পাস করে? আমি কিভাবে ভুল বলতে পারি এবং কী বদলাতে হবে?

সম্পাদনা করুন: নেটওয়ার্ক ট্রান্সফার ত্রুটিগুলির কারণ হতে পারে না, তাহলে আসল কারণ কী হতে পারে?

Comments

দেখে মনে হচ্ছে SU এ স্থানান্তরিত হচ্ছে। কিন্তু আমি এটিকে অনেক উত্তর দিতে পারি, একমাত্র বিট ডেটা হারাতে একেবারে স্বাভাবিক নয়, পুরো বাইটকে একা ছেড়ে দেওয়া।

— Chris S

আমি এখানে থাকার যথেষ্ট নেটওয়ার্ক-সম্পর্কিত বিবেচনা করবে। আমি এসই এর লোকেরা প্রোটোকল বিবরণ বা চেকসাম আলগোরিদিম মধ্যে অনেক অন্তর্দৃষ্টি আছে আশা করবে না।

প্রকৃতপক্ষে আমি মনে করি না নেটওয়ার্ক প্রোটোকলগুলির অভ্যন্তরীণ কাজগুলি আমার প্রধান আগ্রহ, আমি সমস্যাটির সমাধান করতে আগ্রহী এবং হারিয়ে যাওয়া তথ্য অনুলিপি করতে সক্ষম হচ্ছি। তাই হয়তো এটি বরং একটি ব্যবহারকারী প্রশ্ন এবং আমি সত্যিই ভুল ফোরামে পোস্ট করেছেন। আমি কি এটি সরাতে সক্ষম, অথবা কিছু অ্যাডমিন এটা করতে সক্ষম?

Answer 1

আমি বরং টিসিগুলিতে "সামগ্রী দ্বারা তুলনা করুন" বৈশিষ্ট্যটিতে একটি বাগ সন্দেহ করব এবং উভয় পক্ষের ফাইলগুলির জন্য কিছু ব্যবহার করে স্থানীয় চেকসাম প্রজন্মের মাধ্যমে ডাবল-চেক করুন MD5 বা SHA-1 হ্যাশ এবং vissually চেকসাম তুলনা।

কিছু যুক্তি

একটি ইথারনেট ফ্রেম প্রতি ফ্রেম 32 বিট একটি সিআরসি চেকসাম আছে। টিসিপি একটি 16 বিট সিআরসি চেকসাম যোগ করে। উভয় চেকসামগুলি পাস করে একটি একক-বিট-ত্রুটির একটি ত্রুটিপূর্ণ প্যাকেট একটি একক 32-বিট সিআরসি চেক (2 ^ -32) এর চেয়ে কম সম্ভাবনাযুক্ত তবে উভয় সম্ভাব্যতার প্রোডাক্টের চেয়ে বেশি সম্ভাবনা (2 ^ -16 * 2 ^ - 32 = 2 ^ -48)। ঠিক যেখানে, আলগোরিদিম বৈশিষ্ট্য উপর নির্ভর করে।

1.400 বাইটের একটি পেলড আকার অনুমান করা (যদি আপনি জ্যাম্বো ফ্রেমগুলি ব্যবহার করেন না) এবং সহজ হিসাবের জন্য ২048 বাইট পর্যন্ত এটি বৃত্তাকার করে তুলুন এটি প্রায় 2 ^ 42 থেকে 2 ^ 58 বাইট (5,4 টেরাবাইট থেকে 250 Petabytes) যদি প্রেরিত প্রতিটি ফ্রেম একটি একক বাইট ত্রুটি বহন করে ।

তবে, অবশ্যই, অবশ্যই অন্যথায় লক্ষ্য করা হবে - সিআরসি চেকসাম ব্যর্থতার হার যা আপনার ইথারনেট ট্রান্সমিশনগুলিকে প্রায়শই কমিয়ে দেবে - আপনার ফাইল অনুলিপিটির জন্য আপনি অস্বাভাবিকভাবে কম স্থানান্তর হার পাবেন। এবং আপনি আপনার পরিচালিত সুইচ 'RMON পোর্ট কাউন্টারে অনেক সিআরসি চেক ব্যর্থতা দেখতে সক্ষম হবেন।

সুতরাং, আপনার ত্রুটির প্রকৃতিটি দেওয়া হলে এটি একটি সংক্রমণ ত্রুটি যা সম্ভবত অসম্ভাব্য বলে মনে হয় - এটি আরও বেশি র্যান্ডমও দেখাবে।

Comments

ব্যাখ্যা করার জন্য ধন্যবাদ, এটা সঠিক বলে মনে হচ্ছে। তবে, এটি ভুল চেকসামগুলির কারণে কেন হয় না তা ব্যাখ্যা করে তবে কোনও সম্ভাব্য কারণ বা পরিস্থিতির সাথে কীভাবে মোকাবিলা করা যায় তা ব্যাখ্যা করে না।

আমি টিসি তে একটি বাগ হতে অত্যন্ত অসম্ভাব্য, কপি সময় তথ্য দুর্নীতি একটি কোড যা হার্ড কোড হবে :)

— Balázs Pozsár

কিছুক্ষণ পর এই সমস্যাটি ফিরে পেয়েছি এবং আমার নিশ্চিত হওয়া উচিত যে এটি আমার ক্ষেত্রে সামগ্রী দ্বারা টিসি এর তুলনামূলকভাবে একটি বাগ ছিল। এটা বড় ফাইল ব্যর্থ হয়। আমি নিশ্চিত নই কেন, কিন্তু আমি মনে করি এটি কেবলমাত্র কিছু জিনিস যা এটি ব্যবহার করা হয় না, সম্ভবত কিছু মেমরি সীমা বা এরকম কিছু। যদি আপনি টিসি ফাইলটি লম্বা লাইন সহ দুটি পাঠ্য ফাইলের তুলনায় ব্যবহার করেন তবে এটি সম্ভবত একই কারণে সমস্ত লম্বা লাইনকে (এমনকি মিলিত হওয়া) চিহ্নিত করে।

— Jan Svab

Answer 2

আমি মেশিনে খারাপ মেমরি সন্দেহ হবে। চালানোর জন্য অনুগ্রহ করে memtest86 তাদের উভয় উপর।

Comments

আমি এটি একটি সম্ভাব্য কারণ মনে হয় না। একই নেটওয়ার্কে কমপক্ষে চারটি মেশিনে (দুটি ডেস্কটপ, ল্যাপটপ এবং একটি NAS) একই সমস্যা দেখতে পাচ্ছি। তাদের কেউ ত্রুটিযুক্ত মেমরি চিপ অন্য লক্ষণ দেখায়। যাইহোক, আমি memtest চেষ্টা করব, কিন্তু আমি কিছু প্রদর্শন করার আশা করি না।

— Jan Svab

অনুগ্রহ করে এটি করুন, আমি ফলাফলগুলিতে সত্যিই আগ্রহী নই কারণ আমি এটি একটি নেটওয়ার্ক সমস্যা হতে পারে না

— Balázs Pozsár

Answer 3

আইপি চেকসাম একটি 16-বিট সিআরসি হয়। আপনি প্রায় 65k দুর্নীতিগ্রস্ত প্যাকেট মাধ্যমে প্রায় slip 1 আশা করতে পারেন। যদি আপনি বড় ফাইল স্থানান্তর করছেন তবে ছোট ব্লকগুলিতে ক্রিপ্টোগ্রাফিক চেকসাম ব্যবহার করে আপনি সম্ভবত একটি ডেডিকেটেড ফাইল কপিয়ারের সাথে ভালভাবে বন্ধ হয়ে যাবেন। ভালো লেগেছে, বলুন, 1 মেগাবাইটের বেশি MD5 এবং SHA1 চালানো, যদি একটি বা উভয় চেকসামগুলি পৃথক থাকে তবে একটি চক্র পুনরায় প্রেরণ করুন।

আপনি যদি প্রায় 6 গিগাবাইটে ত্রুটি দেখেন, তবে এটি মোটামুটি 0.1% দ্বারা ট্র্যাফিকে বৃদ্ধি পাবে বলে দৃঢ় প্রকৌশল দ্বারা নির্ধারিত (1 এমবি) প্রস্তাবিত চাঁদের আকারটি আরও গুরুতর অনুভূতি।

Comments

"ক্রিপ্টোগ্রাফিক চেকসাম ব্যবহার করে কপিয়ার" - যেমন, উদাহরণস্বরূপ, এর মধ্যে একটি rsync উপর ভিত্তি করে অনেক অ্যাপ্লিকেশন ।

— David Cary

সুতরাং বিন্দু হল: "এটি স্বাভাবিক আচরণ এবং এটি প্রত্যাশিত হতে পারে"। কিন্তু কিভাবে আপনি 65k দুর্নীতিগ্রস্ত প্যাকেট সংখ্যা 1 নির্ধারণ করেছেন?

16-বিট সিআরসি ধরা উচিত সব একক-বিট-প্রতি-প্যাকেট ত্রুটি, কেবলমাত্র নয় বরং 2 ^ 16 এর মধ্যে 1।

— David Cary