বড় বাইনারি ফাইলগুলি ট্র্যাক করার সময় গিটটি খুব ধীর হয়

Question 1

আমার প্রকল্পটি ছয় মাস পুরানো এবং গিটটি খুব ধীর গতির। আমরা প্রায় 30 টি ফাইল ট্র্যাক করে যা 5 এমবি থেকে 50 এমবি আকারের। এগুলি বাইনারি ফাইল এবং আমরা এগুলিকে গিটে রাখি। আমি বিশ্বাস করি যে এই ফাইলগুলি গিটকে ধীর করে দিচ্ছে।

সংগ্রহস্থল থেকে> 5 এমবি আকারের সমস্ত ফাইলকে মেরে ফেলার উপায় আছে কি? আমি জানি আমি এই সমস্ত ফাইল হারাব এবং এটি আমার সাথে ঠিক আছে।

আদর্শভাবে আমি একটি কমান্ড চাই যা সমস্ত বড় ফাইল (> 5 এমবি) তালিকাভুক্ত করবে। আমি তালিকাটি দেখতে পাচ্ছি এবং তারপরে আমি বলি ঠিক আছে এগিয়ে যান এবং সেই ফাইলগুলি মুছুন এবং দ্রুত গিট তৈরি করুন।

আমার উল্লেখ করা উচিত যে গিটটি কেবল আমার মেশিনে ধীরে ধীরে ধীরে ধীরে চলছে না তবে মঞ্চস্থ পরিবেশে অ্যাপ স্থাপন করাতে এখন প্রায় 3 ঘন্টা সময় লাগছে।

সুতরাং সমাধানটি এমন কিছু হওয়া উচিত যা কেবল সার্ভারকেই প্রভাবিত করবে এবং কেবল ভান্ডার ব্যবহারকারীরাই নয়।

Question 2

আপনি কি আবর্জনা সংগ্রহ করেন?

git gc

এটি গতিতে একটি উল্লেখযোগ্য পার্থক্য তৈরি করে এমনকি ছোট স্টোরের জন্যও।

Question 3

ব্যাখ্যা

ছোট পাঠ্য ফাইলগুলির বিশাল ইতিহাসে গিটটি সত্যিই ভাল কারণ এটি তাদের এবং তাদের পরিবর্তনগুলিকে দক্ষতার সাথে সঞ্চয় করতে পারে। একই সময়ে, গাইনটি বাইনারি ফাইলগুলিতে খুব খারাপ, এবং নির্ভুলভাবে ফাইলের পৃথক অনুলিপিগুলি সংরক্ষণ করবে ( ডিফল্টরূপে, কমপক্ষে )। ভান্ডারটি বিশাল আকার ধারণ করে এবং এটি পর্যবেক্ষণের সাথে ধীর হয়ে যায়।

এটি ডিভিসিএস-এর মধ্যে একটি সাধারণ সমস্যা, আপনি যতবার ক্লোন করেছেন ততবার প্রতিটি ফাইলের ("পুরো সংগ্রহস্থল") প্রতিটি সংস্করণ ডাউনলোড করে ফেলেছেন by কিলনের ছেলেরা সাবভার্সনের মতো এই বৃহত ফাইলগুলিকে আরও চিকিত্সা করার জন্য একটি প্লাগইনে কাজ করছে যা কেবলমাত্র চাহিদা অনুযায়ী versionsতিহাসিক সংস্করণগুলি ডাউনলোড করে।

সমাধান

এই কমান্ডটি সমস্ত ফাইলের আকার> = 5MB এর অধীনে সমস্ত ফাইল তালিকাভুক্ত করবে।

find . -size +5000000c 2>/dev/null -exec ls -l {} \;

আপনি যদি সংগ্রহস্থলের পুরো ইতিহাস থেকে ফাইলগুলি সরাতে চান তবে আপনি ইতিহাসটি git filter-branchচলতে এবং বড় বড় ফাইলগুলির সমস্ত চিহ্ন থেকে মুক্তি পেতে এই ধারণাটি ব্যবহার করতে পারেন । এটি করার পরে, সংগ্রহস্থলের সমস্ত নতুন ক্লোনগুলি ঝোঁক হবে। আপনি যদি ক্লোনিং না করে কোনও ভাণ্ডার ঝুলতে চান তবে আপনি ম্যান পেজে দিকনির্দেশ পাবেন ("একটি রিপোজিটরি সঙ্কুচিত করার জন্য চেকলিস্ট" দেখুন)।

git filter-branch --index-filter \
    'find . -size +5000000c 2>/dev/null -exec git rm --cached --ignore-unmatch {} \;'

সতর্কতার একটি শব্দ : এটি আপনার সংগ্রহশালাটিকে অন্য ক্লোনগুলির সাথে বেমানান করে তুলবে , কারণ গাছ এবং সূচকগুলিতে বিভিন্ন ফাইল চেক ইন করা আছে; আপনি এগুলি থেকে আর চাপতে বা টানতে পারবেন না।

Question 4

এখানে একটি সেন্সরযুক্ত সংশোধন কম negativeণাত্মক এবং প্রদাহজনক হতে পারে:

লাইন বাই লাইন পাঠ্য ফাইল নয় এমন ফাইলগুলির ক্ষেত্রে গিটের একটি সুপরিচিত দুর্বলতা রয়েছে। এটির সমাধান করার জন্য বর্তমানে কোনও সমাধান নেই এবং কোর গিট দল কর্তৃক কোনও পরিকল্পনা ঘোষণা করা হয়নি। যদি আপনার প্রকল্পটি ছোট হয় তবে 100 এমবি বা তার মতো কাজ করুন। এই স্কেলিবিলিটি সমস্যাটি সমাধান করার জন্য গিট প্রকল্পের শাখা রয়েছে তবে এই শাখাগুলি এই সময়ে পরিপক্ক নয়। কিছু অন্যান্য সংশোধন নিয়ন্ত্রণ সিস্টেমের এই নির্দিষ্ট সমস্যা নেই। আপনার সংশোধন নিয়ন্ত্রণ ব্যবস্থা হিসাবে গিটটি নির্বাচন করবেন কিনা তা সিদ্ধান্ত নেওয়ার সময় আপনার এই সমস্যাটিকে অনেকগুলি কারণ হিসাবে বিবেচনা করা উচিত।

Question 5

বাইনারি ফাইলগুলি এবং গিটটি যেভাবে তাদের পরিচালনা করছে সে সম্পর্কে সুনির্দিষ্ট কিছু নেই। আপনি যখন একটি গিট সংগ্রহস্থলটিতে একটি ফাইল যুক্ত করেন তখন একটি শিরোনাম যুক্ত হয় এবং ফাইলটি zlib দিয়ে সংকুচিত হয় এবং SHA1 হ্যাশটির পরে নতুন নামকরণ করা হয়। ফাইল টাইপ নির্বিশেষে এটি হুবহু একই। Zlib সংকোচনে এমন কিছু নেই যা এটি বাইনারি ফাইলগুলির জন্য সমস্যাযুক্ত করে।

তবে কিছু পয়েন্টে (পুশিং, জিসি) গিটটি ডেল্টা কন্ট্র্রেড কন্ট্র্রেড করার সম্ভাবনাটি দেখতে শুরু করে। যদি গিট ফাইলগুলি অনুরূপ (ফাইলের নাম ইত্যাদি) সন্ধান করে তবে এটি তাদের র‍্যামে রাখবে এবং তাদের একসাথে সংকোচন করা শুরু করবে। আপনার যদি 100 টি ফাইল থাকে এবং তাদের প্রত্যেকটি 50 এমবি বলে থাকে এটি একই সাথে 5 গিগাবাইট মেমরিতে রাখার চেষ্টা করবে। এতে আপনাকে জিনিসগুলি কাজ করতে আরও কিছু যুক্ত করতে হবে। আপনার কম্পিউটারে এই পরিমাণ র্যাম নাও থাকতে পারে এবং এটি অদলবদল হতে শুরু করে। প্রক্রিয়া সময় লাগে।

আপনি ডেল্টা সংকোচনের গভীরতা সীমাবদ্ধ করতে পারেন যাতে প্রক্রিয়াটি এত বেশি মেমরি ব্যবহার করে না তবে ফলাফলটি কম দক্ষ সংক্ষেপণ। (কোর.বিগফাইলেথ্রেসোল্ড, ডেল্টা অ্যাট্রিবিউট, প্যাক.উইন্ডো, প্যাক.ডেপথ, প্যাক.উইন্ডো মেমরি ইত্যাদি)

সুতরাং অনেকগুলি ধারণা রয়েছে যে আপনি বড় ফাইলগুলির সাথে গিট কাজটি করতে খুব ভাল করতে পারেন।

Question 6

জিনিসগুলির গতি বাড়ানোর এক উপায় হ'ল --depth 1পতাকা ব্যবহার করা । বিশদ জন্য ম্যান পৃষ্ঠা দেখুন। আমি বড় গিট গুরু নই তবে আমি বিশ্বাস করি এটি বলে একটি p4 getবা একের সমান svn get, তবে এটি "সর্বকালের মধ্য দিয়ে আমাকে সমস্ত ফাইলের সমস্ত সংশোধন আমাকে দিন" এর পরিবর্তে আপনাকে কেবল সর্বশেষ ফাইল দেয় give কি git cloneকরে

Question 7

আপনি কি গিটকে বলেছেন যে এই ফাইলগুলি বাইনারি?

যেমন *.ext binaryআপনার ভাণ্ডারে যুক্ত হয়েছে.gitattributes

Question 8

আপনি বড় ফাইলগুলি পরিষ্কার করার দ্রুততর সহজ উপায় হিসাবে বিএফজি রেপো ক্লিনারটিকেও বিবেচনা করতে পারেন।

https://rtyley.github.io/bfg-repo-cleaner/

Question 9

আমি উইন্ডোজ এবং জিএনইউ / লিনাক্স উভয় ক্ষেত্রে ২০০৮ সাল থেকে গিট চালাচ্ছি এবং আমি যে ফাইলগুলি ট্র্যাক করি সেগুলির বেশিরভাগই বাইনারি ফাইল। আমার কয়েকটি রেপো বেশ কয়েকটি জিবি এবং এতে জেপিগ এবং অন্যান্য মিডিয়া রয়েছে। বাড়িতে এবং কাজ গিটে আমার কাছে প্রচুর কম্পিউটার রয়েছে।

মূল পোস্টটি দ্বারা বর্ণিত লক্ষণগুলি আমি কখনও পাইনি। তবে মাত্র দু'সপ্তাহ আগে আমি পুরানো উইন-এক্সপি ল্যাপটপে এমসিসজিট ইনস্টল করেছি এবং আমি যা কিছু করেছি তা বন্ধ করে দিয়েছে। এমনকি মাত্র দুটি বা তিনটি ছোট পাঠ্য ফাইল দিয়ে পরীক্ষা করা হাস্যকরভাবে ধীর ছিল। আমরা 1 মিনিটের চেয়ে কম ফাইল যুক্ত করতে 10 মিনিটের কথা বলছি ... মনে হচ্ছে গিট প্রক্রিয়াগুলি চিরকাল বেঁচে থাকবে। বাকি সমস্ত কিছুই এই কম্পিউটারে প্রত্যাশার মতো কাজ করেছিল।
আমি সর্বশেষ সংস্করণটি থেকে 1.6-তে কিছুটা ডাউনগ্রেড করেছি এবং সমস্যাগুলি চলে গিয়েছিল ...
আমার কাছে একই ব্র্যান্ডের অন্যান্য ল্যাপটপ রয়েছে, একই আইটি বিভাগ দ্বারা ইনস্টল করা উইন-এক্সপিও একই চিত্র তৈরি করে, যেখানে গিট সংস্করণ নির্বিশেষে দুর্দান্ত কাজ করে। .. সুতরাং নির্দিষ্ট কম্পিউটারের সাথে অবশ্যই কিছু অদ্ভুত থাকতে হবে।

আমি বাইনারি ফাইল এবং সংক্ষেপণের সাথে কিছু পরীক্ষাও করেছি। আপনার যদি কোনও বিএমপি ছবি থাকে এবং আপনি এতে ছোট পরিবর্তন করেন এবং সেগুলি প্রতিশ্রুতিবদ্ধ করেন, গিট জিসি খুব ভালভাবে সংকোচিত হবে। সুতরাং আমার উপসংহারটি হ'ল ফাইলগুলি বাইনারি কিনা তা সংক্ষেপণ নির্ভর করে না।

Question 10

উপেক্ষা করার জন্য কেবল ফাইলগুলি সেট আপ করুন। নীচের লিঙ্কটি দেখুন:

http://help.github.com/git-ignore/

Question 11

গিটটি স্কেলযোগ্য নয় এমন কারণ ।

গিটের পক্ষে এটি একটি মারাত্মক সীমাবদ্ধতা যা গিট অ্যাডভোকেসি দ্বারা নিমজ্জিত। গিট মেইলিং তালিকাগুলি সন্ধান করুন এবং আপনি কয়েকশো ব্যবহারকারীকে ভাবছেন যে কেবলমাত্র একটি অল্প 100 এমবি চিত্র (যেমন কোনও ওয়েবসাইট বা অ্যাপ্লিকেশন জন্য বলুন) কেন তার হাঁটুর কাছে গিট নিয়ে আসে। সমস্যাটি দেখা যায় যে প্রায় সমস্ত গিটই একটি অপ্টিমাইজেশানের উপর নির্ভর করে যা তারা "প্যাকিং" হিসাবে উল্লেখ করে। দুর্ভাগ্যক্রমে, প্যাকিং ক্ষুদ্রতম পাঠ্য ফাইলগুলি (যেমন, উত্স কোড) ব্যতীত সকলের পক্ষে অকার্যকর। সবচেয়ে খারাপ, ইতিহাস বাড়ার সাথে সাথে এটি কম ও কম দক্ষ হয়ে ওঠে।

এটি সত্যিই গিটের একটি বিব্রতকর ত্রুটি, যা "দ্রুত" হিসাবে প্রমাণিত হয় (প্রমাণের অভাবে সত্ত্বেও), এবং গিট বিকাশকারীরা এটি সম্পর্কে ভাল জানেন। কেন তারা এটি স্থির করেনি? গিট বিকাশকারীদের কাছ থেকে গিট মেলিং তালিকায় প্রতিক্রিয়াগুলি খুঁজে পাবেন যারা সমস্যাটি চিনতে পারবেন না কারণ তারা ফটোশপ ডকুমেন্টস (* .psd) স্বত্বাধিকারী ফর্ম্যাট। হ্যাঁ, এটি আসলেই খারাপ।

এখানে ফলাফল:

ক্ষুদ্র, উত্স-কোড প্রকল্পগুলির জন্য গিট ব্যবহার করুন যার জন্য আপনি আলাদা রেপো স্থাপনের মতো মনে করেন না। বা কেবলমাত্র ছোট উত্স-কোড প্রকল্পের জন্য যেখানে আপনি বিকেন্দ্রীভূত বিকাশের গিটারের অনুলিপি-পুরো-রেপো মডেলটির সুবিধা নিতে চান। বা যখন আপনি কেবল একটি নতুন সরঞ্জাম শিখতে চান। এগুলি সমস্তই গিট ব্যবহার করার উপযুক্ত কারণ এবং নতুন সরঞ্জামগুলি শিখতে সবসময় মজাদার।

আপনার যদি একটি বড় কোড বেস, বাইনারি, বিশাল ইতিহাস ইত্যাদি থাকে তবে গিট ব্যবহার করবেন না Just আমাদের रिपোসের মধ্যে একটি হ'ল টিবি। গিট এটি পরিচালনা করতে পারে না। ভিএসএস, সিভিএস এবং এসভিএন এটি ঠিকঠাকভাবে পরিচালনা করে। (যদিও এসভিএন ফুলে উঠেছে)

এছাড়াও, পরিপক্ক জন্য গিট সময় দিন। এটি এখনও অপরিণত, তবু এটির প্রচুর গতি রয়েছে। সময়মতো, আমি মনে করি লিনাসের ব্যবহারিক প্রকৃতি ওএসএস পিউরিস্টকে পরাভূত করবে এবং শেষ পর্যন্ত বৃহত্তর ক্ষেত্রে গিট ব্যবহারযোগ্য হবে।