preliminaries
আধুনিক কম্পিউটারগুলিতে, কেবলমাত্র সর্বনিম্ন স্তরের মেমরি স্ট্রাকচার ( নিবন্ধগুলি ) একক ঘড়ির চক্রের মধ্যে ডেটা স্থানান্তর করতে পারে। তবে, নিবন্ধগুলি খুব ব্যয়বহুল এবং বেশিরভাগ কম্পিউটারের কম্পিউটারে কয়েক ডজনের চেয়ে কম রেজিস্টার থাকে (কয়েকশ থেকে এক হাজার বাইটস মোট)। মেমোরি স্পেকট্রামের ( ডিআরএএম ) অপর প্রান্তে , মেমরিটি খুব সস্তা (অর্থাত্ আক্ষরিক কয়েক মিলিয়ন গুণ সস্তায় ) তবে ডেটা পাওয়ার অনুরোধের পরে শত চক্র গ্রহণ করে। সুপার দ্রুত এবং ব্যয়বহুল এবং সুপার ধীর এবং সস্তার মধ্যে এই ব্যবধানটি পূরণ করার জন্য ক্যাশে স্মৃতি, ক্রমহ্রাসমান এবং ব্যয়কে L1, L2, L3 নামকরণ করেছে। ধারণাটি হ'ল বেশিরভাগ এক্সিকিউটিভ কোডটি প্রায়শই একটি ভেরিয়েবলের একটি ছোট সেটকে আঘাত করবে এবং বাকিগুলি (ভেরিয়েবলের অনেক বড় সেট) প্রায়শই ঘটবে। প্রসেসর যদি L1 ক্যাশে ডেটাটি খুঁজে না পায় তবে এটি L2 ক্যাশে দেখায়। যদি সেখানে না থাকে, তবে L3 ক্যাশে, এবং যদি না থাকে তবে মূল স্মৃতি। এই প্রতিটি "মিস" সময় ব্যয়বহুল।
(সাদৃশ্যটি হ'ল ক্যাশে মেমরিটি হ'ল সিস্টেম মেমোরি, কারণ সিস্টেম মেমরিটি খুব হার্ড ডিস্ক স্টোরেজ disk হার্ড ডিস্ক স্টোরেজ অত্যন্ত সস্তা তবে খুব ধীর)।
ক্যাশিং প্রধান পদ্ধতি প্রভাব কমাতে এক লেটেন্সি । ভেষজ সুটার (নীচে সিএফআর। লিঙ্কগুলি) প্যারাফ্রেজ করতে: ব্যান্ডউইথকে বাড়ানো সহজ, তবে আমরা বিলম্বের বাইরে আমাদের উপায় কিনতে পারি না ।
মেমরি হায়ারার্কির মাধ্যমে ডেটা সর্বদা পুনরুদ্ধার করা হয় (ক্ষুদ্রতম == দ্রুততম থেকে ধীর)। একটি ক্যাশে হিট / মিস সাধারণত সিপিইউতে ক্যাশের সর্বোচ্চ স্তরের একটি হিট / মিস বোঝায় - উচ্চ স্তরের দ্বারা আমি বৃহত্তম == ধীরতম মানে। ক্যাশে হিট রেট পারফরম্যান্সের জন্য অত্যন্ত গুরুত্বপূর্ণ যেহেতু প্রতিটি ক্যাশে মিসের ফলে র্যাম থেকে ডেটা আনার ফলাফল মিস হয় (বা আরও খারাপ ...) যা অনেক সময় নেয় (র্যামের জন্য কয়েকশ চক্র, এইচডিডি জন্য কয়েক মিলিয়ন চক্র)। তুলনায়, (সর্বোচ্চ স্তরের) ক্যাশে থেকে ডেটা পড়তে সাধারণত কয়েকটি মুখ্য চক্র লাগে।
আধুনিক কম্পিউটার আর্কিটেকচারে, পারফরম্যান্সের বাধাটি সিপিইউ ডাই ছাড়ছে (যেমন র্যাম বা তার চেয়ে বেশি উচ্চতর অ্যাক্সেস)। এটি সময়ের সাথে সাথে আরও খারাপ হবে। প্রসেসরের ফ্রিকোয়েন্সি বৃদ্ধি বর্তমানে কর্মক্ষমতা বাড়াতে প্রাসঙ্গিক নয়। সমস্যা মেমরি অ্যাক্সেস। সিপিইউগুলিতে হার্ডওয়্যার ডিজাইনের প্রচেষ্টাগুলি বর্তমানে ক্যাশে, প্রিফেচিং, পাইপলাইনগুলি এবং একযোগিতায় অনুকূলকরণের দিকে বেশি মনোযোগ দেয়। উদাহরণস্বরূপ, আধুনিক সিপিইউগুলি প্রায় 85% মরণ ক্যাশে এবং 99% ডেটা সঞ্চয় / চলন্ত জন্য ব্যয় করে!
বিষয়টিতে অনেক কিছু বলা দরকার। এখানে ক্যাশে, মেমোরি শ্রেণিবদ্ধকরণ এবং সঠিক প্রোগ্রামিং সম্পর্কে কয়েকটি দুর্দান্ত উল্লেখ রয়েছে:
ক্যাশে-বান্ধব কোডের জন্য মূল ধারণাগুলি
ক্যাশে-বান্ধব কোডের একটি খুব গুরুত্বপূর্ণ দিকটি হ'ল স্থানীয় নীতি সম্পর্কে , যার লক্ষ্যটি দক্ষ ক্যাশে অনুমতি দেওয়ার জন্য সম্পর্কিত ডেটা মেমরির কাছে রাখা। সিপিইউ ক্যাশের ক্ষেত্রে, এটি কীভাবে কাজ করে তা বোঝার জন্য ক্যাশে লাইন সম্পর্কে সচেতন হওয়া গুরুত্বপূর্ণ: ক্যাশে লাইনগুলি কীভাবে কাজ করে?
নিম্নোক্ত বিশেষ দিকগুলি ক্যাচিংকে অনুকূল করতে উচ্চ গুরুত্ব দেয়:
- অস্থায়ী লোকালয় : যখন কোনও প্রদত্ত মেমরির অবস্থান অ্যাক্সেস করা হয়েছিল, সম্ভবত অদূর ভবিষ্যতে একই স্থানটি আবার অ্যাক্সেস করা সম্ভব। আদর্শভাবে, এই তথ্যটি এখনও সেই সময়ে ক্যাশে করা হবে।
- স্থানিক লোকাল : এটি সম্পর্কিত ডেটা একে অপরের কাছাকাছি স্থাপন বোঝায়। ক্যাচিং কেবলমাত্র সিপিইউতে নয়, বহু স্তরে ঘটে। উদাহরণস্বরূপ, আপনি যখন র্যাম থেকে পড়েন, সাধারণত বিশেষত যা চেয়েছিলেন তার চেয়ে মেমরির একটি বড় অংশ আনা হয় কারণ খুব ঘন ঘন প্রোগ্রামে শীঘ্রই সেই ডেটার প্রয়োজন হয়। এইচডিডি ক্যাশে একই চিন্তার রেখা অনুসরণ করে। বিশেষত সিপিইউ ক্যাশেগুলির জন্য, ক্যাশে লাইনের ধারণাটি গুরুত্বপূর্ণ।
উপযুক্ত ব্যবহার করুন C ++ পাত্রে
ক্যাশে-বান্ধব বনাম ক্যাশে-বন্ধুত্বের একটি সাধারণ উদাহরণ C ++'গুলি std::vectorবনাম std::list। এর উপাদানসমূহ std::vectorসামঞ্জস্যপূর্ণ মেমোরিতে সংরক্ষণ করা হয় এবং এগুলিতে অ্যাক্সেস করা উপাদানগুলির অ্যাক্সেসের চেয়ে এগুলিকে অ্যাক্সেস করা অনেক বেশি ক্যাশে-বান্ধব std::list, যা এর স্থানটি সমস্ত স্থান জুড়ে রাখে। এটি স্থানীয় স্থানের কারণে।
এর একটি খুব সুন্দর চিত্র তুলে ধরেছেন এই ইউটিউব ক্লিপটিতে বারজন স্ট্রোস্ট্রুপ (লিঙ্কটির জন্য @ মোহাম্মদ আলী বায়দৌনকে ধন্যবাদ!)
ডেটা স্ট্রাকচার এবং অ্যালগরিদম ডিজাইনে ক্যাশে অবহেলা করবেন না
যখনই সম্ভব, আপনার ডেটা স্ট্রাকচার এবং গণনার ক্রমটিকে এমনভাবে মানিয়ে নেওয়ার চেষ্টা করুন যাতে ক্যাশে সর্বাধিক ব্যবহারের অনুমতি দেয়। এক্ষেত্রে একটি সাধারণ কৌশল হ'ল ক্যাশে ব্লকিং (আর্কাইভ.অর্গ সংস্করণ) , যা উচ্চ-পারফরম্যান্স কম্পিউটিংয়ে (সিএফআর। উদাহরণস্বরূপ এটিএসএলএস ) অত্যন্ত গুরুত্ব দেয় ।
ডেটার অন্তর্নিহিত কাঠামোটি জেনে নিন এবং তাদের ব্যবহার করুন
আর একটি সহজ উদাহরণ, যা ক্ষেত্রের অনেক লোক কখনও কখনও ভুলে যায় তা হ'ল কলাম-মেজর (প্রাক্তন)। ফোরট্রান,মতলব) বনাম সারি-প্রধান ক্রম (প্রাক্তন)। গ,C ++) দ্বিমাত্রিক অ্যারে সঞ্চয় করার জন্য। উদাহরণস্বরূপ, নিম্নলিখিত ম্যাট্রিক্স বিবেচনা করুন:
1 2
3 4
সারি-প্রধান ক্রমে, এটি মেমরি হিসাবে সংরক্ষণ করা হয় 1 2 3 4; কলাম-প্রধান ক্রমে, এটি হিসাবে সংরক্ষণ করা হবে 1 3 2 4। এটি দেখতে সহজ যে বাস্তবায়নগুলি যে এই ক্রমটি ব্যবহার করে না তা দ্রুত (সহজেই এড়ানো যায়!) ক্যাশে সমস্যাগুলির মধ্যে চলে আসবে। দুর্ভাগ্যবশত, আমি কাপড় এই মত দেখতে খুব প্রায়ই আমার ডোমেইন (মেশিন লার্নিং) এ। @ মাত্তিও ইটালিয়া তার উত্তরে আরও বিশদে এই উদাহরণটি দেখিয়েছে।
মেমরি থেকে ম্যাট্রিক্সের একটি নির্দিষ্ট উপাদান আনার সময়, এর কাছাকাছি উপাদানগুলিও এনে দেওয়া হবে এবং একটি ক্যাশে লাইনে সংরক্ষণ করা হবে। যদি ক্রমটি শোষিত হয়, এর ফলে কম মেমরি অ্যাক্সেস হবে (কারণ পরবর্তী কয়েকটি মান যা পরবর্তী গণনাগুলির জন্য প্রয়োজন ইতিমধ্যে ক্যাশে লাইনে রয়েছে)।
সরলতার জন্য, ধরে নিন ক্যাশে একটি একক ক্যাশে লাইন রয়েছে যা 2 ম্যাট্রিক্স উপাদান থাকতে পারে এবং যখন কোনও প্রদত্ত উপাদান মেমরি থেকে আনা হয়, পরেরটিটিও হয়। বলুন যে আমরা উপরে 2x2 ম্যাট্রিক্সের উদাহরণগুলিতে সমস্ত উপাদানগুলির সমষ্টি নিতে চাই (এটি কল করতে দিন M):
ক্রম অনুসন্ধান (উদাহরণস্বরূপ কলাম সূচক প্রথমে পরিবর্তন করা) C ++):
M[0][0] (memory) + M[0][1] (cached) + M[1][0] (memory) + M[1][1] (cached)
= 1 + 2 + 3 + 4
--> 2 cache hits, 2 memory accesses
ক্রমটি ব্যবহার করে না (যেমন প্রথমে সারি সূচক পরিবর্তন করা changing C ++):
M[0][0] (memory) + M[1][0] (memory) + M[0][1] (memory) + M[1][1] (memory)
= 1 + 3 + 2 + 4
--> 0 cache hits, 4 memory accesses
এই সাধারণ উদাহরণে, অর্ডারটি প্রায়শই কার্যকর করার গতি দ্বিগুণ করে শোষণ করে (যেহেতু মেমরি অ্যাক্সেসের অঙ্কগুলি গণনা করার চেয়ে অনেক বেশি চক্রের প্রয়োজন হয়)। অনুশীলনে, পারফরম্যান্স পার্থক্য অনেক বড় হতে পারে ।
অপ্রত্যাশিত শাখা এড়িয়ে চলুন
মেমরি অ্যাক্সেসের কারণে বিলম্ব হ্রাস করতে আধুনিক স্থাপত্যগুলির বৈশিষ্ট্য পাইপলাইনগুলি এবং সংকলকগুলি পুনরায় অর্ডারিং কোডে খুব ভাল হয়ে উঠছে। যখন আপনার সমালোচনামূলক কোডে (অনাকাঙ্ক্ষিত) শাখা থাকে, তখন ডেটা উপস্থাপন করা শক্ত বা অসম্ভব। এটি পরোক্ষভাবে আরও ক্যাশে মিস করতে পারে।
এটি এখানে খুব ভালভাবে ব্যাখ্যা করা হয়েছে (লিঙ্কটির জন্য @ 0x90 ধন্যবাদ): কেন একটি বাছাই করা অ্যারে প্রক্রিয়াজাতকরণের চেয়ে একটি ক্রমবর্ধমান অ্যারে প্রক্রিয়াজাতকরণের চেয়ে দ্রুত হয়?
ভার্চুয়াল ফাংশন এড়িয়ে চলুন
এর প্রেক্ষাপটে C ++, virtualপদ্ধতিগুলি ক্যাশে মিসের বিষয়ে একটি বিতর্কিত সমস্যা উপস্থাপন করে (একটি সাধারণ sensকমত্য বিদ্যমান যে পারফরম্যান্সের ক্ষেত্রে যখন সম্ভব হয় তখন এড়ানো উচিত)। ভার্চুয়াল ফাংশনগুলি অনুসন্ধানের সময় ক্যাশে মিস করতে পারে তবে এটি তখনই ঘটে যখন নির্দিষ্ট ফাংশনটি প্রায়শই বলা হয় না (অন্যথায় এটি সম্ভবত ক্যাশে হবে), তাই এটি কারও দ্বারা অ-ইস্যু হিসাবে বিবেচিত হয়। এই সমস্যাটি সম্পর্কে রেফারেন্সের জন্য, দেখুন: একটি সি ++ শ্রেণিতে ভার্চুয়াল পদ্ধতি থাকার পারফরম্যান্স ব্যয় কত?
সাধারন সমস্যা
মাল্টিপ্রসেসর ক্যাশে সহ আধুনিক স্থাপত্যগুলির একটি সাধারণ সমস্যাটিকে মিথ্যা ভাগাভাগি বলা হয় । এটি ঘটে যখন প্রতিটি পৃথক প্রসেসর অন্য মেমরি অঞ্চলে ডেটা ব্যবহার করার চেষ্টা করে এবং একই ক্যাশে লাইনে এটি সঞ্চয় করার চেষ্টা করে । এটি ক্যাশে লাইন তৈরি করে - যার মধ্যে এমন ডেটা রয়েছে যা অন্য প্রসেসর ব্যবহার করতে পারে - বারবার ওভাররাইট করা যায়। কার্যকরভাবে, বিভিন্ন থ্রেড এই পরিস্থিতিতে ক্যাশে মিস করতে প্ররোচিত করে একে অপরকে অপেক্ষা করে। আরও দেখুন (লিঙ্কটির জন্য @ ম্যাটকে ধন্যবাদ): কখন এবং কখন লাইন আকারে সারিবদ্ধ হবে?
র্যাম মেমরিতে দরিদ্র ক্যাচিংয়ের একটি চরম লক্ষণ (যা সম্ভবত আপনি এই প্রসঙ্গে বোঝাতে চাইছেন না) তথাকথিত থ্রেশিং । প্রক্রিয়াটি ধারাবাহিকভাবে পৃষ্ঠা ত্রুটিগুলি উত্পন্ন করে (উদাহরণস্বরূপ মেমরিটিতে প্রবেশ করে যা বর্তমান পৃষ্ঠায় নেই) যা ডিস্ক অ্যাক্সেসের প্রয়োজন হয় এটির ঘটনা ঘটে।