টি এল, ডিআর
প্রচুর পরিমাণে শ্রেণিবিন্যাসিক কাঠামোগত তথ্য সংরক্ষণের জন্য বৈজ্ঞানিক কম্পিউটিং চেনাশোনাগুলিতে গৃহীত সেরা অনুশীলন কী? উদাহরণস্বরূপ, এসকিউএল বৃহত স্পার্স ম্যাট্রিক্সের সাথে দুর্দান্ত খেলছে না। এই জাতীয় ডেটা কাঠামো, গুদামজাতকরণ এবং বিশ্লেষণের জন্য কি কোনও ভাল সরঞ্জাম আছে? এলএইচসি-তে ছেলেরা কী ব্যবহার করে?
মামলার বিবরণ ব্যবহার করুন
আমি নীচের অনুক্রম অনুসারে প্রোটিন সিমুলেশন থেকে ডেটা সঞ্চয় করতে চাই:
protein
|__simulation conditions
|____|__residues
|____|____|__conformers
|____|____|____|__atoms
প্রতিটি প্রোটিনকে তার প্রতিটি অবশিষ্টাংশ সম্পর্কে সচেতন হওয়া উচিত, প্রতিটি পরমাণুকে তার সিমুলেশন ইত্যাদির জন্য ব্যবহৃত শর্তাদি এবং তার বিপরীতে জানতে হবে।
মূলত আমি অনুভব করেছি যে একটি অ্যাপ্লিকেশন সম্পর্কিত ডাটাবেস এই অ্যাপ্লিকেশনটির জন্য উপযুক্ত হবে, এবং তাই আমি অজগর এবং স্ক্ল্যাচলেমি ব্যবহার করে একটি প্রোগ্রাম লিখেছিলাম যা এসকিউএল ডাটাবেসে ডেটা সঞ্চয় করে। বাস্তবে, তবে, এই প্রোগ্রামটি এত ভাল কাজ করছে না।
বৃহত্তম সমস্যাটি সম্পর্কিত যে কনফরমার ডেটা স্তরে একটি এন এক্স এন ম্যাট্রিক্স রয়েছে যা সম্ভাব্য শক্তি সঞ্চয় করে যা প্রতিটি সম্ভাব্য জোড় কনফরমারগুলির মধ্যে জোড়ায়িত মিথস্ক্রিয়তার কারণে ঘটে। ম্যাট্রিক্সের বেশিরভাগ এন্ট্রিগুলি শূন্য হয়, সুতরাং আমি ম্যাট্রিক্সটি পৃথক টেবিলের মধ্যে এক ধরণের বিরাট বিন্যাসে, প্রতিটি প্রবেশিকাতে এক সারি সংরক্ষণ করি। দুর্ভাগ্যক্রমে, কয়েক হাজার কনফর্মারদের জড়িত সিমুলেশনের জন্য জোড়াওয়ালা টেবিলটি এখনও কয়েক লক্ষ সহস্র সারিতে শেষ হয় এবং:
ক) খুব ধীরে ধীরে
বিল্ডিং এবং কোয়েরি করে (ঘন্টা) খ) আমার হার্ড ড্রাইভে স্প্রেসবিহীন ম্যাট্রিক্স
সি হিসাবে দশ গিগাবাইটের বেশি স্মৃতি গ্রহণ করার সময় ডেটার সমতুল্য সরল পাঠ্য উপস্থাপনার চেয়ে আমার হার্ড ড্রাইভে আরও বেশি মাত্রার ক্রম নিয়ে থাকে টেবিলটি স্মৃতিতে পড়ে read
আমার চূড়ান্ত লক্ষ্য হ'ল কয়েক হাজার রান (কয়েক ডজন সিমুলেশন শর্তে কয়েক হাজার প্রোটিন থেকে প্রাপ্ত) ডাটাবেসে সংরক্ষণ করা যাতে সেগুলি একসাথে বিশ্লেষণ করা যায়। এর অর্থ হ'ল পেয়ারওয়াই ম্যাট্রিক্সের প্রতিনিধিত্বকারী টেবিলটি প্রায় এক বিলিয়ন সারিতে বাড়তে পারে। বর্তমানে এটি মনে হচ্ছে যেমন এই ডেটাবেজে একটি একক ক্যোয়ারী চালানোর জন্য আমার একটি ক্র বা অন্য কিছু ভাগ করে নেওয়া মেমরির দৈত্যের প্রয়োজন হবে।
আমার কি এখানে আরও ভাল বিকল্প আছে? এলএইচসি-তে ছেলেরা কী ব্যবহার করে?