শ্রেণিবদ্ধ সিমুলেশন ডেটা সঞ্চয় করার জন্য সেরা অনুশীলন


13

টি এল, ডিআর

প্রচুর পরিমাণে শ্রেণিবিন্যাসিক কাঠামোগত তথ্য সংরক্ষণের জন্য বৈজ্ঞানিক কম্পিউটিং চেনাশোনাগুলিতে গৃহীত সেরা অনুশীলন কী? উদাহরণস্বরূপ, এসকিউএল বৃহত স্পার্স ম্যাট্রিক্সের সাথে দুর্দান্ত খেলছে না। এই জাতীয় ডেটা কাঠামো, গুদামজাতকরণ এবং বিশ্লেষণের জন্য কি কোনও ভাল সরঞ্জাম আছে? এলএইচসি-তে ছেলেরা কী ব্যবহার করে?

মামলার বিবরণ ব্যবহার করুন

আমি নীচের অনুক্রম অনুসারে প্রোটিন সিমুলেশন থেকে ডেটা সঞ্চয় করতে চাই:

protein
  |__simulation conditions
  |____|__residues
  |____|____|__conformers
  |____|____|____|__atoms

প্রতিটি প্রোটিনকে তার প্রতিটি অবশিষ্টাংশ সম্পর্কে সচেতন হওয়া উচিত, প্রতিটি পরমাণুকে তার সিমুলেশন ইত্যাদির জন্য ব্যবহৃত শর্তাদি এবং তার বিপরীতে জানতে হবে।

মূলত আমি অনুভব করেছি যে একটি অ্যাপ্লিকেশন সম্পর্কিত ডাটাবেস এই অ্যাপ্লিকেশনটির জন্য উপযুক্ত হবে, এবং তাই আমি অজগর এবং স্ক্ল্যাচলেমি ব্যবহার করে একটি প্রোগ্রাম লিখেছিলাম যা এসকিউএল ডাটাবেসে ডেটা সঞ্চয় করে। বাস্তবে, তবে, এই প্রোগ্রামটি এত ভাল কাজ করছে না।

বৃহত্তম সমস্যাটি সম্পর্কিত যে কনফরমার ডেটা স্তরে একটি এন এক্স এন ম্যাট্রিক্স রয়েছে যা সম্ভাব্য শক্তি সঞ্চয় করে যা প্রতিটি সম্ভাব্য জোড় কনফরমারগুলির মধ্যে জোড়ায়িত মিথস্ক্রিয়তার কারণে ঘটে। ম্যাট্রিক্সের বেশিরভাগ এন্ট্রিগুলি শূন্য হয়, সুতরাং আমি ম্যাট্রিক্সটি পৃথক টেবিলের মধ্যে এক ধরণের বিরাট বিন্যাসে, প্রতিটি প্রবেশিকাতে এক সারি সংরক্ষণ করি। দুর্ভাগ্যক্রমে, কয়েক হাজার কনফর্মারদের জড়িত সিমুলেশনের জন্য জোড়াওয়ালা টেবিলটি এখনও কয়েক লক্ষ সহস্র সারিতে শেষ হয় এবং:

ক) খুব ধীরে ধীরে
বিল্ডিং এবং কোয়েরি করে (ঘন্টা) খ) আমার হার্ড ড্রাইভে স্প্রেসবিহীন ম্যাট্রিক্স
সি হিসাবে দশ গিগাবাইটের বেশি স্মৃতি গ্রহণ করার সময় ডেটার সমতুল্য সরল পাঠ্য উপস্থাপনার চেয়ে আমার হার্ড ড্রাইভে আরও বেশি মাত্রার ক্রম নিয়ে থাকে টেবিলটি স্মৃতিতে পড়ে read

আমার চূড়ান্ত লক্ষ্য হ'ল কয়েক হাজার রান (কয়েক ডজন সিমুলেশন শর্তে কয়েক হাজার প্রোটিন থেকে প্রাপ্ত) ডাটাবেসে সংরক্ষণ করা যাতে সেগুলি একসাথে বিশ্লেষণ করা যায়। এর অর্থ হ'ল পেয়ারওয়াই ম্যাট্রিক্সের প্রতিনিধিত্বকারী টেবিলটি প্রায় এক বিলিয়ন সারিতে বাড়তে পারে। বর্তমানে এটি মনে হচ্ছে যেমন এই ডেটাবেজে একটি একক ক্যোয়ারী চালানোর জন্য আমার একটি ক্র বা অন্য কিছু ভাগ করে নেওয়া মেমরির দৈত্যের প্রয়োজন হবে।

আমার কি এখানে আরও ভাল বিকল্প আছে? এলএইচসি-তে ছেলেরা কী ব্যবহার করে?

উত্তর:


12

HDF5 ফাইল ফর্ম্যাট ব্যবহার বিবেচনা করুন । এইচডিএফ 5 বেশ কয়েকটি দুর্দান্ত বৈশিষ্ট্য সহ একটি শ্রেণিবিন্যাসের ডেটা স্টোরেজ ফর্ম্যাট:

  • প্ল্যাটফর্ম স্বতন্ত্র স্টোরেজ: গ্রন্থাগারটি আপনার জন্য সামান্য / বড় প্রবণতা যত্ন করে
  • ডেটাসেটের স্তরক্রম বিন্যাস: কোনও ফাইলের মধ্যে একটি ফাইল সিস্টেমের মতো
  • বড়, বর্ধনযোগ্য এন-ডাইমেনশনাল অ্যারে স্টোরেজ
  • মিশ্র ডেটাসেটের ধরণগুলি একটি ফাইলের মধ্যে উপস্থিত থাকতে পারে (যেমন, পূর্ণসংখ্যা, ফ্লোটস ইত্যাদি)
  • স্বয়ংক্রিয় সংকোচনের উপলব্ধ
  • বাইনারি স্টোরেজ
  • সমান্তরাল i / o

সি এবং ফোর্টরান ইন্টারফেসের পাশাপাশি পাইথন ( এইচ 5পি এবং পাইটবেবলস ) র‌্যাপার রয়েছে। ম্যাটল্যাব এইচডিএফ 5ও পড়তে পারে। HDF5 প্রায় এক ফল্ট, অর্থাত, তাই না "আত্ম-বর্ণনা" হয়, অত সৃষ্টি করতে, মোটামুটি নমনীয় XDMF

আপনি "এর সিমুলেশনের জন্য ব্যবহৃত শর্তাদি" দ্বারা কী বোঝাতে চাইছেন তা আমি ঠিক নিশ্চিত নই তবে এটি যদি পরামিতিগুলির কেবলমাত্র ছোট সংগ্রহ হয় তবে আপনি এগুলি বৈশিষ্ট্য হিসাবে সংরক্ষণ করতে পারেন ।


3
এইচডিএফ 5 এর দ্বিমুখী লিঙ্কগুলি বজায় রাখতে কিছুটা ব্যথা হয়। যেহেতু এইচডিএফ 5 ফর্ম্যাটগুলি আপনার নিজের রোল করার অর্ধেক উপায়, আপনি একটি সম্পর্কিত ডেটাবেসে মেটাডেটা বজায় রাখতে এবং পৃথক ফাইলগুলিতে ভারী ডেটা রাখতে চান (যদি আপনি চান তবে এইচডিএফ 5)।
জেদ ব্রাউন

0

সিমুলেশন ডেটা সংগঠিত / সন্ধানের জন্য (প্রোটিন দ্বারা অনুসন্ধান করুন, সিমুলেশন প্যারামিটারগুলি দ্বারা অনুসন্ধান করুন) আপনাকে সাহায্য করার জন্য একটি ডাটাবেসের ব্যবহার দুর্দান্ত। ডাটাবেসে আপনাকে ডিস্কের প্রাসঙ্গিক তথ্য কোথায় পাওয়া যাবে, যেখানে আমি ধারণা করি যে এটি যে কোনও ফাইল টাইপের বিশ্লেষণের জন্য লোড করার পক্ষে সবচেয়ে উপযুক্ত যে কোনও প্রকার সিমুলেশন রান ভিত্তিতে সবচেয়ে ভাল সঞ্চিত রয়েছে (কাস্টমস হোক বা যে কোনও সিমুলেশন স্যুটই হোক না কেন ব্যবহার করছি)।

এটি আপনাকে দ্রুত আপনার ইচ্ছার সিমুলেশনগুলি সন্ধান করতে দেয় এবং আপনাকে স্পার্স ম্যাট্রিক্স ব্যবহার করার দক্ষতা বা দক্ষ বিশ্লেষণ করার জন্য যা কিছু সরঞ্জাম প্রয়োজন তার স্বাধীনতা / সম্পাদনা দেয় performance


-8

দেখুন পাঠ্যমাস্টার ডেটা এডিটর পিআরও আপনার কিছুটা সহায়ক হতে পারে। http://exnp.com/TM/


2
নিনা, সায়কম্পে আপনাকে স্বাগতম! কেন আপনি এই সফ্টওয়্যারটি সহায়ক হতে পারে তা ব্যাখ্যা করতে পারেন? এছাড়াও, দয়া করে আপনার অনুমোদিততা প্রকাশ করুন। সম্প্রদায়টি সাইটে বিস্তৃত অবদান ছাড়াই প্রচারের দিকে ঝুঁকছে; দেখতে বিস্তারিত জানার জন্য প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী এই অংশ
জেফ অক্সবেরি
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.