পাইথনে পান্ডার সীমাবদ্ধতা এবং এর বিকল্পগুলি

Question

আমি কোথাও পড়েছি যে পান্ডাস প্রথম আর্থিক বিশ্বের জন্য বিকশিত হয়েছিল, কমপক্ষে বিশেষত প্রাকৃতিক বিজ্ঞান (পদার্থবিজ্ঞান, জীববিজ্ঞান এবং তাই) এর জন্য নয়, তাই কি পাইথন প্যাকেজটির আরও কোনও অনুরূপ তথ্য বিশ্লেষণ "প্রাকৃতিক বিজ্ঞান ভিত্তিক" আছে?

আমি সবেমাত্র পান্ডাস ব্যবহার শুরু করেছি এবং ইতিমধ্যে দুটি প্যাকেজগুলির মুখোমুখি হয়েছি যা অন্য প্যাকেজগুলি বা ঘরের তৈরি সমাধান ব্যবহার না করে আমি সমাধান করতে পারি না:

• অনিশ্চয়তা কীভাবে পরিচালনা করবেন?
• কীভাবে সহজেই আমার ডেটাগুলির ইউনিটগুলি সংজ্ঞায়িত করতে পারি?

হয়তো অন্যান্য সমস্যা আছে তবে আমার আরও সুনির্দিষ্ট হওয়ার অভিজ্ঞতা নেই। এই মুহুর্তের জন্য, আমি প্রথম পয়েন্টটি সমাধান করার জন্য অনিশ্চয়তা প্যাকেজটি নিয়ে ভাবছি তবে আমি নিশ্চিত নই যে এটি পান্ডাদের সাথে ঠিকঠাকভাবে কাজ করবে এবং গণনার গতি কমবে না। প্রকৃতপক্ষে, আমি অনিশ্চয়তার সাথে গণনার কোনও উপায় খুঁজছি না, কেবল আমার আমদানিকৃত ডেটা সহ অনিশ্চয়তাগুলি সংরক্ষণ করার একটি সহজ উপায়। দ্বিতীয় দফার জন্য, প্রতিটি ডেটার সাথে যুক্ত ইউনিটগুলি পরিচালনা করতে আমার ডেটাফ্রেম বাদে অভিধান তৈরি করার চেয়ে ভাল সমাধান আমি খুঁজে পাই না।

আপনি যদি একই সমস্যাটি কখনও অনুভব করে থাকেন, তবে কীভাবে আপনি এটি সমাধান করেছেন বা প্রাকৃতিক বিজ্ঞানের পাইথনে ডেটা ম্যানিপুলেশন / স্টোরেজ / বিশ্লেষণের জন্য কোন অন্যান্য প্যাকেজ (গুলি) ব্যবহার করেছেন?

Comments

Tableপান্ডাসকে সমর্থনকারী ইউনিট এবং অনিশ্চয়তার বিকল্প হ'ল অ্যাস্ট্রপির ক্লাস।

— P3trus

এটিকে দুর্দান্ত মনে হচ্ছে, আমি জানি না জ্যোতির্বিজ্ঞানের কাছে এ জাতীয় জিনিস ছিল। তবুও, আমি ডকটিতে এক নজরে Tableদেখেছি কিন্তু এতে অনিশ্চয়তা নির্ধারণের জন্য সুস্পষ্ট উদাহরণগুলি খুঁজে পেতে সক্ষম হয়েছি (তবে আমি ইউনিটগুলির অংশটি পেয়েছি)। NDDataএটি পরিচালনা করে মনে হচ্ছে তবে আমি এই শ্রেণীর মধ্যে পার্থক্য সম্পর্কে নিশ্চিত নই। আপনি যদি নিজের মন্তব্যটিকে 2-লাইনের উদাহরণ দিয়ে উত্তরে পরিণত করতে আপত্তি করেন না তবে আমি স্বেচ্ছায় এটি গ্রহণ করব!

— ক্লার্ক

Answer 1

আমি ডেভিডমের সাথে একমত যে অনিশ্চয়তা গণনা করা কোনও স্বয়ংক্রিয় গ্রন্থাগার দ্বারা পরিচালনা করা উচিত নয়। আপনি খুব তাড়াতাড়ি এমন একটি মামলায় চলে যাবেন যেখানে অটোমেটিক্স ব্যর্থ হয় (উদাহরণস্বরূপ ফুরিয়ার ট্রান্সফর্মটি করার চেষ্টা করুন)।

আপনি তবেই বলছেন যে আপনি কেবল আপনার ডেটা দিয়ে অনিশ্চয়তা বজায় রাখতে চান। তাদের কেবল আপনার ডেটাফ্রেমে অতিরিক্ত কলাম হিসাবে যুক্ত করবেন না কেন? আমি সাধারণত পান্ডার সাথে অনিশ্চয়তা পরিচালনা করি।

পান্ডাদের ইউনিটগুলির কোনও সমর্থন নেই, তবে যে কোনও কিছু ডেটাফ্রেমে যেতে পারে যাতে আপনি সরাসরি পরিমাণের প্যাকেজটি ব্যবহার করতে পারেন । সমস্ত কার্যকারিতা পান্ডসে তবে কাজ করবে না (যদিও আশ্চর্যজনক পরিমাণ এখনও থাকবে) এবং সেখানে পারফরম্যান্স পেনাল্টি থাকবে।

পান্ডাসে মেটাডেটা সংযুক্তির অনুমতি দেওয়ার জন্য কিছু আলোচনা হয়েছে , তবে এখনও পর্যন্ত এটির কিছু আসে নি বলে মনে হয়।

সি ++ 11 এর সম্ভাব্য ব্যতিক্রম সহ, আমি এমন কোনও ভাষা বা পাঠাগার সম্পর্কে জানি না যা আপনাকে সত্যই প্রথম, প্রথম শ্রেণির ইউনিট সমর্থন দেবে। সর্বদা কর্মক্ষমতা হ্রাস এবং সামঞ্জস্যতার অভাব রয়েছে

।

Answer 2

অনিশ্চয়তা পরিচালনা করা আসলে একটি বেশ সূক্ষ্ম পরিসংখ্যান সমস্যা। স্কোয়ার আংশিক ডেরাইভেটিভস ব্যবহার করে ত্রুটি প্রচারের জন্য পরিচিত প্রকাশটি ত্রুটিগুলি সাধারণত বিতরণ করা হয়, স্বতন্ত্র এবং ছোট হয় তবে ভাল। সাধারণত এটি হয়; এবং প্রকৃতপক্ষে, এমনকি যদি স্বাভাবিকতা বা স্বাধীনতা পুরোপুরি সন্তুষ্ট না হয় তবে বেশিরভাগ ব্যবহারিক ক্ষেত্রে ক্ষেত্রে ফলাফলটি যথাযথভাবে বাস্তবের কাছাকাছি হতে পারে, তবে আপনি কেবলমাত্র বিরতি সম্পর্কে যুক্তিসঙ্গত অনুমানের প্রতি আগ্রহী হন।

$\sin(2\pm0.1) = \sin(2)^{\sin(2.1)}_{\sin(1.9)}$

যেসব ক্ষেত্রে আরও নির্ভুলতার প্রয়োজন হয় সেখানে আপনার অনিশ্চয়তার জন্য যদি আপনার কাছে বিশ্লেষণাত্মক মডেল থাকে তবে সর্বাধিক সম্ভাবনার মতো পদ্ধতি রয়েছে যা সঠিক অনুমানকারীগুলি অর্জন করতে ব্যবহার করা যেতে পারে।

তবে আপনি যদি কোনও সম্ভাব্য ইনপুটটির জন্য বৈধ সঠিক ফলাফল চান (বিশ্লেষণাত্মকভাবে একটি গোলমাল সনাক্তকারীকে মডেল করার কল্পনা করুন যেখানে শব্দটি যথাযথতার মতো একই ক্রমের হয়), সমস্ত পারস্পরিক সম্পর্ককে বিবেচনা করে, এবং সমস্ত প্রাসঙ্গিক প্যারামিটার স্থান অন্বেষণ করতে সক্ষম হয়ে , আপনার মন্টি কার্লো পদ্ধতি দরকার। আপনার ইনপুটগুলির কয়েকটি উদাহরণে এলোমেলো গোলমাল যুক্ত করুন এবং সম্পূর্ণ বিশ্লেষণ চালান। অবশ্যই, এর অর্থ এই হতে পারে যে আপনি আপনার গণনার সময়কে কয়েকশ বা হাজার দ্বারা গুণিত করতে পারেন তবে এটি সর্বদা সমান্তরাল।

সুতরাং, শেষ পর্যন্ত, এটি নির্ভর করে যে আপনি কী করতে চান, কতটা নির্ভুলতা এবং আপনার কতগুলি সংস্থান রয়েছে।