আসল প্রথম প্রশ্নটি হ'ল শুদ্ধ এসকিউএল বিমূর্তিগুলির চেয়ে ডেটাফ্রেম বিমূর্তিগুলি সহ লোকেরা কেন বেশি উত্পাদনশীল।
TLDR; এসকিউএল (মানব) বিকাশ এবং ডিবাগিং প্রক্রিয়াটির চারপাশে প্রস্তুত নয়, ডেটা ফ্রেমগুলি।
মূল কারণটি হ'ল ডেটা ফ্রেমের বিমূর্ততা আপনাকে ভার্চুয়াল এবং অযৌক্তিক বাসা বাঁধতে করতে এসকিউএল স্টেটমেন্টগুলি তৈরি করতে দেয়। নেস্টেড রুটিনগুলি লেখার প্যাটার্ন, সেগুলি পরীক্ষা করার জন্য তাদের মন্তব্য করে, এবং তারপরে সেগুলি সংশোধন করে পরিবর্তনের একক লাইনে প্রতিস্থাপন করা হয়। আপনি প্রাকৃতিকভাবে একটি প্রতিস্থাপনে (এমনকি স্পার্কেও) লাইনে লাইনে চালনা করতে পারেন এবং ফলাফলগুলি দেখতে পারেন।
একটি টেবিলটিতে একটি নতুন রূপান্তরিত (স্ট্রিং ম্যাংলেড কলাম) যুক্ত করার উদাহরণটি বিবেচনা করুন, তারপরে এর দ্বারা গোষ্ঠীকরণ এবং কিছু সংহতকরণ করুন। এসকিউএল বেশ কুৎসিত হয়। পান্ডারা এটি সমাধান করতে পারে তবে সত্যিকারের বড় ডেটা বা নির্দিষ্ট পার্টিশনে (সম্ভবত সম্প্রতি উন্নত) আসে যখন কিছু জিনিস অনুপস্থিত।
ডেটাফ্রেমগুলিকে এসকিউএল রুটিনগুলিতে একটি উচ্চ-স্তরের এপিআই হিসাবে দেখা উচিত, এমনকি পান্ডাস সহ কিছু এসকিউএল পরিকল্পনাকারীর কাছে রেন্ডার করা না হলেও।
-
আপনি সম্ভবত এটি প্রায় প্রযুক্তিগত আলোচনা করতে পারেন, কিন্তু আমি নীচের ব্যবহারকারীর দৃষ্টিভঙ্গি বিবেচনা করছি।
এসকিউএলের বিপরীতে আপনি পান্ডস ডেটা ম্যানিপুলেশনের আশেপাশে আরও অনেক প্রশ্ন দেখতে পাচ্ছেন তার একটি সহজ কারণ হ'ল এসকিউএল ব্যবহার করা, সংজ্ঞা অনুসারে, একটি ডাটাবেস ব্যবহার করা, এবং প্রচুর ব্যবহারের ক্ষেত্রে এই দিনগুলির জন্য কেবল 'ডেটা বিটস' দরকার হয় এক-সম্পন্ন 'কাজ (.csv, ওয়েব এপিআই ইত্যাদি থেকে)। এই ক্ষেত্রে ডেটাবেস থেকে লোডিং, স্টোরিং, হেরফের এবং নিষ্কাশন কার্যকর নয় vi
তবে, যেসব ক্ষেত্রে ব্যবহার-কেস পান্ডা বা এসকিউএল উভয়ই ব্যবহারযোগ্যতা প্রমাণ করতে পারে তা বিবেচনা করে আপনি অবশ্যই ভুল নন। যদি আপনি অনেকগুলি পুনরাবৃত্ত ডেটা ম্যানিপুলেশন কাজ করতে চান এবং ফলাফলগুলি চালিয়ে যান, আমি সর্বদা এসকিউএল দিয়ে যাওয়ার চেষ্টা করার পরামর্শ দিই। আমি যে কারণটি দেখেছি কেন এ থেকে অনেক ব্যবহারকারী এমনকি এসকিউএল এর মাধ্যমে দ্বিগুণ হয় না।
প্রথমত, এসকিউএল-এর উপর প্যান্ডাসের সবচেয়ে বড় সুবিধাটি হ'ল এটি বৃহত্তর পাইথন মহাবিশ্বের অংশ, যার অর্থ হ'ল আমি আমার ডেটা লোড, পরিষ্কার, হেরফের এবং দৃশ্যধারণ করতে পারি (আমি পান্ডার মাধ্যমে এসকিউএল চালাতে পারি ...)। অন্যটি, বেশ সহজভাবে, খুব বেশি ব্যবহারকারীরা এসকিউএল এর সক্ষমতার পরিমাণ জানেন না। প্রতিটি শিক্ষানবিশ এসকিউএল এর 'এক্সট্রাকশন সিনট্যাক্স' শিখেন (SELECT, FROM, WHERE, ইত্যাদি) ডিবি থেকে পরের স্থানে আপনার ডেটা পাওয়ার উপায় হিসাবে। কেউ কেউ আরও অগ্রিম গ্রুপিং এবং পুনরাবৃত্তির বাক্য গঠন গ্রহণ করতে পারে। কিন্তু এর পরে জ্ঞানগুলির মধ্যে একটি চমত্কার উল্লেখযোগ্য উপসাগর থাকে, যতক্ষণ না আপনি বিশেষজ্ঞদের কাছে পৌঁছে যান (ডিবিএ, ডেটা ইঞ্জিনিয়ার্স ইত্যাদি)।
tl; dr: এটি প্রায়শই ব্যবহারের ক্ষেত্রে, সুবিধার্থে বা এসকিউএল এর ক্ষমতার পরিমাণের কাছাকাছি জ্ঞানের ব্যবধানকেই কমিয়ে দেয়।