আমি একটি অফিসে কাজ করি যেখানে এসকিউএল সার্ভারটি ডেটা প্রক্রিয়াকরণ থেকে শুরু করে মুংগিং পর্যন্ত আমাদের যা কিছু করি তার মেরুদণ্ড। আমার সহকর্মী আগত তথ্যগুলিকে পদ্ধতিগতভাবে প্রক্রিয়াজাত করার জন্য জটিল ফাংশন এবং সঞ্চিত প্রক্রিয়াগুলি রচনায় দক্ষ হয় যাতে এটি মানক করা যায় এবং রিপোর্ট, ভিজ্যুয়ালাইজেশন এবং বিশ্লেষণ প্রকল্পগুলিতে কাজ করা যায়। এখানে শুরু করার আগে, এসকিউএল-এর সাথে আমার খুব সামান্য অভিজ্ঞতা ছিল, সর্বাধিক প্রাথমিকের কোয়েরিগুলি লিখে। আমার বিশ্লেষণের প্রস্তুতির বেশিরভাগ অংশই আর-তে সম্পন্ন হয়েছিল bo dplyr, data.table, এবং tidyr এর মতো প্যাকেজ (কয়েকটি নাম দেওয়ার জন্য)। আমার প্রশ্নটি - এটি কি কোনও অর্থবোধ করে?
কয়েক সপ্তাহ আগে, আমি একটি টেবিলে প্রতিটি সারির জন্য কলামের নামের একটি তালিকা পেয়েছি যা নির্দিষ্ট মানদণ্ডের সাথে মিলিত হয়েছিল এবং তাদেরকে স্ট্রিংয়ের ভেক্টর হিসাবে যুক্ত করে তুলতে পেরেছিলাম। একটি সংক্ষিপ্ত সময়সীমা ছিল এবং সেই সময় আমি কিছুটা বাধা পেয়েছিলাম এবং সমস্যার মুখটি বেশ ভালভাবে জড়িয়ে রাখতে পারি না। আমি আমার বসকে জিজ্ঞাসা করেছি, যারা আমার সহকর্মীকে সমস্যার সমাধানের জন্য একটি স্ক্রিপ্ট টিএসকিউএল লিখতে বলেছিলেন। তিনি যখন এটিতে কাজ করছিলেন, আমি আর এটি করার একটি উপায় খুঁজে পেয়েছিলাম মোটামুটি সহজ ফাংশন লিখতে এবং এটি ডেটা ফ্রেমের উপরে প্রয়োগ করে। আমার সহকর্মী তার স্ক্রিপ্টটি নিয়ে প্রায় দুই ঘন্টা পরে ফিরে আসেন। এটি লুপের জন্য দুটি নেস্টেড অন্তত 75 টি লাইন ছিল। এটি শেষ হয়ে যাওয়ার পরে আমি তাকে বিজ্ঞপ্তি দিতে বললাম এবং তিনি বলেছিলেন যে এটি কয়েক ঘন্টা সময় নেবে। ইতিমধ্যে আমার আর স্ক্রিপ্টটি প্রায় 30 সেকেন্ডের মধ্যে 45,000 ডলার রেকর্ডটি লুপ করতে সক্ষম হয়েছিল।
আমি কি ধরে নিচ্ছি যে ডেটা পরিষ্কার এবং মুং করার জন্য আর একটি আরও ভাল পছন্দ? আমার অফিসে এসকিউএল বিকাশকারী কি কেবল অদক্ষ? আমি আগ্রহী, যদি কে আর আর এসকিউএল (বা পাইথন এবং এসকিউএল উভয় ক্ষেত্রেই এই বিষয়ে কাজ করে) নিয়ে কাজ করে তবে সে সম্পর্কে কিছু চিন্তাভাবনা আছে।