প্রশ্ন ট্যাগ «bigdata»

কয়েক মিলিয়ন রেকর্ড সন্নিবেশনের সবচেয়ে কার্যকর উপায় কী বলে স্পার্ক ডেটাফ্রেম থেকে পোস্টগ্রিস টেবিলগুলিতে 50 মিলিয়ন। অতীতে আমি স্পার্ক থেকে এমএসএসকিউএল পর্যন্ত বাল্ক কপি এবং ব্যাচের আকারের বিকল্পটি ব্যবহার করে সফল হয়েছি । পোস্টগ্রিসের জন্য এখানে কি অনুরূপ কিছু থাকতে পারে? আমার চেষ্টা করা কোড এবং প্রক্রিয়াটি চালাতে যে সময়টি …

16 postgresql  apache-spark  pyspark  apache-spark-sql  bigdata 

আমি আমার পুত্রকে দেখানোর চেষ্টা করছি যে কোনও কোড দ্বারা উত্থাপিত কোনও সমস্যা সমাধানের জন্য কীভাবে কোডিং ব্যবহার করা যেতে পারে পাশাপাশি এটি কীভাবে বড় ডেটা পরিচালনা করে seeing প্রশ্নে থাকা খেলাকে "লাকি 26" বলা হয়। এই গেমের সংখ্যাগুলিতে (কোনও ডুপ্লিকেট ছাড়াই 1-12) 12 টি পয়েন্টে ডেভিডের একটি তারাতে অবস্থিত …

15 r  bigdata  permutation 

আমি কোনও টেবিলে যোগদান করার সময় স্পার্কের আচরণটি অন্বেষণ করছি। আমি ডেটাব্রিক্স ব্যবহার করছি। আমার ডামি দৃশ্যটি হ'ল: ডেটাফ্রেম এ হিসাবে বাহ্যিক সারণি পড়ুন (অন্তর্নিহিত ফাইলগুলি ডেল্টা ফর্ম্যাটে রয়েছে) ডেটাফ্রেম বিটিকে ডেটাফ্রেম এ হিসাবে নির্দিষ্ট নির্দিষ্ট কলামগুলির সাথে নির্দিষ্ট করুন কলাম 1 এবং কলাম 2 এ ডেটাফ্রেমগুলি এ এবং বিতে …

10 apache-spark  pyspark  bigdata  azure-databricks  delta-lake