প্রশ্ন ট্যাগ «apache-spark-sql»

আমি পাইস্পার্ক (পাইথন ২.7.৯ / স্পার্ক ১.৩.১) ব্যবহার করছি এবং একটি ডেটা ফ্রেম গ্রুপঅবজেক্ট রয়েছে যা আমাকে ফিল্ডিং এবং সাজানোর ক্রম অনুসারে বাছাই করতে হবে। কোডের এই অংশের মাধ্যমে এটি অর্জনের চেষ্টা করা হচ্ছে। group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False) তবে এটি নিম্নলিখিত ত্রুটি ছুড়ে ফেলে। sort() got an unexpected keyword argument …

90 python  apache-spark  dataframe  pyspark  apache-spark-sql 

DataFrameমাতালকে সরাসরি স্পার্কে সংরক্ষণ করা সম্ভব ? আমি রূপান্তর DataFrameকরার চেষ্টা করেছি Rddএবং তারপরে একটি পাঠ্য ফাইল হিসাবে সংরক্ষণ এবং তারপরে মধুচক্রের লোড। তবে আমি ভাবছি যে আমি সরাসরি dataframeহুবহু সংরক্ষণ করতে পারি কিনা

85 scala  apache-spark  hive  apache-spark-sql 

কয়েক মিলিয়ন রেকর্ড সন্নিবেশনের সবচেয়ে কার্যকর উপায় কী বলে স্পার্ক ডেটাফ্রেম থেকে পোস্টগ্রিস টেবিলগুলিতে 50 মিলিয়ন। অতীতে আমি স্পার্ক থেকে এমএসএসকিউএল পর্যন্ত বাল্ক কপি এবং ব্যাচের আকারের বিকল্পটি ব্যবহার করে সফল হয়েছি । পোস্টগ্রিসের জন্য এখানে কি অনুরূপ কিছু থাকতে পারে? আমার চেষ্টা করা কোড এবং প্রক্রিয়াটি চালাতে যে সময়টি …

16 postgresql  apache-spark  pyspark  apache-spark-sql  bigdata 

নিম্নলিখিত কোড সহ আমার একটি ডেটাফ্রেম রয়েছে: def test(lat: Double, lon: Double) = { println(s"testing ${lat / lon}") Map("one" -> "one", "two" -> "two") } val testUDF = udf(test _) df.withColumn("test", testUDF(col("lat"), col("lon"))) .withColumn("test1", col("test.one")) .withColumn("test2", col("test.two")) এখন লগগুলি পরীক্ষা করে, আমি জানতে পেরেছি যে প্রতিটি সারির জন্য ইউডিএফ 3 …

9 scala  apache-spark  apache-spark-sql