আমি পাইস্পার্ক (পাইথন ২.7.৯ / স্পার্ক ১.৩.১) ব্যবহার করছি এবং একটি ডেটা ফ্রেম গ্রুপঅবজেক্ট রয়েছে যা আমাকে ফিল্ডিং এবং সাজানোর ক্রম অনুসারে বাছাই করতে হবে। কোডের এই অংশের মাধ্যমে এটি অর্জনের চেষ্টা করা হচ্ছে।
group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False)
তবে এটি নিম্নলিখিত ত্রুটি ছুড়ে ফেলে।
sort() got an unexpected keyword argument 'ascending'
উত্তর:
পাইস্পার্কে 1.3 sortপদ্ধতিতে আরোহণের প্যারামিটার লাগে না। descপরিবর্তে আপনি পদ্ধতিটি ব্যবহার করতে পারেন :
from pyspark.sql.functions import col
(group_by_dataframe
.count()
.filter("`count` >= 10")
.sort(col("count").desc()))
বা descফাংশন:
from pyspark.sql.functions import desc
(group_by_dataframe
.count()
.filter("`count` >= 10")
.sort(desc("count"))
উভয় পদ্ধতি স্পার্ক> = 1.3 (স্পার্ক 2.x সহ) সহ ব্যবহার করা যেতে পারে।
অর্ডার ব্যবহার করুন :
df.orderBy('column_name', ascending=False)
সম্পূর্ণ উত্তর:
group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)
http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html
এখন পর্যন্ত সবচেয়ে সুবিধাজনক উপায় এটি ব্যবহার করছে:
df.orderBy(df.column_name.desc())
বিশেষ আমদানির প্রয়োজন হয় না।
পাইপর্ক 2.4.4 এ
1) group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)
2) from pyspark.sql.functions import desc
group_by_dataframe.count().filter("`count` >= 10").orderBy('count').sort(desc('count'))
1) এবং 1) এ আমদানি করার দরকার নেই সংক্ষিপ্ত এবং পড়া সহজ,
সুতরাং আমি 1) 2 এর চেয়ে বেশি পছন্দ করি)
আপনি নিচে গ্রুপবাই এবং অর্ডারবাই ব্যবহার করতে পারেন
dataFrameWay = df.groupBy("firstName").count().withColumnRenamed("count","distinct_name").sort(desc("count"))