নিম্নলিখিত কোড সহ আমার একটি ডেটাফ্রেম রয়েছে:
def test(lat: Double, lon: Double) = {
println(s"testing ${lat / lon}")
Map("one" -> "one", "two" -> "two")
}
val testUDF = udf(test _)
df.withColumn("test", testUDF(col("lat"), col("lon")))
.withColumn("test1", col("test.one"))
.withColumn("test2", col("test.two"))এখন লগগুলি পরীক্ষা করে, আমি জানতে পেরেছি যে প্রতিটি সারির জন্য ইউডিএফ 3 বার কার্যকর করা হয়। যদি আমি একটি "টেস্ট.থ্রি" কলাম থেকে "টেস্ট3" যুক্ত করি তবে ইউডিএফ আরও একবার কার্যকর করা হবে।
কেউ আমাকে ব্যাখ্যা করতে পারেন কেন?
এটিকে কী সঠিকভাবে এড়ানো যায় ("টেস্ট" যুক্ত হওয়ার পরে ডেটাফ্রেমকে ক্যাচ না করে, এটি কাজ করলেও)?
আপনি কি বোঝাতে চেয়েছেন? আপনি তিনবার পরীক্ষা ফাংশন কল করছেন। এ কারণেই এটি তিনবার কার্যকর করা হচ্ছে। আপনি কেন এটি ইউডিএফ বানাচ্ছেন তা নিশ্চিত নন। কেন শুধু মানচিত্রকে ভাল করে তুলবেন না?
—
ব্যবহারকারী4601931
এটি স্পার্কের আচরণ দেখানোর উদাহরণ মাত্র। আমার জন্য "পরীক্ষা" একটি নতুন কলাম যা একটি কাঠামো ধারণ করে, তবে কাঠামোর কোনও অংশ অ্যাক্সেস করা আবার ইউডিএফ চালানো উচিত নয়। আমি কীভাবে ভুল?
—
রোলিন্টোকোর
আমি স্কিমাটি প্রিন্ট করার চেষ্টা করেছি, "টেস্ট" এর
—
রোলিন্টোকোর
Mapডেটাটাইপ স্ট্রাক্ট নয়। এখন মানচিত্র ফিরিয়ে দেওয়ার পরিবর্তে, যদি ইউডিএফ টেস্টের মতো কেস ক্লাস দেয় (একটি স্ট্রিং, দুটি: স্ট্রিং) তবে testএটি অবশ্যই স্ট্রাক্ট তবে ইউডিএফের যতটা মৃত্যুদণ্ড কার্যকর থাকে তা সর্বদা থাকে।
সম্পর্কিত: স্ট্যাকওভারফ্লো.com
—
রাফেল রথ
এই উত্তরটি অনুসারে ক্যাচিংয়ের
—
রাফেল রোথ