pysparkইএমআর ক্লাস্টারগুলিতে চলমান বেশ কয়েকটি কাজের জন্য আমি সম্প্রতি বেশ কিছু ত্রুটি পেতে শুরু করেছি । এরোরা হ'ল
java.lang.IllegalArgumentException
at java.nio.ByteBuffer.allocate(ByteBuffer.java:334)
at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543)
at org.apache.arrow.vector.ipc.message.MessageChannelReader.readNext(MessageChannelReader.java:58)
at org.apache.arrow.vector.ipc.ArrowStreamReader.readSchema(ArrowStreamReader.java:132)
at org.apache.arrow.vector.ipc.ArrowReader.initialize(ArrowReader.java:181)
at org.apache.arrow.vector.ipc.ArrowReader.ensureInitialized(ArrowReader.java:172)
at org.apache.arrow.vector.ipc.ArrowReader.getVectorSchemaRoot(ArrowReader.java:65)
at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:162)
at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:122)
at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:406)
at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37)
at org.apache.spark.sql.execution.python.ArrowEvalPythonExec$$anon$2.<init>(ArrowEvalPythonExec.scala:98)
at org.apache.spark.sql.execution.python.ArrowEvalPythonExec.evaluate(ArrowEvalPythonExec.scala:96)
at org.apache.spark.sql.execution.python.EvalPythonExec$$anonfun$doExecute$1.apply(EvalPythonExec.scala:127)...
এগুলি সমস্তই applyএকটি পান্ডাস সিরিজের ফাংশনে ঘটে বলে মনে হচ্ছে । আমি কেবলমাত্র পরিবর্তনটি পেয়েছি তা pyarrowশনিবার (05/10/2019) আপডেট হয়েছে। টেস্টগুলি 0.14.1 দিয়ে কাজ করছে বলে মনে হচ্ছে
সুতরাং আমার প্রশ্নটি হ'ল যদি কেউ জানেন যে এটি নতুন আপডেট হওয়া পেয়ারোতে বাগ আছে বা এমন কোনও উল্লেখযোগ্য পরিবর্তন রয়েছে যা ভবিষ্যতে প্যান্ডাস ইউডিএফ ব্যবহার করা কঠিন করে তুলবে?