কীভাবে 'টাইপএরর' ঠিক করতে হবে: স্পার্ক ২.৪.৪ ইনস্টল করার পরে পাইপর্ক চালানোর চেষ্টা করার সময় একটি পূর্ণসংখ্যার (টাইপ বাইটস পাওয়া যায়) ত্রুটি

Question

আমি ওপেনজেডিকে 13.0.1 এবং পাইথন 3.8 এবং স্পার্ক 2.4.4 ইনস্টল করেছি। ইনস্টলটি পরীক্ষা করার জন্য নির্দেশগুলি চালনা করা হয় the স্পার্ক ইনস্টলেশনটির মূল থেকে \ বিন \ পাইপার্ক। আমি নিশ্চিত না যে আমি কিছু পরিবেশের পরিবর্তনশীল স্থাপনের মতো স্পার্ক ইনস্টল করার কোনও পদক্ষেপ মিস করেছি, তবে আমি আর কোনও বিস্তারিত নির্দেশিকা খুঁজে পাচ্ছি না।

আমি আমার মেশিনে পাইথন ইন্টারপ্রেটার চালাতে পারি, তাই আমি নিশ্চিত যে এটি সঠিকভাবে ইনস্টল হয়েছে এবং "জাভা-সংস্করণ" চালানো আমাকে প্রত্যাশিত প্রতিক্রিয়া দেয়, তাই আমি মনে করি না যে সমস্যাগুলির কোনওটির সাথেই সমস্যা আছে।

আমি ক্লাউডপিক্লি.পি থেকে ত্রুটিগুলির একটি স্ট্যাক ট্রেস পেয়েছি:

Traceback (most recent call last):
  File "C:\software\spark-2.4.4-bin-hadoop2.7\bin\..\python\pyspark\shell.py", line 31, in <module>
    from pyspark import SparkConf
  File "C:\software\spark-2.4.4-bin-hadoop2.7\python\pyspark\__init__.py", line 51, in <module>
    from pyspark.context import SparkContext
  File "C:\software\spark-2.4.4-bin-hadoop2.7\python\pyspark\context.py", line 31, in <module>
    from pyspark import accumulators
  File "C:\software\spark-2.4.4-bin-hadoop2.7\python\pyspark\accumulators.py", line 97, in <module>
    from pyspark.serializers import read_int, PickleSerializer
  File "C:\software\spark-2.4.4-bin-hadoop2.7\python\pyspark\serializers.py", line 71, in <module>
    from pyspark import cloudpickle
  File "C:\software\spark-2.4.4-bin-hadoop2.7\python\pyspark\cloudpickle.py", line 145, in <module>
    _cell_set_template_code = _make_cell_set_template_code()
  File "C:\software\spark-2.4.4-bin-hadoop2.7\python\pyspark\cloudpickle.py", line 126, in _make_cell_set_template_code
    return types.CodeType(
TypeError: an integer is required (got type bytes)

Answer 1

এটি ঘটছে কারণ আপনি অজগর ৩.৮ ব্যবহার করছেন। পাইপপার্কের সর্বশেষ পাইপ প্রকাশ (লেখার সময় পাইপর্ক ২.৪.৪) পাইথন ৩.৮ সমর্থন করে না। আপাতত 3.7 তে অজগরকে ডাউনগ্রেড করুন এবং আপনার ভাল হওয়া উচিত।

Comments

ধন্যবাদ, এটি দুর্দান্ত!

— ক্রিস

এটি আমার পক্ষে কাজ করে না, ৩.7..6 এ ডাউনগ্রেড হয়েছে

— ইউজার ২৩৩১66

আমি নিশ্চিত করতে পারি পাইপর্ক ২.৪.৪ পাইথন ৩..7.৫ নিয়ে আমার জন্য কাজ করছে

— মুরক

পাইথন ৩.7.০ সহ একটি তাজা কনডা পরিবেশ নিশ্চিত করে! ধন্যবাদ।

— জে। অফেনবার্গ

নিশ্চিত হয়েছে যে 3.7.7 কাজ করেছে

— কলসিটিভ্রা

Answer 2

একটি নোংরা কাজ হিসাবে যেহেতু ফাংশনের ডকস্ট্রিং দ্বারা প্রস্তাবিত_cell_set_template_code পাইথন 3-শুধুমাত্র বাস্তবায়ন দিয়ে এটি প্রতিস্থাপন করতে পারে:_make_cell_set_template_code

Notes
-----
In Python 3, we could use an easier function:

.. code-block:: python

   def f():
       cell = None

       def _stub(value):
           nonlocal cell
           cell = value

       return _stub

    _cell_set_template_code = f()

স্পার্ক v2.4.5 এর জন্য এখানে একটি প্যাচ রয়েছে: https://gist.github.com/ei-grad/d311d0f34b60ebef96841a3a39103622

এটি প্রয়োগ করুন:

git apply <(curl https://gist.githubusercontent.com/ei-grad/d311d0f34b60ebef96841a3a39103622/raw)

এটি ./bin/pyspark দিয়ে সমস্যাটি সমাধান করে, তবে ./bin/spark-submit এর নিজস্ব কপি ক্লাউডপিকল.পি এর সাথে বান্ডিলড পাইপার্ক.জাইপ ব্যবহার করে। এবং যদি এটি সেখানে স্থির করা হয়, তবে এটি এখনও কাজ করবে না, কোনও বস্তুটিকে আন-পিক করার সময় একই ত্রুটির সাথে ব্যর্থ হবে pyspark/serializers.py।

তবে দেখে মনে হচ্ছে পাইথন ৩.৮ সমর্থনটি ইতিমধ্যে v3.0.0-প্রাকদর্শন 2 স্পার্কে এসেছে, যাতে কেউ এটি চেষ্টা করতে পারে। অথবা, গৃহীত উত্তরের মতো পাইথন ৩.7-এ আটকে দিন।

Answer 3

পাইনস্টলারের সর্বশেষ সংস্করণটি ইনস্টল করার চেষ্টা করুন যা এই কমান্ডটি ব্যবহার করে পাইথন ৩.৮ এর সাথে সামঞ্জস্য হতে পারে :

pip install https://github.com/pyinstaller/pyinstaller/archive/develop.tar.gz

তথ্যসূত্র :
https://github.com/pyinstaller/pyinstaller/issues/4265

Comments

আমি এটি করেছি এবং pysparkএখনও একই ত্রুটিটি

— দিচ্ছি

একই অবস্থা. দেখে মনে হচ্ছে এটি অন্যরকম সমস্যা, যদিও এটি একই ত্রুটির বার্তা। ওপির সমস্যাটি ঘটে pyspark\cloudpickle.py। পাইআইনস্টলার সমস্যাটি ঘটে PyInstaller\building\utils.py।

— স্টিভেন