সংস্করণ জুড়ে পাইয়ারো সামঞ্জস্য
সামগ্রিক পদক্ষেপটি প্যারাও / পালক (প্যান্ডাস / ইজেক্টপ্যাক থেকে অবজ্ঞা সতর্কতা) করা হয়েছে। তবে আমি pyarrow সঙ্গে একটি চ্যালেঞ্জ আছে অস্থায়ী নির্দেশের মধ্যে ডেটার সাথে pyarrow 0.15.1 0.16.0 সঙ্গে deserialized করা যাবে না ধারাবাহিকভাবে দেখুন ARROW-7961 । আমি redis ব্যবহার করতে সিরিয়ালাইজেশন ব্যবহার করছি তাই বাইনারি এনকোডিং ব্যবহার করতে হবে।
আমি বিভিন্ন বিকল্পগুলি লিখেছি (জুপির নোটবুক ব্যবহার করে)
import sys, pickle, zlib, warnings, io
class foocls:
def pyarrow(out): return pa.serialize(out).to_buffer().to_pybytes()
def msgpack(out): return out.to_msgpack()
def pickle(out): return pickle.dumps(out)
def feather(out): return out.to_feather(io.BytesIO())
def parquet(out): return out.to_parquet(io.BytesIO())
warnings.filterwarnings("ignore")
for c in foocls.__dict__.values():
sbreak = True
try:
c(out)
print(c.__name__, "before serialization", sys.getsizeof(out))
print(c.__name__, sys.getsizeof(c(out)))
%timeit -n 50 c(out)
print(c.__name__, "zlib", sys.getsizeof(zlib.compress(c(out))))
%timeit -n 50 zlib.compress(c(out))
except TypeError as e:
if "not callable" in str(e): sbreak = False
else: raise
except (ValueError) as e: print(c.__name__, "ERROR", e)
finally:
if sbreak: print("=+=" * 30)
warnings.filterwarnings("default")
আমার ডেটা ফ্রেমের জন্য নিম্নোক্ত ফলাফল সহ ( outবৃহস্পতি পরিবর্তনশীল)
pyarrow before serialization 533366
pyarrow 120805
1.03 ms ± 43.9 µs per loop (mean ± std. dev. of 7 runs, 50 loops each)
pyarrow zlib 20517
2.78 ms ± 81.8 µs per loop (mean ± std. dev. of 7 runs, 50 loops each)
=+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+=
msgpack before serialization 533366
msgpack 109039
1.74 ms ± 72.8 µs per loop (mean ± std. dev. of 7 runs, 50 loops each)
msgpack zlib 16639
3.05 ms ± 71.7 µs per loop (mean ± std. dev. of 7 runs, 50 loops each)
=+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+=
pickle before serialization 533366
pickle 142121
733 µs ± 38.3 µs per loop (mean ± std. dev. of 7 runs, 50 loops each)
pickle zlib 29477
3.81 ms ± 60.4 µs per loop (mean ± std. dev. of 7 runs, 50 loops each)
=+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+=
feather ERROR feather does not support serializing a non-default index for the index; you can .reset_index() to make the index into column(s)
=+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+=
parquet ERROR Nested column branch had multiple children: struct<x: double, y: double>
=+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+=
পালক এবং parquet আমার ডেটা ফ্রেমের জন্য কাজ করে না। আমি পেয়ারো ব্যবহার চালিয়ে যাচ্ছি। তবে আমি আচার দিয়ে পরিপূরক করব (কোনও সংক্ষেপণ নেই)। ক্যাশে স্টোর যখন পাইয়ারো এবং আচার সিরিয়ালাইজড ফর্ম। ক্যাশে ফ্যালব্যাক থেকে আচারে পড়ার সময় যদি পেয়ারো ডিসরিয়ালাইজেশন ব্যর্থ হয়।
