প্রশ্ন ট্যাগ «dask»

আগস্ট 2017 পর্যন্ত, পান্ডাস ডেটাফেম.এপ্লি () দুর্ভাগ্যক্রমে এখনও একটি একক কোর নিয়ে কাজ করার মধ্যে সীমাবদ্ধ, যার অর্থ আপনি যখন রান করবেন তখন একটি মাল্টি-কোর মেশিনটি তার সংখ্যাগরিষ্ঠ সময়কে নষ্ট করবে df.apply(myfunc, axis=1)। সমান্তরালভাবে ডেটাফ্রেমে প্রয়োগ করতে আপনি কীভাবে আপনার সমস্ত কর ব্যবহার করতে পারেন?

105 pandas  dask 

আমি বেশ বড় পান্ডাস ডেটা ফ্রেমের সাথে কাজ করছি - আমার ডেটাসেটটি নীচের সেটআপটির অনুরূপ df: import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 = 541680 # …

9 python  pandas  apache-spark  parallel-processing  dask