প্রশ্ন ট্যাগ «partitioning»

কাফকাতে, আমি কেবলমাত্র একটি একক ব্রোকার, একক বিষয় এবং একক পার্টিশন ব্যবহার করতে চাই যার এক জন প্রযোজক এবং একাধিক গ্রাহক (প্রতিটি গ্রাহক ব্রোকারের কাছ থেকে ডেটার নিজস্ব অনুলিপি পেয়েছেন)। এটি দেওয়া, আমি চিড়িয়াখানার ব্যবহারের ওভারহেড চাই না; আমি কি শুধু ব্রোকার ব্যবহার করতে পারি না? চিড়িয়াখানা কীভাবে করা উচিত?

134 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

আমি স্পার্ক 1.4.0 এ স্পার্ক এসকিউএল এবং ডেটাফ্রেম ব্যবহার শুরু করেছি। আমি স্কালায় ডেটাফ্রেমে একটি কাস্টম পার্টিশনারের সংজ্ঞা দিতে চাই, কিন্তু এটি কীভাবে করবেন তা দেখছি না। আমি যে ডেটা টেবিলের সাথে কাজ করছি তার একটিতে নিম্নলিখিত উদাহরণে সিলিমার অ্যাকাউন্টের মাধ্যমে লেনদেনের একটি তালিকা রয়েছে। Account Date Type Amount 1001 …

128 scala  apache-spark  dataframe  apache-spark-sql  partitioning