আপনি একাধিক কলাম দ্বারা পান্ডাস ডেটা ফ্রেমগুলি কীভাবে ফিল্টার করবেন

Question 1

একটি একক কলাম দ্বারা ডেটাফ্রেম (ডিএফ) ফিল্টার করতে, যদি আমরা পুরুষ এবং স্ত্রীলোকদের সাথে ডেটা বিবেচনা করি তবে:

males = df[df[Gender]=='Male']

প্রশ্ন 1 - তবে যদি ডেটাটি একাধিক বছর বিস্তৃত হয় এবং আমি কেবল 2014 এর জন্য পুরুষ দেখতে চাই?

অন্যান্য ভাষায় আমি এর মতো কিছু করতে পারি:

if A = "Male" and if B = "2014" then

(আমি এটি করতে চাই এবং একটি নতুন ডেটাফ্রেম অবজেক্টে মূল ডেটাফ্রেমের একটি উপসেট পেতে চাই)

প্রশ্ন ২. আমি কীভাবে এটি লুপে করব এবং বছরের এবং লিঙ্গের প্রতিটি অনন্য সেট (যেমন একটি ডিএফ: 2013-পুরুষ, 2013-মহিলা, 2014-পুরুষ এবং 2014-মহিলার জন্য ডেটাফ্রেম অবজেক্ট তৈরি করব)

for y in year:

for g in gender:

df = .....

Question 2

&অপারেটরটি ব্যবহার করে , সাব-স্টেটমেন্টগুলি এগুলি মুছতে ভুলবেন না ():

males = df[(df[Gender]=='Male') & (df[Year]==2014)]

dictলুপের জন্য একটি ব্যবহার করে আপনার ডেটাফ্রেমগুলি সঞ্চয় করতে :

from collections import defaultdict
dic={}
for g in ['male', 'female']:
  dic[g]=defaultdict(dict)
  for y in [2013, 2014]:
    dic[g][y]=df[(df[Gender]==g) & (df[Year]==y)] #store the DataFrames to a dict of dict

সম্পাদনা:

আপনার জন্য একটি ডেমো getDF:

def getDF(dic, gender, year):
  return dic[gender][year]

print genDF(dic, 'male', 2014)

Question 3

আপনি আরও সাধারণ বুলিয়ান ফাংশনগুলির জন্য যা ফিল্টার হিসাবে ব্যবহার করতে চান এবং এটি একাধিক কলামের উপর নির্ভর করে আপনি ব্যবহার করতে পারেন:

df = df[df[['col_1','col_2']].apply(lambda x: f(*x), axis=1)]

যেখানে f হল এমন একটি ফাংশন যা কোল_1 এবং কল_2 থেকে প্রতিটি জোড় উপাদানের (x1, x2) এ প্রয়োগ হয় এবং আপনি যে কোনও শর্ত (x1, x2) এর উপর নির্ভর করে সত্য বা মিথ্যা ফিরিয়ে দেন।

Question 4

পান্ডাস 0.13 থেকে শুরু করুন , এটি সর্বাধিক দক্ষ উপায়।

df.query('Gender=="Male" & Year=="2014" ')

Question 5

যদি কেউ আশ্চর্য হয়ে যায় যে ফিল্টার করার দ্রুততম উপায় কী (গ্রহণযোগ্য উত্তর বা @ রেড্র্যামালিটি থেকে একটি):

import pandas as pd
import numpy as np

length = 100_000
df = pd.DataFrame()
df['Year'] = np.random.randint(1950, 2019, size=length)
df['Gender'] = np.random.choice(['Male', 'Female'], length)

%timeit df.query('Gender=="Male" & Year=="2014" ')
%timeit df[(df['Gender']=='Male') & (df['Year']==2014)]

100,000 সারিগুলির জন্য ফলাফল:

6.67 ms ± 557 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
5.54 ms ± 536 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

10,000,000 সারিগুলির জন্য ফলাফল:

326 ms ± 6.52 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
472 ms ± 25.1 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

সুতরাং ফলাফল আকার এবং ডেটা উপর নির্ভর করে। আমার ল্যাপটপে, query()500k সারি পরে দ্রুত পায়। আরও, স্ট্রিং অনুসন্ধানে Year=="2014"একটি অপ্রয়োজনীয় ওভারহেড থাকে ( Year==2014দ্রুত হয়)।

Question 6

ব্যবহার করে আপনি আপনার নিজের ফিল্টার ফাংশন তৈরি করতে পারেন queryমধ্যে pandas। এখানে আপনার dfসমস্ত kwargsপরামিতি দ্বারা ফলাফল ফিল্টারিং আছে । kwargsআপনার নিজের জন্য ফিল্টার ফাংশন পেতে কিছু ভ্যালিডেটর ( ফিল্টারিং) যুক্ত করতে ভুলবেন না df।

def filter(df, **kwargs):
    query_list = []
    for key in kwargs.keys():
        query_list.append(f'{key}=="{kwargs[key]}"')
    query = ' & '.join(query_list)
    return df.query(query)

Question 7

আপনি ব্যবহার করে একাধিক কলাম (আরো দুই) দ্বারা ফিল্টার করতে পারেন np.logical_andঅপারেটর প্রতিস্থাপন &(অথবা np.logical_orপ্রতিস্থাপন |)

এখানে কাজ করার একটি উদাহরণ রয়েছে যা আপনি একাধিক ক্ষেত্রের জন্য লক্ষ্য মান প্রদান করে। আপনি এটিকে বিভিন্ন ধরণের ফিল্টারিং এবং কী নোটের জন্য মানিয়ে নিতে পারেন:

def filter_df(df, filter_values):
    """Filter df by matching targets for multiple columns.

    Args:
        df (pd.DataFrame): dataframe
        filter_values (None or dict): Dictionary of the form:
                `{<field>: <target_values_list>}`
            used to filter columns data.
    """
    import numpy as np
    if filter_values is None or not filter_values:
        return df
    return df[
        np.logical_and.reduce([
            df[column].isin(target_values) 
            for column, target_values in filter_values.items()
        ])
    ]

ব্যবহার:

df = pd.DataFrame({'a': [1, 2, 3, 4], 'b': [1, 2, 3, 4]})

filter_df(df, {
    'a': [1, 2, 3],
    'b': [1, 2, 4]
})