আমি pandas dropna()কয়েকটি বা সমস্ত কলামের NAগুলি হিসাবে সারণি সরাতে কার্যকারিতাটি ব্যবহার করতে পারি । সমস্ত কলামের মান 0 থাকার সাথে সারিগুলি ফেলে দেওয়ার জন্য কি কোনও সমতুল্য কাজ রয়েছে?
P kt b tt mky depth
1 0 0 0 0 0
2 0 0 0 0 0
3 0 0 0 0 0
4 0 0 0 0 0
5 1.1 3 4.5 2.3 9.0
এই উদাহরণে, আমরা ডেটা ফ্রেম থেকে প্রথম 4 টি সারি বাদ দিতে চাই।
ধন্যবাদ!
উত্তর:
দেখা যাচ্ছে এটি ভালভাবে একটি ভেক্টরাইজড ফ্যাশনে প্রকাশ করা যেতে পারে:
> df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})
> df = df[(df.T != 0).any()]
> df
a b
1 0 1
2 1 0
3 1 1
df = df[(df.T != 0).any()]
rows with all columns having value 0, তবে একটি allপদ্ধতি অনুমান করতে পারে ।
এক রৈখিক. কোনও ট্রান্সপোজের প্রয়োজন নেই:
df.loc[~(df==0).all(axis=1)]
এবং যারা প্রতিসাম্য পছন্দ করেন তাদের পক্ষে এটিও কার্যকর হয় ...
df.loc[(df!=0).any(axis=1)]
df.loc[(df != 0).any(1)]। দলবদ্ধভাবে সম্পাদিত কর্ম!
axis=1স্পষ্ট হওয়ার জন্য পছন্দ করি ; আমার মতে আরও
df
df = df.loc[(df!=0).all(axis=1)]এবং হওয়া দরকার df = df.loc[(df!=0).any(axis=1)]।
আমি এই প্রশ্নটি মাসে একবার সম্পর্কে সন্ধান করি এবং সর্বদা মন্তব্যগুলি থেকে সেরা উত্তরটি বের করতে হবে:
df.loc[(df!=0).any(1)]
ধন্যবাদ ড্যান অ্যালান!
শূন্যগুলি এর সাথে প্রতিস্থাপন করুন nanএবং তারপরে সমস্ত এন্ট্রি সহ সারিগুলি ফেলে দিন nan। এর পরে nanজিরো দিয়ে প্রতিস্থাপন করুন ।
import numpy as np
df = df.replace(0, np.nan)
df = df.dropna(how='all', axis=0)
df = df.replace(np.nan, 0)
আমি মনে করি এই সমাধানটি সবচেয়ে সংক্ষিপ্ত:
df= df[df['ColName'] != 0]
বিশেষত বৃহত্তর ডেটা সেটগুলির জন্য এটি দেখার সময় আমি বেশ কয়েকটি সমাধান খুঁজে পেয়েছি বলে মনে হয়েছিল:
df[(df.sum(axis=1) != 0)] # 30% faster
df[df.values.sum(axis=1) != 0] # 3X faster
@ ইউ 2 ই এফ 1 এর উদাহরণ সহকারে অবিরত:
In [88]: df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})
In [91]: %timeit df[(df.T != 0).any()]
1000 loops, best of 3: 686 µs per loop
In [92]: df[(df.sum(axis=1) != 0)]
Out[92]:
a b
1 0 1
2 1 0
3 1 1
In [95]: %timeit df[(df.sum(axis=1) != 0)]
1000 loops, best of 3: 495 µs per loop
In [96]: %timeit df[df.values.sum(axis=1) != 0]
1000 loops, best of 3: 217 µs per loop
আরও বড় ডেটাসেটে:
In [119]: bdf = pd.DataFrame(np.random.randint(0,2,size=(10000,4)))
In [120]: %timeit bdf[(bdf.T != 0).any()]
1000 loops, best of 3: 1.63 ms per loop
In [121]: %timeit bdf[(bdf.sum(axis=1) != 0)]
1000 loops, best of 3: 1.09 ms per loop
In [122]: %timeit bdf[bdf.values.sum(axis=1) != 0]
1000 loops, best of 3: 517 µs per loop
df[~(df.values.prod(axis=1) == 0) | ~(df.values.sum(axis=1)==0)]
bdf[np.square(bdf.values).sum(axis=1) != 0]
import pandas as pd
df = pd.DataFrame({'a' : [0,0,1], 'b' : [0,0,-1]})
temp = df.abs().sum(axis=1) == 0
df = df.drop(temp)
ফলাফল:
>>> df
a b
2 1 -1
ValueError: labels [True ... ] not contained in matrix
df = df.drop(temp)ব্যবহারের জন্যdf = df.drop(df[temp].index)
lambdaপ্রদত্ত সারির সমস্ত মানগুলি কিনা তা পরীক্ষা করতে আপনি একটি দ্রুত ফাংশন ব্যবহার করতে পারেন 0। তারপরে আপনি সেই প্রয়োগের ফলাফলটি lambdaকেবল সেই সারিগুলির সাথে মেলে বা এই শর্তটির সাথে মেলে না এমনগুলি বেছে নেওয়ার উপায় হিসাবে ব্যবহার করতে পারেন :
import pandas as pd
import numpy as np
np.random.seed(0)
df = pd.DataFrame(np.random.randn(5,3),
index=['one', 'two', 'three', 'four', 'five'],
columns=list('abc'))
df.loc[['one', 'three']] = 0
print df
print df.loc[~df.apply(lambda row: (row==0).all(), axis=1)]
উৎপাদনের:
a b c
one 0.000000 0.000000 0.000000
two 2.240893 1.867558 -0.977278
three 0.000000 0.000000 0.000000
four 0.410599 0.144044 1.454274
five 0.761038 0.121675 0.443863
[5 rows x 3 columns]
a b c
two 2.240893 1.867558 -0.977278
four 0.410599 0.144044 1.454274
five 0.761038 0.121675 0.443863
[3 rows x 3 columns]
অন্য বিকল্প:
# Is there anything in this row non-zero?
# df != 0 --> which entries are non-zero? T/F
# (df != 0).any(axis=1) --> are there 'any' entries non-zero row-wise? T/F of rows that return true to this statement.
# df.loc[all_zero_mask,:] --> mask your rows to only show the rows which contained a non-zero entry.
# df.shape to confirm a subset.
all_zero_mask=(df != 0).any(axis=1) # Is there anything in this row non-zero?
df.loc[all_zero_mask,:].shape
এটা আমার জন্য কাজ করে
new_df = df[df.loc[:]!=0].dropna()
আমার জন্য এই কোড: কার্যকর df.loc[(df!=0).any(axis=0)]
হয়নি। এটি সঠিক ডেটাসেটটি ফিরিয়ে দিয়েছে returned
পরিবর্তে, আমি df.loc[:, (df!=0).any(axis=0)]ডেটাসেটে 0 টি মান সহ সমস্ত কলাম ব্যবহার করেছি এবং ফেলেছি
ফাংশনটি .all()সমস্ত কলামগুলিকে বাদ দিয়েছে যাতে আমার ডেটাসেটে কোনও শূন্য মান রয়েছে।
df = df [~( df [ ['kt' 'b' 'tt' 'mky' 'depth', ] ] == 0).all(axis=1) ]
এই কমান্ডটি পুরোপুরি কাজ করে দেখুন।