ডেটা বিজ্ঞানের জন্য এক্সেল কি যথেষ্ট?

Question

আমি আরআর প্রোগ্রামিং ভাষা ব্যবহার করে ডেটা সায়েন্সের একটি প্রাথমিক পাঠ্যক্রম শেখানোর প্রস্তুতি নিচ্ছি। আমার শ্রোতা ব্যবসায়িক বিষয়গুলিতে স্নাতকোত্তর শিক্ষার্থীরা is একটি সাধারণ ব্যবসায়ের আন্ডারগ্রাডের কোনও কম্পিউটার প্রোগ্রামিংয়ের অভিজ্ঞতা নেই, তবে কয়েকটি ক্লাস নেওয়া হয়েছে যা এক্সেল ব্যবহার করে।

ব্যক্তিগতভাবে, আমি আর (বা অন্যান্য প্রোগ্রামিং ভাষাগুলি) নিয়ে খুব স্বাচ্ছন্দ্য বোধ করি কারণ আমি কম্পিউটার বিজ্ঞানে মেজাজ করি। তবে আমার অনুভূতি রয়েছে যে আমার অনেক শিক্ষার্থী প্রোগ্রামিং ভাষা শেখার বিষয়ে সতর্ক বোধ করবে কারণ তাদের পক্ষে এটি কঠিন মনে হতে পারে।

এক্সেলের সাথে আমার কিছুটা পরিচিতি রয়েছে এবং এটি আমার বিশ্বাস যে এক্সেল সরল ডেটা সায়েন্সের জন্য উপকারী হতে পারে, তবে শিক্ষার্থীদের ডেটা সায়েন্সের (যেমন, আর বা পাইথন) জন্য একটি গুরুতর প্রোগ্রামিং ভাষা শেখার প্রয়োজন। আমি কীভাবে নিজেকে এবং শিক্ষার্থীদের বোঝাতে পারি যে ডেটা সায়েন্স অধ্যয়নরত গুরুতর ব্যবসায়িক শিক্ষার্থীর জন্য এক্সেল অপর্যাপ্ত, এবং তাদের জন্য কিছু প্রোগ্রামিং শেখার প্রয়োজন ছিল?

মন্তব্যের জবাবে সম্পাদিত

আমি যে বিষয়গুলি আবরণ করব সেগুলির কয়েকটি এখানে:

• তথ্য প্রক্রিয়াকরণ এবং ডেটা সাফাই
• কীভাবে ডেটা টেবিলটি ব্যবহার করা যায়, উদাহরণস্বরূপ, সারিগুলির একটি উপসেট নির্বাচন করুন (ফিল্টার), নতুন ভেরিয়েবল যুক্ত করুন (পরিবর্তন করুন), সারিগুলি কলাম অনুসারে বাছাই করুন
• এসকিউএল dplyr প্যাকেজ ব্যবহার করে যোগদান করে
• কিভাবে ggplot2 প্যাকেজ ব্যবহার করে প্লটগুলি (স্ক্যাটার প্লট, বার প্লট, হিস্টোগ্রাম ইত্যাদি) আঁকবেন to
• লিনিয়ার রিগ্রেশন, লজিস্টিক রিগ্রেশন, শ্রেণিবিন্যাস গাছ এবং কে-নিকটতম প্রতিবেশীদের মতো পরিসংখ্যানের মডেলগুলি কীভাবে অনুমান এবং ব্যাখ্যা করা যায়

যেহেতু আমি এক্সেলকে খুব ভাল জানি না, তাই এই সমস্ত কাজ এক্সেলে সহজেই করা যায় কিনা তা আমি জানি না।

Comments

আপনার সিলেবাসে কী রয়েছে তা না জেনে এই প্রশ্নের উত্তর দেওয়া যাবে না। এটি বলার পরে, আপনার এক্সেলের পাওয়ার পিভট / ডেটা মডেলটি একবার দেখা উচিত। আপনি আজ এক্সেলটিতে কয়েক মিলিয়ন সারি সহ সহজেই বহু-গিগাবিট ডেটাসেটগুলি পরিচালনা করতে পারেন এবং এটি দ্রুত।

— গাইস

@ গাইউস আমি কোর্সে কী শিখাতে চাই তার কিছু বিবরণ যুক্ত করেছি

— আমি

আপনার পয়েন্ট 1-4 ভাল তথ্য মডেল দ্বারা সমর্থিত support.office.com/en-us/article/... - বিন্দু 5 আমি AzureML বিনামূল্যে স্তর সুপারিশ করবে studio.azureml.net

— গায়

আজুরএমএল আর বিটিডব্লিউ

— গাইস

আপনার শেষ পয়েন্টটি সম্পর্কে - জন ফোরম্যানের "ডেটা স্মার্ট" বইটি একবার দেখুন - amazon.com

— ডেটা- স্মার্ট- বিজ্ঞান- ট্রান্সফর্ম- তথ্য / ডিপি /

Answer 1

সবার আগে এই পোস্টটি দেখুন । ডেটা সায়েন্সের কার্যগুলি সম্পর্কিত, এক্সেল অন্য সমাধানগুলির চেয়ে নিকৃষ্ট কেন এটির অনেকগুলি কারণ রয়েছে। এক্সেল বড় ডেটাসেটগুলি (কয়েক হাজার রেকর্ড - বিগ ডেটার আশেপাশে কোনও কিছুই উল্লেখ না করা) পরিচালনা করতে পারে না , চিত্র এবং শব্দ ডেটা।

এক্সেল স্প্রেডশিট সম্পর্কিত সহজ কাজের জন্য ভাল; এটি উপস্থাপনা এবং ব্যবহারের স্বাচ্ছন্দ্যে আরও জোর দেয় , যখন তথ্যটি বিশ্লেষণের জন্য ন্যূনতম সমর্থন রাখে। আপনি যতটা করতে চান তা হ'ল সাধারণ পরিসংখ্যানগত পদক্ষেপগুলি (মানে, গড় ইত্যাদি) গণনা করা বা খুব সাধারণ মডেল (উদাহরণস্বরূপ লিনিয়ার রিগ্রেশন) নির্মান করা , এক্সেল অদক্ষ। বলা হচ্ছে, কোনও কোম্পানির ডেটা সম্পর্কিত 99% কাজটি এক্সেলের মাধ্যমে পরিচালনা করার পক্ষে যথেষ্ট সহজ।

তবে ডেটা সায়েন্স মূলত রিগ্রেশন, শ্রেণিবিন্যাস এবং জটিল মডেলগুলির সাথে কাজ করে যা এক্সেল হ্যান্ডেল করার জন্য সজ্জিত নয়! আপনার শিক্ষার্থীরা যদি ডেটা সায়েন্সের দিকে নজর রাখতে চান তবে আপনার তাদের একটি সরঞ্জাম শেখানো দরকার যা তাদের জন্য কার্যকর হবে (আর, পাইথন ইত্যাদি)। এই ভাষাগুলিতেও "সাথে খেলতে" প্রচুর মডেল নির্মিত গ্রন্থাগার রয়েছে।

দ্বিতীয় বিকল্পগুলির সাথে আমি পরবর্তী বিকল্পগুলির সাথে যাব তা হ'ল তারা ওপেন সোর্স । আমি ব্যক্তিগতভাবে অনুভব করি যে ওপেন সোর্স সফ্টওয়্যারকে শিক্ষামূলক দৃষ্টিকোণ থেকে মালিকানাগত সমাধানগুলিতে অগ্রাধিকার দেওয়া উচিত (এটি এ কারণেই আমি মাতলাবকে অজগর এবং আর পরামর্শ দিই)!

Comments

আমি উপরোক্ত সকলের সাথে একমত, তবে তিনি বলেছিলেন যে তারা ব্যবসায়িক মেজর। কেন আর শেখাচ্ছেন না তবে একটি আর / এক্সেল প্লাগইন প্রদর্শনও নিশ্চিত করবেন?

— CalZ

"এক্সেল বড় ডেটাসেটগুলিও পরিচালনা করতে পারে না (কয়েক হাজার রেকর্ড" "<হ্যাঁ এটি সহজেই পারে And "এত কিছুর পরেও এটি প্রাথমিকভাবে সরঞ্জামগুলি জানেন না এমন লোকদের" ডেটা চালিত "দেখতে দেখতে আমাকে বিস্মিত করে

— গাইউস

যদি একই "বেসিক" মেশিনে (16 গিগাবাইট র‌্যাম, আই 7 ইসি) এক মিলিয়ন সারি ডেটাসেট প্লাস হাজার হাজার কলাম হয় তবে কোন সমাধানটি এটিকে দ্রুত খুলবে? আমি এক্সেলকে অস্বীকার করার চেষ্টা করছি না, কেবল একটি সৎ কৌতূহল। আমার জ্ঞান খুব বেশি, আমি এমনকি এক্সেল এ জাতীয় ডেটাसेट খুলতে পারি না। আরস্টুডিও একই পিসিতে কোনও সমস্যা ছাড়াই এটি পড়েন।

— RLave

Answer 2

আমি বিজনেস অ্যানালিটিক্সে স্নাতকোত্তর নিয়ে সবেমাত্র সম্পন্ন করেছি এবং আপনি যে সমস্যাটি বর্ণনা করছেন তার সাথে একই সমস্যার মুখোমুখি হয়েছি। ভাগ্যক্রমে আমি একজন প্রযুক্তিগত ব্যক্তি এবং নিজেকে আর এবং পাইথন শেখাতে সক্ষম হয়েছি, তবে আমি কীভাবে আর এবং পাইথনটি ব্যবহার করতে পারি তা বাকি ক্লাসে শিখিয়ে গিয়েছিলাম stuck আমি যে ক্লাসগুলিতে আর / পাইথন ব্যবহার করেছি সেগুলি শিক্ষার্থীদের প্রযুক্তিগত বোঝার অভাবে প্রতিবন্ধী হয়েছিল এবং কীভাবে কীভাবে আর / পাইথন খুলতে হয় তা coveringাকতে খুব বেশি সময় ব্যয় করা হয়েছিল। যে ক্লাসগুলি অন্য রুটে গিয়েছিল সেগুলি হস্তক্ষেপ করা খুব ব্যবহারিক ছিল না। আমি একটি ক্লাস প্রকল্পের জন্য এমন কিছু করতে চেয়েছিলাম যা এক্সেলের মধ্যে সীমাবদ্ধতার কারণে সম্পন্ন হতে না পেরে শেষ হয়েছিল তবে শিক্ষক অন্য কোনও সরঞ্জাম গ্রহণ করবেন না।

এটি আপনি এখনই করতে পারেন এমন কিছু নাও হতে পারে তবে আমি আপনাকে সুপারিশ করব যে আপনি চেষ্টা করুন এবং বিভাগটি আপনার কোর্স করার আগে একটি প্রোগ্রামিং কোর্স প্রয়োজন। ডেটা সায়েন্স এবং বিজনেস অ্যানালিটিকস আইএমএইচও ক্রস ডিসিপ্লিন ডিগ্রি পাথ হওয়া উচিত যা কম্পিউটার সায়েন্সের খুব ভাল প্রয়োজন, তবে যতক্ষণ না প্রোগ্রামগুলি পরিপক্ক হয় এবং বিশ্ববিদ্যালয় সিস্টেমটি ভাল না হয় ততক্ষণ এটি কিছু সময়ের জন্য না ঘটে।

Comments

আপনি উল্লেখ করেছেন যে আপনি "শ্রেণি প্রকল্পের জন্য এমন কিছু করতে চেয়েছিলেন যা সীমাবদ্ধতার কারণে এক্সেলে করা সম্ভব হয়নি।" আপনি কী করতে চেষ্টা করেছিলেন যা এক্সেলে করা যায়নি?

— আমি

Answer 3

আমি মনে করি আপনাকে পাইথন বা আর এর মতো একটি জনপ্রিয় ডেটা সায়েন্স ভাষা শেখানো দরকার need আমি সম্ভবত বলব যে পাইথন তাদের জন্য দীর্ঘমেয়াদে সবচেয়ে মূল্যবান হবে এবং বিজ্ঞান-শিখার মতো প্যাকেজগুলির সাথে আপনার নিবন্ধগুলি এবং শ্রেণিবিন্যাসকে কোডের খুব কম কয়েকটি লাইনে প্রদর্শিত হতে পারে যা তারা আরও সহজেই পড়তে এবং বুঝতে পারে। আর পড়ার দ্বারা আর কী করছে তা বোঝা সর্বদা সহজ নয়।

পরামর্শের আরেকটি শব্দ: আপনার শিক্ষার্থীদের আইডিই স্থাপন করতে এবং প্রয়োজনীয় প্যাকেজগুলি ডাউনলোড করতে বাধ্য করার জন্য সময় নষ্ট করবেন না, যদি আপনি অজগর ব্যবহার করেন তবে প্রয়োজনীয় প্যাকেজগুলির মাধ্যমে তাদের জন্য ভার্চুয়াল পরিবেশ তৈরি করুন এবং পাইচার্মের মতো আইডিই স্থাপন করুন (তারা পারেন এটি এবং বেশিরভাগ অন্যান্য আইডিই একটি শিক্ষার্থী / একাডেমিক লাইসেন্সের আওতাধীন পান) যেখানে ইউআইয়ের মাধ্যমে তাদের কোডটি বিকাশ করতে এবং চালনা করতে পারে বরং কনসোলের পরিবর্তে যা তারা ভয়ঙ্কর এবং বিভ্রান্তিকর মনে করতে পারে। আপনি যদি আর রুটে নেমে যান তবে নিশ্চিত হয়ে নিন যে তাদের জন্য আরস্টুডিওর মতো একটি আইডিই স্থাপন করেছেন এবং নিশ্চিত করুন যে সমস্ত অন্তর্ভুক্ত রয়েছে এবং প্যাকেজ ইনস্টলগুলি আপনার উদাহরণ কোডে অন্তর্ভুক্ত রয়েছে বা সম্পূর্ণ বর্ণিত হয়েছে।

Comments

"এক্সেল তাদেরকে সত্যিকারের কাজে সাহায্য করবে না" অবশ্যই যদি তাদের সমস্ত সহকর্মী এটি ব্যবহার করে। আপনার অভিজ্ঞতায় কোন বাস্তব কাজগুলি এক্সেল ব্যবহার করে না?

— গাইস

যে কোনও ডেটা সায়েন্সের ভূমিকা বিপুল পরিমাণে ডেটা সহ কাজ করে, খনি অন্তর্ভুক্ত। আপনার মনে হয় কোন ডিএসের কাজগুলি অ্যাক্সেসকে তাদের প্রাথমিক সরঞ্জাম হিসাবে স্বার্থের বাইরে ব্যবহার করবে?

— ড্যান কার্টার

আমি আপনার প্রোফাইল থেকে দেখতে পাচ্ছি যে আপনি একজন ছাত্র? উহু. এই ব্যবসায়ীরা ডিএস-এ একটি কোর্স করছে। তাদের ব্যবসায়ের চাকরিতে তারা একেবারে প্রাথমিক সরঞ্জাম হিসাবে এক্সেল ব্যবহার করবে।

— গাইস

অবশ্যই, আপনি ঠিক বলেছেন যে তারা সম্ভবত ব্যবসায়ের ধরণের ভূমিকাতে এক্সেল ব্যবহার করবে, যদিও ওপি স্পষ্টভাবে বলেছে: তারা ইতিমধ্যে কোর্সগুলি নিয়েছে যা এক্সেলকে কভার করে। এটিকে এটিকে দ্বিগুণ করুন যে এক্সেলটি শিল্প বা একাডেমিক ডেটা সায়েন্সের জন্য পর্যাপ্ত নয় এবং এটি স্পষ্ট যে তাদের 'এক্সেল ফর ডেটা সায়েন্স' শেখানো তাদের একটি সত্যিকারের চাকরিতে সহায়তা করবে না, যেমনটি আমি বলেছি। আপনি কোনও পুরুষকে (বা মহিলা) ফরাসি বলতে শিখিয়ে মাছ ধরতে পারবেন না।

— ড্যান কার্টার

তাহলে তারা যদি ইতিমধ্যে এক্সেলে কোর্স করে নিয়েছে? ডি শিখার অক্ষম অক্ষরগুলির মতো আচরণ করবেন না We আমরা এখানে হাস্কেল বা এলআইএসপি কথা বলছি না!

— এমরে

Answer 4

আমি কীভাবে নিজেকে এবং শিক্ষার্থীদের বোঝাতে পারি যে ডেটা বিজ্ঞান অধ্যয়নরত গুরুতর ব্যবসায়িক শিক্ষার্থীর জন্য এক্সেল অপর্যাপ্ত

আর-এ একটি বিশাল ডেটা ফ্রেম তৈরি করুন (কয়েক মিলিয়ন সারি এবং কয়েকশ কলাম), এটিকে xxx হিসাবে সংরক্ষণ করুন।

এটি আর এর সাথে লোড করার ক্ষেত্রে এবং একই মেশিনে এক্সেলের সময় পার্থক্য তাদের দেখান। একই ডেটাसेट, এমনকি প্লটগুলিতে দুজনের মধ্যে বুনিয়াদি পরিসংখ্যান অপারেশনগুলির তুলনা করুন।

পয়েন্ট নং আপনার তালিকায় 2-4 এক্সেলের মধ্যেও করা যেতে পারে, কেবলমাত্র অনেক বেশি বেদনাদায়ক, তাদের dplyrবেসিক এক্সেলের তুলনায় কতটা সহজ (এবং দ্রুত) ফিল্টার করছে তার উদাহরণ দু'টি দেখান , এটি আবার একটি বিশাল ডেটাসেটকে হাইলাইট করবে পার্থক্য.

বোনাস পয়েন্ট যদি আপনি এমন একটি ডেটাसेट নিয়ে আসতে পারেন যা আপনার পিসিটিকে এক্সেল দিয়ে ক্র্যাশ করে।

এছাড়াও, আমি আর ("পাইথন) এর" বিনামূল্যে ব্যবহারযোগ্য ব্যবহার "অংশটি enphatize করব। উদাহরণস্বরূপ, এসএএসের তুলনায় আপনি যদি কেবল একটি সমাধান (যেমন কোনও ধরণের ক্লাস্টার) চেষ্টা করতে চান তবে আপনি লাইব্রেরিটি লোড করেন, এবং চেষ্টা করে দেখেন, আরও চেষ্টা করার প্রয়োজন নেই, কেবল চেষ্টা করার জন্য।

আমার কাছে এটি এর সৌন্দর্য, আপনি যা যা প্রয়োজন নিখরচায় চেষ্টা করতে পারেন, এবং প্রায়শই এটি ডিএস-এর মূল চাবিকাঠি, আপনি ইনস্টল করা প্রতিটি লাইব্রেরির জন্য আপনাকে অর্থ প্রদান করতে হবে কিনা তা কল্পনা করুন।

Answer 5

এক্সেল এবং ডেটা সায়েন্স - আমার কাছে সত্যিই অদ্ভুত লাগছে। হতে পারে এক্সেল এবং 'ডেটা বিশ্লেষণ'।

যাইহোক, আমি মনে করি এক্সেল এবং আর এর মধ্যে একটি ভাল সমঝোতা হ'ল: কেএনটাইম ( http://www.knime.org/knime-analytics- প্ল্যাটফর্ম )। এটি ডেস্কটপে বিনামূল্যে এবং শুরু করা অনেক সহজ। আপনি এক্সেলে আমদানি / রফতানি করতে পারেন তবে আর, পাইথন বা জাভা ব্যবহার করতে পারেন যদি ~ 1.000 নোডগুলি আপনার প্রয়োজনীয় কিছু কার্যকারিতা মিস করে। যেহেতু কর্মপ্রবাহটি দৃশ্যত তৈরি করা হয়েছে, তাই যে কোনও প্রোগ্রামিং ভাষা জানে না এমন কাউকে তাদের দেখানো আরও সহজ - এটি কিছু সংস্থাগুলিতে বেশ সুবিধা advantage

Answer 6

আমি মনে করি সমস্যাটি হ'ল আপনি আপনার শিক্ষার্থীদের বোঝানোর চেষ্টা করছেন যে আপনার ক্লাস গ্রহণের মাধ্যমে তারা ডেটা সায়েন্সকে আধুনিক ডেটা সায়েন্সের স্তরের মতো করতে পারে, যেমন, ইমেজ প্রসেসিং, ফেস স্বীকৃতির মতো অভিনব স্টাফ। আপনি এই কথাটি বেশিরভাগ সময়ই শুনতে পান, "এই শ্রেণিটি গ্রহণ করার পরে আপনি ..." আপনার যা শেখানোর দরকার তা হ'ল ডেটাগুলির প্রতি ভালবাসা এবং একগুচ্ছ ডেটা দিয়ে দেখার সাহস, আশাবাদী করার জন্য তাদের সাথে জড়িয়ে পড়া তাদের মধ্যে কিছু বোধ। যে মুহুর্তে তারা এটি করতে পারে, আপনি তাদের ডেটা বিজ্ঞানী বলতে পারেন এবং আপনার এখন নতুন প্রজন্মের ডেটা বিজ্ঞানীর জন্য গর্বিত হওয়া উচিত। এর পরে, যদি তারা ডেটা সায়েন্স সম্পর্কে খুব গুরুতর হয় তবে তারা অন্যান্য তীব্র কোর্সগুলি গ্রহণ করতে পারে যা গণিত, পরিসংখ্যান এবং কম্পিউটার বিজ্ঞানের সাথে মোকাবিলা করে (আপনার মত প্রোগ্রামিং অভিজ্ঞতা)। আমি আপনার ছাত্রদের মত একই পরিস্থিতিতে ছিল। আমার কোনও সিএস ব্যাকগ্রাউন্ড ছিল না তবে অভিনব প্রতিশ্রুতি সহ কয়েকটি অনলাইন ক্লাস করে ডেটা সায়েন্স এবং এআইতে প্রবেশ করতে চেয়েছিলাম। আমি প্রচুর অর্থ অপচয় করে শেষ করেছি তবুও আমি নিজেকে হতাশার মধ্যে পেয়েছি (ওহ, এই অ্যালগরিদমটি জানতে আমার এই শ্রেণিটি নেওয়া দরকার, ওহ তারা এখন নিউরাল নেটওয়ার্ক সম্পর্কে কথা বলছেন তাই আমাকে অন্য শ্রেণির জন্য সাইন আপ করতে হবে, ইত্যাদি) টিএল ;ডাঃ. সরঞ্জামগুলি আপনার যে সমস্যার মধ্যে রয়েছে কেবল তার 1% ভাগ রয়েছে। আপনার ব্যাকগ্রাউন্ডের সাথে, আপনার এক সপ্তাহের মধ্যে এক্সেলের উপরের কাজগুলি নির্ধারণে কোনও সমস্যা হবে না। ওহ তারা এখন নিউরাল নেটওয়ার্ক সম্পর্কে কথা বলছে তাই আমাকে অন্য শ্রেণির জন্য সাইন আপ করতে হবে, ইত্যাদি) টিএল; ডিআর। সরঞ্জামগুলি আপনার যে সমস্যার মধ্যে রয়েছে কেবল তার 1% ভাগ রয়েছে। আপনার ব্যাকগ্রাউন্ডের সাথে, আপনার এক সপ্তাহের মধ্যে এক্সেলের উপরের কাজগুলি নির্ধারণে কোনও সমস্যা হবে না। ওহ তারা এখন নিউরাল নেটওয়ার্ক সম্পর্কে কথা বলছে তাই আমাকে অন্য শ্রেণির জন্য সাইন আপ করতে হবে, ইত্যাদি) টিএল; ডিআর। সরঞ্জামগুলি আপনার যে সমস্যার মধ্যে রয়েছে কেবল তার 1% ভাগ রয়েছে। আপনার ব্যাকগ্রাউন্ডের সাথে, আপনার এক সপ্তাহের মধ্যে এক্সেলের উপরের কাজগুলি নির্ধারণে কোনও সমস্যা হবে না।