কিভাবে অ্যালগরিদম বিকাশ স্কেল?


18

অনুসন্ধানের ডেটা বিশ্লেষণ এবং অ্যালগরিদমগুলির বিকাশে কাজ করে আমি দেখতে পেলাম যে আমার বেশিরভাগ সময় ভিজ্যুয়ালাইজ করার একটি চক্রে ব্যয় করা হয়, কিছু কোড লিখুন, ছোট ডেটাसेटে চালিত হন, পুনরাবৃত্তি করুন। আমার কাছে থাকা ডেটা কম্পিউটার ভিশন / সেন্সর ফিউশন ধরণের স্টাফ হিসাবে থাকে এবং অ্যালগরিদমগুলি দৃষ্টি-ভারী হয় (উদাহরণস্বরূপ অবজেক্ট সনাক্তকরণ এবং ট্র্যাকিং ইত্যাদি), এবং অফ শেল্ফ অ্যালগরিদমগুলি এই প্রসঙ্গে কাজ করে না। আমি দেখতে পেয়েছি যে এটি প্রচুর পরিমাণে পুনরাবৃত্তি গ্রহণ করে (উদাহরণস্বরূপ, অ্যালগরিদমের ধরণে ডায়াল করতে বা অ্যালগোরিদমে প্যারামিটারগুলি টিউন করতে, বা ভিজ্যুয়ালাইজেশন ডান পেতে) এবং এমনকি একটি ছোট ডেটাসেটে রান সময়গুলিও বেশ দীর্ঘ, তাই সব একসাথে এটি একটি সময় লাগে।

কিভাবে অ্যালগরিদম বিকাশ নিজেই করা যায় এবং আরও স্কেলযোগ্য করা যায়?

কিছু নির্দিষ্ট চ্যালেঞ্জ:

পুনরাবৃত্তির সংখ্যা কীভাবে হ্রাস করা যায়? (এসপি। যখন কোন ধরণের অ্যালগরিদম হয় তবে এর বিশদটি কেবল ছেড়ে দিন, বিভিন্ন সংস্করণ চেষ্টা না করে এবং তাদের আচরণ পরীক্ষা না করে সহজেই অনুমেয় বলে মনে হয় না)

উন্নয়নের সময় আরও বড় ডেটাসেটগুলিতে কীভাবে চলবেন? (প্রায়শই ছোট থেকে বড় ডেটাসেটে যাওয়া যখন তখন নতুন আচরণ এবং নতুন সমস্যাগুলির একগুচ্ছ দেখা যায়)

কীভাবে অ্যালগরিদম প্যারামিটারগুলি দ্রুত সুর করা যায়?

অ্যালগরিদম বিকাশে নিজেই কীভাবে মেশিন লার্নিং টাইপের সরঞ্জাম প্রয়োগ করবেন? (উদাহরণস্বরূপ, হাত দ্বারা অ্যালগরিদম লেখার পরিবর্তে কয়েকটি সাধারণ বিল্ডিং ব্লক লিখুন এবং সমস্যা থেকে শিখে নেওয়া এমন উপায়ে তাদের একত্রিত করুন)

উত্তর:


7

প্রথমত, যদি আপনার ডেটাতে একাধিক কৌশল (সময়, প্রসঙ্গ এবং অন্যের কার্যক্রমে) এর সাথে মোকাবিলা করার জন্য একক কৌশল প্রয়োগ করা কঠিন করে তোলে তবে আপনি পূর্ববর্তী সাময়িক / প্রসঙ্গে / করতে আগ্রহী হতে পারেন ডেটাসেটের বৈশিষ্ট্য। ডেটা চিহ্নিতকরণ, অর্থাত্ কিছু মানদণ্ড অনুসারে সামগ্রীর ভলিউম বা নির্দিষ্টকরণগুলি কীভাবে পরিবর্তিত হয় সে সম্পর্কে তথ্য আহরণ করা সাধারণত একটি ব্রুট-ফোর্স ফ্যাশনে কেবল অ্যালগরিদমকে অনুমান করার চেয়ে আরও ভাল বোঝার (আরও বেশি সচেতন এবং সুনির্দিষ্ট) সরবরাহ করে।

সুতরাং, প্রতিটি প্রশ্নের উত্তর:

  1. নির্দিষ্টকরণের জন্য যথাযথ অ্যালগরিদমগুলি বেছে নেওয়ার চেষ্টা করার সময় বৈশিষ্ট্যটি অবশ্যই পুনরাবৃত্তির সংখ্যা হ্রাস করার একটি মাধ্যম ;
  2. আপনি criterias যা এ আপনার ডেটা পরিবর্তিত হয় একটি বিযুক্ত সেট থাকে, তাহলে অনেক সহজ হয়ে আনুপাতিক হারে বাড়ান সমাধান, জানবে হিসাবে আপনি কি তথ্য লাভ চাই / হারান সহজ / নির্দিষ্ট সমাধান প্রয়োগ করা হয়েছে;
  3. বৈশিষ্ট্যযুক্ত হওয়ার পরে, পরামিতিগুলি নির্বাচন করা আপনার পক্ষে আরও সহজ হওয়া উচিত, যেহেতু আপনি কী ধরণের নির্দিষ্ট ডেটা নিয়ে কাজ করছেন তা আপনি জানতেন ;
  4. অবশেষে, আপনি এই বৈশিষ্ট্যটি সমর্থন করার জন্য ডেটা মাইনিং / মেশিন লার্নিং অ্যালগরিদম ব্যবহার করতে পারেন। এর মধ্যে রয়েছে:
    • ক্লাস্টারিং অ্যালগোরিদম, তথ্যের মাত্রা হ্রাস করতে;
    • শ্রেণিবদ্ধকরণ অ্যালগরিদম, সময় / প্রসঙ্গ / / এর কার্যকারিতা সম্পর্কিত নির্দিষ্ট বৈশিষ্ট্যগুলির বিষয়ে সিদ্ধান্ত নিতে সহায়তা করতে পারে ...
    • অ্যাসোসিয়েশন নিয়ম, ডেটাসেট থেকে নির্দিষ্ট জ্ঞানের পূর্বাভাস দেওয়ার জন্য, পরে বিশ্লেষণের জন্য ব্যবহৃত ডেটা উন্নত / সূক্ষ্ম-দান করা;
    • এবং অন্যান্য সম্ভাব্য কৌশল এবং বিশ্লেষণ।

এবং এখানে ডেটা বিশ্লেষণ করার জন্য এমন কয়েকটি মানদণ্ডের একটি তালিকা রয়েছে, যা আপনাকে সহায়ক বলে মনে করতে পারে।


5

দুটি জিনিস যা আপনাকে দরকারী মনে করতে পারে:

  1. সঠিক মডেল এবং অনুকূল পরামিতিগুলির অনুসন্ধান দ্রুত করতে মেটা-শেখা । হাতের সমস্যার জন্য সঠিক মেশিন লার্নিং সরঞ্জাম / পরামিতিগুলি খুঁজে পাওয়ার সমস্যাটিতে মেশা লার্নিংয়ের সরঞ্জাম প্রয়োগের সাথে মেটাল লার্নিং অন্তর্ভুক্ত। উদাহরণস্বরূপ এটি ব্যবহারিক উদাহরণের জন্য এই কাগজটি ;

  2. বড় ডেটাসেটগুলিতে অ্যালগরিদমকে গতিময় করতে gpucomputing । উদাহরণস্বরূপ, ওপেনসিভি জিপিইউগুলি ব্যবহার করতে পারে যা চিত্র / ভিডিও প্রসেসিংয়ে খুব কার্যকর এবং সিপিইউগুলির সাথে 10 থেকে 100 স্পিডআপ আনতে পারে। আপনার কম্পিউটারে সম্ভবত একটি জিপুকোমপুটিং-সক্ষম জিপিইউ রয়েছে তাই আপনি এটি ব্যবহার করে প্রচুর সময় অর্জন করতে পারেন।


4

অনুমান করে আপনি সম্ভবত এই ইউটিউব ডেমো এবং সম্পর্কিত গুগল টেক টক দেখেছেন যা এই কাগজগুলির সাথে সম্পর্কিত:

এবং ওপেনটিএলডি-র জন্য গিটহাবে কোডের এই সেট । আপনি যদি এখানে গিটহাবের "আমাকে পড়ুন" পরীক্ষা করেন, আপনি খেয়াল করতে পারেন যে লেখকের ইমেল (জেডেনেক কালাল) তালিকাভুক্ত রয়েছে, সুতরাং আপনার প্রশ্নগুলি সম্পর্কে তাকে ইমেল পাঠানো বা এমনকি এই প্রশ্নের জবাব দেওয়ার জন্য তাকে আমন্ত্রণ জানানো মূল্যবান হতে পারে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.