সংকুচিত সংবেদনের অ্যানালগগুলি

Question

সংক্ষিপ্ত সংবেদনে , লক্ষ্যটি হ'ল বিশাল ইনপুট সংকেতগুলির জন্য লিনিয়ার সংকোচনের স্কিমগুলি সন্ধান করা যা বিচ্ছিন্ন উপস্থাপনা বলে পরিচিত, যাতে ইনপুট সংকেতটি সংক্ষেপণ ("স্কেচ") থেকে দক্ষতার সাথে পুনরুদ্ধার করা যায়। আরও আনুষ্ঠানিকভাবে, স্ট্যান্ডার্ড সেটআপটি হ'ল সেখানে একটি সিগন্যাল ভেক্টর যার জন্য , এবং সঙ্কুচিত প্রতিনিধিত্ব Ax এর সমান যেখানে A একটি R -by- n আসল ম্যাট্রিক্স যেখানে আমরা আর want ll এন চাই । সংক্ষিপ্ত সংবেদনের যাদুটি হ'ল যে কেউ স্পষ্টভাবে এমন একটি নির্মাণ করতে পারে যা এটি কোনও (কে -লিনিয়ার সময়) সঠিকভাবে পুনরুদ্ধারের অনুমতি দেয়$x \in \mathbb{R}^n$$\|x\|_0 < k$এ আর $Ax$$A$$R$$n$$R \ll n$$A$$k$-স্পার্স $x$ সাথে $R$ মতো ছোট $O(k n^{o(1)})$ । ) । আমার কাছে পরামিতিগুলি সবচেয়ে ভাল না জানা থাকতে পারে তবে এটি সাধারণ ধারণা।

আমার প্রশ্ন: অন্যান্য সেটিংসে কি একইরকম ঘটনা আছে? আমি যা বলতে চাইছি তা হল ইনপুট সিগন্যাল কিছু "কম জটিলতা পরিবার" থেকে এমন একটি জটিলতা পরিমাপ করতে পারে যা অপ্রয়োজনীয় নয়। এরপরে আমরা সংকোচনের এবং ডিকম্প্রেশন অ্যালগরিদমগুলি চাই, প্রয়োজনীয়ভাবে রৈখিক মানচিত্র নয়, এটি দক্ষ এবং সঠিক। এই জাতীয় ফলাফলগুলি কি অন্য প্রসঙ্গে পরিচিত? কমপ্রেসড সেন্সিংয়ের আরও "সাধারণ" তত্ত্বের জন্য আপনার অনুমান কী হবে?

(অবশ্যই, সংক্ষেপিত সংবেদনের ক্ষেত্রে লিনিয়ারিটি এবং স্পারসিটি গুরুত্বপূর্ণ বিষয় are আমি এখানে যে প্রশ্নটি জিজ্ঞাসা করি তা আরও "দার্শনিক"।)

Answer 1

আপনার প্রশ্নটি ঠিকানাগুলি "সঠিক" পুনরুদ্ধারের সমস্যা (আমরা K-বিক্ষিপ্ত ফিরে পেতে চান $x$ ঠিক প্রদত্ত $Ax$ )। নিম্নলিখিতটিতে যদিও আমি " দৃust় " সংস্করণটিতে ফোকাস করব, যেখানে $x$ একটি স্বেচ্ছাসেবক ভেক্টর এবং পুনরুদ্ধারের অ্যালগরিদমের লক্ষ্য হল $k$ স্পার্স আনুমানিক $x'$ থেকে $x$ (এই পার্থক্যটি নীচের আলোচনার জন্য কিছুটা গুরুত্বপূর্ণ )। সাধারণত আপনি সমস্যাটি অনুসরণ করতে চান (একে $P_1$ ):

এমন একটি ডিজাইন করুন $A$যে কোনও এক্সের জন্য এক্স '$x$ পুনরুদ্ধার করতে পারেন যেখানে \ | x-x' \ | _L \ লে$x'$$\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$ , যেখানে সমস্ত -স্পার্স ভেক্টরগুলির মধ্যে রয়েছে।$x"$$k$

এখানে, এবং বাম এবং ডান আদর্শকে বোঝায় এবং হল "আনুমানিক ফ্যাক্টর"। জন্য বিভিন্ন পছন্দ সম্ভব এবং । সংক্ষিপ্ততার জন্য, কেউ ভাবতে পারেন যে উভয়ই বা এর সমান ; যদিও এটি আরও অগোছালো হতে পারে। ‖ ⋅ ‖ আর সি সি ‖ ⋅ ‖ এল ‖ ⋅ ‖ আর ℓ 2 ℓ $\| \cdot \|_L$$\| \cdot \|_R$$C$$\| \cdot \|_L$$\| \cdot \|_R$$\ell_2$$\ell_1$

এখন কিছু অ্যানালগগুলি এবং জেনারালাইজেশন।

নির্বিচার ভিত্তিতে। প্রথমে লক্ষ্য করুন যে উপরোক্ত সংজ্ঞাটি সন্তুষ্ট করে এমন কোনও প্রকল্প আরও সাধারণ সমস্যার সমাধান করতে ব্যবহার করতে পারে, যেখানে উদ্ধার হওয়া সিগন্যাল স্বেচ্ছাসেবী ভিত্তিতে (যেমন বলুন, ফুওয়েরের তরঙ্গকরণ) বিচ্ছিন্ন, কেবলমাত্র স্ট্যান্ডার্ড নয়। বেস ম্যাট্রিক্স হতে দিন । আনুষ্ঠানিকভাবে একটি ভেক্টর হল -sparse ভিত্তিতে যদি যেখানে হয় -sparse। এখন আমরা সাধারণীকরণের সমস্যাটি বিবেচনা করতে পারি (একে কল করুন ): বি ইউ k বি ইউ = বি বনাম বনাম k পি $x'$$B$$u$$k$$B$$u=Bv$$v$$k$$P_B$

ডিজাইন করুন যা , পুনরুদ্ধার করতে পারবেন যেখানে "$A_B$এক্স ′ ‖ এক্স - এক্স ′ ‖ এল$A_B x$$x'$$\|x-x'\|_L \le$

এক্স " কে $\min_{x"} C \|x-x"\|_R$ , যেখানে স্পেসে থাকা সমস্ত ভেক্টরগুলির মধ্যে রয়েছে ।$x"$$k$$B$

এক আগে সমস্যা এই সমস্যাটি কমে যায় , ভিত্তি পরিবর্তন অর্থাত, একটি পরিমাপ ম্যাট্রিক্স ব্যবহার করে । আমরা একটি সমাধান থাকে তাহলে মধ্যে আদর্শ (অর্থাত, বাম এবং ডান নিয়ম সমান ), আমরা একটি সমাধান পেতে মধ্যে আদর্শ। যদি অন্যান্য নিয়ম ব্যবহার করে, আমরা সেই নিয়মগুলিকে ভিত্তি পরিবর্তন করে পরিবর্তিত করে সমাধান ।$P_1$ পি 1 ℓ 2 ℓ 2 পি বি ℓ 2 পি 1 পি $A_B = A B^{-1}$$P_1$$\ell_2$$\ell_2$$P_B$$\ell_2$$P_1$$P_B$

উপরের একটি উপরের পদ্ধতির মধ্যে, সংজ্ঞায়িত করার জন্য আমাদের ম্যাট্রিক্স জানা দরকার । সম্ভবত আশ্চর্যের বিষয়, আমরা যদি অনুমতি দিই ( স্থির নয় তবে পরিবর্তে এলোমেলোভাবে বেছে নেওয়া হয়েছে), থেকে স্বতন্ত্র একটি স্থির বিতরণ থেকে করা সম্ভব । এটি তথাকথিত সর্বজনীনতার সম্পত্তি।এ বি এ বি এ বি$B$$A_B$$A_B$$A_B$$B$

অভিধানের। পরবর্তী সাধারণীকরণ প্রয়োজন ড্রপ যে পাওয়া যেতে পারে একটি ভিত্তি। এর পরিবর্তে, আমরা অনুমতি দিতে পারেন কলাম চেয়ে আরো সারি আছে। এ জাতীয় ম্যাট্রিককে ডিকশনারি বলা হয় (অতিরিক্ত কমপ্লিট) একটি জনপ্রিয় উদাহরণ ফুরিয়ার ম্যাট্রিক্সের শীর্ষে পরিচয় ম্যাট্রিক্স। আর একটি উদাহরণ একটি ম্যাট্রিক্স যেখানে সারিগুলি inter 1 ... n in এর সমস্ত বিরতির বৈশিষ্ট্যযুক্ত ভেক্টর; এই ক্ষেত্রে, সেট { } এ সমস্ত " হিস্টোগ্রাম", অর্থাৎ বেশিরভাগ টুকরো সহ wise 1 ... n over এর উপরে টুকরোচক ধ্রুবক ফাংশন রয়েছে ।বি বি ইউ : তা হলো তুমি K-বিক্ষিপ্ত ট $B$$B$$Bu: \mbox{u is k-sparse}$$k$$k$

আমি যতদূর জানি এ জাতীয় স্বেচ্ছাসেবক অভিধানের জন্য কোনও সাধারণ তত্ত্ব নেই, যদিও এই বিষয়টিতে যথেষ্ট পরিমাণে কাজ হয়েছে। উদাহরণস্বরূপ, ক্যান্ডস-এল্ডার-নেদেল'এল বা ডোনহো -এলাদ-টেম্লিয়াকভ, ইনফরমেশন থিওরিতে আইইইই লেনদেন, 2004 দেখুন ।

হিস্টোগ্রামের জন্য স্কেচিং স্ট্রিমিং এবং ডাটাবেস সাহিত্যে ব্যাপকভাবে তদন্ত করা হয়েছিল, যেমন, গিলবার্ট-গুহ-ইন্দিক-কোটিডিস-মুথুকৃষ্ণান-স্ট্রস, এসটিওসি 2002 বা থ্যাপার-গুহ-ইন্দিক-কৌদাস, সিগ্মোড 2002 ।

মডেল। (অর্ণবও উল্লেখ করেছেন)। একটি পৃথক সাধারণীকরণ হ'ল স্পারসিটি নিদর্শনগুলির উপর বিধিনিষেধগুলি প্রবর্তন করা। {1 ... n এর সাবসেটগুলির উপসেট হতে দিন } আমরা যে হল -sparse যদি সমর্থনে একটি উপাদান অন্তর্ভুক্ত করা হয়েছে । আমরা এখন সমস্যা তৈরি করতে পারি (একে কল করুন ):ট তোমার দর্শন লগ করা এম ইউ এম পি $M$$k$$u$$M$$u$$M$$P_M$

এমন ডিজাইন করুন যে কোনও জন্য পুনরুদ্ধার করতে পারেন যেখানেx x ′ ‖ x - x ′ ‖ এল$A$$x$$x'$$\|x-x'\|_L \le$

এক্স " $\min_{x"} C \|x-x"\|_R$ , যেখানে সমস্ত পার্স ভেক্টরগুলির মধ্যে রয়েছে।$x"$$M$

উদাহরণস্বরূপ, এর উপাদানগুলি ফর্মের হতে পারে , যেখানে প্রতিটি কিছু দৈর্ঘ্যের এর "1 ... n one এর একটি" সাব-ব্লক "এর সাথে সম্পর্কিত , হয় ফর্ম {jb + 1 ... (জে + 1) বি some কিছু । এটি তথাকথিত "ব্লক স্পারসিটি" মডেল। আমি 1 ∪ … ∪ আই কে আই আই বি আমি আই$M$$I_1 \cup \ldots \cup I_k$$I_i$$b$$I_i$$j$

মডেলগুলির সুবিধাগুলি হ'ল জেনেরিক স্পেসিটি পদ্ধতির তুলনায় কেউ পরিমাপের সংখ্যার উপর সঞ্চয় করতে পারে । এটি কারণ স্পার্স সিগন্যালের স্থান সমস্ত -স্পার্স সংকেতের জায়গার চেয়ে ছোট , সুতরাং ম্যাট্রিক্স তে কম তথ্য সংরক্ষণ করা দরকার। আরও তথ্যের জন্য, বারানিয়ুক-সেভের-ডুয়ার্টে-হেগডে, তথ্য থিওরী, 2010 এর আইইইই লেনদেন বা তথ্য-তত্ত্ব, 2009-এর এলদার-মিশালি, আইইইই লেনদেন দেখুন ।এম কে $k$$M$$k$$A$

আশাকরি এটা সাহায্য করবে.

Answer 2

অ-যাতায়াত সেটিংটিতে সংকুচিত সংবেদনের একটি সাধারণীকরণ রয়েছে যা ম্যাট্রিক্স সমাপ্তি বলে । সঠিক সেটিংয়ে আপনাকে একটি অজানা ম্যাট্রিক্স যা স্পারসিটির পরিবর্তে কম র‌্যাঙ্কের সাথে পরিচিত । আপনার লক্ষ্য পুনর্গঠন হয় শুধুমাত্র স্যাম্পলিং দ্বারা একবচন মূল্যবোধ ও এই ম্যাট্রিক্সের একবচন ভেক্টর ম্যাট্রিক্স কোফিসিয়েন্টস বদলে হিসাবে সবচেয়ে খারাপ ক্ষেত্রে প্রয়োজন। M r ≪ m , n r ˜ O ( r m + r n ) O ( m n $m \times n$$M$$r \ll m,n$$r$$\tilde{O}(rm+rn)$$O(mn)$

আপনি যদি ম্যাট্রিক্স উপাদানগুলির নমুনা নিচ্ছেন তার ভিত্তিতে যদি একক ভেক্টরগুলি যথেষ্ট পরিমাণে "অন্তর্নিহিত" হয় (মোটামুটি খুব ভালভাবে সংযুক্ত না হয়) তবে স্ট্যান্ডার্ড সংকুচিত সংবেদনের অনুরূপ উত্তল প্রোগ্রামটি সমাধান করে আপনি উচ্চ সম্ভাবনার সাথে সাফল্য অর্জন করতে পারেন। এক্ষেত্রে আপনাকে স্ক্যাচটেন 1-আদর্শকে একক করতে হবে, অর্থাত্ একক মানগুলির যোগফল।

এই সমস্যাটিতে প্রচুর অ্যাপ্লিকেশন রয়েছে, উদাহরণস্বরূপ, কোনও অনলাইন বুক স্টোরের কোনও গ্রাহককে অন্যান্য গ্রাহকরা কেবলমাত্র কিছু রেটিং তৈরি করেছেন তা জেনেও বইয়ের সুপারিশ দেওয়া giving এই প্রসঙ্গে, এর সারি এবং কলামগুলি যথাক্রমে বই এবং গ্রাহকদের দ্বারা লেবেল করা হয়েছে। কয়েকটি দৃশ্যমান ম্যাট্রিক্স উপাদান হ'ল তারা আগে কেনা বইগুলির গ্রাহক রেটিং। ম্যাট্রিক্স কম র‌্যাঙ্কের আশা করা যায় কারণ আমরা বিশ্বাস করি যে সাধারণত আমাদের প্রাথমিক পছন্দগুলিকে কেবল কয়েকটি প্রাথমিক কারণ প্রভাবিত করে। সম্পন্ন করে , বিক্রেতা আপনি কোন বইগুলি পছন্দ করতে পারবেন সে সম্পর্কে নির্ভুল পূর্বাভাস দিতে পারে।এম $M$$M$$M$

উত্তম অপ্টিমাইজেশনের মাধ্যমে ক্যান্ডস এবং রেচেটের এই ম্যাকট্রিক্সের সমাপ্তি , একটি ভাল শুরু । একটি দুর্দান্ত শীতল সাধারণীকরণও রয়েছে যেখানে আপনাকে ম্যাট্রিক্স স্পেসের জন্য স্বেচ্ছাসেবীর ভিত্তিতে নমুনা দেওয়ার অনুমতি দেওয়া হয়। ডেভিড গ্রসের এই কাগজটি, কোনও ভিত্তিতে কয়েকটি সহগের কাছ থেকে নিম্ন-স্তরের ম্যাট্রিকগুলি পুনরুদ্ধার করা এই সাধারণীকরণটি ম্যাট্রিক্স সমাপ্তির প্রমাণগুলিকে সহজতর করার জন্য ব্যবহার করে এবং কিছু বেসের জন্য আপনি অসঙ্গত ধারণাটিও মুছে ফেলতে পারেন। সেই কাগজটিতে স্যাম্পলিং জটিলতার ক্ষেত্রে আজ অবধি সেরা সীমাও রয়েছে। এটি নির্বিচারে নমুনা হিসাবে আশ্চর্যজনক মনে হতে পারে, তবে এটি কোয়ান্টাম মেকানিক্সের সেটিংয়ে প্রকৃতপক্ষে খুব স্বাভাবিক, উদাহরণস্বরূপ এই কাগজটি দেখুন, সংক্ষেপিত সংবেদনের মাধ্যমে কোয়ান্টাম স্টেট টমোগ্রাফি ।

Answer 3

বহুগুণ-ভিত্তিক সংকুচিত সংবেদন রয়েছে, যেখানে স্পারসিটি শর্তটি সেই অবস্থার দ্বারা প্রতিস্থাপিত হয় যে সংকেতের প্রাকৃতিক স্থানের ডেটা একটি নিম্ন-মাত্রিক সাবমানিফোল্ডে থাকে। দ্রষ্টব্য যে স্পারসিটিটি নির্দিষ্ট ম্যানিফোল্ডের উপর মিথ্যা হিসাবে চিহ্নিত করা যেতে পারে (প্রকৃতপক্ষে, একটি সেকেন্ট বিভিন্ন)।

দেখুন, উদাহরণস্বরূপ এই কাগজ এবং এর ভূমিকাতে উল্লেখগুলি। (আমি স্বীকার করি যে এই কাগজটি ওই অঞ্চলের প্রতিনিধি কিনা - আমি বহুগুণ ভিত্তিক শ্রেণিবদ্ধদের একটি লা নিয়োগি-স্যামেল-ওয়েইনবার্গারের সম্পর্কিত বিষয়ের সাথে আরও বেশি পরিচিত am )

Comments

আকর্ষণীয় কাগজ আমি এই কাজ সম্পর্কে সচেতন ছিল না।

— সুরেশ ভেঙ্কট

ঘটনাক্রমে, ক্যান্ডস যেমন তার সোডা 10 আমন্ত্রিত আলাপের দিকে ইঙ্গিত করেছিলেন, তত্পরতা স্বল্প-মাত্রিক হওয়ার মতো নয়। অন্যটি ছাড়া এটি থাকা বেশ সহজ

— সুরেশ ভেঙ্কট

ধন্যবাদ! লিঙ্কযুক্ত কাগজের দ্বারা উদ্ধৃত একটি আকর্ষণীয় কাজ হ'ল "মডেল-ভিত্তিক কম্প্রেসিভ সেন্সিং"। এটি দেখায়, আমি মনে করি, নিয়মিত সিএসের তুলনায় পরিমাপের সংখ্যা আরও বেশি হ্রাস করা যেতে পারে যদি ইনপুট সিগন্যালটি কে-ডাইমেনশনাল সাবস্পেসের কিছু ছোট সেট থেকে আসার প্রতিশ্রুতি দেওয়া হয়।

— অর্ণব

Answer 4

আমি মনে করি যে সাধারণতার যে স্তরে আমি প্রশ্ন উত্থাপন করেছি, ট্র্যাভিসান, বধন এবং জুকারম্যান (2004) -র "নমুনা সূত্রের সংক্ষেপণ" পত্রিকাটিও একটি সম্ভাব্য উত্তর হিসাবে যোগ্যতা অর্জন করেছে। তারা দেখায় যে অনেক ক্ষেত্রে, যদি ইনপুট স্ট্রিংগুলির উত্সটি কম জটিলতায় থাকে (যেমন, লগস্পেস মেশিনগুলির দ্বারা নমূকরণযোগ্য), তবে উত্সের এনট্রপি থেকে দূরে একটি সংযোজক ধ্রুবককে বহুবর্ষীয় সময়ে সংকুচিত করতে এবং সংক্ষেপণ করতে পারে।

আমি জানি না যদিও কমপ্রেসড সেন্সিংকে সংক্ষেপণের কোনও বৃহত্তর তত্ত্বের মধ্যে রাখা যেতে পারে কিনা।

Answer 5

সংক্ষিপ্ত সংবেদনশীলতার একটি এনালগটি মেশিন লার্নিংয়ে যখন আপনি খুব অল্প মাত্রার আকার থেকে উচ্চ মাত্রিক ওজন ভেক্টর (উদাহরণস্বরূপ, শ্রেণিবদ্ধকরণ / প্রতিরোধে) অনুমান করার চেষ্টা করেন। এই ধরনের সেটিংসে লিনিয়ার সমীকরণগুলির নিম্ন নির্ধারিত সিস্টেমগুলির সাথে মোকাবিলা করার জন্য, কেউ সাধারণত ওজন ভেক্টর শিখার ক্ষেত্রে স্পারসিটি (l0 বা l1 জরিমানার মাধ্যমে) প্রয়োগ করে। সংযোগটি দেখতে, মেশিন লার্নিং থেকে নিম্নলিখিত শ্রেণিবদ্ধকরণ / রিগ্রেশন সমস্যাটি বিবেচনা করুন:

NxD ম্যাট্রিক্স এক্স হিসাবে প্রতিটি (ডি >> এন) ডি মাত্রার N উদাহরণ উপস্থাপন করুন Nx1 ভেক্টর ওয়াই হিসাবে এন প্রতিক্রিয়াগুলি (প্রতিটি উদাহরণের জন্য একটি) উপস্থাপন করুন : ওয়াই = এক্স * থেটা

সংবেদনশীল সংবেদন (সিএস) এর এই সমস্যার সাদৃশ্যটি এখানে: আপনি অনুমান করতে / পরিমাপ করতে চান যা একটি ডি-ডাইমেনশনাল ভেক্টর (সিএসে অজানা "সংকেত" এর অনুরূপ)। এটি অনুমান করার জন্য, আপনি একটি ম্যাট্রিক্স এক্স (সিএসে নকশার ম্যাট্রিক্সের অনুরূপ) এবং এন 1-ডি পরিমাপের ওয়াই (সি >> এর সংকীর্ণ সংকেতের অনুরূপ, ডি >> এন) ব্যবহার করুন।

Answer 6

দেখুন: http://www.damtp.cam.ac.uk/user/na/people/Anders/Inf_CS43.pdf