2 ডি ক্যামেরা ব্যবহার করে 3 ডি পজিশনের অনুমান

Question

আমার একটি ক্যামেরা রয়েছে (আইফোন), আমার কাছে ইমেজে একটি 3 ডি কন্ট্রোল অবজেক্ট রয়েছে যা আমি এর বৈশিষ্ট্যগুলি খুব ভাল জানি। (আমার নিয়ন্ত্রণ বস্তু) গতিতে একটি গৌণ বস্তুও রয়েছে। চূড়ান্ত লক্ষ্যটি একটি নির্দিষ্ট সময়ের জন্য চলমান বস্তুর 3 ডি ট্র্যাজেক্টরি স্থাপন করা। (ট্র্যাকিং)

আমি জিজ্ঞাসা করতে চান, আমি খুঁজে পেতে পারেন?

• কন্ট্রোল অবজেক্টের ফোনের দূরত্ব (আলোচনার জন্য ধরে নেওয়া যাক, ক্যামেরা নির্দিষ্ট উচ্চতায় এবং নির্দিষ্ট দূরত্বে রয়েছে উভয়টিই জানা যায় নি তবে ক্যামেরাটি পৃষ্ঠের উপরের দিকে লম্ব রয়েছে যা জানা আছে)

• সেকেন্ডারি অবজেক্ট যেখানে আমি প্রতিটি পরবর্তী ফ্রেমে অবজেক্টটি সনাক্ত করতে পারি। আমার লক্ষ্যটি এটির 3 ডি ট্রাজেক্টোরিটি অনুমান করা যা আমি উপরে নির্দেশ করেছি।

বোনাস প্রশ্ন, আমরা সিস্টেমকে এমন করে তুলতে পারি যে কন্ট্রোল অবজেক্টের ফোনের দূরত্ব সেট করা যায় (যদিও এটি পছন্দনীয় নয়) তবে এটি কি আমাকে দ্বিতীয় পয়েন্টে সহায়তা করবে?

Comments

আপনি কি এই অঞ্চলের সাহিত্যের সাথে পরিচিত? যদি না হয় তবে আমি কিছু কাগজপত্র সুপারিশ করতে পারি, তবে সতর্ক হতে হবে: গণিতগুলি এতে জড়িত।

— এমরে

@ যদি আপনি কিছু পয়েন্টার সরবরাহ করতে পারেন তবে এটি দুর্দান্ত হবে। গণিত কোনও সমস্যা নয়, আমরা গণিতকে ভালবাসি।

— কুটুনার

উইকিপিডিয়া দেখুন , সাম্প্রতিক অগ্রগতি এবং ভিজ্যুয়াল ট্র্যাকিংয়ের প্রবণতাগুলি: একটি পর্যালোচনা [পিডিএফ], ভিডিও অ্যানালিটিক্সের জন্য বায়সিয়ান ট্র্যাকিং: একটি ওভারভিউ

— এমেরে

@ এখানে আমি পর্যালোচনা কাগজটি একবার দেখে নিই .. এটি ট্র্যাকিংয়ের জন্য আরও বেশি, আমি সহজেই অবজেক্টটি ট্র্যাক করতে পারি, এটি সমস্যা নয়। আমি পিন পয়েন্ট করতে পারি যেখানে পিক্সেলটি বস্তুটি। বিষয়টি হ'ল বস্তুটি 3 ডি স্পেসে রয়েছে। এটা কি সম্ভব? মূলত, 3 ডি স্পেসে আমার আরেকটি অবজেক্ট রয়েছে যা আমি সেই বৈশিষ্ট্যগুলি জানি যা আমি রেফারেন্সের ফ্রেম হিসাবে ব্যবহার করতে পারি তবে এটি is

— কুটুনার

আমি দুঃখিত, ভুল কাগজ। সম্ভবত আপনি অজানা পরিবেশ [পিডিএফ] এর জন্য ভিশন-ভিত্তিক 3D ট্র্যাজেক্টরি ট্র্যাকিং মানিয়ে নিতে পারেন ? তারা একটি স্টেরিও ক্যামেরা ব্যবহার করে; এটা কি আপনার পক্ষে সম্ভাবনা?

— এমরে

Answer 1

আপনার যদি object টি পরিচিত পয়েন্ট রয়েছে (পরিচিত 3 ডি স্থানাঙ্ক, এবং ) আপনি অবজেক্টের সমন্বয় ব্যবস্থা সম্পর্কিত ক্যামেরার অবস্থানটি গণনা করতে পারেন।$X, Y$$Z$

প্রথমে কিছু বেসিক।

Homogenous তুল্য ইউক্লিডিয় এর ভেক্টর উপস্থাপনা তুল্য হয় যা আমরা তাই স্কেল ফ্যাক্টর নামক যোগ আছে যেমন যে সমজাতীয় তুল্য হয় । আপনার নিজস্ব গণনায় যত তাড়াতাড়ি সম্ভব রাখার চেষ্টা করুন (এর অর্থ আপনি সর্বশেষ উপাদানটির সাথে এর শেষ উপাদানটি দিয়ে ভাগ করে সমজাতীয় স্থানাঙ্ককে " " করেন: )। আমরা 2 ডি পয়েন্টের জন্য সমজাতীয় উপস্থাপনাও ব্যবহার করতে পারি যেমন (স্মরণকারী যে এই এবং$(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$প্রতিটি পয়েন্টের জন্য পৃথক, এটি 2 ডি বা 3 ডি পয়েন্ট হতে পারে)। সমজাতীয় সমন্বয় উপস্থাপনা গণিতকে সহজ করে তোলে।

ক্যামেরা ম্যাট্রিক্স ডি প্রজেকশন ম্যাট্রিক্স থেকে ডি ওয়ার্ল্ড থেকে ইমেজ সেন্সর পর্যন্ত:$3\times4$

$$\textbf{x} = P\textbf{X}$$

যেখানে হল চিত্র সেন্সর (পিক্সেল ইউনিট সহ) এবং the হল প্রজেক্টড থ্রিডি পয়েন্ট (এটি বলতে পারি যে এটির ইউনিট হিসাবে মিলিমিটার রয়েছে)।$\textbf{x}$$\textbf{X}$

আমরা মনে করি যে দুটি 3-ভেক্টরের মধ্যে ক্রস পণ্যটিকে ম্যাট্রিক্স-ভেক্টর-গুণ হিসাবে সংজ্ঞায়িত করা যায় যে:

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

এছাড়া খেয়াল করা জরুরী যে ক্রস প্রকাশনা দরকারী ।$\textbf{v} \times \textbf{v} = \textbf{0}$

এখন আগের সমীকরণগুলি থেকে প্রক্ষেপণ ম্যাট্রিক্স সমাধান করার চেষ্টা করা যাক । বাম দিক থেকে প্রজেকশন সমীকরণটিকে s ক্রস প্রোডাক্ট ম্যাট্রিক্স দিয়ে গুণিত করতে দেয় :$P$$\textbf{x}$

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

আহা! ফলাফলটি অবশ্যই শূন্য ভেক্টর হতে হবে। যদি আমরা এখন সমীকরণটি পাই তবে:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

কিছুটা রিফ্যাক্টরিং সহ আমরা ম্যাট্রিক্সের বাইরে প্রোজেকশন ম্যাট্রিক্স পেতে পারি :$P$

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

যেখানে হ'ল : তম সারির ক্যামেরা ম্যাট্রিক্স এর স্থানান্তর । পূর্ববর্তী (বড়) ম্যাট্রিক্স সমীকরণের সর্বশেষ সারিটি প্রথম দুটি সারির লিনিয়ার সংমিশ্রণ, সুতরাং এটি কোনও অতিরিক্ত তথ্য আনবে না এবং এটি ছেড়ে দেওয়া যেতে পারে।$\textbf{P}_n$$n$$P$

ছোট বিরতি যাতে আমরা আমাদের কষ্ট সংগ্রহ করতে পারি। নোট করুন যে পূর্ববর্তী ম্যাট্রিক্স সমীকরণটি প্রতিটি পরিচিত 3D-> 2D চিঠিপত্রের জন্য গঠন করতে হবে (এর মধ্যে কমপক্ষে 6 টি থাকতে হবে)।

এখন, প্রতিটি পয়েন্ট চিঠিপত্রের জন্য, উপরের ম্যাট্রিক্সের প্রথম দুটি সারি গণনা করুন, একে অপরের উপরে ম্যাট্রিক্স স্ট্যাক করুন এবং আপনি নতুন ম্যাট্রিক্স পান যার জন্য$2\times12$$A$

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

যেহেতু আমাদের 12 টি অজানা এবং (কমপক্ষে) 12 টি সমীকরণ রয়েছে এটি সমাধান করা যেতে পারে। কেবলমাত্র সমস্যাটি হ'ল আমরা তুচ্ছ উত্তরটি পেতে চাই না যেখানে

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

ভাগ্যক্রমে আমরা জোর করার জন্য একক মান ভলন (এসভিডি) ব্যবহার করতে পারি

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

সুতরাং সমীকরণগুলি সমাধান করার জন্য, ম্যাট্রিক্স এসভিডি গণনা করুন এবং ক্ষুদ্রতম আইজেন মান অনুসারে একক ভেক্টর চয়ন করুন। এই ভেক্টরটি ম্যাট্রিক্স এ এর ​​নাল ভেক্টর এবং ক্যামেরা ম্যাট্রিক্স এর সমাধানও । কেবলমাত্র এবং ফর্ম ।$A$$P$$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$$P$

এখন আপনি বস্তুর দূরত্ব জানতে চেয়েছিলেন। হিসাবে সংজ্ঞায়িত করা হয়:$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

যেখানে the হল অবজেক্ট উত্সের সাথে সম্পর্কিত ক্যামেরার অবস্থান। এটা তোলে থেকে সমাধান করা যেতে পারে গণনা করে গুলি নাল ভেক্টর।$\textbf{C}$$P$$P$

(হার্টলি, জিসারম্যান - কম্পিউটার ভিশনে একাধিক দেখুন জ্যামিতি)

অবশেষে, আপনি যখন দুটি ফ্রেমের জন্য ক্যামেরার অবস্থান গণনা করেন, আপনি জন্য দুটি সমীকরণ সমাধান করে অজানা বস্তুর অবস্থানগুলি (বা বস্তুর কিছু বিন্দুর অবস্থানগুলি) গণনা করতে পারেন :$X$

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

যা আমরা ক্যামেরার ম্যাট্রিকগুলি কীভাবে সমাধান করেছি ঠিক :

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

ইত্যাদি।

Comments

আপনার কি ক্যামেরার 3 ডি অবস্থান গণনা করার উপায়টি ওপেনসিভি সলভ পিএনপির সমতুল্য তা বলা কি সঠিক? docs.opencv.org/2.4/modules/calib3d/doc/… (পৃষ্ঠায় সলিউশনপিএনপি অনুসন্ধান করুন I আমি একটি # দিয়ে একটি ইউআরএল পেস্ট করতে পারি না)

— গ্রেগোরেজেন্টিল