আমি হ্যারিস কর্নার সনাক্তকরণ ব্যবহার করে ওপেনজিএল ইএস 2.0 তে এরকম কিছু বাস্তবায়ন করতে পেরেছি এবং আমি সম্পূর্ণরূপে শেষ না হওয়ার পরে, আমি ভেবেছিলাম যে আমি এখনও অবধি শ্যাডার-ভিত্তিক বাস্তবায়নটি ভাগ করব। আমি এটি কোনও আইওএস-ভিত্তিক ওপেন সোর্স ফ্রেমওয়ার্কের অংশ হিসাবে করেছি , যাতে কোনও বিশেষ পদক্ষেপ কীভাবে কাজ করে সে সম্পর্কে আপনি যদি আগ্রহী হন তবে আপনি কোডটি পরীক্ষা করে দেখতে পারেন।
এটি করতে, আমি নিম্নলিখিত পদক্ষেপগুলি ব্যবহার করি:
- ভেক্টর (0.2125, 0.7154, 0.0721) দিয়ে আরজিবি মানগুলির একটি বিন্দু পণ্য ব্যবহার করে চিত্রটিকে তার আলোকিত মানগুলিতে হ্রাস করুন।
বাম এবং ডান এবং বর্তমান পিক্সেলের উপরে এবং নীচে পিক্সেলগুলি থেকে লাল চ্যানেল মানগুলি বিয়োগ করে এক্স এবং ওয়াই ডেরিভেটিভগুলি গণনা করুন। আমি তখন লাল চ্যানেলে এক্স ডেরিভেটিভ স্কোয়ার, সবুজ চ্যানেলে Y ডেরিভেটিভ স্কোয়ার এবং নীল চ্যানেলে এক্স এবং ওয়াই ডেরিভেটিভসের পণ্য সঞ্চয় করি। এর জন্য খণ্ড খণ্ডনকারী নীচের মত দেখাচ্ছে:
precision highp float;
varying vec2 textureCoordinate;
varying vec2 leftTextureCoordinate;
varying vec2 rightTextureCoordinate;
varying vec2 topTextureCoordinate;
varying vec2 bottomTextureCoordinate;
uniform sampler2D inputImageTexture;
void main()
{
float topIntensity = texture2D(inputImageTexture, topTextureCoordinate).r;
float bottomIntensity = texture2D(inputImageTexture, bottomTextureCoordinate).r;
float leftIntensity = texture2D(inputImageTexture, leftTextureCoordinate).r;
float rightIntensity = texture2D(inputImageTexture, rightTextureCoordinate).r;
float verticalDerivative = abs(-topIntensity + bottomIntensity);
float horizontalDerivative = abs(-leftIntensity + rightIntensity);
gl_FragColor = vec4(horizontalDerivative * horizontalDerivative, verticalDerivative * verticalDerivative, verticalDerivative * horizontalDerivative, 1.0);
}
যেখানে তারতম্যগুলি কেবল প্রতিটি দিকের অফসেট জমিনের স্থানাঙ্ক হয়। নির্ভরশীল টেক্সচার পাঠগুলি, যা এই মোবাইলের জিপিইউগুলিতে কুখ্যাত slow
এই ডেরাইভেটিভ চিত্রটিতে গাউসিয়ান ব্লার প্রয়োগ করুন। আমি একটি পৃথক অনুভূমিক এবং উল্লম্ব অস্পষ্টতা ব্যবহার করেছি, এবং প্রতিটি পাসে কেবল পাঁচটি টেক্সচার পড়ার সাথে নয়টি-হিট ব্লার করার জন্য হার্ডওয়্যার টেক্সচার ফিল্টারিংয়ের সুবিধা নেব। আমি এই স্ট্যাক ওভারফ্লো উত্তরে এই শেডারটি বর্ণনা করছি ।
অস্পষ্ট ইনপুট ডেরিভেটিভ মানগুলি ব্যবহার করে প্রকৃত হ্যারিস কর্নার সনাক্তকরণ গণনা চালান। এই ক্ষেত্রে, আমি আসলে তার পিএইচডি তে অ্যালিসন নোবেলের দ্বারা বর্ণিত গণনাটি ব্যবহার করছি। গবেষণাপত্র "চিত্র পৃষ্ঠার বর্ণনা"। এইটি হ্যান্ডেল করে শেডারটি নীচের মত দেখাচ্ছে:
varying highp vec2 textureCoordinate;
uniform sampler2D inputImageTexture;
const mediump float harrisConstant = 0.04;
void main()
{
mediump vec3 derivativeElements = texture2D(inputImageTexture, textureCoordinate).rgb;
mediump float derivativeSum = derivativeElements.x + derivativeElements.y;
// This is the Noble variant on the Harris detector, from
// Alison Noble, "Descriptions of Image Surfaces", PhD thesis, Department of Engineering Science, Oxford University 1989, p45.
mediump float harrisIntensity = (derivativeElements.x * derivativeElements.y - (derivativeElements.z * derivativeElements.z)) / (derivativeSum);
// Original Harris detector
// highp float harrisIntensity = derivativeElements.x * derivativeElements.y - (derivativeElements.z * derivativeElements.z) - harrisConstant * derivativeSum * derivativeSum;
gl_FragColor = vec4(vec3(harrisIntensity * 10.0), 1.0);
}
স্থানীয় অ-সর্বাধিক দমন সম্পাদন করুন এবং পাস হওয়া পিক্সেলগুলি হাইলাইট করার জন্য একটি প্রান্তিক প্রয়োগ করুন। আমি কেন্দ্রীয় পিক্সেলের আশেপাশের আট পিক্সেলের নমুনা তৈরি করতে এবং এই গ্রুপিংয়ে সর্বাধিক কিনা তা সনাক্ত করতে আমি নিম্নলিখিত টুকরা শেডারটি ব্যবহার করি:
uniform sampler2D inputImageTexture;
varying highp vec2 textureCoordinate;
varying highp vec2 leftTextureCoordinate;
varying highp vec2 rightTextureCoordinate;
varying highp vec2 topTextureCoordinate;
varying highp vec2 topLeftTextureCoordinate;
varying highp vec2 topRightTextureCoordinate;
varying highp vec2 bottomTextureCoordinate;
varying highp vec2 bottomLeftTextureCoordinate;
varying highp vec2 bottomRightTextureCoordinate;
void main()
{
lowp float bottomColor = texture2D(inputImageTexture, bottomTextureCoordinate).r;
lowp float bottomLeftColor = texture2D(inputImageTexture, bottomLeftTextureCoordinate).r;
lowp float bottomRightColor = texture2D(inputImageTexture, bottomRightTextureCoordinate).r;
lowp vec4 centerColor = texture2D(inputImageTexture, textureCoordinate);
lowp float leftColor = texture2D(inputImageTexture, leftTextureCoordinate).r;
lowp float rightColor = texture2D(inputImageTexture, rightTextureCoordinate).r;
lowp float topColor = texture2D(inputImageTexture, topTextureCoordinate).r;
lowp float topRightColor = texture2D(inputImageTexture, topRightTextureCoordinate).r;
lowp float topLeftColor = texture2D(inputImageTexture, topLeftTextureCoordinate).r;
// Use a tiebreaker for pixels to the left and immediately above this one
lowp float multiplier = 1.0 - step(centerColor.r, topColor);
multiplier = multiplier * 1.0 - step(centerColor.r, topLeftColor);
multiplier = multiplier * 1.0 - step(centerColor.r, leftColor);
multiplier = multiplier * 1.0 - step(centerColor.r, bottomLeftColor);
lowp float maxValue = max(centerColor.r, bottomColor);
maxValue = max(maxValue, bottomRightColor);
maxValue = max(maxValue, rightColor);
maxValue = max(maxValue, topRightColor);
gl_FragColor = vec4((centerColor.rgb * step(maxValue, centerColor.r) * multiplier), 1.0);
}
এই প্রক্রিয়াটি আপনার অবজেক্টগুলি থেকে এমন এক কোণার মানচিত্র উত্পন্ন করে যা দেখে মনে হয়:
নিম্নলিখিত পয়েন্টগুলি সর্বাধিক দমন এবং প্রান্তিকের উপর ভিত্তি করে কোণ হিসাবে চিহ্নিত করা হয়েছে:
এই ফিল্টারটির জন্য যথাযথ প্রান্তিক ধার্য সেট করে, এটি এই চিত্রের সমস্ত 16 টি কোণ সনাক্ত করতে পারে, যদিও এটি কোণারটিকে পিক্সেল বা তার অবজেক্টের আসল প্রান্তগুলির মধ্যে রাখে।
একটি আইফোন 4 এ, এই কোণার সনাক্তকরণটি ক্যামেরা থেকে আসা 640x480 ফ্রেমের ভিডিওতে 20 এফপিএসে চালানো যেতে পারে এবং একটি আইফোন 4 এস সহজেই 60+ এফপিএস এ আকারের ভিডিওটি প্রক্রিয়া করতে পারে। এটির মতো কোনও কাজের জন্য সিপিইউ-বাউন্ড প্রসেসিংয়ের চেয়ে দ্রুত একটি ভাল চুক্তি হওয়া উচিত, যদিও এই মুহূর্তে পয়েন্টগুলি পড়ার প্রক্রিয়াটি সিপিইউ-আবদ্ধ এবং তার চেয়ে সামান্য ধীর হওয়া উচিত।
আপনি যদি এটিকে ক্রিয়াতে দেখতে চান তবে আপনি আমার কাঠামোর কোডটি ধরতে পারেন এবং এটির সাথে উপস্থিত ফিল্টারশোভাস উদাহরণটি চালাতে পারেন। হ্যারিস কর্নার সনাক্তকরণের উদাহরণটি ডিভাইস ক্যামেরা থেকে সরাসরি ভিডিওতে চালিত হয়েছে, যদিও আমি যেমন কর্নার পয়েন্টের রিডিং ব্যাকটি উল্লেখ করেছি বর্তমানে এটি সিপিইউতে ঘটে যা সত্যিই এটি ধীর করে দিচ্ছে। আমি এর জন্য জিপিইউ-ভিত্তিক প্রক্রিয়াতে চলেছি।
