ফটোতে কাগজের শীটের কোণগুলি সনাক্ত করতে অ্যালগরিদম

Question 1

কোনও ছবিতে চালান / রসিদ / পত্রকের কাগজের কোণগুলি সনাক্ত করার সর্বোত্তম উপায় কী? ওসিআরের আগে এটি পরবর্তী দৃষ্টিভঙ্গি সংশোধনের জন্য ব্যবহার করতে হবে।

আমার বর্তমান পদ্ধতিটি হ'ল:

আরজিবি> ধূসর> প্রান্তিককরণের সাথে ক্যানি এজ সনাক্তকরণ> ডায়াল্ট (1)> ছোট বস্তুগুলি সরিয়ে ফেলুন (6)> সাফ বোর্ডার অবজেক্টস> উত্তল ক্ষেত্রের উপর ভিত্তি করে লার্জগুলি ব্লগ চয়ন করুন। > [কোণ সনাক্তকরণ - প্রয়োগ করা হয়নি]

আমি সাহায্য করতে পারি না তবে এই ধরণের বিভাজনকে পরিচালনা করার জন্য আরও শক্তিশালী 'বুদ্ধিমান' / পরিসংখ্যানিক পদ্ধতির অবশ্যই থাকতে হবে বলে মনে করি। আমার কাছে প্রচুর প্রশিক্ষণের উদাহরণ নেই তবে আমি একসাথে 100 টি চিত্র পেতে পারি।

বৃহত্তর প্রেক্ষাপটে:

আমি প্রোটোটাইপে ম্যাটল্যাব ব্যবহার করছি এবং ওপেনসিভি এবং টেসারেক্ট-ওসিআরটিতে সিস্টেমটি প্রয়োগের পরিকল্পনা করছি। এই নির্দিষ্ট অ্যাপ্লিকেশনটির জন্য আমার সমাধান করা দরকার বেশ কয়েকটি চিত্র প্রক্রিয়াকরণের সমস্যাগুলির মধ্যে এটি প্রথম। সুতরাং আমি নিজের সমাধানটি রোল করতে চাইছি এবং চিত্র প্রক্রিয়াকরণ অ্যালগরিদমের সাথে নিজেকে নতুন করে পরিচিত করতে চাই।

এখানে কিছু নমুনা চিত্র যা আমি অ্যালগোরিদমটি পরিচালনা করতে চাই: আপনি যদি চ্যালেঞ্জটি গ্রহণ করতে চান তবে বড় চিত্রগুলি http://madteckhead.com/tmp এ রয়েছে

_{(উত্স: ম্যাডটেকহেড.কম )}

সেরা ক্ষেত্রে এটি দেয়:

_{(উত্স: ম্যাডটেকহেড.কম )}

তবে এটি অন্যান্য ক্ষেত্রে সহজেই ব্যর্থ হয়:

_{(উত্স: ম্যাডটেকহেড.কম )}

সমস্ত দুর্দান্ত ধারণা জন্য আগাম ধন্যবাদ! আমি খুব ভালবাসী!

সম্পাদনা: হালকা রূপান্তর অগ্রগতি

প্রশ্ন: কোন আলগোরিদিম কোণগুলি খুঁজে পেতে খড় লাইনগুলি গুচ্ছ করবে? উত্তরগুলির পরামর্শ অনুসরণ করে আমি হফ ট্রান্সফর্মটি ব্যবহার করতে, লাইনগুলি বাছতে এবং সেগুলি ফিল্টার করতে সক্ষম হয়েছি। আমার বর্তমান পদ্ধতির বদলে অপরিশোধিত। আমি ধরে নিয়েছি চালানটি সর্বদা চিত্রের সাথে সারিবদ্ধ হওয়ার চেয়ে কম 15 ডিগ্রির চেয়ে কম হবে। আমি লাইনগুলির জন্য যুক্তিসঙ্গত ফলাফল দিয়ে শেষ করি যদি এটি হয় (নীচে দেখুন)। তবে কোণগুলির জন্য বহির্মুখের জন্য লাইনগুলি (বা ভোট) ক্লাস্টার করার জন্য উপযুক্ত অ্যালগরিদম সম্পর্কে সম্পূর্ণ নিশ্চিত নই। হুফ লাইনগুলি অবিচ্ছিন্ন নয়। এবং কোলাহলপূর্ণ চিত্রগুলিতে সমান্তরাল রেখা থাকতে পারে তাই লাইন অরিজিন মেট্রিক থেকে কিছু ফর্ম বা দূরত্বের প্রয়োজন। কোন ধারনা?

মামলা 1
_{(উত্স: ম্যাডটেকহেড.কম )}

Question 2

আমি মার্টিনের বন্ধু যিনি এই বছরের শুরুতে এটি নিয়ে কাজ করছিলেন। এটি আমার প্রথম কোডিং প্রকল্প ছিল, এবং কিন্ডা কিছুটা ভিড়ের মধ্যেই শেষ হয়েছিল, সুতরাং কোডটির কিছুটা ভুল প্রয়োজন ... ডিকোডিং ... আমি আপনাকে ইতিমধ্যে যা করতে দেখেছি তার থেকে কয়েকটি টিপস দেব এবং তারপরে আগামীকাল আমার ছুটিতে আমার কোডটি সাজান।

প্রথম টিপ, OpenCVএবং pythonদুর্দান্ত, যত তাড়াতাড়ি সম্ভব তাদের কাছে যান। : ডি

ছোট ছোট অবজেক্ট এবং বা শব্দ বাদ দেওয়ার পরিবর্তে ক্যানির নিয়ন্ত্রণগুলি কম করুন, সুতরাং এটি আরও কিনারা গ্রহণ করে এবং তারপরে বৃহত্তম বদ্ধ কনট্যুরটি খুঁজে পান ( findcontour()কিছু সাধারণ পরামিতি সহ ওপেনসিভি ব্যবহারে , আমি মনে করি যে আমি ব্যবহার করেছি CV_RETR_LIST)। এটি কোনও কাগজের সাদা টুকরোতে থাকা অবস্থায় এখনও লড়াই করতে পারে তবে অবশ্যই সেরা ফলাফল সরবরাহ করেছিল।

জন্য Houghline2()ট্রান্সফর্ম সঙ্গে চেষ্টা CV_HOUGH_STANDARDউল্টোদিকে CV_HOUGH_PROBABILISTIC, এটা হবে দিতে Rho এবং থেটা মূল্যবোধ, মেরু স্থানাঙ্ক লাইন সংজ্ঞায়িত, এবং তারপরে আপনি গ্রুপ করতে পারেন যারা একটি নির্দিষ্ট সহনশীলতা মধ্যে লাইন।

আমার গ্রুপিংটি লুক আপ টেবিল হিসাবে কাজ করেছে, খড় থেকে রূপান্তরিত প্রতিটি লাইনের জন্য এটি একটি rho এবং থেটা জুটি দেবে। যদি এই মানগুলি মধ্যে থাকে তবে টেবিলের এক জোড়া মানের 5% বলুন, এগুলি বাতিল করা হয়েছে, যদি তারা 5% এর বাইরে থাকে, তবে টেবিলে একটি নতুন এন্ট্রি যুক্ত করা হয়েছিল।

এরপরে আপনি সমান্তরাল রেখাগুলি বা লাইনগুলির মধ্যে দূরত্বের বিশদটি আরও সহজেই করতে পারেন।

আশাকরি এটা সাহায্য করবে.

Question 3

আমার বিশ্ববিদ্যালয়ের একটি ছাত্র দল সম্প্রতি একটি আইফোন অ্যাপ্লিকেশন (এবং পাইথন ওপেনসিভি অ্যাপ্লিকেশন) প্রদর্শন করেছে যা তারা ঠিক এটি করার জন্য লিখেছিল। আমার মনে আছে, পদক্ষেপগুলি এইরকম কিছু ছিল:

কাগজের টেক্সটটি পুরোপুরি সরিয়ে ফেলার জন্য মিডিয়ান ফিল্টার (এটি বেশ ভাল আলো সহ সাদা কাগজে হাতে লেখা লিখিত পাঠ্য ছিল এবং এটি মুদ্রিত পাঠ্যের সাথে কাজ করতে পারে না, এটি খুব ভালভাবে কাজ করেছিল)। কারণটি ছিল এটি কোণার সনাক্তকরণকে আরও সহজ করে তোলে।
লাইনগুলির জন্য হার্ড ট্রান্সফর্ম
হাফ ট্রান্সফর্ম সংযোজক স্পেসে শিখরগুলি সন্ধান করুন এবং পুরো চিত্র জুড়ে প্রতিটি লাইন আঁকুন।
রেখাগুলি বিশ্লেষণ করুন এবং একে অপরের খুব কাছাকাছি অবস্থিত এবং একই ধরণের কোণে (লাইনগুলি একটিকে ক্লাস্টার করুন) মুছে ফেলুন। এটি প্রয়োজনীয় কারণ হফ ট্রান্সফর্মটি নিখুঁত না হওয়ায় এটি একটি পৃথক নমুনা স্থানে কাজ করে।
লাইনগুলির যুগল সন্ধান করুন যা প্রায় সমান্তরাল এবং কোন লাইনগুলি কোয়াড তৈরি করে তা দেখতে অন্যান্য জোড়া ছেদ করে।

এটি মোটামুটি ভালভাবে কাজ করেছে বলে মনে হয়েছিল এবং তারা কাগজের কোনও টুকরো বা বইয়ের একটি ছবি তুলতে, কোণ সনাক্তকরণ করতে সক্ষম হয়েছিল এবং তারপরে চিত্রটিতে নথিটি প্রায় রিয়েলটাইমে ফ্ল্যাট প্লেনে ম্যাপ করতে সক্ষম হয়েছিল (সঞ্চালনের জন্য একটি একক ওপেনসিভি ফাংশন ছিল ম্যাপিং)। আমি এটি কাজ করতে দেখে কোনও ওসিআর ছিল না।

Question 4

কিছুটা পরীক্ষা-নিরীক্ষার পরে আমি এখানে কী নিয়ে এসেছি:

import cv, cv2, numpy as np
import sys

def get_new(old):
    new = np.ones(old.shape, np.uint8)
    cv2.bitwise_not(new,new)
    return new

if __name__ == '__main__':
    orig = cv2.imread(sys.argv[1])

    # these constants are carefully picked
    MORPH = 9
    CANNY = 84
    HOUGH = 25

    img = cv2.cvtColor(orig, cv2.COLOR_BGR2GRAY)
    cv2.GaussianBlur(img, (3,3), 0, img)


    # this is to recognize white on white
    kernel = cv2.getStructuringElement(cv2.MORPH_RECT,(MORPH,MORPH))
    dilated = cv2.dilate(img, kernel)

    edges = cv2.Canny(dilated, 0, CANNY, apertureSize=3)

    lines = cv2.HoughLinesP(edges, 1,  3.14/180, HOUGH)
    for line in lines[0]:
         cv2.line(edges, (line[0], line[1]), (line[2], line[3]),
                         (255,0,0), 2, 8)

    # finding contours
    contours, _ = cv2.findContours(edges.copy(), cv.CV_RETR_EXTERNAL,
                                   cv.CV_CHAIN_APPROX_TC89_KCOS)
    contours = filter(lambda cont: cv2.arcLength(cont, False) > 100, contours)
    contours = filter(lambda cont: cv2.contourArea(cont) > 10000, contours)

    # simplify contours down to polygons
    rects = []
    for cont in contours:
        rect = cv2.approxPolyDP(cont, 40, True).copy().reshape(-1, 2)
        rects.append(rect)

    # that's basically it
    cv2.drawContours(orig, rects,-1,(0,255,0),1)

    # show only contours
    new = get_new(img)
    cv2.drawContours(new, rects,-1,(0,255,0),1)
    cv2.GaussianBlur(new, (9,9), 0, new)
    new = cv2.Canny(new, 0, CANNY, apertureSize=3)

    cv2.namedWindow('result', cv2.WINDOW_NORMAL)
    cv2.imshow('result', orig)
    cv2.waitKey(0)
    cv2.imshow('result', dilated)
    cv2.waitKey(0)
    cv2.imshow('result', edges)
    cv2.waitKey(0)
    cv2.imshow('result', new)
    cv2.waitKey(0)

    cv2.destroyAllWindows()

নিখুঁত নয়, তবে কমপক্ষে সমস্ত নমুনার জন্য কাজ করে:

Question 5

প্রান্ত সনাক্তকরণ থেকে শুরু করার পরিবর্তে আপনি কর্নার সনাক্তকরণ ব্যবহার করতে পারেন।

মারভিনভিন ফ্রেমওয়ার্ক এই উদ্দেশ্যে মোরাভেক অ্যালগোরিদমের একটি বাস্তবায়ন সরবরাহ করে। আপনি একটি সূচনা পয়েন্ট হিসাবে কাগজগুলির কোণগুলি খুঁজে পেতে পারেন। মোরাভেকের অ্যালগরিদমের আউটপুট নীচে:

এখানে চিত্র বর্ণনা লিখুন

Question 6

এছাড়াও আপনি চিত্রের স্থিতিশীল অঞ্চলগুলি সন্ধান করতে সোবেল অপারেটরের ফলাফলের উপর এমএসআর (সর্বাধিক স্থিতিশীল এক্সটরমাল অঞ্চলগুলি) ব্যবহার করতে পারেন । এমএসইআর দ্বারা প্রত্যাবর্তিত প্রতিটি অঞ্চলের জন্য আপনি এই জাতীয় কিছু পাওয়ার জন্য উত্তল হাল এবং পলি অনুমানের প্রয়োগ করতে পারেন:

তবে এই ধরণের সনাক্তকরণ কোনও চিত্রের চেয়ে বেশি লাইভ সনাক্তকরণের জন্য দরকারী যা সর্বদা সেরা ফলাফলটি দেয় না।

Question 7

প্রান্ত সনাক্তকরণের পরে, হফ ট্রান্সফর্ম ব্যবহার করুন। তারপরে, তাদের লেবেলগুলির সাথে এই পয়েন্টগুলি একটি এসভিএম (সমর্থনকারী ভেক্টর মেশিনে) রাখুন, উদাহরণগুলিতে যদি মসৃণ রেখা থাকে, এসভিএমকে উদাহরণের প্রয়োজনীয় অংশগুলি এবং অন্যান্য অংশগুলি ভাগ করতে কোনও অসুবিধা হবে না। এসভিএম সম্পর্কে আমার পরামর্শ, সংযোগ এবং দৈর্ঘ্যের মতো একটি প্যারামিটার রাখুন। এটি হ'ল, যদি পয়েন্টগুলি সংযুক্ত এবং দীর্ঘ হয় তবে সেগুলি প্রাপ্তির একটি লাইন হতে পারে। তারপরে, আপনি অন্যান্য পয়েন্টগুলি মুছতে পারেন।

Question 8

আপনি এখানে সিভিল ব্যবহার করে @ ভানুয়ান এর কোড পাবেন:

cv::cvtColor(mat, mat, CV_BGR2GRAY);
cv::GaussianBlur(mat, mat, cv::Size(3,3), 0);
cv::Mat kernel = cv::getStructuringElement(cv::MORPH_RECT, cv::Point(9,9));
cv::Mat dilated;
cv::dilate(mat, dilated, kernel);

cv::Mat edges;
cv::Canny(dilated, edges, 84, 3);

std::vector<cv::Vec4i> lines;
lines.clear();
cv::HoughLinesP(edges, lines, 1, CV_PI/180, 25);
std::vector<cv::Vec4i>::iterator it = lines.begin();
for(; it!=lines.end(); ++it) {
    cv::Vec4i l = *it;
    cv::line(edges, cv::Point(l[0], l[1]), cv::Point(l[2], l[3]), cv::Scalar(255,0,0), 2, 8);
}
std::vector< std::vector<cv::Point> > contours;
cv::findContours(edges, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_TC89_KCOS);
std::vector< std::vector<cv::Point> > contoursCleaned;
for (int i=0; i < contours.size(); i++) {
    if (cv::arcLength(contours[i], false) > 100)
        contoursCleaned.push_back(contours[i]);
}
std::vector<std::vector<cv::Point> > contoursArea;

for (int i=0; i < contoursCleaned.size(); i++) {
    if (cv::contourArea(contoursCleaned[i]) > 10000){
        contoursArea.push_back(contoursCleaned[i]);
    }
}
std::vector<std::vector<cv::Point> > contoursDraw (contoursCleaned.size());
for (int i=0; i < contoursArea.size(); i++){
    cv::approxPolyDP(Mat(contoursArea[i]), contoursDraw[i], 40, true);
}
Mat drawing = Mat::zeros( mat.size(), CV_8UC3 );
cv::drawContours(drawing, contoursDraw, -1, cv::Scalar(0,255,0),1);

Question 9

ল্যাব স্পেসে রূপান্তর করুন
Kmeans বিভাগ 2 ক্লাস্টার ব্যবহার করুন
তারপরে কোনও একটি ক্লাস্টারে কনট্যুর বা হাফ ব্যবহার করুন (উদ্দেশ্যমূলক)