জিওকোডিং ইউএসএ ঠিকানাগুলি যা ইন্টারনেটে পাঠানো যায় না?

Question

এককালীন প্রকল্পের জন্য আমার কয়েক হাজার ঠিকানা জিওকোড করা দরকার। অতীতে আমি এই জাতীয় জিনিসের জন্য বিভিন্ন অনলাইন সংস্থান ব্যবহার করেছি (যেমন, গুগল ম্যাপস এপিআই), তবে আমি যে ঠিকানাগুলি নিয়ে কাজ করছি তা গোপনীয় রাখতে হবে - যার অর্থ কিছু লোহা না থাকলে ইন্টারনেটে এটি প্রেরণ করা হবে না গোপনীয়তার গ্যারান্টি। আমার আর কোন বিকল্প নেই?

Comments

কোনও নির্দিষ্ট লোকেশন রয়েছে যেখানে আপনি জিওকোড করতে চান? উদাহরণস্বরূপ, অস্ট্রেলিয়া, মার্কিন যুক্তরাষ্ট্র, একটি নির্দিষ্ট রাষ্ট্র, ইত্যাদি

— fmark

ভাল প্রশ্ন - আমি মার্কিন যুক্তরাষ্ট্রে আগ্রহী, বিশেষত কলোরাডো, ফ্রন্ট রেঞ্জটি যথাযথভাবে গণনা করছে।

— ম্যাট পার্কার

আমি সত্যিই আরটিডি-র সাথে একটি দ্রুত আলোচনার উদ্বোধন করব, আমি জানি সে অঞ্চলে তাদের একটি শক্তিশালী জিআইএস রয়েছে এবং সম্ভবত আপনাকে সরাসরি সমর্থন দিতে পারে। তা না হলে; জিওকোডার :: মার্কিন যুক্তরাষ্ট্র একটি দুর্দান্ত বিকল্প। আপনি এটি অভ্যন্তরীণভাবে চালাতে পারেন এবং আপনার ডেটা তারের ওপারে যাওয়ার ঝুঁকি নিতে হবে না।

— ডবলাইট

@ ড্রেইট, এটি একটি আকর্ষণীয় ধারণা - এমনকি আমার আরও একটি প্রশ্নের জন্য । ধন্যবাদ!

— ম্যাট পার্কার

Answer 1

Geocoder::US 2.0জিওকোডার.ইসের উত্তরসূরি, একবার দেখুন :

http://github.com/geocommons/geocoder

এটি একই লেখকের পার্ল মডিউলের রুবি বন্দর।

Answer 2

গুগল জিওকোডিং এপিআই বা অন্য কোনও অনলাইন উত্স যদি স্থানীয় বিকল্পগুলির পরিবর্তে আপনার পছন্দ হিসাবে বিবেচনা করা হয় তবে আমি টর প্রকল্পটি অনুসন্ধান করার পরামর্শ দিই (সহজেই 'বিদালিয়া বান্ডিল' নামে পরিচিত বান্ডেলের মাধ্যমে ইনস্টল করা)।

টোর আপনার যোগাযোগগুলি সারা বিশ্বের স্বেচ্ছাসেবীদের দ্বারা চালিত রিলে বিতরণ করা নেটওয়ার্কের চারপাশে সুরক্ষিত করে: এটি প্রতিরোধ করে ... আপনি যে সাইটগুলিতে ভিজিট করেন সেগুলি আপনার শারীরিক অবস্থান শিখতে দেয়।

এলোমেলো ঠিকানাগুলির ইনজেকশন এবং তাদের শেষ পয়েন্টগুলিতে যোগাযোগগুলি এনক্রিপ্ট করার জন্য এসএসএল (https) ব্যবহারের সাথে (আপনি এটিও করছেন তা নিশ্চিত করুন) দূর থেকে জিওকোড করার আরও সুরক্ষিত উপায় সম্পর্কে আমি ভাবতে পারি না। আপনি যে কোনও জিওকোডিং পরিষেবা ব্যবহার করছেন তা কখনই অনুরোধগুলি কোথা থেকে এসেছে তা সনাক্ত করতে সক্ষম হবে না এবং https এর মাধ্যমে অন্য কেউ হয় না। দ্রষ্টব্য: এমন কোনও জিওকোডিং পরিষেবা ব্যবহার করবেন না যার জন্য এপিআই কী প্রয়োজন হয়, বা আপনি আর বেনামে থাকবেন না। (গুগলের জন্য আর এপিআই কী লাগবে না)।

এই পদ্ধতির একটি পক্ষের 'সুবিধা' হ'ল আপনি আর কোনও জিওকোডিং অনুরোধের মধ্যে সীমাবদ্ধ থাকবেন না, কারণ আপনার অনুরোধগুলি দেখে মনে হবে তারা একাধিক আইপি ঠিকানা থেকে আসছে। তবে আমি এই সুন্দর ফ্রি এপিআইগুলিকে অপব্যবহারের পরামর্শ বা সমর্থন করি না ! এখনও এপিআই সীমাবদ্ধ রাখার হার সীমাবদ্ধ থাকবে (যদিও টর ব্যবহারের সংক্রমণের গতি সরাসরি সংযোগের চেয়ে কিছুটা ধীর)।

পাইথনে কেস স্টাডি - একবার আপনি ভিডালিয়া বান্ডিল ইনস্টল করে 1250.0.0.1:8118 (ডিফল্ট) -এর প্রক্সিটি পাইথন ২.7 বা তার বেশি বা আপনি উচ্চতর ব্যবহার করে https urllib2 প্রক্সি সেটআপ করতে পারেন:

import urllib2
proxy = urllib2.ProxyHandler({'https': '127.0.0.1:8118'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
response = urllib2.urlopen("https://maps.google.com/maps/geo?q=Los+Angeles&sensor=false&gl=us")

নোট করুন যে urllib2 প্রক্সিগুলি কমপক্ষে পাইথন ২.7 বা ততক্ষণ পর্যন্ত https এর সাথে কাজ করে না, সুতরাং এই পদ্ধতিটি কেবল সাম্প্রতিক পাইথন সংস্করণগুলিতে কাজ করে। উপরের উদাহরণে উভয় স্থানে 'https' ('http' নয়) পেয়েছেন তা নিশ্চিত করুন। আমি এটি কেবল পাইথন ২..1.১ দিয়ে পরীক্ষা করেছি।

বিদালিয়া প্রতি 10 মিনিট পরে আপনার পরিচয় / আপাত আইপি ঠিকানার উত্স পরিবর্তন করে তবে আপনি যদি ধীর গতিতে বা অন্যান্য সমস্যায় পড়ে থাকেন (কোটা ত্রুটি ছাড়িয়ে গেছে), বা আপনি যদি বিশেষত ভৌতিক হয়ে থাকেন এবং আপনার পরিচয় আরও ঘন ঘন পরিবর্তন করতে চান তবে আপনি নিজের টর পরিচয় পরিবর্তন করতে পারবেন পাইথন কোডটি এখানে ব্যবহার করুন (নীচে কিছুটা সংশোধন করা হয়েছে )। আপনার ভিডিয়ালিয়া সেটিংস প্রবেশ করে টর পাসওয়ার্ডটি একটি স্থিতিশীল (এলোমেলোভাবে উত্পন্ন একের পরিবর্তে) এ পরিবর্তন করতে হবে। সমস্ত পরিবর্তনের পরেও ভিডালিয়াকে পুনরায় চালু করা দরকার।

p = "MySuperSecurePassword"
def renewTorIdentity():
    success = False
    try:
        s = socket.socket()
        s.connect(('localhost', 9051))
        s.send('AUTHENTICATE "' + p + '"\r\n')
        resp = s.recv(1024)
        if resp.startswith('250'):
            s.send("signal NEWNYM\r\n")
            resp2 = s.recv(1024)
            if resp2.startswith('250'):
                success = True
    except:
        success = False
    return success

Comments

এটি ঠিকানাগুলি গোপন রাখে না, তাই না? কোয়েরি প্রেরণের মেশিনের শারীরিক অবস্থান এখানে অপ্রাসঙ্গিক (গোপনীয় নয়)।

— আন্ডার ডার্ক

বেশিরভাগ উদ্দেশ্যে, কোনও জিওকোডিং পরিষেবাটিতে প্রেরণ করা তথ্যের অজ্ঞাততা রক্ষা করতে মেশিনের কোয়েরি প্রেরণের শারীরিক অবস্থান খুব গুরুত্বপূর্ণ। বলুন যে ইনস্টিটিউটের স্টাডিজ অফ এক্স স্টাডির একটি কম্পিউটার 1000 ঠিকানাগুলির জন্য একটি জিওকোডিংয়ের জন্য অনুরোধ পাঠায়। কেউ (তাত্ত্বিকভাবে কমপক্ষে) এ্যাক্সেসগুলিকে এক্স রোগযুক্ত ব্যক্তি হিসাবে চিহ্নিত করতে পারে। বিপরীতে, বহু ব্যবহারকারীর হাজার হাজার এলোমেলো অনুরোধের সাথে মিশ্রিত ঠিকানাগুলি এবং একাধিক আইপি ঠিকানা থেকে আসা যা কোনও ব্যবহারকারীর সাথে সম্পর্কিত নয় (টর পরিস্থিতি) উদ্দেশ্যটির সাথে সনাক্তযোগ্য নয়।

— ভিক্টর ভ্যান হি

গুগলে ডেটা প্রেরণ (টোর বা যে কোনও কিছুর মাধ্যমে) একটি মৌলিক গোপনীয়তার সমস্যা। গুগল "গোপনীয়তার আয়রন-পরিহিত গ্যারান্টি" দেয় না।

— নিকোলাস রাউল

Answer 3

একটি বিকল্প হ'ল জিও-কোডার-ইউএস ব্যবহার করা , যা একটি মুক্ত-উত্স পার্ল মডিউল যা মার্কিন সেন্সাসের টাইগার / লাইন ডেটা জিওকোডে ব্যবহার করে। আমি এটি ব্যক্তিগতভাবে ব্যবহার করি নি, তবে এটি দুর্দান্ত দেখাচ্ছে। উপরের লিঙ্কটিতে একটি সুন্দর ওভারভিউ এবং একটি সংস্করণের লিঙ্ক রয়েছে যা ইতিমধ্যে প্রয়োজনীয় আদমশুমারীর ফাইলগুলি একত্র করা আছে।

Answer 4

জিওকিট লাইব্রেরি গুগল, ইয়াহু, জিওকোডার.ইস, জিওকোডার.ca এবং জিওনামের যে কোনওটি ব্যবহার করতে পারে। এটি রুবিতে লেখা আছে, এবং আপনার রুবি অন রেল প্রকল্পগুলির জন্য একটি বোন লাইব্রেরি রয়েছে:

http://geokit.rubyforge.org/

গোপনীয়তা সংরক্ষণের জন্য, আপনি সমস্ত সরবরাহকারীকে আপনার ক্রিয়াকলাপের সাথে সংযুক্ত হওয়ার সম্ভাবনা কম বলে সেটগুলিতে আলাদা করে প্রশ্নগুলি ছড়িয়ে দিতে পারেন। অনলাইন ফোন ডিরেক্টরি থেকে সত্যিকারের ঠিকানা যুক্ত করে আপনি নিজের ঠিকানাগুলিতে শব্দ করতে পারেন। এবং আমি আপনাকে এই স্ক্রিপ্টটি বিভিন্ন স্থান থেকে চালানোর পরামর্শ দিচ্ছি যেমন ইন্টারনেট ক্যাফে, ফলাফলগুলি শেষে একত্রিত করে।

আপনার গোপনীয়তা সত্যই সংরক্ষণের একমাত্র উপায় হ'ল ডেটার পুরো সেটটি ডাউনলোড করা এবং এটির বিরুদ্ধে আপনার স্ক্রিপ্টটি চালানো। ওপেনস্ট্রিটম্যাপ থেকে নমিনিটিম সিস্টেম রয়েছে। এটি সমস্ত শহরের জন্য সম্পূর্ণ নয়, তবে আপনি অন্য সরবরাহকারীদের কাছে পাঠানো ঠিকানার তালিকা হ্রাস করতে এটি ব্যবহার করতে পারেন।

Answer 5

এখনও উন্নয়নের প্রাথমিক পর্যায়ে যদিও http://openaddresses.org/ লক্ষ্য বিশ্বব্যাপী ঠিকানার একটি খোলা ডাটাবেস, এবং সংশ্লিষ্ট geocoding সেবা প্রদান করা।

ব্যক্তিগত না থাকলেও, মুক্ত ঠিকানা ডাটাবেসের প্রকৃতির অর্থ এটি অফলাইন জিওকোডিংয়ের অনুমতি দেওয়ার জন্য সম্পূর্ণ (বা কমপক্ষে নির্বাচিত অঞ্চলে) ডাউনলোড করার জন্য উপলব্ধ।

Answer 6

ঠিকানাটি কোথায় রয়েছে তার উপর নির্ভর করে আপনি ওপেনস্ট্রিটম্যাপ বৈশিষ্ট্যগুলি ডাউনলোড এবং ব্যবহার করতে পারেন।

এটি দেখুন: http://www.openstreetmap.org/

এছাড়াও, আপনি যদি মার্কিন যুক্তরাষ্ট্রে থাকেন তবে পোস্টজিআইএস টাইগার জিওকোডিং এপিআই সহ টাইগার প্রকল্প রয়েছে। http://svn.osgeo.org/postgis/trunk/extras/tiger_geocoder/

Answer 7

আমি ভেবেছিলাম যে http://geocoder.us/ এর পেছনের কোডটি ডাউনলোডের জন্য উপলভ্য ছিল যাতে আপনি এটি পেতে পারেন এবং একটি টাইগার ডেটা ফাইল এবং কম-বেশি-আপনার নিজের স্থানীয় ইনস্টল সেট আপ করতে পারে। তাত্ক্ষণিকভাবে site সাইটটি পুনর্বিবেচনা করার পরে আমি এটি দেখতে পাচ্ছি না তবে আপনি কিছুটা ঘুরে দেখতে চাইতে পারেন।

Answer 8

আপনি আগে যে একই জিওকোডার ব্যবহার করেছেন সেগুলি কেন ব্যবহার করবেন না, কেবল সমস্ত অন্যান্য মেটা ডেটা সরিয়ে ফেলবেন?

"সিক্রেট লোকেশন; 123 মেইন স্ট্রিট, কিছু সিটি" এর উপরে প্রেরণ করবেন না, কেবল "123 মেইন স্ট্রিট, কিছু শহর" প্রেরণ করবেন? ঠিকানাগুলি যাইহোক জনসাধারণের তথ্য। জিওকোডারকে কেবল এটি বলবেন না যে আপনার কাছে পারমাণবিক ঘাঁটি বা সমস্ত এনএসএ অবস্থানের তালিকা রয়েছে। ফলাফলগুলি সারণী বিন্যাসে হবে, এরপরে আপনি আপনার সমস্ত গোপন মেটা-ডেটা পুনরায় সংযুক্ত করতে পারেন।

Comments

পরিস্থিতি সম্পর্কে আমি এইভাবে অনুভব করি। আমার নিয়োগকর্তা পরিস্থিতি সম্পর্কে এমনটি অনুভব করেন না। সন্দেহের সুবিধার্থে, আপনি যদি একটি সনাক্তযোগ্য আইপি ঠিকানা থেকে ঠিকানাগুলির একটি তালিকা পান, তবে ঠিকানাগুলি কীভাবে যুক্ত রয়েছে তা কেউ বুঝতে পারে তা কল্পনা করা এতটা প্রসারিত নয়।

— ম্যাট পার্কার

@ ম্যাট এটির এক জিনিস পরামর্শদাতা :-) এর জন্য ভাল। অন্য বিকল্পটি হ'ল আপনি যেগুলি পাঠিয়েছেন তার সাথে বিবিধ ঠিকানাগুলি মিশ্রিত করা। অবশ্যই, এটি ব্যয় বাড়ায়, তবে সেগুলি যাইহোক এত কম ...

— হুবুহু

Answer 9

খোঁজ ওপেনস্ট্রীটম্যাপ হোমপেজে একটি সিস্টেম বলা হয় Nominatim । আপনি এটিকে জিওকোডিং পরিষেবা হিসাবে কল করতে পারেন (যদি আপনি সৌম্য হন) তবে এটি সমস্ত উন্মুক্ত উত্স, তাই আপনি এটি নিজের সার্ভারেও সেট আপ করতে পারেন।

এটি পোস্টজিআইএস ডাটাবেসে লোড থাকা ওপেনস্ট্রিটম্যাপ ডেটা ব্যবহার করছে। এটি তুলনামূলকভাবে নতুন এবং এখনও বিকাশাধীন, এবং ডেটা স্থাপন এবং লোড করার প্রক্রিয়াটি এতটা সোজাসাপ্টা নয় এবং যথেষ্ট উত্সাহিত। ... তবে এটি নিখরচায় এবং উন্মুক্ত!

Answer 10

বেশিরভাগ উত্তর আপনাকে স্থানীয় ডাটাবেসের দিকে চালিত করে। যদিও এটি অবশ্যই কার্যকর হবে, আপনাকে অবশ্যই জেকোডিংটি আপনার মূল ডোমেন কিনা তা বিবেচনা করতে হবে। (আপনি কি সেই বিষয়টিতেই কি ভাল? যদি তাই হয় তবে সম্ভবত তারা ইতিমধ্যে তারা যে ডেটাটি সুপারিশ করছে তা আপনার কাছে ইতিমধ্যে রয়েছে If যদি না হয় এবং আপনি এটি করতে চান তবে আপনার অবশ্যই ডেটা ডাউনলোড করে স্থানীয়ভাবে করা উচিত However তবে আপনার যদি প্রয়োজন হয় তবে কোনও সমস্যা সমাধানের জন্য এবং উত্পাদনের জন্য র‌্যাম্পিংয়ে অগণিত ঘন্টা রাখতে চান না, সুরক্ষা নিয়ে কোনও আপস না করে কোনও এপিআইয়ের মাধ্যমে এখনও এটি করার বিকল্প রয়েছে।

প্রথমে, এইচটিটিপিএসে জোর দিন কারণ আপনার এপিআইয়ের পথে এবং তারপরে আপনার কাছে ফেরার পথে সুরক্ষিত রাখতে আপনার ডেটা দরকার। দ্বিতীয়ত, নিশ্চিত করুন যে আপনি এপিআইতে জিইটি অনুরোধের পরিবর্তে একটি পোষ্ট অনুরোধ করছেন। পোস্ট ব্যবহার করে, আপনি কেবল একটি পে-লোডের সাথে একটি ইউআরএল অনুরোধটি পাস করছেন এবং সার্ভার লগের একমাত্র ফলাফল হ'ল এই বিষয়টি সত্য যে কোনও ঠিকানা যাচাইকরণ এবং জিওকোডিংয়ের অনুরোধ একটি নির্দিষ্ট সময়ে এবং একটি নির্দিষ্ট আইপি থেকে হয়েছিল। জমা দেওয়া ঠিকানা বা ঠিকানা ফেরত দেওয়া উভয়ই ডিস্কে সংরক্ষণ করা হবে না বা সার্ভার লগতে লিখিত হবে না। এটি এর চেয়ে বেশি সুরক্ষিত হয় না।

সুতরাং, যখন কোনও স্থানীয় বাক্স অবশ্যই সুরক্ষিত থাকবে, আপনার যা প্রয়োজন তা করার জন্য এটির অনেকগুলি বিকাশ প্রয়োজন। যেহেতু সুরক্ষা সংক্রান্ত উদ্বেগগুলি প্রশমিত করা যায়, আপনি (আবার) একটি এপিআই ব্যবহারের বিকল্পটি বিবেচনা করতে চাইতে পারেন।

আমি একটি ঠিকানা যাচাইকরণ সংস্থার পক্ষে কাজ করি যা নিরাপদ এপিআই জিওকোডিং - স্মার্টিস্ট্রিটসে বিশেষজ্ঞ ।

Answer 11

পুরানো থ্রেড তবে এটি উল্লেখ করার মতো। http://www.tigergeocoder.com/ টিআইজিআর 2013 ডেটা ব্যবহার করে, অ্যামাজন ইসি 2 মেঘে আপনার নিজের সার্ভার ইনস্ট্যান্স চালানোর জন্য প্রস্তুত।

Answer 12

আপনার স্থানীয় লিনাক্স বাক্সে পোস্টজিআইএস টাইগার জিওকোডার সেট আপ করুন। এটি অবশ্যই অনলাইন এপিআই-র তুলনায় আরও জটিল, তবে আপনার পরিস্থিতির জন্য এটি সর্বোত্তম বেট। এবং প্রয়োজনে এটি কয়েক মিলিয়ন ঠিকানায় স্কেল করতে পারে।

উত্তরযোগ্য প্লেবুকের সাহায্যে লিনাক্সে সার্ভার সেটআপ করা আগের চেয়ে অনেক সহজ। আপনি এসকিউএল বা পোস্টজিআইএসের সাথে পরিচিত না হলে রাইটিং এসকিউএল কোয়েরিগুলিতে সম্ভবত আরও বেশি সময় লাগবে।

আপনি আরও তথ্যের জন্য আমার সিস্টেম সেটআপ এবং আমার স্ক্রিপ্ট চেক করতে পারেন । এটিতে আপনার প্রয়োজনীয় সমস্ত তথ্য অন্তর্ভুক্ত করা উচিত।