একটি মাইক্রোসারওয়াস আর্কিটেকচারে বড় ফাইল / ডেটা স্থানান্তর


22

আমার সংস্থা বর্তমানে একটি মাইক্রোসারওয়াস আর্কিটেকচার গ্রহণ করার বিষয়ে কাজ করছে তবে আমরা পথে কিছু বর্ধমান যন্ত্রণার (শক!) সম্মুখীন হচ্ছি। আমরা যে কী মূল যুক্তিযুক্ত পয়েন্টগুলির মুখোমুখি হচ্ছি তা হ'ল কীভাবে আমাদের বিভিন্ন পরিষেবাগুলির মধ্যে প্রচুর পরিমাণে ডেটা যোগাযোগ করা যায়।

কিছুটা ব্যাকগ্রাউন্ড হিসাবে আমাদের কাছে একটি ডকুমেন্ট স্টোর রয়েছে যা আমাদের পুরো সংস্থা জুড়ে হ্যান্ডেল করার প্রয়োজন হতে পারে এমন কোনও দস্তাবেজের জন্য সংগ্রহস্থল হিসাবে কাজ করে। স্টোরের সাথে কথোপকথন এমন একটি পরিষেবার মাধ্যমে করা হয় যা কোনও ক্লায়েন্টকে একটি অনন্য আইডি এবং দস্তাবেজটি স্ট্রিম করার জন্য একটি অবস্থান সরবরাহ করে। প্রদত্ত আইডির সাহায্যে দস্তাবেজের অবস্থানটি লুকে দেখার মাধ্যমে অ্যাক্সেস করা যায়।

সমস্যাটি হ'ল - কী কী আমাদের সমস্ত মাইক্রোসার্ভিসেসগুলি ডকুমেন্টগুলির সাথে মিথস্ক্রিয়া করার উদ্দেশ্যে তাদের এপিআইর অংশ হিসাবে এই অনন্য আইডি গ্রহণ করবে তা বোঝা যায়? আমার কাছে এটি অন্তর্নিহিত ভুল অনুভব করে - পরিষেবাগুলি আর স্বাধীন হয় না এবং ডকুমেন্ট স্টোরের পরিষেবার উপর নির্ভর করে। যদিও আমি স্বীকার করি এটি এপিআই ডিজাইনকে সহজতর করতে পারে এবং সম্ভবত কিছু কার্যকারিতা লাভের ফলে মিলিত হওয়ার চেয়ে আরও বেশি সুবিধা অর্জন করে coup

কেউ কি জানেন যে কীভাবে রংধনু ইউনিকর্নস (নেটফ্লিক্স, অ্যামাজন, গুগল ইত্যাদি) তাদের পরিষেবাগুলির মধ্যে বড় ফাইল / ডেটা এক্সচেঞ্জ পরিচালনা করে?


আপনি একটি অত্যন্ত উপলব্ধ নথি / ফাইল স্টোর জন্য কি ব্যবহার করছেন?
টেরেন্স জনসন

@ টেরেন্স জনসন আমরা আপাতত একটি ঘরে বসে সমাধান ব্যবহার করছি। আমরা এমন একটি সমাধানের দিকে স্থানান্তরিত করছি যা একটি বিশ্রামপ্রাপ্ত এপি'র উপার্জন করে যা কেবলমাত্র একটি অনন্য নথির আইডি এবং তার অবস্থান অব্যাহত রাখে (যা ক্লায়েন্টকে অপ্রয়োজনীয় অভ্যন্তরীণ নেটওয়ার্কের বোঝা প্রতিরোধের জন্য স্ট্রিমের পরিবর্তে সরবরাহ করা হয়)। আসল অধ্যবসায় এডাব্লুএস এর মাধ্যমে করা হবে।
প্রিমিয়ামটিয়ার

উত্তর:


7

কেউ কি জানেন যে কীভাবে রংধনু ইউনিকর্নস (নেটফ্লিক্স, অ্যামাজন, গুগল ইত্যাদি) তাদের পরিষেবাগুলির মধ্যে বড় ফাইল / ডেটা এক্সচেঞ্জ পরিচালনা করে?

দুর্ভাগ্যক্রমে আমি জানি না যে তারা এই জাতীয় সমস্যাগুলি কীভাবে মোকাবেলা করে।

সমস্যাটি হ'ল - কী কী আমাদের সমস্ত মাইক্রোসার্ভিসেসগুলি ডকুমেন্টগুলির সাথে মিথস্ক্রিয়া করার উদ্দেশ্যে তাদের এপিআইর অংশ হিসাবে এই অনন্য আইডি গ্রহণ করবে তা বোঝা যায়?

এটি একক দায়িত্বের নীতি লঙ্ঘন করে, যা আপনার মাইক্রোসার্ভাইসের আর্কিটেকচারে সহজাতভাবে হওয়া উচিত। একটি মাইক্রোসার্ভিস - যৌক্তিকভাবে একটি, শারীরিকভাবে অনেকগুলি একটিকে উপস্থাপন করে - একটি বিষয় নিয়ে কাজ করা উচিত ।

আপনার ডকুমেন্ট স্টোরের ক্ষেত্রে আপনার একটি বিন্দু রয়েছে, যেখানে নথিগুলির জন্য সমস্ত প্রশ্নগুলি চলে যায় (অবশ্যই আপনি এই লজিক্যাল ইউনিটকে একাধিক নথির জন্য বিভিন্ন নথির স্টোরগুলিতে ভাগ করতে পারেন)।

  • যদি আপনার "অ্যাপ্লিকেশন" কোনও নথিতে কাজ করার প্রয়োজন হয়, তবে এটি সংশ্লিষ্ট মাইক্রোসার্চিসকে জিজ্ঞাসা করে এবং এর ফলাফলগুলি প্রসেস করে।

  • অন্য কোনও পরিষেবায় যদি প্রকৃত নথি বা এর কিছু অংশের প্রয়োজন হয় তবে এটি নথির পরিষেবাটি জিজ্ঞাসা করতে হবে।

আমরা যে কী মূল যুক্তিযুক্ত পয়েন্টগুলির মুখোমুখি হচ্ছি তা হ'ল কীভাবে আমাদের বিভিন্ন পরিষেবাগুলির মধ্যে প্রচুর পরিমাণে ডেটা যোগাযোগ করা যায়।

এটি একটি স্থাপত্য সমস্যা:

  1. বড় পরিমাণে ডেটা স্থানান্তর করার প্রয়োজনীয়তা হ্রাস করুন

    আদর্শভাবে, প্রতিটি পরিষেবায় এর সমস্ত ডেটা থাকে এবং কেবল অনুরোধগুলি সরবরাহ করার জন্য কোনও স্থানান্তরের প্রয়োজন হয় না। এই ধারণার এক্সটেনশান হিসাবে - আপনার যদি ডেটা স্থানান্তর করার প্রয়োজন হয় তবে অতিরিক্ত কাজকে (* ইতিবাচক উপায়ে_) ভাবেন: অনেক জায়গায় (যেখানে তাদের প্রয়োজনীয়তা আছে) ডেটা রিডানড্যান্ট পাওয়া কি বোধগম্য নয়? কীভাবে সম্ভাব্য অসঙ্গতিগুলি আপনার প্রক্রিয়াগুলির ক্ষতি করতে পারে তা ভেবে দেখুন। আসলে কোনও হিসাবে দ্রুত স্থানান্তর হয় না

  2. নিজেই ডেটার আকার হ্রাস করুন

    আপনি কীভাবে আপনার ডেটাটি সংকুচিত করতে পারেন তা চিন্তা করুন: স্মার্ট ডেটা স্ট্রাকচার পর্যন্ত প্রকৃত সংক্ষেপণ অ্যালগরিটিহম দিয়ে শুরু করুন । তারের উপর যত কম যায় তত দ্রুত আপনি।


2

আপনার ডকুমেন্ট স্টোর দ্বারা ফিরিয়ে দেওয়া আইডি যদি সিস্টেম জুড়ে নথিগুলিকে রেফারেন্স করার উপায় হয় তবে পরিষেবাটি কোন ডকুমেন্টটি নিয়ে কাজ করা দরকার তা জানতে হলে সমস্ত পরিষেবাদি তাদের API এ সেই 'ডকুমেন্ট আইডি' স্বীকার করে তোলে sense

এটি প্রয়োজনীয়তার চেয়ে প্রয়োজনীয় পরিষেবাগুলির মধ্যে আরও কঠোর সংযোগ তৈরি করে না। যে সমস্ত পরিষেবাদিগুলিতে দস্তাবেজগুলি অ্যাক্সেস করতে হবে তাদের যে কোনও উপায়ে দস্তাবেজ-স্টোর পরিষেবা অ্যাক্সেস করতে হবে এবং কোন আইটেমটি অ্যাক্সেস করতে হবে সেই স্টোরকে তাদের সেই আইডি দরকার।
যেসব পরিষেবাদি সরাসরি দস্তাবেজগুলিতে অ্যাক্সেস করে না তাদের ডকুমেন্ট আইডি বরাবর পাস করার প্রয়োজন হতে পারে তবে সেই পরিষেবাগুলিতে এটি কেবল একটি স্বেচ্ছাসেবী স্ট্রিং হবে যা কোনও নির্ভরতা তৈরি করে না।


ধন্যবাদ তোমার উত্তরের জন্য. আমার যুক্ত করা উচিত যে আমরা আমাদের মাইক্রোসার্ভিসগুলি বহিরাগত গ্রাহকদের কাছে প্রকাশের মাধ্যমে সম্ভাব্যভাবে উপকৃত হতে পারি যারা আমাদের অভ্যন্তরীণ ডকুমেন্ট স্টোরটিও লাভ করতে চায় না may আপনি কি এখনও মনে করেন যে এটি সেরা পদ্ধতির?
প্রিমিয়ামটিয়ার

@ প্রিমিয়ামটিয়ার: হ্যাঁ তবে এই বাহ্যিক গ্রাহকদের তাদের নিজস্ব একটি স্টোর সরবরাহ করতে হবে যা আপনার অভ্যন্তরীণ স্টোরের মতো একই এপিআই সমর্থন করে, যাতে আপনার পরিষেবাগুলি এতে সহযোগিতা করতে পারে।
বার্ট ভ্যান ইনজেন শেহেনো

এটি উপলব্ধি করে তবে পরিষেবাগুলি নথির উল্লেখের পরিবর্তে স্ট্রিম, বাইট অ্যারে বা জসন ব্লবগুলি গ্রহণের চেয়ে আরও জটিল মনে করে umbers সেক্ষেত্রে পরবর্তী কোনও পরিষেবাদি কল করার আগে যদি প্রয়োজন হয় তবে ফাইল স্ট্রিমটি পাওয়ার জন্য প্রথমে একটি 'অ্যাডাপ্টার' পরিষেবাটি সহজেই অনুরোধ করা যেতে পারে। আমি উপায় দ্বারা তর্কবিতর্ক হওয়ার চেষ্টা করছি না বরং এই পদ্ধতির গুণাবলী বোঝার চেষ্টা করছি :)
প্রিমিয়ামটাইয়ার

2

ব্যক্তিগতভাবে, আমি বরং আলাদা ডকুমেন্ট স্টোর পরিষেবা এবং ডকুমেন্ট আইডি ব্যবহার করব না, তবে ডকুমেন্টগুলিতে অ্যাক্সেসের জন্য একটি URL (সঠিক শিরোনাম প্রমাণীকরণ সহ)) এই পদ্ধতির সাথে আপনার ডকুমেন্ট সেবার উপর নির্ভর করার জন্য অন্য পরিষেবাদির প্রয়োজন হবে না বরং এটি ডকুমেন্ট অ্যাক্সেস করার জন্য সম্পূর্ণ URL টি ব্যবহার করতে পারে nd এবং এটি যখন স্কেলিংয়ের ক্ষেত্রে আসে তখন এটিও বোধগম্য হয়, আপনি একাধিক ডকুমেন্ট স্টোর ব্যবহার করতে পারেন এবং যখন স্টোরেজ বৃদ্ধি পায় এবং URL সরবরাহ করে।

তবে আপনার কোনও দস্তাবেজ আপলোড করতে এবং এর URL পাওয়ার জন্য কোনও পরিষেবা (গুলি) দরকার হতে পারে need


1

কেউ কি জানেন যে কীভাবে রংধনু ইউনিকর্নস (নেটফ্লিক্স, অ্যামাজন, গুগল ইত্যাদি) তাদের পরিষেবাগুলির মধ্যে বড় ফাইল / ডেটা এক্সচেঞ্জ পরিচালনা করে?

অ্যামাজন এস 3 আরএসটি এপিআই স্প্যাকগুলি চেকআউট করুন, মনে হয় এগুলি বাইটে পুরো বস্তুটি ফিরে আসে। আপনি যদি কোনও মাইক্রোসারওয়াইস ডিজাইন করেন তবে অনেকগুলি বিকল্প নয় বলে মনে হচ্ছে। অ্যামাজন এস 3 প্রতিক্রিয়া ফর্ম্যাট লিঙ্ক

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.