এসকিউএল সার্ভার বনাম ফাইল সিস্টেম বনাম এস 3 ইত্যাদির বাইরে ছবি সরবরাহ করা


12

আমার অ্যাপ্লিকেশনটিতে (ক্লাসিক এসপ ইয়ে!) প্রায় ২.১ মিলিয়ন চিত্র রয়েছে 25 জিবি এবং এটি কেবল 90 দিনের ডেটা উপস্থাপন করে এবং আমি সর্বনিম্ন 365 যেতে চাই। আমার এগুলি নিয়ন্ত্রণে রাখা দরকার এবং সমস্ত বিকল্প বিবেচনা করছি। নিম্নলিখিত অনুশীলনগুলির পক্ষে আপনার মতামতগুলি কী:

  • এসকিউএল সার্ভার পেশাদার: ব্যাক আপ করা সহজ কনস: পারফরম্যান্স?
  • ফাইল সিস্টেম পেশাদার: গতি স্বরূপ: রিডানডেন্সি, ব্যাক আপ ধীর গতির (বর্তমানে সিন্থেটিক ফুল ব্যাক আপগুলি করার পরিবর্তে গবেষণা করছেন যা এটি আরও ভাল করে তুলতে পারে)
  • এস 3 এবং এর মতো পেশাদাররা: ব্যান্ডউইথটি আমার ডেটাসেন্টার থেকে অ্যামাজনে ভার্চুয়ালি সীমাহীন স্টোরেজে স্থানান্তরিত হয়েছে। মতামত: ব্যয়, ব্যয় বিশ্লেষণ জটিল (আমার ব্যান্ডউইথের ৮০% রইউআই উদ্দেশ্যে চিত্র)

অন্য কেউ কি মিলিয়ন মিলিয়ন চিত্র চ্যালেঞ্জ মোকাবেলা করে এবং আপনি কীভাবে এটিকে মোকাবিলা করলেন?


4
ডাটাবেসে চিত্রের ডেটা (ব্লবস) সংরক্ষণ না করেও করবেন না। আমরা বহু বছর আগে এই ভুলটি করেছি এবং তখন থেকেই তার জন্য অর্থ প্রদান করে আসছি। মেটাডেটার জন্য যদিও ডেটাবেস দুর্দান্ত।
মার্ক হেন্ডারসন

ফাইলপ্রেম ডেটাটাইপ সম্পর্কে আমার পোস্টটি দেখুন - এটি আপনার মতামত পরিবর্তন করতে পারে।
ড্যান ডিপো

উত্তর:


6

আমাদের লক্ষ লক্ষ চিত্র নেই, তবে আমাদের কয়েক হাজার রয়েছে এবং আমরা হাইব্রিড পদ্ধতির ব্যবহার করি - মেটাডাটার জন্য মাইএসকিএল, ব্যাকআপের জন্য স্থানীয় ডিস্কে থাকা চিত্রগুলি এবং যেখানে অ্যামাজন এস 3-তে ব্যবহার করা হয় সেখানে সেগুলি ব্যবহার করা হয়। আমাজন এবং প্রাপ্যতা নিয়ে আমাদের কোনও সমস্যা হয়নি। ক্লাউডফ্রন্টে স্থানান্তর করা আমাদের পরিকল্পনাগুলিতে রয়েছে, কেবল সময় সন্ধান করা দরকার।

এই আলোচনা আপনার সিদ্ধান্তে সহায়ক হতে পারে:
http://ask.metafilter.com/59635/ মিলিয়ন- মিমি

আমি এসকিউএল সার্ভারে মেটাডেটা এবং ফাইল সিস্টেমে ফাইলগুলি (বা এস 3 বা ক্লাউডফ্রন্ট) সহ যাব। তবে সর্বোত্তম উত্তরটি অন্য কিছু ব্যবহারের ধরণের উপর নির্ভর করে:

  • ছবিগুলি প্রায়শই বদলে যায়
  • আপনি সরাসরি ফাইল সিস্টেম থেকে চিত্রগুলি পরিবেশন করতে পারেন (তা হ'ল img src="...") বা এগুলি অ্যাক্সেস নিয়ন্ত্রিত হওয়া দরকার। যদি দ্বিতীয়টি হয় তবে একটি ডাটাবেস সমাধান সবচেয়ে ভাল
  • আপনি বেশিরভাগ সময় (অতি সাম্প্রতিক 10%) বেশ কয়েকটি সংখ্যক চিত্র পরিবেশন করছেন বা বিতরণটি তুলনামূলকভাবে বিস্তৃত।

আপনি কীভাবে সেগুলি সাজান না কেন লক্ষ লক্ষ চিত্রের ব্যাকআপগুলি জটিল হয়ে উঠবে - এটি কেবলমাত্র প্রচুর ডেটা। আমি সমাধানটি প্রতিশ্রুতিবদ্ধ করার আগে এসকিউএল সার্ভারে ব্লবগুলি ব্যাক আপ করার বিষয়ে একটি ভাল কেস স্টাডি খুঁজে পেতে চাই। (এখানে দরকারী নিবন্ধটি কার্যকর হতে পারে: http : //www.datediaj Journal.com/features/mssql/article.php/3738276/Storing-Images-and-BLOB-files-in-SQL-Server-Part-4.htm )


ব্যাকআপ জটিল হতে চলেছে, তবে ফাইল-স্তরের ব্যাকআপ সহ কমপক্ষে আপনাকে (সাধারণত) কেবল একটি রেকর্ড / চিত্র পুনরুদ্ধার করতে পুরো ব্যাকআপটি পুনরুদ্ধার করতে হবে না। আইএমও, ডিফল্টরূপে ফাইলসিস্টেম যদি না ডেটাবেস আপনাকে এমন কিছু দেয় যা আপনি অন্যথায় না করতে পারেন। +1
জেসনবার্চ

ফাইল-সিস্টেমগুলি ফাইল সংরক্ষণের জন্য ডিজাইন করা হয়েছে - আপনি লক্ষ লক্ষ ফাইলগুলি দক্ষতার সাথে সঞ্চয় করার জন্য ডিজাইন করা ফাইল-সিস্টেমগুলি খুঁজে পেতে পারেন। ডাটাবেসগুলি আপনার মেটাডেটা - অনুসন্ধান এবং সম্পর্কিত সম্পর্কিত জিনিসের জন্য ডিজাইন করা হয়েছে। আপনার খুব কম ইমেজ না থাকলে সম্ভবত এটিই সর্বোত্তম উপায় (ক্লাউড সমাধানগুলি বাদ দিয়ে)।
dmsnell

3

যদি আপনি সেগুলি ফাইল সিস্টেমে সংরক্ষণের সাথে যাওয়ার সিদ্ধান্ত নেন, আপনি হয়ত এই সার্ভারফল্ট প্রশ্নটি কিছু করার জন্য করতে পারেন এবং করবেন না: ফাইল সিস্টেমে মিলিয়ন ইমেজ সংরক্ষণ করা


3

" ডাটাবেসে চিত্র / বাইনারি ডেটা সংরক্ষণ করবেন না " এমন লোকেরা উপেক্ষা করুন কারণ তারা পুরানো তথ্যের উপর তাদের উত্তরগুলি ভিত্তি করে চলেছেন (ধরে নিচ্ছেন যে আপনি ভারবাইনারি টাইপের কলামে ডেটা সংরক্ষণ করবেন)। চিত্র সংরক্ষণের জন্য এসকিউএল সার্ভার ব্যবহারের পারফরম্যান্সের উদ্বেগগুলি এসকিউএল সার্ভার ২০০৮ সালে ফাইলস্ট্রেম ডেটা টাইপ ব্যবহার করে হ্রাস করা যেতে পারে es সংক্ষেপে , ফাইলস্ট্রেম ডেটা টাইপ আপনাকে পরিবেশন থেকে প্রাপ্ত পারফরম্যান্সের সাহায্যে ডাটাবেসে ডেটা সংরক্ষণের সহজতর সুযোগকে একত্রিত করতে দেয় একটি এনটিএফএস ফাইল স্টোর থেকে ফাইল।

এসকিউএল ম্যাগের উদ্ধৃতি দিতে :

"এসকিউএল সার্ভার ২০০৮-এর নতুন ফাইলস্ট্রেম সমর্থনটি এনটিএফএস ফাইল সিস্টেম থেকে সরাসরি এলওবিগুলি অ্যাক্সেসের সুবিধার সাথে রেফারেন্সিয়াল অখণ্ডতা এবং এসকিউএল সার্ভার সম্পর্কিত সম্পর্কিত ডাটাবেস ইঞ্জিন দ্বারা প্রদত্ত অ্যাক্সেসের সুবিধার সাথে মিলিত হয়েছে।"

আরও তথ্যের জন্য এমএসডিএন-তে রবি এস মানিয়মের এই ব্লগটি পড়ুন ।


FILESTREAM স্টোরেজ কি ব্যাকআপ / পুনরুদ্ধার কাহিনীটি আদৌ পরিবর্তন করে? এটি এখনই আমাদের সবচেয়ে বড় হ্যাঙ্গআপ ... যদি সেগুলি ভারবাইনারি এ সংরক্ষণ করা হয় তবে এটি তুলনামূলকভাবে সরাসরি এগিয়ে যাওয়ার গল্প হতে পারে।
ওয়েবজেডি

না, FILESTREAM ডেটা অন্য যেভাবে চিকিত্সা করা হয়, তাই ডেটাবেস সঙ্গে ব্যাক আপ করা হয়। এমএসডিএনকে উদ্ধৃত করার জন্য: "আপনি ফাইলপ্রেম ডেটা সহ সমস্ত ব্যাকআপ এবং পুনরুদ্ধার মডেলগুলি ব্যবহার করতে পারেন এবং ডাটাবেসে কাঠামোগত ডেটা দিয়ে ফাইলস্ট্রেম ডেটা ব্যাক আপ করা হয়" " - টেকনিকট.মাইক্রোসফট.ইন- ইউএস
ড্যান

2

যদিও আমি বহু মিলিয়ন চিত্রের চ্যালেঞ্জটি মোকাবেলা করছি না, আমি অ্যামাজন ক্লাউডফ্রন্ট ব্যবহার করব। এটি সমস্ত ফাইল একটি এস 3 বালতিতে সঞ্চিত রয়েছে তবে অ্যামাজনের কন্টেন্ট ডেলিভারি সিস্টেমের মাধ্যমে এটি সার্ভার। আমি একা এস 3 ব্যবহার করব না।

আমার দ্বিতীয় পছন্দটি ফাইল সিস্টেম হবে। সহজ এবং সহজ, কেবলমাত্র সমস্যা যদি এই সমস্ত ফাইলগুলি একটি ডিরেক্টরিতে শেষ হয় তবে পুরো জিনিসটি ক্র্যাশ হয়ে যাবে hard

আমার কাছে এসকিউএল এই জাতীয় সিস্টেমের জন্য বিকল্প নয়। ব্যান্ডউইথ স্থানান্তরের জন্য কেবল আপনাকেই চার্জ করা হচ্ছে না কেবল ক্যোয়ারী প্রসেসিংয়ের জন্যও আপনাকে চার্জ করা হবে - এটি হোস্টিংয়ের উপর নির্ভর করে খুব বেশি হবে, তবে আমি ধরে নিচ্ছি যে আপনি কোনও ডেডিকেটেড সার্ভার ব্যবহার করছেন বা কমপক্ষে কোনও ভিপিএস যেখানে আপনাকে চার্জ করা হবে। চক্র জন্য। তারপরে এটি যদি আপনার ইমেজ সার্ভারের মতো একই ডাটাবেস ব্যবহার করে তবে এটি আপনার পুরো সাইটটিকে ধীর করবে। যদি না হয় তবে আপনি দুটি ডাটাবেস সংযোগ পরিচালনা করার এই সমস্ত জটিলতা যুক্ত করুন।


আমার দৃশ্যে, বর্তমানে সমস্ত কিছু আমার নিজের সার্ভারের ভিত্তিতে রয়েছে। সুতরাং প্রতি সেয়ে কোনও লেনদেনের ব্যয় হয় না।
ওয়েবজেডি

1

ডাটাবেসগুলি লেনদেনের ডেটা / ধারাবাহিকতা এবং সুরক্ষার জন্য ডিজাইন করা হয়।

মিডিয়া ফাইলগুলি (চিত্রগুলি, অডিও, ভিডিও) তৈরি হতে পারে এবং মুছতে পারে তবে খুব কমই আপডেট হয়। সুতরাং সাধারণত তাদের অন্য ডেটার সাথে লেনদেনের সাথে সামঞ্জস্য রাখার দরকার নেই এবং কোনও ডাটাবেস আপনাকে সেখানে কোনও আসল সুবিধা দেয় না। পাঠ্য বিষয়বস্তু হতে পারে একটি ভিন্ন বিষয়।

যতক্ষণ না কারও কাছে আপনার ফাইলটি সরাসরি টানার ধারণার সাথে যদি আপনার কোনও সমস্যা না হয় তবে যদি ফাইলটির URL থাকে তবে একটি ফাইল সিস্টেম ঠিক আছে। আপনি যদি কোনও ফটো লাইব্রেরির মতো কিছু চালিয়ে যাচ্ছিলেন, যেখানে লোকেরা ফাইল ডাউনলোড করার আগে আপনি চার্জ করার প্রত্যাশা করছেন, তবে এটি সম্ভবত অন্যরকম বিষয়। এটি হ'ল, একবার ব্যবহারকারী অর্থ প্রদানের পরে, তারা সেই ব্যবহারকারীর নির্দিষ্ট একটি ইউআরএল পেতে পারে বা কেবল অল্প সময়ের জন্য বৈধ হতে পারে এবং অ্যাপ্লিকেশনটি একই চিত্রের দিকে নির্দেশ করে একাধিক বা অস্থায়ী URL গুলি পরিচালনা করে। এটি এখনও অ্যাপ্লিকেশন এবং একটি ফাইল সিস্টেম দ্বারা পরিচালিত হতে পারে, তবে আপনি সরাসরি ফাইল ডাউনলোডের পরিবর্তে অ্যাপ্লিকেশনটির মাধ্যমে মিডিয়া পরিবেশন করবেন (যা বেশিরভাগ এস 3 এর কোনও সুবিধাকে অস্বীকার করবে) এবং ডিবি এবং ফাইল সিস্টেমের মধ্যে কম পার্থক্য রয়েছে ।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.