এসকিউএল সার্ভারে প্রোগ্রামেটিক ইটিএল এর জন্য কি কোনও ভাষা / ইন্টারফেস রয়েছে?


10

আমি বর্তমানে আমাদের ডেটা গুদামের জন্য ইটিএল তৈরির প্রক্রিয়াধীন। আমরা এসএসআইএস ২০০৮ ব্যবহার করছি তবে আমরা সমস্যাগুলির মধ্যে চলে আসছি যার মধ্যে সবচেয়ে বড়টি হচ্ছে উপাদানগুলি পুনরায় ব্যবহার করতে অসুবিধা। আমাদের প্রতিটি টেবিলের জন্য পৃথক প্যাকেজ রয়েছে এবং প্রতিটি প্যাকেজ প্যারেন্ট প্যাকেজ থেকে বেশ কয়েকটি ভেরিয়েবল ইনপুট হিসাবে গ্রহণ করে। আমরা এই ইনপুট ভেরিয়েবলগুলিতে পরিবর্তন করার সাথে সাথে আমাদের প্রতিটি প্যাকেজে প্রবেশ করতে হবে (আমাদের এখন 15 বা তত বেশি রয়েছে, তবে এই সংখ্যাটি উল্লেখযোগ্যভাবে বাড়তে চলেছে) এবং এই পরিবর্তনগুলি মোকাবেলায় প্যাকেজটি সংশোধন করতে হবে। আমাদের নিষ্কাশন জন্য স্বেচ্ছাসেবী এসকিউএল চালাতে অক্ষমতা, লগ ইন করার ক্ষমতাহীনতা সহ আরও অন্যান্য সমস্যা রয়েছে including

এই কোডটি যদি আমাদের ETL গুলি কোড, পুনরায় ব্যবহার, সাধারণ গ্রন্থাগার, আরও ভাল ইউনিট পরীক্ষাগুলি ইত্যাদি বিকাশ করার উপায় থাকে তবে এসকিউএল সার্ভারের জন্য কি কোনও ফ্যাক্টো স্ট্যান্ডার্ড ইটিএল ভাষা / এপিআই রয়েছে? আমি যতটা সম্ভব জিইউআই সরঞ্জামগুলি এড়াতে চাইছি।

সম্পাদনা: আমার পটভূমি উল্লেখ করা উচিত। আমি ডিবিএ নই এবং আমার কোনও আনুষ্ঠানিক (বা অনানুষ্ঠানিক) ডিবিএ প্রশিক্ষণ নেই, আমি পাশাপাশি চলার সাথে সাথে আমি এই জিনিসটি বের করে আনলাম, সুতরাং এসএসআইএসের সাথে অনুপযুক্ত জিনিসগুলি করার চেষ্টা করছি বা এই ইটিএল-এর কাছে যাওয়ার চেষ্টা করছি এমন সম্ভাবনা রয়েছে every ভুল কোণ থেকে প্রকল্প। এছাড়াও, আমি বর্তমানে রাজ্য সরকারে নিযুক্ত রয়েছি, সুতরাং নতুন সফ্টওয়্যার প্যাকেজ কেনার প্রয়োজন এমন যে কোনও সমাধান সম্ভাবনার ক্ষেত্রের মধ্যে নয়।


আমাদের কাজগুলির একটি এখানে। আমরা আমাদের গুদামে প্রতিটি টেবিল লোড করতে একটি একক এসএসআইএস প্যাকেজ ব্যবহার করছি। প্রতিটি ফ্যাক্ট প্যাকেজ এবং ডাইমেনশন প্যাকেজ সাধারণত একই হয়, তারা কেবল ভিন্ন fer

  • উত্স ডাটাবেস থেকে নিষ্কাশন
  • ডেটা ফ্লোতে ম্যানিপুলেশনস
  • গন্তব্য সারণিতে মার্জ করে

আমি কী করতে সক্ষম হতে চাই (যেটি এসএসআইএসে করা আমার পক্ষে কঠিন হয়ে উঠছে)

  • একটি পাঠ্য ফাইল থেকে নিষ্কাশন ক্যোয়ারী লোড করুন। বিকাশকারীরা যখন তাদের নিষ্কাশন অনুসন্ধানগুলি লিখছেন এবং পরীক্ষা করছেন, এসএসআইএস চালানোর আগে আমার কোনওভাবেই তাদের ক্যোয়ারীটি পরিচালনা করতে হবে না এবং ডিবি উত্স অবজেক্টে কোয়েরিটি কাটা এবং আটকানো উচিত নয়।
  • প্রতিটি উপাদান পৃথকভাবে পরীক্ষা করুন। আমার পৃথক পৃথক টেবিলের জন্য অন্য টেবিলের লোডের চেয়ে সম্পূর্ণ ইটিএল প্রক্রিয়াটি পরীক্ষা করতে সক্ষম হওয়া উচিত।
  • ভাগ করে দেওয়া যুক্তিতে এক জায়গায় পরিবর্তন করুন, প্রতিটি পৃথক প্যাকেজ সম্পাদনা করতে হবে না। প্রতিটি প্যাকেজ অডিট টেবিলগুলিতে একইভাবে ডেটা লোড করে, যদি আমি নিরীক্ষিত লোড হওয়া ডেটাটি পরিবর্তন করতে চাই তবে আমি 15 টি প্যাকেজ সম্পাদনা করতে চাই না (সময়ের সাথে সাথে এই সংখ্যাটি অনেক বেশি বড় হতে চলেছে)।

পুরো প্রক্রিয়াটি মনে হয় যেমন ভাগ করে নেওয়া কোডের যথাযথ ব্যবহারের সাথে যদি ক্রমবর্ধমানভাবে প্রয়োগ করা হয় তবে এটি প্রয়োগ করা অনেক সহজ এবং আরও দৃust় হবে।


4
আমি এসএসআইএসের খুব বড় ব্যবহারকারী নই তবে এখানে খাড়া শেখার বক্রতার উপলব্ধি বুঝতে পারি। আমি আপনাকে অ্যান্ডি লিওনার্ড, জেমি থম্পসন, ব্রায়ান নাইটের কিছু ভিডিও / ব্লগগুলি দেখার জন্য উত্সাহিত করছি যারা এই ক্ষেত্রের বিশেষজ্ঞ এবং কিছু দিকনির্দেশনা পান। পাস সামিট & sqlblog.com, pragmaticworks.com এর ফ্রি ভিডিওর জন্য sqlpass.org ওয়েবসাইটে দেখুন
সংকর রেড্ডি

আমি বিশ্বাস করি না যে শেখার বক্ররেখা একটি সমস্যা। এসএসআইএসে আমি যে কাজগুলি করতে চাই তা কীভাবে করতে হয় তা আমি জানি। আমি একটি নতুন প্রক্রিয়া সন্ধান করছি কারণ আমি যে সমাধানগুলি পেয়েছি সেগুলি পুনরাবৃত্তিমূলক, ভঙ্গুর এবং অযথা জটিল।
কুবি

কুবি, আপনি কোন উপাদানগুলির উল্লেখ করছেন সে সম্পর্কে যদি আপনি বিশদটি যুক্ত করতে পারেন তবে আমি আপনার পক্ষে এটির উত্তর দিতে সক্ষম কাউকে নিয়ে আসব। যেমনটি এখনই রয়েছে, আপনার প্রশ্নের উত্তরটি খুব বিস্তৃত।
সংকর রেড্ডি

4
@ কুবি - আপনি বিআই শিল্পের একদম নোংরা রহস্য ছুঁয়েছেন। ইটিএল সরঞ্জামগুলি বিমূর্ততা এবং পুনরায় ব্যবহারযোগ্য যুক্তিতে খুব দরিদ্র। ফলস্বরূপ তারা ক্রমবর্ধমান ডোমেন জটিলতার সাথে খুব খারাপভাবে স্কেল করে।
কনফারডঅফটুনব্রিজ

1
আমার কাছে এটি মোটামুটি ভাল কর্তৃত্বের সাথে আছে যে ব্যাংকিং এবং বীমাগুলির জন্য একটি নির্দিষ্ট শিল্পের উল্লম্ব পণ্য গ্রাহকদের প্রায় অর্ধেক (আপনি শুনেছেন এমন একটি সংস্থা দ্বারা তৈরি এবং আপনি সাধারণত একটি নির্দিষ্ট রঙ দ্বারা উল্লেখ করেছেন) তাদের গঠনের সুস্পষ্ট প্রযুক্তিগত সিদ্ধান্ত গ্রহণ করে সুনির্দিষ্টভাবে এই কারণে, স্টোরেড পদ্ধতিতে চুদে ইটিএল প্রক্রিয়াকরণ।
কনফারডঅফটুনব্রিজ

উত্তর:


6

এমন একটি সরঞ্জাম রয়েছে যা এটি সক্ষম করে - http://www.varincy.com/products/biml.html

একটি কমারিকাল সংস্করণ রয়েছে, তবে আমরা একটি নিখরচায় সরঞ্জাম, বিআইডিএস হেল্পারে বিআইএমএল কার্যকারিতাও অন্তর্ভুক্ত করি। http://bidshelper.codeplex.com/

আপনার সম্পর্কে যে কোনও প্রশ্নের উত্তর দিতে পেরে আমি খুশি।

এটি এমন একটি সরঞ্জাম যা আমার সংস্থা সরবরাহ করে।


6

এটি পড়ে আমি তাত্ক্ষণিকভাবে ভেরিয়েন্সের সরঞ্জামগুলি সুপারিশ করার চিন্তা করি। তবে, আমি দেখতে পাচ্ছি যে ভেরিয়েন্সের অন্যতম প্রধান স্থপতি জন ওয়েলচ আমার আগে এখানে এসেছিলেন।

ভেরিয়েন্সের সরঞ্জামগুলি এসএসআইএসের উপরে একটি বিমূর্ত স্তর। যে সুবিধাটি সরবরাহ করে তা হ'ল পুনরায় ব্যবহারযোগ্য "স্টাফগুলি" সংজ্ঞায়িত করার ক্ষমতা এইভাবে একাধিক প্যাকেজ জুড়ে ধারাবাহিকতা সরবরাহ করে। প্যাকেজগুলি কীভাবে কাঠামোগত করা উচিত এবং পৃথক ভিত্তিতে সেগুলি কীভাবে পৃথক হবে তা আপনি নির্ধারণ করেন - ভ্যারিয়েন্সের সরঞ্জামগুলি থেকে "সংকলিত" আউটপুটগুলি এসআইএসআইএস প্যাকেজ।

এটিকে এসআইএসআই প্যাকেজগুলির জন্য ডায়নামিক এসকিউএল হিসাবে ভাবেন। একটি জিইউআই সহ সত্যিই দুর্দান্ত।


3

আমি এসএসআইএস কয়েকবার ব্যবহার করার চেষ্টা করেছি এবং এটি ছেড়ে দিয়েছি। আইএমও, সি # তে আমার যা করা দরকার তা করা খুব সহজ। এস.এস.আই.এস. অত্যন্ত জটিল, এর মধ্যে অনেকগুলি গোটাচা রয়েছে এবং এটি কেবল মূল্যবান নয়। এসএসআইএস শেখার ক্ষেত্রে একই সময় ব্যয় করার চেয়ে সি # দক্ষতার উন্নতি করার জন্য আরও বেশি সময় ব্যয় করা আরও ভাল - আপনি আপনার প্রশিক্ষণে আরও অনেক বেশি রিটার্ন পাবেন। আমার এখানে খুব বেশি বিশদে যাওয়ার দরকার নেই - আয়েন্দে লিখেছিলেন দুর্দান্ত সংক্ষিপ্তসার, আমার যোগ করার মতো কিছুই নেই

এছাড়াও একটি ভিএস সমাধানে কার্যকারিতা সন্ধান করা এবং বজায় রাখা খুব সহজ। ভিএস সহ ইউনিট পরীক্ষা করা সহজ। আমাকে যা করতে হবে তা হ'ল সাবভারশনে উত্সটি পরীক্ষা করা এবং এটি কীভাবে লোড হয়েছে তা যাচাই করা। ইউনিট টেস্টিং এসএসআইএস প্যাকেজগুলি এটিকে হালকাভাবে রাখার জন্য খুব জড়িত।

এছাড়াও, এমন পরিস্থিতি ছিল যখন এসএসআইএস চুপচাপ কিছু সারিতে কিছু কলাম স্থাপন করতে ব্যর্থ হয়েছিল, কেবল ব্যতিক্রম না বাড়িয়ে এগুলি এড়িয়ে চলে। আমরা সমস্যা সমাধানের জন্য এবং কী চলছে তা নির্ধারণ করার জন্য অনেক সময় ব্যয় করেছি। সি # তে বিকল্প সমাধান বিকাশ করতে এক ঘন্টারও কম সময় লেগেছে, এবং দুই বছর ধরে কোনও সমস্যা ছাড়াই কাজ করে works

এছাড়াও রাইনো ইটিএল সত্যিই দুর্দান্ত বলে মনে হচ্ছে।

স্ট্যাকওভারফ্লোতে কয়েকটি অনুরূপ আলোচনা ছিল


2

ব্যক্তিগতভাবে, আমি এসকিউএল এ যতটা সম্ভব ইটিএল প্রক্রিয়া পরিচালনা করি। আমি এফটিপি সাইট বা এক্সেলের মতো অদ্ভুত ডেটা উত্সগুলি থেকে আমদানি করতে এসএসআইএস ব্যবহার করি তবে এসকিউএল যেখানে বাকী কাজ করে সেখানে ডাটাবেসে কাঁচা ডেটা পেতে।

আমার বর্তমান পরিস্থিতি তুলনামূলকভাবে সহজ যে বেশিরভাগ ডেটা অন্যান্য এমএস এসকিউএল ডাটাবেসে থাকে যার সাথে আমি লিঙ্কযুক্ত সার্ভার সেটআপ করতে পারি। আপনি অন্যান্য প্ল্যাটফর্মের সাথে সংযোগ স্থাপনের জন্য থাকে, তাহলে আমি ব্যবহার সুপারিশ OPENQUERYএবং BULK INSERT। এগুলি প্রয়োজনে প্রোগ্রামগতভাবে তৈরি করা যেতে পারে এবং তাদের দুজনের মধ্যে তারা বেশিরভাগ ধরণের ডেটার সাথে সংযোগ করতে পারে।

আমি এসকিউএল ব্যবহার করি কারণ এটিই আমি সবচেয়ে ভাল জানি তবে এর কিছু উদ্দেশ্যমূলক সুবিধা রয়েছে। সবচেয়ে উল্লেখযোগ্যভাবে, এটি ইতিমধ্যে ব্যবহৃত হচ্ছে: নতুন সরঞ্জামের জন্য শেখার বা অর্থ দেওয়ার দরকার নেই। এটি একটি বহুল-উপলভ্য দক্ষতা, যা আপনার না হলে আপনার বসের পক্ষে গুরুত্বপূর্ণ। যেহেতু এটি ডাটাবেসে কাজ করে, লগইন করা সহজ। এটি সাধারণ পাঠ্য কোডের উপর ভিত্তি করে, তাই এটি সহজে অনুসন্ধান করা হয় এবং উত্স নিয়ন্ত্রণের সাথে ভাল কাজ করে। এটি খুব স্থিতিশীল, বিক্রেতার খুব কম সম্ভাবনা রয়েছে যা কিছু পরিবর্তন করে এবং পশ্চাদপটে সামঞ্জস্যতা ভঙ্গ করে। এটি সম্ভবত কোনও আরবিআর ভাষার চেয়ে কমপক্ষে দ্রুত।

আপনার যদি আরও প্রয়োজন হয় তবে আমি .NET এর প্রস্তাব দিই, তবে এটি এসএসআইএস এবং এসকিউএলসিআরআর ব্যবহার করা হয়। আমি সামগ্রিক ETL প্রক্রিয়া পরিচালনা করতে সি # অ্যাপ্লিকেশন ব্যবহার করি - উপ-পদক্ষেপগুলি শুরু করে, তাদের আউটপুট পর্যবেক্ষণ করে, ইমেল প্রেরণ করে। তবে এসএসকিউএল এজেন্ট, ডিবিমেইল ইত্যাদির মাধ্যমে প্রায় সমস্ত কিছুই করা যেতে পারে

আপনি কি আপনার ইটিএল এর জন্য এসকিউএল ব্যবহার করতে পারবেন না এমন কোনও কারণ আছে ? এটি আপনার পক্ষে কী করতে সক্ষম হয়নি?


প্রকৃতপক্ষে আমরা টেম্প ডিবিগুলিতে কাঁচা ডেটা ফেলে দেওয়ার জন্য এসএসআইএস ব্যবহার করি তারপরে আমরা টিএসকিউএল ব্যবহার করি কীভাবে আমরা টি এবং এল করতে চাই ine
পল
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.