আমি কীভাবে লোকদের ডেটার আরও ভাল যত্ন নিতে পারি?


42

আমার কর্মক্ষেত্রে অনেক বিস্তৃত শৃঙ্খলা থেকে কর্মচারী রয়েছে, তাই আমরা প্রচুর বিভিন্ন ফর্মে ডেটা তৈরি করি। ফলস্বরূপ, প্রতিটি দল ডেটা সংরক্ষণের জন্য নিজস্ব সিস্টেম তৈরি করেছে। কিছু অ্যাক্সেস বা এসকিউএল ডাটাবেস ব্যবহার করে; কিছু দল (আমার ভীতিতে) এক্সেল স্প্রেডশীটগুলিতে প্রায় সম্পূর্ণ নির্ভরশীল। প্রায়শই ডেটা ফর্ম্যাটগুলি প্রকল্প থেকে প্রকল্পে পরিবর্তিত হয়। কিছু ক্ষেত্রে একে 'সিস্টেম' বলা খুব দয়ালু।

যে সমস্যাগুলি এগুলি প্রবেশ করে তা হ'ল প্রতিটি প্রকল্পের ডেটা পরিষ্কার করার জন্য আমাকে নতুন কোড লিখতে হবে, যা ব্যয়বহুল; লোকেরা ম্যানুয়ালি স্প্রেডশিটগুলি সম্পাদন করে অসম্ভবের কাছে ডেটার প্রজননযোগ্যতা এবং অডিটিং করে; এবং আরও খারাপ, ডেটা হারিয়ে যাওয়ার বা ভুল করার একটি সম্ভাবনা রয়েছে made

আমাকে সংস্থার একজন বোর্ড সদস্যের সাথে এই সমস্যাগুলি নিয়ে আলোচনা করার সুযোগ দেওয়া হয়েছে এবং তাকে কী বলব তা সম্পর্কে আমার কাজ করা দরকার। আমি মনে করি আমি ইতিমধ্যে তাকে প্ররোচিত করেছি যে আমাদের একটি সমস্যা আছে এবং এই অধিকার পাওয়ার ফলে আরও ভাল বিজ্ঞান এবং অর্থ সাশ্রয় হবে। প্রশ্নটি: আমাদের কীসের লক্ষ্য করা উচিত এবং আমরা কীভাবে সেখানে পৌঁছব?

আরো নির্দিষ্টভাবে:

আমাদের কীভাবে ডেটা সংরক্ষণ করা উচিত, যাতে এটি তৈরি থেকে কোনও কাগজে প্রকাশের পথে ট্র্যাক করতে দেয়? (কেন্দ্রীয় সার্ভারে থাকা ডাটাবেসগুলি?)

আপনি কীভাবে ডাটাবেস ফর্ম্যাটকে মানিককরণ করবেন?

কীভাবে তথ্য সংরক্ষণের জন্য লোকদের শিক্ষিত করার জন্য কোনও ভাল সংস্থান আছে? (একটি সাধারণ নিয়ম হিসাবে, পেশাগত হাইজিনিস্ট এবং বিস্ফোরক ইঞ্জিনিয়াররা ডেটা স্নায়ু নয়; তাই অ-প্রযুক্তিগত বিষয়বস্তু পছন্দ করা হয়))


শিরোনাম প্রশ্ন পোস্টে থাকা মূল প্রশ্নের চেয়ে আলাদা। প্রাক্তন কীভাবে লোকদের ডেটা যত্ন নেওয়ার জন্য বোঝাতে হয় সে সম্পর্কে জিজ্ঞাসা করে, এবং পরবর্তীকালে ডেটা সংরক্ষণের জন্য সবচেয়ে ভাল উপায় সম্পর্কে জিজ্ঞাসা করা হয়। আপনি কোন প্রশ্নের উত্তর চান?
মনিকা পুনরায় ইনস্টল করুন

উত্তর:


16

এটি সফ্টওয়্যার জগতের ধারণাগুলি বিবেচনা করার মতো। বিশেষত আপনি সেট আপ করার কথা ভাবতে পারেন: একটি সংস্করণ নিয়ন্ত্রণ সংগ্রহস্থল এবং একটি কেন্দ্রীয় ডাটাবেস সার্ভার।

সংস্করণ নিয়ন্ত্রণ সম্ভবত আপনাকে অন্যথায় ফ্রি ভাসমান ফাইলগুলি যেমন এক্সেল এবং পাঠ্য ফাইল ইত্যাদির সাহায্যে সহায়তা করে But তবে এতে আর, এসএএস ইত্যাদির মতো ডেটার সাথে যুক্ত ফাইলগুলিও অন্তর্ভুক্ত থাকতে পারে ধারণাটি হ'ল এমন একটি সিস্টেম রয়েছে যা পরিবর্তিত ট্র্যাকগুলি ট্র্যাক করে আপনার ফাইলগুলি আপনাকে কখন কী ঘটেছে তা জানার অনুমতি দেয় এবং প্রয়োজনে অতীতে একটি পয়েন্টে রোলব্যাক করে।

আপনার কাছে ইতিমধ্যে এসকিউএল ডেটাবেস রয়েছে, আপনি যা করতে পারেন তার সেরা কাজটি একটি কেন্দ্রীয় সার্ভার সেট আপ করা এবং একটি সক্ষম ডিবিএ ভাড়া করা । ডিবিএ হ'ল সেই ব্যক্তি যিনি ডেটাটির অখণ্ডতা নিশ্চিত এবং মেন্টেনিংয়ের দায়িত্ব অর্পণ করেছেন। কাজের বর্ণনার অংশে ব্যাকআপ এবং সুরকরণের মতো জিনিস জড়িত। তবে আরেকটি অংশ এখানে আরও প্রাসঙ্গিক - ডেটা সিস্টেমে কীভাবে প্রবেশ করে তা নিয়ন্ত্রণ করা, সীমাবদ্ধতাগুলি পূরণ করা হয় তা নিশ্চিত করা, ডেটাতে ক্ষতি রোধ করতে অ্যাক্সেস পলিসিগুলি রয়েছে, কাস্টম বা সরলিকৃত ডেটা ফর্ম্যাটগুলি প্রকাশ করার জন্য মতামত স্থাপন করা ইত্যাদি সংক্ষেপে, ডেটা প্রক্রিয়া প্রায় একটি পদ্ধতি বাস্তবায়ন। এমনকি যদি আপনি প্রকৃত ডিবিএ ভাড়া না করেন (ভাল ব্যক্তিদের নিয়োগ দেওয়া খুব কঠিন) তবে একটি কেন্দ্রীয় সার্ভার থাকা সত্ত্বেও আপনাকে ডেটাজুড়ে কিছু প্রকারের পদ্ধতি স্থাপনের বিষয়ে চিন্তাভাবনা শুরু করতে সক্ষম করে।


3
সম্পূর্ণরূপে সংস্করণ নিয়ন্ত্রণে সম্মত। আমি এটি ব্যবহার করি; যেমন বিকাশকারী এবং পরিসংখ্যানবিদদের যথেষ্ট পরিমাণে রয়েছে। (আমি 100% অবলম্বন দেখতে চাই তবে এটি এখনকার আর একটি পাইপ-স্বপ্ন)) এটি ব্যবহার করার জন্য শক্ত বিটটি নন-টেকিজ পাচ্ছে। কোন ধারণা প্রশংসা।
রিচি কটন

2
@ রিচি কটন: আমি জানি না কেন, তবে সংস্করণ নিয়ন্ত্রণ নন-প্রযুক্তিবিদদের ধরে নেওয়া শক্ত ধারণা বলে মনে হচ্ছে। লোকেরা কেবল একটি ফাইলের কিছু পরিবর্তন করতে থাকে, এর নাম পরিবর্তন করে ইমেলের মাধ্যমে প্রেরণ করে। কিভাবে আমি ঐ "PaperDraftCorrectedByJohnRevision3RewroteByLeslie-NewVersion3.doc" ফাইল ঘৃণা ...
নিকো

12

1
দুর্দান্ত লিঙ্ক। আমার মনে হয় আমার পক্ষে দুটি গুরুত্বপূর্ণ বার্তাগুলি হ'ল: আমাদের আরও বেশি স্বয়ংক্রিয় ডেটা পরীক্ষা করা দরকার এবং ডেটা এন্ট্রি এবং ডেটা উপস্থাপনা পৃথক করার বিষয়ে আমার ব্যাখ্যা শুরু করতে হবে।
রিচি কটন

6

আমি মনে করি আপনাকে প্রথমে নিজেকে জিজ্ঞাসা করতে হবে: লোকেরা কেন এক্সেল তৈরি করা হয়নি এমন কাজগুলি করতে এক্সেল ব্যবহার করে?

1) তারা ইতিমধ্যে এটি কীভাবে ব্যবহার করতে হয় তা 2) এটি কাজ করে। সম্ভবত একটি আনাড়ি উপায় কিন্তু এটি কাজ করে এবং তারা কি চান

আমি কয়েকটি সংখ্যার ধারা অনুলিপি করি, একটি বোতাম টিপুন এবং আমার একটি প্লট আছে। যত সহজ।

সুতরাং, কেন্দ্রীভূত ডেটাসেটগুলি, সঠিক ডাটাবেসগুলি (নোট করুন যে অ্যাক্সেস সেগুলির মধ্যে একটি নয়) এবং এগুলি ব্যবহার করে তাদের কী কী সুবিধা থাকতে পারে তা তাদের বোঝান। তবে উপরোক্ত দুটি বিষয় মনে রাখবেন: আপনাকে এমন একটি সিস্টেম স্থাপন করতে হবে যা কাজ করে এবং এটি ব্যবহার করা সহজ।

আমি অনেকবার খারাপভাবে তৈরি সিস্টেম দেখেছি যা আমাকে এক্সেলে নয় কলম এবং কাগজে ফিরে যেতে চায়!

একটি উদাহরণ হিসাবে, আমাদের যেখানে আমি কাজ করি সেখানে একটি ভয়াবহ অর্ডার সিস্টেম রয়েছে।

আমাদের একটি অর্ডার ফর্ম পূরণ করতে হবে যা একটি এক্সেল স্প্রেডশিট ছিল যেখানে আপনি পণ্যের নাম, পরিমাণ, ব্যয় ইত্যাদি ইনপুট করে দেবেন এটি সমস্ত কিছু যুক্ত করবে, টিভিএ ইত্যাদি যুক্ত করবে, আপনি এটি মুদ্রিত করে দিয়েছিলেন সচিব কে আদেশ দেবেন এবং তা হ'ল। অপর্যাপ্ত, কিন্তু এটি কাজ করে।

সেন্ট্রালাইজড ডিবি এবং সবকিছু সহ এখন আমাদের একটি অনলাইন অর্ডারিং সিস্টেম রয়েছে। এটা একটা ভয়াবহতা। অকার্যকর কীবোর্ড শর্টকাট এবং সফ্টওয়্যারটির বিভিন্ন অদ্ভুততার কারণে জঘন্য ফর্মটি পূরণ করতে আমার 10 মিনিট লাগবে না। এবং মনে রাখবেন যে আমি বেশ তথ্যবিজ্ঞান-বুদ্ধিমান, তাই কল্পনা করুন যে কম্পিউটারগুলি পছন্দ করেন না তাদের কি ঘটে ...


সম্মত হয়েছেন যে জিনিসগুলি ব্যবহারকারী বান্ধব হওয়া দরকার। যেহেতু লোকেরা তাদের কাজের অনুশীলনের উপর খুব সুরক্ষিত হয়, তাই যে কোনও পরিবর্তন অবশ্যই মানুষের জীবনকে সহজ করে দেয় বা তারা ব্যর্থ হয়।
রিচি কটন

5

আমি ইতিমধ্যে প্রদত্ত সমস্ত উত্তরকে আন্ডারলাইন করেছি, তবে আসুন একটি বিড়ালকে একটি বিড়াল বলি: অনেকগুলি কার্যক্ষেত্রে পরিচালনকে বোঝানো খুব কমই অসম্ভব যে "বহিরাগত" সফ্টওয়্যার টুলে বিনিয়োগ করা (তাদের কাছে বহিরাগত) এটি প্রয়োজনীয়, এমন কাউকে নিয়োগ দেওয়া যাক সেটাকে স্থায়ী করে দিন এটি আপ এবং এটি বজায় রাখুন। আমি বেশ কয়েকটি ক্লায়েন্টকে বলেছি যে তারা সফটওয়্যার এবং ডাটাবেসগুলিতে পুরোপুরি পটভূমির সাথে একটি পরিসংখ্যানবিদ নিয়োগ করে প্রচুর উপকৃত হবে, তবে "কিছুই করতে পারে না" হ'ল সাধারণ প্রতিক্রিয়া।

যতক্ষণ না এটি ঘটবে না, এক্সেলের সাথে আপনি করতে পারেন এমন কিছু সাধারণ জিনিস যা জীবনকে আরও সহজ করে তুলবে। এবং এর প্রথমটি সন্দেহ ছাড়াই সংস্করণ নিয়ন্ত্রণ। এক্সেলের সাথে সংস্করণ নিয়ন্ত্রণ সম্পর্কিত আরও তথ্য এখানে পাওয়া যাবে

এক্সেল ব্যবহার সম্পর্কে কিছু জিনিস

EXCEL ব্যবহার করা লোকেরা প্রায়শই EXCEL এর সূত্র বৈশিষ্ট্য পছন্দ করে। তবুও, এটি এক্সেল শিটের মধ্যে ত্রুটিগুলির সবচেয়ে গুরুত্বপূর্ণ উত্স এবং আমার অভিজ্ঞতা যতদূর যায় এক্সেল ফাইলগুলিতে পড়ার চেষ্টা করার সময় সমস্যাগুলির। আমি সূত্রযুক্ত শীট নিয়ে কাজ করতে অস্বীকার করি।

আমি যাদের সাথে কাজ করি তাদের প্রত্যেককে এক্সেল শিটগুলি একটি সরল বিন্যাসে সরবরাহ করতে বাধ্য করি, যার অর্থ:

  • প্রথম সারিতে বিভিন্ন ভেরিয়েবলের নাম রয়েছে
  • স্প্রেডশিটটি কক্ষ এ 1 এ শুরু হয়
  • সমস্ত ডেটা কলামে, কোনও বাধা ছাড়াই এবং বিন্যাস ছাড়াই রাখা হয়।
  • সম্ভব হলে ডেটা .csv ফর্ম্যাটেও সংরক্ষণ করা হয়। কোনও ভিবিএ স্ক্রিপ্ট লিখতে অসুবিধা নেই যা ডেটা উত্তোলন করবে, পুনরায় ফর্ম্যাট করবে এবং এটি একটি .csv ফাইলে রাখবে। এটি আরও ভাল সংস্করণ নিয়ন্ত্রণের অনুমতি দেয়, কারণ আপনি প্রতিদিন ডেটা .csv ডাম্প তৈরি করতে পারেন।

যদি ডেটা সর্বদা একটি সাধারণ কাঠামো থাকে তবে ডেটা যুক্ত করতে এবং বিশ্লেষণের জন্য ডেটাসেট তৈরি করতে অন্তর্নিহিত ভিবি ম্যাক্রোগুলি সহ একটি টেম্পলেট বিকাশ করা ভাল। এটি সাধারণভাবে এড়াতে পারবেন যে প্রতিটি কর্মচারী তার নিজস্ব "প্রতিভা" ডেটা সঞ্চয় করার পদ্ধতি নিয়ে আসে এবং এটি আপনাকে এই কোডটি আপনার কোডটি লেখার অনুমতি দেয় allows

এটি বলেছে, আপনি যদি সবাইকে এসকিউএল (এবং ডেটা প্রবেশের জন্য একটি প্রথম প্রান্ত) ব্যবহার করতে রাজি করতে পারেন তবে আপনি আর এর সাথে সরাসরি লিঙ্ক করতে পারেন। এটি কর্মক্ষমতা ব্যাপকভাবে বৃদ্ধি করবে।

তথ্য কাঠামো এবং পরিচালনা

একটি সাধারণ নিয়ম হিসাবে, ডাটাবেসগুলিতে সঞ্চিত ডেটা (বা যদি তারা জোর দেয় তবে এক্সেল শিট) অবশ্যই সর্বনিম্ন হওয়া উচিত, যার অর্থ কোনও অন্যান্য ভেরিয়েবল থেকে গণনা করা যায় এমন কোনও ভেরিয়েবল ডাটাবেসে থাকা উচিত নয়। মনে রাখবেন, কখনও কখনও সেইগুলি উত্পন্ন বা রূপান্তরিত ভেরিয়েবলগুলি সংরক্ষণ করা উপকারী হতে পারে, যদি গণনাগুলি ক্লান্তিকর হয় এবং দীর্ঘ সময় নেয়। তবে এগুলি একটি পৃথক ডাটাবেসে সংরক্ষণ করা উচিত, যদি প্রয়োজন হয় তবে এটির সাথে মূল লিঙ্কটি রয়েছে।

এক কেস হিসাবে বিবেচনা করা হয় (এবং তাই এক সারি) হিসাবে চিন্তাও দেওয়া উচিত। উদাহরণ হিসাবে, লোকেরা প্রতিটি সময় পয়েন্টের জন্য একটি নতুন ভেরিয়েবল তৈরি করে সময় সিরিজ উত্পাদন করে। যদিও এটি একটি এক্সেলটিতে অর্থবোধ করে, এই ডেটাগুলিতে পড়া ডেটা ম্যাট্রিক্সের চারপাশে বেশ কিছুটা উল্টানো দাবি করে। গোষ্ঠীগুলির তুলনা করার জন্য একই: প্রতিটি গ্রুপের জন্য একটি প্রতিক্রিয়ার ভেরিয়েবল নয়, একটি গ্রুপ সূচক এবং একটি প্রতিক্রিয়া ভেরিয়েবল থাকা উচিত। এইভাবে ডেটা স্ট্রাকচারগুলি পাশাপাশি মানক করা যায়।

একটি সর্বশেষ জিনিস যা আমি প্রায়শই চালাচ্ছি তা হ'ল বিভিন্ন মেট্রিকের ব্যবহার। দৈর্ঘ্য মিটার বা সেন্টিমিটারে দেওয়া হয়, সেলসিয়াস, কেলভিন বা ফারেনহাইটের তাপমাত্রা, ... একটিকে কোনও সামনের প্রান্তে বা কোনও টেমপ্লেটে নির্দেশ করা উচিত যে ইউনিটটি কী যেখানে ভেরিয়েবলটি পরিমাপ করা হয়।

এবং এই সমস্ত কিছুর পরেও, আপনি এখনও বিশ্লেষণটি শুরু করার আগে একটি ডেটা নিয়ন্ত্রণ পদক্ষেপ নিতে চান। আবার এটি এমন কোনও স্ক্রিপ্ট হতে পারে যা প্রতিদিন নতুন (যেমন রাতারাতি) নতুন এন্ট্রিগুলিতে চালিত হয় এবং তত্ক্ষণাত্ ফ্ল্যাগগুলি সমস্যা হয় (সীমার বাইরে, ভুল ধরণের, অনুপস্থিত ক্ষেত্রগুলি ...) যাতে তাদের যত তাড়াতাড়ি সম্ভব সংশোধন করা যায়। কী ভুল এবং কেন তা খুঁজে পেতে যদি আপনার 2 মাস আগে তৈরি একটি এন্ট্রিটিতে ফিরে আসতে হয় তবে আপনি এটির সংশোধন করার জন্য আরও কিছু ভাল "শার্লক-দক্ষতা" পেতে পারেন।

আমার 2 সেন্ট


কিছু খুব আকর্ষণীয় পয়েন্ট এখানে। লোকদের তাদের স্প্রেডশিটগুলি সরল ও মানিক করে তোলার জন্য তাদের এড়িয়ে যাওয়ার চেয়ে বেশি সফল হওয়ার সম্ভাবনা রয়েছে। এছাড়াও আমার কোনও ধারণা ছিল না যে সংস্করণ নিয়ন্ত্রণ এক্সেলের সাথে সংহত করতে পারে। জেনে ভালো লাগল.
রিচি কটন

2
অপ্রয়োজনীয় ভেরিয়েবল সংরক্ষণ না করার পরামর্শ সম্পর্কে: এটি আরডিবিএমএসের পক্ষে উপযুক্ত তবে আমি পরামর্শ দিতে চাই যে বিপরীতটি স্প্রেডশিটের জন্য উত্সাহিত করা উচিত। পরবর্তীগুলি ত্রুটি-প্রবণ যে ত্রুটিগুলি সনাক্ত এবং সঠিক করার পদ্ধতি অমূল্য। সেরাগুলির মধ্যে একটিতে নিরঙ্কুশ তথ্য রয়েছে, যেমন গণনা করা ক্ষেত্র এবং পরিসংখ্যানের সংক্ষিপ্তসার। উদাহরণস্বরূপ, যদি কলাম সিটি ক এবং ক কলামের অনুপাত হয়, তবে যে কোনও সারিতে একটি কলামে একটি ত্রুটি সনাক্ত করা যায় এবং সাধারণত স্থির করা যায়।
শুক্রবার

1
@ হুইবার: এটি আমরা ডেটা নিয়ন্ত্রণ পদক্ষেপে যাচাই করি। দ্রুত পরীক্ষা করতে আপনি অতিরিক্ত কলামটি ব্যবহার করতে পারেন তবে এটি চূড়ান্ত শীটে রাখা উচিত নয়। স্প্রেডশিটগুলির সূত্রগুলি হরর এবং স্প্রেডশিটটি বৃহত্তর, এর থেকে তথ্য বের করা আরও বেশি কঠিন। এছাড়াও, এক্সেলের ক্ষেত্রে আপনি যাইহোক .xls এবং .xlsx এর মধ্যে পার্থক্যগুলির বিরুদ্ধে লড়াই করবেন। নিশ্চিত হন যে মাইক্রোসফ্ট অফিস আপডেট করার কোনও ম্যানেজারের সিদ্ধান্ত যদি আপনি এক্সেল ফাইলগুলিতে বেশি ভরসা করেন তবে প্রচুর কোড বিভক্ত হতে পারে। সুতরাং: সিএসভি হিসাবে সংরক্ষণ করুন, এবং এই সিএসভি ফাইলগুলিকে যথাসম্ভব ছোট রাখুন।
জোরিস মেয়েস

আমার কেরিয়ারের গত 24 বছরের একটি উল্লেখযোগ্য অংশ স্প্রেডশিটে প্রেরণ করা ডেটার সাথে লড়াই করে এবং যথেষ্ট ডাটাবেসগুলি পরিচালনা করার পরে, আমাকে অবশ্যই সম্মানের সাথে একমত হতে হবে না। স্প্রেডশিট (.xls, .xlsx, .wks, .wb *, ইত্যাদি) বা এমনকি সিএসভি ফাইলের উপর "নিয়ন্ত্রণ" বলে কিছুই নেই। এ জাতীয় ফাইলগুলিতে অপ্রয়োজনীয় তথ্যের উপস্থিতি - এমনকি তারা কেবল মুদ্রিত আকারে পাওয়া যায় - এমনকি বেশ কয়েকবার বেশ কয়েকটি বড় ডেটাবেস (100 কে + রেকর্ড) পুনরুত্থিত করেছে। যতবারই এটি ঘটে আমি (এবং আমার ক্লায়েন্টরা) অতিরিক্ত কাজগুলির জন্য কৃতজ্ঞ।
শুক্র

@ হুশিয়ার: অসম্ভব মূল্যবোধ / বহিরাগত / বিজোড় ক্ষেত্রে সন্ধান করে আমরা অতিরিক্ত স্ক্রিপ্টগুলি সহ ডেটা নিয়ন্ত্রণ করি। ডেটা নিয়ন্ত্রণ পদক্ষেপের সাথে আমি এটাই বোঝাচ্ছি। এটি এসজিএস এবং অন্যান্য ক্লিনিকাল ট্রায়ালগুলির বিশ্লেষণ করে এমন সংস্থাগুলিতে শিল্প স্ট্যান্ডার্ড বিটিডব্লিউ etc. যদি তাদের মধ্যে একটি ব্যর্থ হয় তবে অন্যটির পুনরুত্থানের জন্য প্রয়োজন। যদি আপনার কাছে একটি শালীন ব্যাকআপ সিস্টেম না থাকে, তা ...
জোরিস

3

ভিসট্রেইলস: একটি পাইথন-ভিত্তিক বৈজ্ঞানিক কর্মপ্রবাহ এবং প্রোভেনান্স সিস্টেম । পাইকন ২০১০ এ দেওয়া এই আলোচনাটির কিছু ভাল ধারণা রয়েছে। আপনি ভিসট্রেইলস বা পাইথন ব্যবহারে আগ্রহী না হলেও শোনার পক্ষে মূল্যবান। শেষ পর্যন্ত আমি মনে করি আপনি যদি ডেটা পুনরুত্পাদন করার জন্য একটি সুস্পষ্ট নথির উপায় থাকতে চান তা করতে সক্ষম হন। এবং কিছু বৈধতা যা তারা পারে তা প্রয়োজন।

বরাত দিয়ে:

"এই আলোচনায়, আমরা ভিজট্রেইলস ( http://www.vistrails.org ) এর একটি সংক্ষিপ্ত বিবরণ দেব , একটি অজগর ভিত্তিক মুক্ত-উত্স বৈজ্ঞানিক কর্মপ্রবাহ যা স্বচ্ছভাবে উভয় ডেটা পণ্য এবং ব্যবহৃত প্রক্রিয়াগুলির প্রোভেন্যান্স (অর্থাত্ বংশ) গ্রহণ করে এই পণ্যগুলি আবিষ্কার করার জন্য আমরা কীভাবে ভিজিট্রেইলগুলি ডেটা অন্বেষণ এবং ভিজ্যুয়ালাইজেশনকে সহজতর করার জন্য ব্যবহার করতে পারি তা দেখাব। আসল উদাহরণ ব্যবহার করে আমরা সিস্টেমের মূল বৈশিষ্ট্যগুলি প্রদর্শন করব, যেখানে একাধিক সরঞ্জাম এবং আইব্রেরির সমন্বয়ে তথ্য প্রসেসিং পাইপলাইনগুলি দৃশ্যত তৈরি করার ক্ষমতা সহ রয়েছে will ভিটিকে, পাইলাব এবং ম্যাটপ্ল্লোলিব। আমরা ভিসট্রেইলগুলি কেবল ফলাফল পুনরুত্পাদনযোগ্যতা সমর্থন করার জন্যই নয়, পাইপলাইনগুলির নির্মাণ ও পরিমার্জনকে সহজ করার জন্য প্রবর্তন তথ্যকে কীভাবে উপকৃত করে তাও দেখিয়ে দেব ""


পাইথন আমাদের সংস্থায় বিস্তৃত নয় তবে এটি একটি আকর্ষণীয় প্রকল্পের মতো দেখাচ্ছে। আমি দেখব যে কীভাবে তাদের ডকুমেন্টেশন থেকে জিনিসগুলি করা উচিত সে সম্পর্কে আমি কিছু ধারণা চিমটি করতে পারি কিনা।
রিচি কটন

2

আমি সবেমাত্র ডেটা ম্যানেজমেন্ট প্ল্যানগুলিতে আইসিপিএসআর দ্বারা হোস্ট করা এই ওয়েবপৃষ্ঠা জুড়ে এসেছি । যদিও আমি মনে করি আইসিপিএসআরের লক্ষ্যগুলি আপনার ব্যবসায়ের চেয়ে কিছুটা আলাদা হবে (উদাহরণস্বরূপ তারা গোপনীয়তা লঙ্ঘন না করে তথ্য সহজেই ছড়িয়ে দিতে সক্ষম করতে আগ্রহী), আমি ধারণা করি তাদের ব্যবসায়ের কাছে দরকারী তথ্য রয়েছে। বিশেষত মেটাডেটা তৈরির বিষয়ে পরামর্শ আমার কাছে সর্বজনীন বলে মনে হয়।


2

আরও ছোট আকারের স্কেলের ক্ষেত্রে, আমি অন্যান্য গবেষক / সহযোগীদের সাথে ডেটা ফাইলগুলি (এবং স্ক্রিপ্ট এবং ফলাফল) এর একটি অনুলিপি ভাগ করে / সিঙ্ক করার অভিজ্ঞতা পেয়েছি (আমি এটি সম্পর্কে এখানে লিখেছিলাম )।

আমি যে অন্য সরঞ্জামটি ব্যবহার করেছি তা হ'ল ডেটা সংগ্রহ এবং ভাগ করে নেওয়ার জন্য গুগল ডক্স (যা সম্পর্কে আমি এখানে লিখেছি )


0

ড্রপবক্স + প্যাক্র্যাট ব্যাকআপ / সংস্করণ সহ ফাইলগুলি ভাগ করে নেওয়ার জন্য দুর্দান্ত।

তারপরে আপনি সেই ফাইলগুলি (স্বয়ংক্রিয় ক্যানোনিকালাইজেশন / ম্যাসেজের পরে) একটি ডেটাবেজে লোড করুন এবং ক্লিন-আপ ডেটা বিশ্লেষণ করুন। সংস্করণ নিয়ন্ত্রণের অধীনে এক্সট্র্যাক্ট-ট্রান্সফর্ম-লোড চক্রটি স্বয়ংক্রিয় করতে স্ক্রিপ্টগুলি রাখুন (বা প্যাক্র্যাট বিকল্প সহ কমপক্ষে একটি পৃথক ড্রপবক্স ফোল্ডার ...)।

যখন আপনার ডাটাবেস সার্ভারটি শেষ অবধি ক্র্যাশ হয়ে যায় (বা তীক্ষ্ণতর হওয়া বা যা কিছু করা দরকার) আপনার কাছে জনবান্ধব (এক্সেল, ওয়েব ফর্ম ইত্যাদি) থেকে বিশ্লেষণ-বান্ধব (সাধারণত স্বাভাবিক এবং সীমাবদ্ধ, সর্বদা পরিষ্কার করা) ডেটা স্থানান্তর করার জন্য একটি পাইপলাইন থাকে।

"ইটিএল" পর্বটি ডেটা গুদামজাত থেকে। এবং যদি আপনি কোনও অনলাইন লেনদেন প্রক্রিয়াকরণ সিস্টেম তৈরি না করে থাকেন তবে আপনি সম্ভবত একটি ডেটা গুদাম তৈরি করছেন। সুতরাং এটি আলিঙ্গন করুন এবং লোকেরা গত 30 বছর ধরে এটি তৈরি থেকে যা শিখেছে সেগুলির সুযোগ নিন।

আনন্দ কর.

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.