আমার লক্ষ্য হ'ল দ্রুপাল using ব্যবহার করে বেশ কয়েকটি খুব বড় ফ্ল্যাট-ফাইল ডেটা উত্স ( সিএসভি , ফিক্সড প্রস্থ এবং এক্সএমএল ডক্স) এর মধ্যে কেবল পঠনযোগ্য ডেটা অ্যাক্সেসের জন্য একটি দ্রুত, নির্ভরযোগ্য এবং স্বয়ংক্রিয় পদ্ধতি তৈরি করা যা ভিউ 3 ব্যবহারের বিরুদ্ধে জিজ্ঞাসা করা যেতে পারে মডিউল। আমি ইতিমধ্যে উপলব্ধ মডিউলগুলি ব্যবহার করতে পছন্দ করব তবে কাস্টম মডিউল তৈরি করাও একটি বিকল্প।
কাজের জন্য উপযুক্ত নয় মডিউল এবং পদ্ধতিগুলি ছড়িয়ে দেওয়ার জন্য, আমি যে ফাইলগুলির সাথে কাজ করছি তার পরিসংখ্যান এখানে রইল:
- বার্ষিক আমদানি: 8,500,000 লাইন সিএসভি ফাইল। (বার্ষিক সাজা এবং পুনরায় লোড করা হয়েছে primary প্রাথমিক কী রয়েছে))
- সাপ্তাহিক আমদানি: 350,000 লাইন স্থির প্রস্থ ফাইল। (সাপ্তাহিক সাজা এবং পুনরায় লোড করা হয়েছে primary প্রাথমিক কী নেই ))
- প্রতি ঘন্টা আমদানি: 3,400 লাইন সিএসভি ফাইল। (যতবার সম্ভব আপডেট এবং সিঙ্ক করতে চান তবে প্রতি 20 মিনিটের বেশি হবে না primary প্রাথমিক কী রয়েছে)
- দৈনিক আমদানি: 200 আইটেম এক্সএমএল ফাইল। (প্রতিদিন খচিত এবং পুনরায় লোড করা হয়েছে primary প্রাথমিক কী রয়েছে)
তিনটি ফর্ম্যাটের মধ্যে রূপান্তর করা কোনও সমস্যা নয় এবং এটি আমদানি পারফরম্যান্সকে উন্নত করবে বা আরও ভাল সরঞ্জাম উপলব্ধ করার সুযোগ দিলে তা করা যায়। ( স্থির প্রস্থ থেকে সিএসভি ইত্যাদির জন্য AWK ইত্যাদি) ক্রোন এবং শ স্ক্রিপ্টগুলির মাধ্যমে পুনরুদ্ধার এবং রূপান্তর অটোমেশন সহজ , তবে তবুও ড্রুপাল 7 ইন্টিগ্রেশনটি স্বয়ংক্রিয় করতে হবে। যতক্ষণ না ভ্যু সম্পর্ক ব্যবহার করে ডেটা উল্লেখ করতে পারে ততক্ষণ কাস্টম সারণীর ব্যবহারও সম্ভব।
ড্রুপাল 7 এর সাথে এই জাতীয় ডেটা সংহত করার জন্য সর্বোত্তম অনুশীলনটি কী হবে? এছাড়াও, আমি কি ডেটা বা আমি সম্পাদন করার চেষ্টা করছি সম্পর্কিত কোনও গুরুত্বপূর্ণ বিবরণ রেখে দিচ্ছি?
এখানে কয়েকটি প্রকল্প আমি বর্তমানে সন্ধানের জন্য সমাধান খুঁজছি are বৃহত্তর ডেটা আমদানি নিয়ে কাজ করার সময় কোনটি রুট নিতে হবে তা সিদ্ধান্ত নিতে অন্যদের সহায়তা করতে আমি এটিকে প্রসারিত করতে চাই।
নোডগুলিতে ডেটা আমদানি করা:
- ফিডস (বর্তমানে ডি 7 এর জন্য আলফা)
ফিডগুলি নির্ভরযোগ্যভাবে ডেটা আমদানি করবে। ছোট ডেটা উত্সগুলির জন্য গতি যুক্তিসঙ্গত তবে 300k + টেবিলের জন্য খুব ধীর।
ক্রোন এবং জব শিডিয়ুলার (বর্তমানে ডি 7 এর জন্য আলফা) ব্যবহার করে অটোমেশন উপলব্ধ ।
উত্স ডেটাতে কোনও সূচক বা অনন্য কী উপলব্ধ না হওয়া এটি ব্যবহার করা কঠিন করে তুলছে। এটি ফিডগুলির চেয়ে দ্রুত, তবে এখনও খুব বড় টেবিলগুলি আমদানি করতে ধীর।
অটোমেশন ড্রাশ এবং ক্রোন এর মাধ্যমে উপলব্ধ।
নোডের পরিবর্তে কাস্টম টেবিল
- ডেটা মডিউল (বর্তমানে ডি 7 এর জন্য আলফা)
ডেটা মডিউল খুব আশাপ্রদ দেখায়, কিন্তু মুহূর্তে D7 জন্য খুবই ত্রুটি মুক্ত নয়। অটোমেশন এবং আমদানির গতির প্রয়োজনীয়তাগুলি ডেটা ব্যবহার করে সহজেই পূরণ করা যায় তবে নির্ভরযোগ্যতার অভাব হয়। মতামত ইন্টিগ্রেশন (লিঙ্ক d6 জন্য) খুব আশাপ্রদ দেখায়।
- সারণী উইজার্ড (ডি 7-র জন্য উপলব্ধ নয়)
রেফারেন্সের জন্য এটি যুক্ত করা হয়েছে। এই মুহুর্তে কোনও ডি 7 প্রার্থী নেই, তবে এটি একটি কাস্টম মডিউলটির সূচনা পয়েন্ট হিসাবে কাজ করতে পারে।
- স্কিমা দর্শন (কেবলমাত্র পরিত্যক্ত, ডি 6)
রেফারেন্সের জন্য এটি যুক্ত করা হয়েছে। এটি ড্রপাল in. এ টেবিল উইজার্ড দ্বারা শোষিত হয়েছে বলে মনে হয় আবার, কেবলমাত্র রেফারেন্সের জন্য যুক্ত।
- আমদানিকারক (ডি 7 এর জন্য আরসি 2)
দেখার একীকরণের জন্য সারণি উইজার্ড (কেবলমাত্র ডি 6) প্রয়োজন বলে মনে হচ্ছে । রেফারেন্সের জন্য যুক্ত করা হয়েছে, তবে ভিউগুলির প্রয়োজনীয়তা পূরণ করে না।
@ এমপিডি - একটি সম্ভাব্য সমাধান এবং প্রসারিত মডিউল হিসাবে "কাস্টম টেবিলগুলি" যুক্ত হয়েছে। এই সংযোজনের জন্য আপনাকে ধন্যবাদ।