ইলাস্টিকসার্কে একটি জেএসওএন ফাইল আমদানি / সূচক করুন

Question 1

আমি ইলাস্টিকসার্কে নতুন এবং এখন অবধি ম্যানুয়ালি ডেটা প্রবেশ করছিলাম। উদাহরণস্বরূপ আমি এই জাতীয় কিছু করেছি:

$ curl -XPUT 'http://localhost:9200/twitter/tweet/1' -d '{
    "user" : "kimchy",
    "post_date" : "2009-11-15T14:12:12",
    "message" : "trying out Elastic Search"
}'

আমার কাছে এখন একটি .json ফাইল আছে এবং আমি এটিকে ইলাস্টিকসर्चে সূচি দিতে চাই। আমিও এরকম কিছু চেষ্টা করেছি, কিন্তু সফলতা পাইনি:

curl -XPOST 'http://jfblouvmlxecs01:9200/test/test/1' -d lane.json

আমি কীভাবে একটি .json ফাইল আমদানি করব? ম্যাপিংটি সঠিক কিনা তা নিশ্চিত করার জন্য প্রথমে আমার কী পদক্ষেপ নিতে হবে?

Question 2

কার্ল সহ কোনও ফাইল ব্যবহার করতে চাইলে সঠিক কমান্ডটি হ'ল:

curl -XPOST 'http://jfblouvmlxecs01:9200/test/_doc/1' -d @lane.json

ইলাস্টিক অনুসন্ধানটি স্কিমহীন, অতএব আপনার অগত্যা কোনও ম্যাপিংয়ের দরকার নেই। আপনি যদি জসনকে যেমনটি প্রেরণ করেন এবং আপনি ডিফল্ট ম্যাপিং ব্যবহার করেন তবে প্রতিটি ক্ষেত্রকে মান বিশ্লেষক ব্যবহার করে সূচিযুক্ত এবং বিশ্লেষণ করা হবে ।

আপনি কমান্ড লাইন মাধ্যমে Elasticsearch সাথে যোগাযোগ করার জন্য চান, আপনি কটাক্ষপাত আছে করতে পারেন elasticshell যা কার্ল চেয়ে একটি সামান্য বিট handier হওয়া উচিত।

2019-07-10: লক্ষ করা উচিত যে কাস্টম ম্যাপিংয়ের ধরণগুলি অবচিত এবং ব্যবহার করা উচিত নয়। কোনটি সূচকটি ছিল এবং কোনটি "টেস্ট" নামকরণ দুটোকেই বিভ্রান্তিকর বলে মনে হচ্ছে তা সহজ করার জন্য আমি উপরের url তে টাইপটি আপডেট করেছি।

Question 3

বর্তমান দস্তাবেজগুলি অনুসারে, https://www.elastic.co/guide/en/elasticsearch/references/current/docs-bulk.html :

যদি আপনি কার্ল করতে পাঠ্য ফাইলের ইনপুট সরবরাহ করে থাকেন তবে আপনাকে অবশ্যই প্লেইন-ডি-এর পরিবর্তে --ডাটা-বাইনারি পতাকা ব্যবহার করতে হবে। পরেরটি নিউলাইনগুলি সংরক্ষণ করে না।

উদাহরণ:

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests

Question 4

এই ধরণের জিনিসটির জন্য আমরা একটি ছোট সরঞ্জাম তৈরি করেছি https://github.com/taskrabbit/elasticsearch-dump

Question 5

আমি ইলাস্টিকসার্চ_লোডার লেখক
এই সঠিক সমস্যার জন্য আমি ইএসএল লিখেছি।

আপনি এটি পিপ দিয়ে ডাউনলোড করতে পারেন:

pip install elasticsearch-loader

এবং তারপরে আপনি ইস্যু করে জসন ফাইলগুলি স্থিতিস্থাপক অনুসন্ধানে লোড করতে সক্ষম হবেন:

elasticsearch_loader --index incidents --type incident json file1.json file2.json

Question 6

একটি জিনিস যা আমি কাউকে উল্লেখ করতে দেখিনি: JSON ফাইলে অবশ্যই "খাঁটি" জেএসএন ফাইলের প্রতিটি লাইনের জন্য সূচকটি নির্দিষ্ট করে একটি লাইন থাকতে হবে line

আইই

{"index":{"_index":"shakespeare","_type":"act","_id":0}}
{"line_id":1,"play_name":"Henry IV","speech_number":"","line_number":"","speaker":"","text_entry":"ACT I"}

এটি ছাড়া কোনও কিছুই কার্যকর হয় না এবং এটি আপনাকে বলবে না

Question 7

কেনএইচের উত্তরে যুক্ত করা হচ্ছে

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests

আপনি প্রতিস্থাপন করতে পারেন @requestsসঙ্গে@complete_path_to_json_file

দ্রষ্টব্য: @ফাইল পাথের আগে গুরুত্বপূর্ণ

Question 8

আমি ঠিক নিশ্চিত করেছিলাম যে আমি জাসন ফাইলের মতো একই ডিরেক্টরিতে আছি এবং তারপর কেবল এটি চালিয়েছি

curl -s -H "Content-Type: application/json" -XPOST localhost:9200/product/default/_bulk?pretty --data-binary @product.json

সুতরাং যদি আপনিও নিশ্চিত হন যে আপনি একই ডিরেক্টরিতে আছেন এবং এটি এটিকে চালান। দ্রষ্টব্য: কমান্ডের মধ্যে পণ্য / ডিফল্ট / আমার পরিবেশের সাথে নির্দিষ্ট। আপনি এটিকে বাদ দিতে পারেন বা আপনার কাছে প্রাসঙ্গিক যা তা প্রতিস্থাপন করতে পারেন।

Question 9

কেবল https://www.getpostman.com/docs/en वातावरण থেকে পোস্টম্যান পান এটিকে / পরীক্ষা / পরীক্ষা / 1 / _বুল্ক? সুন্দর কমান্ডের সাহায্যে ফাইলের অবস্থান দেয় give

Question 10

আপনি ব্যবহার করছেন

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests

যদি 'অনুরোধগুলি' কোনও জাসন ফাইল হয় তবে আপনার এটিতে পরিবর্তন করতে হবে

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests.json

এখন এর আগে, যদি আপনার জসন ফাইলটি সূচী না করা হয়, আপনাকে জসন ফাইলের ভিতরে প্রতিটি লাইনের আগে একটি সূচক লাইন প্রবেশ করতে হবে। আপনি জিকিউ দিয়ে এটি করতে পারেন। নীচের লিঙ্কটি দেখুন: http://kevinmarsh.com/2014/10/23/ using-jq-to-import-json-into-elasticsearch.html

ইলাস্টিকসर्च টিউটোরিয়ালগুলিতে যান (উদাহরণস্বরূপ শেক্সপিয়ার টিউটোরিয়াল) এবং ব্যবহৃত জসন ফাইলের নমুনা ডাউনলোড করুন এবং এটি দেখুন। প্রতিটি জসন বস্তুর (প্রতিটি স্বতন্ত্র লাইন) সামনে একটি সূচক লাইন থাকে। আপনি jq কমান্ড ব্যবহার করার পরে এটি সন্ধান করছেন। এই ফর্ম্যাটটি বাল্ক এপিআই, প্লেইন জসন ফাইলগুলি কাজ করবে না ব্যবহার বাধ্যতামূলক।

Question 11

ইলাস্টিকসার্চ 7.7 অনুসারে, আপনাকে সামগ্রীর ধরণটিও উল্লেখ করতে হবে:

curl -s -H "Content-Type: application/json" -XPOST localhost:9200/_bulk --data-binary @<absolute path to JSON file>

Question 12

আপনি যদি ইলাস্টিক অনুসন্ধান 7..7 বা তার বেশি সংস্করণ ব্যবহার করে থাকেন তবে নীচের আদেশটি অনুসরণ করুন।

curl -H "Content-Type: application/json" -XPOST "localhost:9200/bank/_bulk? pretty&refresh" --data-binary @"/Users/waseem.khan/waseem/elastic/account.json"
উপরের ফাইল পাথ হয় /Users/waseem.khan/waseem/elastic/account.json।
আপনি যদি ইলাস্টিক অনুসন্ধান 6.x সংস্করণ ব্যবহার করে থাকেন তবে আপনি নীচের আদেশটি ব্যবহার করতে পারেন।

curl -X POST localhost:9200/bank/_bulk?pretty&refresh --data-binary @"/Users/waseem.khan/waseem/elastic/account.json" -H 'Content-Type: application/json'

দ্রষ্টব্য : আপনার .json ফাইলটি শেষে নিশ্চিত করুন যে আপনি একটি খালি লাইন যুক্ত করবেন অন্যথায় আপনি ব্যতিক্রমের নীচে পাচ্ছেন।

"error" : {
"root_cause" : [
  {
    "type" : "illegal_argument_exception",
    "reason" : "The bulk request must be terminated by a newline [\n]"
  }
],
"type" : "illegal_argument_exception",
"reason" : "The bulk request must be terminated by a newline [\n]"
},
`enter code here`"status" : 400

Question 13

আপনি যদি এতে ভার্চুয়ালবক্স এবং ইউবুন্টু ব্যবহার করছেন বা আপনি কেবল ইউবন্টু ব্যবহার করছেন তবে এটি কার্যকর হতে পারে

wget https://github.com/andrewvc/ee-datasets/archive/master.zip
sudo apt-get install unzip (only if unzip module is not installed)
unzip master.zip
cd ee-datasets
java -jar elastic-loader.jar http://localhost:9200 datasets/movie_db.eloader

Question 14

আমি একটি ফাইল সিস্টেম এপিআইয়ের মাধ্যমে ইলাস্টিকসার্ক এপিআই প্রকাশ করার জন্য কিছু কোড লিখেছি।

উদাহরণস্বরূপ স্পষ্ট রফতানি / ডেটা আমদানির জন্য এটি ভাল ধারণা।

আমি সৃষ্টি করেছি প্রোটোটাইপ ইলাস্টিকড্রাইভার তৈরি করেছি । এটি FUSE এর উপর ভিত্তি করে

Question 15

আপনি যদি ইলাস্টিকসার্কে কোনও জসন ফাইল আমদানি করতে চান এবং একটি সূচক তৈরি করতে চান তবে এই পাইথন স্ক্রিপ্টটি ব্যবহার করুন।

import json
from elasticsearch import Elasticsearch

es = Elasticsearch([{'host': 'localhost', 'port': 9200}])
i = 0
with open('el_dharan.json') as raw_data:
    json_docs = json.load(raw_data)
    for json_doc in json_docs:
            i = i + 1
            es.index(index='ind_dharan', doc_type='doc_dharan', id=i, body=json.dumps(json_doc))