স্বেচ্ছাসেবী JSON কে সিএসভিতে জিকিউ ব্যবহার করে কীভাবে রূপান্তর করবেন?

Question 1

জেকিউ ব্যবহার করে , কীভাবে নির্বিচারে জেএসওএন এনকোডিং করে অগভীর অবজেক্টের অ্যারে সিএসভিতে রূপান্তর করা যায়?

এই সাইটটিতে প্রচুর প্রশ্নোত্তর রয়েছে যা নির্দিষ্ট ডেটা মডেলগুলির ক্ষেত্রগুলিকে হার্ড-কোড করে থাকে তবে এই প্রশ্নের উত্তরগুলি যে কোনও জেএসএনকে দেওয়া উচিত, কেবলমাত্র এটি সীমাবদ্ধ বৈশিষ্ট্যযুক্ত বস্তুর অ্যারে (কোনও গভীর / জটিল / সাব-অবজেক্টস যেমন এটিকে চাটুকার করা অন্য প্রশ্ন) ফলাফলটিতে মাঠের নাম দেওয়ার সাথে একটি শিরোনাম সারি থাকা উচিত। প্রথম বস্তুর ক্ষেত্র ক্রম সংরক্ষণ করে এমন উত্তরগুলিতে অগ্রাধিকার দেওয়া হবে, তবে এটির প্রয়োজন নেই। ফলাফলগুলি সমস্ত কোষগুলিকে ডাবল-কোট দিয়ে আবদ্ধ করতে পারে বা কেবল উক্ত আবশ্যকতাগুলিকে আবদ্ধ করতে পারে (যেমন 'এ, বি'))

উদাহরণ

ইনপুট:

[
    {"code": "NSW", "name": "New South Wales", "level":"state", "country": "AU"},
    {"code": "AB", "name": "Alberta", "level":"province", "country": "CA"},
    {"code": "ABD", "name": "Aberdeenshire", "level":"council area", "country": "GB"},
    {"code": "AK", "name": "Alaska", "level":"state", "country": "US"}
]

সম্ভাব্য আউটপুট:

code,name,level,country
NSW,New South Wales,state,AU
AB,Alberta,province,CA
ABD,Aberdeenshire,council area,GB
AK,Alaska,state,US

সম্ভাব্য আউটপুট:

"code","name","level","country"
"NSW","New South Wales","state","AU"
"AB","Alberta","province","CA"
"ABD","Aberdeenshire","council area","GB"
"AK","Alaska","state","US"

ইনপুট:

[
    {"name": "bang", "value": "!", "level": 0},
    {"name": "letters", "value": "a,b,c", "level": 0},
    {"name": "letters", "value": "x,y,z", "level": 1},
    {"name": "bang", "value": "\"!\"", "level": 1}
]

সম্ভাব্য আউটপুট:

name,value,level
bang,!,0
letters,"a,b,c",0
letters,"x,y,z",1
bang,"""!""",0

সম্ভাব্য আউটপুট:

"name","value","level"
"bang","!","0"
"letters","a,b,c","0"
"letters","x,y,z","1"
"bang","""!""","1"

Question 2

প্রথমে, আপনার অবজেক্ট অ্যারে ইনপুটটিতে সমস্ত পৃথক অবজেক্ট বৈশিষ্ট্যের নাম যুক্ত একটি অ্যারে পান। এগুলি আপনার সিএসভির কলাম হবে:

(map(keys) | add | unique) as $cols

তারপরে, অবজেক্ট অ্যারে ইনপুটটিতে প্রতিটি বস্তুর জন্য, বস্তুর সংশ্লিষ্ট বৈশিষ্ট্যগুলিতে প্রাপ্ত কলামের নামগুলি ম্যাপ করুন। এগুলি আপনার সিএসভির সারি হবে।

map(. as $row | $cols | map($row[.])) as $rows

শেষ অবধি, CSV এর শিরোনাম হিসাবে সারিগুলির আগে কলামের নামগুলি রাখুন এবং ফলস্বরূপ সারি স্ট্রিমটি @csvফিল্টারটিতে দিন।

$cols, $rows[] | @csv

সব একসঙ্গে এখন. -rকাঁচা স্ট্রিং হিসাবে ফলাফল পেতে পতাকা ব্যবহার করতে ভুলবেন না:

jq -r '(map(keys) | add | unique) as $cols | map(. as $row | $cols | map($row[.])) as $rows | $cols, $rows[] | @csv'

Question 3

চর্মসার

jq -r '(.[0] | keys_unsorted) as $keys | $keys, map([.[ $keys[] ]])[] | @csv'

বা:

jq -r '(.[0] | keys_unsorted) as $keys | ([$keys] + map([.[ $keys[] ]])) [] | @csv'

বিস্তারিত

পাশে

বিশদটি বর্ণনা করা জটিল কারণ জেকিউ স্ট্রিম-ওরিয়েন্টড, এর অর্থ এটি কোনও একক মানের পরিবর্তে জেএসওএন ডেটার ক্রমিকায় কাজ করে। ইনপুট জেএসএন স্ট্রিমটি কিছু অভ্যন্তরীণ প্রকারে রূপান্তরিত হয় যা ফিল্টারগুলির মধ্য দিয়ে যায় এবং তারপরে প্রোগ্রামের শেষে একটি আউটপুট স্ট্রিমে এনকোড হয়। অভ্যন্তরীণ প্রকারটি JSON দ্বারা মডেলিং হয় না এবং নামযুক্ত ধরণের হিসাবে উপস্থিত হয় না। এটি একটি বেয়ার ইনডেক্স ( .[]) বা কমা অপারেটরের আউটপুট পরীক্ষা করে খুব সহজেই প্রদর্শিত হয় (এটি সরাসরি পরীক্ষা করা কোনও ডিবাগারের সাহায্যে করা যেতে পারে, তবে এটি জেএসএন-এর পিছনে ধারণাগত ডেটা ধরণের পরিবর্তে জেউ-র অভ্যন্তরীণ ডেটা ধরণের ক্ষেত্রে হতে পারে) ।

$ jq -c '। []' <<< '["ক", "খ"]'
"ক"
"খ"
$ jq -cn '"এ", "বি"'
"ক"
"খ"

দ্রষ্টব্য যে আউটপুট কোনও অ্যারে নয় (যা হবে ["a", "b"])। কমপ্যাক্ট আউটপুট ( -cবিকল্প) দেখায় যে প্রতিটি অ্যারে উপাদান (বা ,ফিল্টারের সাথে যুক্তি ) আউটপুটে একটি পৃথক বস্তুতে পরিণত হয় (প্রত্যেকে পৃথক লাইনে থাকে)।

একটি স্ট্রীম একটি মত হল তাদেরকে JSON-SeQ , বরং তুলনায় নতুন লাইন ব্যবহার আরএস যখন এনকোড একটি আউটপুট বিভাজক হিসাবে। ফলস্বরূপ, এই অভ্যন্তরীণ ধরণটি জেনেরিক শব্দটি "উত্তর" এর সাথে উত্তরটিতে এনকোডড ইনপুট এবং আউটপুট জন্য "স্ট্রিম" দিয়ে সংরক্ষণ করা হয়।

ফিল্টার নির্মাণ

প্রথম অবজেক্টের কীগুলি এর সাথে বের করা যেতে পারে:

.[0] | keys_unsorted

কীগুলি সাধারণত তাদের মূল ক্রমে রাখা হবে তবে সঠিক ক্রম সংরক্ষণের নিশ্চয়তা নেই। ফলস্বরূপ, একই ক্রমে মানগুলি পেতে সেগুলিকে সূচকগুলি ব্যবহার করতে হবে to যদি কিছু বস্তুর আলাদা কী অর্ডার থাকে তবে এটি ভুল কলামগুলিতে থাকা মানগুলিও প্রতিরোধ করবে।

উভয়কে প্রথম সারির হিসাবে কীগুলি আউটপুট দেওয়ার জন্য এবং এগুলি সূচীকরণের জন্য উপলব্ধ করার জন্য, তারা একটি ভেরিয়েবলে সংরক্ষণ করা হয়। পাইপলাইনের পরবর্তী পর্যায়ে তারপরে এই পরিবর্তনশীলটিকে উল্লেখ করে এবং আউটপুট প্রবাহে শিরোনামটি প্রিপেন্ড করতে কমা অপারেটর ব্যবহার করে।

(.[0] | keys_unsorted) as $keys | $keys, ...

কমা পরে অভিব্যক্তি একটু জড়িত। কোনও বস্তুর সূচক অপারেটর স্ট্রিংগুলির ক্রম নিতে পারে (উদাহরণস্বরূপ "name", "value"), সেই স্ট্রিংগুলির জন্য সম্পত্তি মানগুলির ক্রম ফিরিয়ে আনতে পারে। $keysএকটি অ্যারে, ক্রম নয়, সুতরাং []এটি একটি অনুক্রমে রূপান্তর করতে প্রয়োগ করা হয়,

$keys[]

যা পরে পাস করা যেতে পারে .[]

.[ $keys[] ]

এটিও একটি সিক্যুয়েন্স তৈরি করে, সুতরাং অ্যারে কনস্ট্রাক্টর এটি অ্যারে রূপান্তর করতে ব্যবহৃত হয়।

[.[ $keys[] ]]

এই অভিব্যক্তিটি একটি একক বস্তুর জন্য প্রয়োগ করতে হবে। map()এটি বাইরের অ্যারেতে সমস্ত বস্তুর জন্য প্রয়োগ করতে ব্যবহৃত হয়:

map([.[ $keys[] ]])

শেষ পর্যন্ত এই পর্যায়ে, এটি একটি অনুক্রমে রূপান্তরিত হয় যাতে প্রতিটি আইটেম আউটপুটে একটি পৃথক সারিতে পরিণত হয়।

map([.[ $keys[] ]])[]

সিক্যুয়েন্সটি কেন mapএটির বাইরে আনব্যান্ডল করার জন্য কেবল বিন্যাসে অ্যারেতে বান্ডিল করবেন ? mapএকটি অ্যারে উত্পাদন করে; .[ $keys[] ]একটি ক্রম উত্পাদন করে। mapসিকোয়েন্স থেকে প্রয়োগ করা হলে .[ $keys[] ]মানগুলির ক্রমগুলির একটি অ্যারে তৈরি হবে, তবে যেহেতু অনুক্রমগুলি কোনও JSON প্রকার নয়, সুতরাং পরিবর্তে আপনি সমস্ত মান সমেত একটি সমতল অ্যারে পাবেন।

["NSW","AU","state","New South Wales","AB","CA","province","Alberta","ABD","GB","council area","Aberdeenshire","AK","US","state","Alaska"]

প্রতিটি বস্তুর মানগুলি পৃথক করে রাখা দরকার, যাতে তারা চূড়ান্ত আউটপুটে পৃথক সারি হয়ে যায়।

অবশেষে, সিকোয়েন্সটি @csvফর্ম্যাটারের মাধ্যমে পাস করা হয় ।

বিকল্প

আইটেমগুলি প্রথম চেয়ে বরং দেরিতে পৃথক করা যায়। সিকোয়েন্স পেতে কমা অপারেটরটি ব্যবহার করার পরিবর্তে (ডান অপারেণ্ড হিসাবে একটি অনুক্রম পাস করা) শিরোনাম সিকোয়েন্স ( $keys) একটি অ্যারেতে আবৃত হতে পারে এবং +মানগুলির অ্যারে সংযোজন করতে ব্যবহৃত হয়। এখনও পাস হওয়ার আগে একটা ক্রম রূপান্তরিত করার জন্য দরকার @csv।

Question 4

আমি একটি ফাংশন তৈরি করেছি যা শিরোনামগুলির সাথে সিএসভিতে অবজেক্ট বা অ্যারেগুলির একটি অ্যারে আউটপুট করে। কলামগুলি শিরোনামগুলির ক্রমে থাকবে।

def to_csv($headers):
    def _object_to_csv:
        ($headers | @csv),
        (.[] | [.[$headers[]]] | @csv);
    def _array_to_csv:
        ($headers | @csv),
        (.[][:$headers|length] | @csv);
    if .[0]|type == "object"
        then _object_to_csv
        else _array_to_csv
    end;

সুতরাং আপনি এটি এর মতো ব্যবহার করতে পারেন:

to_csv([ "code", "name", "level", "country" ])

Question 5

নিম্নলিখিত ফিল্টারটি সামান্য আলাদা যে এটি প্রতিটি মানকে স্ট্রিতে রূপান্তরিত করে তা নিশ্চিত করবে। (jq 1.5+)

# For an array of many objects
jq -f filter.jq [file]

# For many objects (not within array)
jq -s -f filter.jq [file]

ছাঁকনি: filter.jq

def tocsv:
    (map(keys)
        |add
        |unique
        |sort
    ) as $cols
    |map(. as $row
        |$cols
        |map($row[.]|tostring)
    ) as $rows
    |$cols,$rows[]
    | @csv;

tocsv

Question 6

সান্টিয়াগো প্রোগ্রামের এই রূপটিও নিরাপদ তবে এটি নিশ্চিত করে যে প্রথম অবজেক্টের মূল নামগুলি প্রথম কলাম শিরোনাম হিসাবে ব্যবহৃত হবে that বস্তুটিতে যেভাবে প্রদর্শিত হবে:

def tocsv:
  if length == 0 then empty
  else
    (.[0] | keys_unsorted) as $keys
    | (map(keys) | add | unique) as $allkeys
    | ($keys + ($allkeys - $keys)) as $cols
    | ($cols, (.[] as $row | $cols | map($row[.])))
    | @csv
  end ;

tocsv