সিএসভি ফাইল থেকে শিরোনাম সহ পোস্টগ্রিএসকিউএল টেবিলে সিএসভি ফাইল থেকে কীভাবে অনুলিপি করবেন?

Question 1

আমি একটি পোস্টগ্রিস টেবিলের একটি সিএসভি ফাইল অনুলিপি করতে চাই। এই টেবিলটিতে প্রায় 100 টি কলাম রয়েছে, তাই আমি যদি তা না করতে পারি তবে সেগুলি পুনরায় লিখতে চাই না।

আমি \copy table from 'table.csv' delimiter ',' csv;কমান্ডটি ব্যবহার করছি তবে একটি টেবিল তৈরি না করেই পেলাম ERROR: relation "table" does not exist। যদি আমি একটি ফাঁকা টেবিল যোগ করি তবে আমি কোনও ত্রুটি পাই না, তবে কিছুই হয় না। আমি এই কমান্ডটি দুই বা তিনবার চেষ্টা করেছি এবং কোনও আউটপুট বা বার্তা ছিল না, তবে আমি যখন পিজিএডমিনের মাধ্যমে এটি পরীক্ষা করেছি তখন টেবিলটি আপডেট করা হয়নি।

আমি করার চেষ্টা করছি এমন শিরোনাম সহ এমন কোনও টেবিল আমদানির কোনও উপায় আছে কি?

Question 2

এটি কাজ করে। প্রথম সারিতে এটিতে কলামের নাম ছিল।

COPY wheat FROM 'wheat_crop_data.csv' DELIMITER ';' CSV HEADER

Question 3

পাইথন লাইব্রেরির pandasসাহায্যে আপনি কোনও সিএসভি ফাইল থেকে কলামের নাম এবং ইনফেরার ডেটার প্রকারগুলি সহজেই তৈরি করতে পারেন।

from sqlalchemy import create_engine
import pandas as pd

engine = create_engine('postgresql://user:pass@localhost/db_name')
df = pd.read_csv('/path/to/csv_file')
df.to_sql('pandas_db', engine)

if_existsপরামিতি প্রতিস্থাপন বা একটি বিদ্যমান টেবিলে সংযোজন করতে, যেমন নির্ধারণ করা যাবে df.to_sql('pandas_db', engine, if_exists='replace')। এটি অতিরিক্ত ইনপুট ফাইলের ধরণের জন্যও এখানে এবং এখানে ডক্সের জন্য কাজ করে ।

Question 4

বিনা অনুমতিতে টার্মিনাল দ্বারা বিকল্প

নোটস এ PG ডকুমেন্টেশন বলে

সার্ভার প্রক্রিয়াটির কার্যকারী ডিরেক্টরি (সাধারণত ক্লাস্টারের ডেটা ডিরেক্টরি) সম্পর্কিত, ক্লায়েন্টের ওয়ার্কিং ডিরেক্টরি নয়, পাথটির ব্যাখ্যা দেওয়া হবে।

সুতরাং, ভৌতিকভাবে, psqlকোনও স্থানীয় সার্ভারে এমনকি কোনও ক্লায়েন্ট ব্যবহার করেও আপনার সমস্যা রয়েছে ... এবং আপনি যদি অন্য ব্যবহারকারীর জন্য কপি আদেশটি প্রকাশ করেন, যেমন। গিথুব পড়ুন, পাঠকের সমস্যা হবে ...

ক্লায়েন্টের অনুমতি নিয়ে আপেক্ষিক পথটি প্রকাশের একমাত্র উপায় হল STDIN ,

যখন STDIN বা STDOUT নির্দিষ্ট করা থাকে তখন ক্লায়েন্ট এবং সার্ভারের মধ্যে সংযোগের মাধ্যমে ডেটা প্রেরণ করা হয়।

যেমন এখানে মনে আছে :

psql -h remotehost -d remote_mydb -U myuser -c \
   "copy mytable (column1, column2) from STDIN with delimiter as ','" \
   < ./relative_path/file.csv

Question 5

আমি কোনও সমস্যা ছাড়াই কিছুক্ষণ এই ফাংশনটি ব্যবহার করে আসছি। আপনাকে কেবল সিএসভি ফাইলে থাকা সংখ্যা কলামগুলি সরবরাহ করতে হবে এবং এটি প্রথম সারির শিরোনামের নামগুলি নেবে এবং আপনার জন্য সারণী তৈরি করবে:

create or replace function data.load_csv_file
    (
        target_table  text, -- name of the table that will be created
        csv_file_path text,
        col_count     integer
    )

    returns void

as $$

declare
    iter      integer; -- dummy integer to iterate columns with
    col       text; -- to keep column names in each iteration
    col_first text; -- first column name, e.g., top left corner on a csv file or spreadsheet

begin
    set schema 'data';

    create table temp_table ();

    -- add just enough number of columns
    for iter in 1..col_count
    loop
        execute format ('alter table temp_table add column col_%s text;', iter);
    end loop;

    -- copy the data from csv file
    execute format ('copy temp_table from %L with delimiter '','' quote ''"'' csv ', csv_file_path);

    iter := 1;
    col_first := (select col_1
                  from temp_table
                  limit 1);

    -- update the column names based on the first row which has the column names
    for col in execute format ('select unnest(string_to_array(trim(temp_table::text, ''()''), '','')) from temp_table where col_1 = %L', col_first)
    loop
        execute format ('alter table temp_table rename column col_%s to %s', iter, col);
        iter := iter + 1;
    end loop;

    -- delete the columns row // using quote_ident or %I does not work here!?
    execute format ('delete from temp_table where %s = %L', col_first, col_first);

    -- change the temp table name to the name given as parameter, if not blank
    if length (target_table) > 0 then
        execute format ('alter table temp_table rename to %I', target_table);
    end if;
end;

$$ language plpgsql;

Question 6

আপনি d6tstack ব্যবহার করতে পারেন যা আপনার জন্য সারণী তৈরি করে এবং pd.to_sql () এর চেয়ে দ্রুততর কারণ এটি স্থানীয় ডিবি আমদানি কমান্ড ব্যবহার করে। এটি পোস্টগ্রিসের পাশাপাশি এমওয়াইএসকিউএল এবং এমএস এসকিউএল সমর্থন করে।

import pandas as pd
df = pd.read_csv('table.csv')
uri_psql = 'postgresql+psycopg2://usr:pwd@localhost/db'
d6tstack.utils.pd_to_psql(df, uri_psql, 'table')

এটি একাধিক সিএসভি আমদানি করার জন্য, ডেবি স্কেটিংয়ের আগে ডেটা স্কিমা পরিবর্তনগুলি এবং / অথবা পান্ডার (যেমন তারিখের জন্য) প্রিপ্রোসেসের সমাধানের জন্য দরকারী, উদাহরণ নোটবুকে আরও নীচে দেখুন

d6tstack.combine_csv.CombinerCSV(glob.glob('*.csv'), 
    apply_after_read=apply_fun).to_psql_combine(uri_psql, 'table')