shell腳本操作postgresql的方法

Posted on by

PostgreSQL是一種特性非常齊全的自由軟件的對象-關系型數據庫管理系統（ORDBMS），是以加州大學計算機系開發的POSTGRES，4.2版本為基礎的對象關系型數據庫管理系統。POSTGRES的許多領先概念隻是在比較遲的時候才出現在商業網站數據庫中。PostgreSQL支持大部分的SQL標準並且提供瞭很多其他現代特性，如復雜查詢、外鍵、觸發器、視圖、事務完整性、多版本並發控制等。同樣，PostgreSQL也可以用許多方法擴展，例如通過增加新的數據類型、函數、操作符、聚集函數、索引方法、過程語言等。另外，因為許可證的靈活，任何人都可以以任何目的免費使用、修改和分發PostgreSQL。

以前抽數據都是從其他數據庫抽取到postgres數據庫的所以選擇kettle。新項目需求裡需要把客戶給的csv文件數據抽到postgresql，其中還需要對相關字段進行清洗。先聲明下kettle也可以實現，但是總感覺依賴第三方軟件抽數據不如直接操作數據庫，除非逼不得已，盡量不用（純屬個人見解）。於是就研究linux直接連接數據庫處理這部分需求。代碼如下

#!/bin/bash
# *****************************************************
# ** linux_schedule_test
# *****************************************************
 
#\copy test from '/etl-script/test.csv' delimiter ',' csv header encoding 'UTF8';
# copy test_copy to 'D:\test_copy1.csv' delimiter ',' csv header encoding 'GBK';
 
export PATH=/usr/pgsql-10/bin:/usr/bin;
 
psql "host=127.0.0.1 port=5434 user=admin  password=123456 dbname=linux_schedule_test" << EOF #2>/dev/null
 
\copy test from '/etl-script/test.csv' delimiter ',' csv header encoding 'GBK';
 
create table test$(date +%Y%m%d_%H%m%S) as select * from test;
 
\q
EOF

export PATH=/usr/pgsql-10/bin:/usr/bin ：因為環境作用域問題，最好在腳本開始處將要用到的命令添加PATH路徑。

psql "host=127.0.0.1 port=5434 user=admin  password=123456 dbname=linux_schedule_test" ：連接數據庫

<< EOF ： 通過重定向，停留在psql客戶端。

#2>/dev/null 腳本出錯不輸出，調試時建議註釋掉，不然都不知道腳本為什麼沒有跑。

\copy test from '/etl-script/test.csv' delimiter ',' csv header encoding 'GBK';：通過copy命令抽取csv文件數據。

create table test$(date +%Y%m%d_%H%m%S) as select * from test;：備份test表數據，測試用的。

\q：退出psql。這個不寫也可以最後的EOF也會接受psql客戶端的。

EOF：結束重定向。

到此這篇關於shell腳本操作postgresql的文章就介紹到這瞭,更多相關shell腳本操作postgresql內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：