實作 Cloud Storage 儲存空間級別、生命週期管理、物件版本管理功能以及節省預算妙招分享
儲存空間級別、生命週期管理、物件版本管理功能以及節省預算

實作 Cloud Storage 儲存空間級別、生命週期管理、物件版本管理功能以及節省預算妙招分享

在GCP的眾多服務當中,Cloud Storage是我們常會使用的儲存服務.不管是用來當作數據分析的資料存放空間,或者是儲存長期備份檔,作為影音傳遞服務的檔案儲存空間等等,Cloud Storage是我們在數據當道的時代,扮演著重要的角色。

0 Comments
在Linux作業系統上同步備份資料到Google Cloud Storage- 以Mac電腦為例
在Linux作業系統上同步備份資料到 Google Cloud Storage- 以Mac電腦為例

在Linux作業系統上同步備份資料到Google Cloud Storage- 以Mac電腦為例

容量更大的雲端的存儲服務:Google Cloud Storage。 如何把Server的資料,或是系統中的重要資料備份上雲,甚至同步排成備份呢?一、建立Storage的儲存專案。二、下載Cloud SDK。三、授權。四、一次性備份。五、排程同步上傳資料。六、結語

0 Comments

Cloud SQL安全連線密技part2 – 使用Cloud SQL Proxy連線

上次介紹強制SSL連線Cloud SQL的方式,這次更厲害,在地端不用輸入Cloud SQL IP,使用Google研發的Cloud SQL Proxy連線。 步驟如下: 啟用Cloud SQL Admin API (點擊啟用) 選擇SQL主機所在的專案: 2. 安裝Proxy軟體 我是用64位元Mac, 指令如下,其他OS可參考這份文件: curl -o cloud_sql_proxy https://dl.google.com/cloudsql/cloud_sql_proxy.darwin.amd64 3. 建立Service Account並且產生一個key Service Account可以設定下列三種權限之一: Cloud SQL ClientCloud SQL…

2 Comments

Cloud SQL安全連線密技part1 – 限定IP與強制SSL連線

Cloud SQL剛推出時,最讓人詬病的就是,它只能用外部IP讓人存取。 這句話感覺好像沒什麼,畢章在雲端嘛,還是要用外部IP啊! 安全性部分有改善,可以限定存取的IP位址或範圍: Google Cloud SQL可限定只允許某些IP連線 但重點是,連在GCP上的服務,要存取Cloud SQL都要透過外部!! 也就是說,我在GCP上開一台VM,要去Cloud SQL,我不能從GCP的內網去連Cloud SQL,要走外部IP,這樣就有外部的流量費用,而且連線沒有效率。 後來Cloud SQL進步了,可以允許內網過去了,如下圖: Google Cloud SQL可允許VM從內網連線 Private IP指的是在GCP上的VM (Compute Engine)在VPC網路上的IP,也就是GCP的內網IP。 Default不是指什麼預設值之類的,它是每一個GCP專案建立時,系統先給你一個內網(VPC網路),這個網路的名字叫做"Default"。 PS.一個GCP專案可以開5個VPC網路,它可以切割不同的subnet橫跨全球各Data Center (Region) 只要開放Private IP,VM就能從內網去連。 但如果從GCP以外的地方連,除了限定IP之外,怎麼做才更安全呢? 這時就就要帶key了! 在Cloud…

0 Comments

BigQuery 資料型態與功能 part 2

BigQuery Data types,Functionspart 2 String字串功能 文字的運用應該是在資料庫裡最普遍使用,BQ內建了很多文字運用的語法功能。請看一下範例 with string as ( select * from unnest ([ 'Taipei', 'New York', 'Singapore' ]) as city ) select city , LENGTH(city) as len ,…

0 Comments

BigQuery 資料型態與功能 part 1

BigQuery Data types,Functions 這一篇我們要來介紹BQ的資料型態與它的功用,BQ支援數字/文字/時間/地理位置/結構化/半結構化等資料型態。底下為大家一一說明INT64這是一個數字的整數型的資料也就是數字沒帶小數點,範圍可以從10的負19次方到10的19次方。若是real-valued的數字哪麼就需要用FLOAT64的資料型態。Numeric提供小數點前38位數及小數點之後9個位數的數字型態,這一類的資料型態適合被拿來做計算。若您的資料有需要在資料庫做計算就是適合此類的資料型態。STRING文字字串,提供不特定長度的文字字串以Unicode為基礎。TimeStamp一個絕對數字的時間值資料型態DateTime這是一個日曆的時間型態,Dtae 跟Time可以分開來。Geography顯示的是經緯度的資料型態Struct/Array這個在我們前面的BQ SQL基本操作裡有提到並且有範例。 我們來看一個Numeric型態的例子 with examples as ( select 'Mon' as day, 1481 as numrides, 1051 as oneway union all select 'Sun', 2336, 2936 ) select *,…

0 Comments

BigQuery –Joining Tables (basic operation)

這一篇我們來教學如何在BQ在做基本joining tables的操作,雖然在BQ上是不太鼓勵做joining tables的操作。若是您要分析的資料是從一般的RDBMS的資料庫而來,哪麼建議您在ETL時就將RDBMS的資料做Denormalization的動作,這樣避免掉joining tables的所要的資源及時間後面會有篇章帶到如何在BQ上做joining tables的優化。BQ支援以下的joining tables的型態inner/outer/cross/anti/semi/anti-semi 請看底下的範例 With bike_rentals as ( Select count(starttime) as num_trips, extract(date from starttime) as trip_date From `bigquery-public-data`.new_york_citibike.citibike_trips Group by trip_date ), rainy_days As ( Select…

0 Comments

BigQuery SQL語法基本操作 part 1

Big Query CRUD(Create/Read/Update/Delete)的基本操作介紹BigQuery(以下簡稱BQ)的CRUD操作都可以透過SQL指令來完成Create: SQL INSERT statementRead: SQL SELETE statementUpdate : SQL UPDATE/MERGE, 雖然Bigquery支援update。但這畢竟是資料分析的 solution。建議還是不要經常做。Delete: SQL DELETE因為是資料分析的工具,故會用最多的就是"Read"的功能。現行BigQuery 支援SQL:2011的語法。 以下我們使用一個例子,如下圖。進入到BQ後我們使用BQ的公開資料,我們使用的公開資料是紐約市的自行車租借資料. 一開始我們可以檢視我們所要分析的資料,在BQ的左下表列(如圖一),你會看到BQ的公開資料 bigquery-public-data,這些都是BQ公開可以分析的資料。這裡說明一下BQ的資料庫結構。BQ的第一層是project name,在這裡project ID就是 bigquery-public-data第二層是 dataset name ,在這裡dataset name 就是 new_york_citibike(如圖二)第三層是 table…

0 Comments

BigQuery—-Google Data Warehouse 解決方案

簡介 在現今的企業中,越來越多公司傾向以資料導向作為企業的決策依據。哪麼資料倉儲系統就是一個現代企業不可或缺的一部分。然而現今各種資料來源充斥著整個企業內部,越來越來的資料需要進行分析。傳統上的資料倉儲效能變得越來越糟而企業需要根據資料來做決策卻要越來越即時,因為市場瞬息萬變。而隨著市場的動態,分析的需求也是不固定的。若要準備夠大的資料倉儲系統應對則有資源浪費的狀況發生,資料倉儲太小則分析需求就會有效能太慢跟不及時的狀況發生, BigQuery就在此種狀況狀況下應運而生。 什麼是BigQuery(以下簡稱BQ) Google BQ是一個託管式及高擴充性的服務,也就是說不再需要再像傳統的資料中心一樣建立一堆的機器以及需要各式基礎建設的各類工程師來幫你搭建這個環境,例如在BQ服務下你不需要一個資料庫管理員來做幫你做Data replication/defragmentation/Disaster Recovery等等的工作, Google都會幫你處理這些問題。您只需要一個熟習一般傳統SQL語法的工程師幫你使用即可。Google BQ的效能能夠讓你在一秒內查詢TB及資料量或一分鐘內查詢PB及的資料量,也不再需要建立傳統資料庫為了加快資料量需要建立index機制。BQ除了是一個全託管的服務外,它的高效能也是因為BQ是一種分散式的SQL Engine。你可以使直接在Google的UI介面上使接使用這一項服務,甚至可以查詢的資料不是放在BQ之內,例如 CVS/JSON/Avro等類型的檔案。當然你也可以直接將這些檔案直接載入到BQ內的系統,由於BQ是雲端服務所以你也不用擔心會把BQ的儲存空間用滿,除非你有一天不再需要這些資料。BQ與一般傳統的資料倉儲系統不同在於,一般傳統的資料倉儲系統是 row base的設計,而BQ是用Column base的架構設計(如下圖)。 如何將資料載入BQ呢? 這時免不了的需要ETL這一類的工具拉幫助我們將資料載入到BQ內, GCP也有一套全託管的ETL服務。Extract -- Cloud Pub/Sub(Stream) or Cloud Storage(Batch)Transfer -- Cloud DataflowLoad -- BQ另外GCP也提供了另外兩項託管式服務Datalab --…

0 Comments

End of content

No more pages to load