BigQuery 與 Data Studio 的經緯度資料分析
BigQuery 與 Data Studio 的經緯度資料分析

BigQuery 與 Data Studio 的經緯度資料分析

訪客的地理位置資訊,往往得透過 IP 地址來進行分析 ,使用者才能進一步去了解網站訪客的地理位置分佈情形,這篇文章將會透過 HTTP Request 的 log 當作解析出經緯度的資料為例,來介紹如何使用 BigQuery 串接 Data Studio,分析地理資訊的方法。

0 Comments
將AWS儲存空間資料導入GCP-密技大公開
將AWS儲存空間資料導入GCP-密技大公開

將AWS儲存空間資料導入GCP-密技大公開

BigQuery與資料分析的實務應用 在資料分析跟處理的世界裡面,我們常常要面對五花八門的資料,以及來自不同服務工具的資料來源。那當我們在進行GCP專案開發,或是解決這樣的問題時,我們的Data Pipeline要如何建置?如何運用雲端的服務達到以上的需求,接下來這類的案例或許可以解決你的問題。

0 Comments
BigQuery –匯入資料 part 3
BigQuery –匯入資料 part 3-Data Transfer and Exports

BigQuery –匯入資料 part 3

Data Transfer and Exports 這一篇我們繼續來說明BQ的資料轉移與資料匯出,之前篇章我們提到的資料載入都是一次性的工作。但若你的資料是要定期性的匯入資料進入 BQ呢?BQ提供了 “Data transfer Servie" ,讓你定期的自動將資料匯入到 BQ中。這一類的工作BQ提供了Web UI介面/bq command 及REST API的方式來執行這種重複性的工作。BQ的 transfer servicet除了本身就支援Cloud Storage 之外還支援多種資料來源,例如Google Ads, Google Play, AWS Redshift, YouTube Channel。另外需要注意一點,因爲我們之前提到過BQ是Region Level的服務,Cloud storage也是。所以在設計上時會建議Cloud storage及BQ是在同一個Region(例如台灣),哪麼 data…

0 Comments
BigQuery –匯入資料 part 2
BigQuery –匯入資料 part 2-Data Management ( DDL and DML)

BigQuery –匯入資料 part 2

Data Management ( DDL and DML) 這一篇我們來講一下在BQ上的資料管理,例如我們需要刪除資料可以用如下的命令bq rm dataset_name.table_name 是直接刪除單一個table或是bq rm -f -f dataset_name其中 -r 是 recursively, -f force也就是不管該dataset有什麼資料直接強制刪除而且也不用再跳出確認是否要刪除的訊息。以上是用BQ在cloud shell的作法,當然也可以在SQL語法直接做這一類的操作例如Drop table if exists dataset_name.table_name在之前的篇章也有提到也可以設定table自動到期就刪除了選項,範例請參考BigQuery –匯入資料此篇文章。BQ的DDL(Data Definition Language)跟一般的DataBase一樣有,create/drop/alter table的等操作。當然也有DML(Data Manipulation Language)--delete/insert/merge等功能可以使用,但到目前為止無法使用DML來copy…

0 Comments
BigQuery –匯入資料 part 1
BigQuery –匯入資料 part 1-Loading Data into BigQuery

BigQuery –匯入資料 part 1

這一篇我們將展示如何將資料匯入BQ,將資料匯入BQ的方式有很多。我們將為大家一一的說明。

0 Comments

BigQuery 資料型態與功能 part 2

BigQuery Data types,Functionspart 2 String字串功能 文字的運用應該是在資料庫裡最普遍使用,BQ內建了很多文字運用的語法功能。請看一下範例 with string as ( select * from unnest ([ 'Taipei', 'New York', 'Singapore' ]) as city ) select city , LENGTH(city) as len ,…

0 Comments

BigQuery 資料型態與功能 part 1

BigQuery Data types,Functions 這一篇我們要來介紹BQ的資料型態與它的功用,BQ支援數字/文字/時間/地理位置/結構化/半結構化等資料型態。底下為大家一一說明INT64這是一個數字的整數型的資料也就是數字沒帶小數點,範圍可以從10的負19次方到10的19次方。若是real-valued的數字哪麼就需要用FLOAT64的資料型態。Numeric提供小數點前38位數及小數點之後9個位數的數字型態,這一類的資料型態適合被拿來做計算。若您的資料有需要在資料庫做計算就是適合此類的資料型態。STRING文字字串,提供不特定長度的文字字串以Unicode為基礎。TimeStamp一個絕對數字的時間值資料型態DateTime這是一個日曆的時間型態,Dtae 跟Time可以分開來。Geography顯示的是經緯度的資料型態Struct/Array這個在我們前面的BQ SQL基本操作裡有提到並且有範例。 我們來看一個Numeric型態的例子 with examples as ( select 'Mon' as day, 1481 as numrides, 1051 as oneway union all select 'Sun', 2336, 2936 ) select *,…

0 Comments

BigQuery –Joining Tables (basic operation)

這一篇我們來教學如何在BQ在做基本joining tables的操作,雖然在BQ上是不太鼓勵做joining tables的操作。若是您要分析的資料是從一般的RDBMS的資料庫而來,哪麼建議您在ETL時就將RDBMS的資料做Denormalization的動作,這樣避免掉joining tables的所要的資源及時間後面會有篇章帶到如何在BQ上做joining tables的優化。BQ支援以下的joining tables的型態inner/outer/cross/anti/semi/anti-semi 請看底下的範例 With bike_rentals as ( Select count(starttime) as num_trips, extract(date from starttime) as trip_date From `bigquery-public-data`.new_york_citibike.citibike_trips Group by trip_date ), rainy_days As ( Select…

0 Comments

End of content

No more pages to load