BigQuery 與 Data Studio 的經緯度資料分析
BigQuery 與 Data Studio 的經緯度資料分析

BigQuery 與 Data Studio 的經緯度資料分析

訪客的地理位置資訊,往往得透過 IP 地址來進行分析 ,使用者才能進一步去了解網站訪客的地理位置分佈情形,這篇文章將會透過 HTTP Request 的 log 當作解析出經緯度的資料為例,來介紹如何使用 BigQuery 串接 Data Studio,分析地理資訊的方法。

0 Comments
使用BigQueryML來預測新生兒體重
使用BigQueryML來預測新生兒體重

使用BigQueryML來預測新生兒體重

今天Cloud Ace的部落格,要帶大家體驗Google雲端服務的一個機器學習工具BigQuery ML。什麼是BigQuery ML,它是一個建立在BigQuery之上,一個方便產生跟執行機器學習的工具,目的是要讓使用者可以透過SQL指令,加速他們對既有資料的處理速度,而非透過複雜的程式產生、訓練模型,再對資料做預測分析。

0 Comments
將AWS儲存空間資料導入GCP-密技大公開
將AWS儲存空間資料導入GCP-密技大公開

將AWS儲存空間資料導入GCP-密技大公開

BigQuery與資料分析的實務應用 在資料分析跟處理的世界裡面,我們常常要面對五花八門的資料,以及來自不同服務工具的資料來源。那當我們在進行GCP專案開發,或是解決這樣的問題時,我們的Data Pipeline要如何建置?如何運用雲端的服務達到以上的需求,接下來這類的案例或許可以解決你的問題。

0 Comments
BigQuery –匯入資料 part 3
BigQuery –匯入資料 part 3-Data Transfer and Exports

BigQuery –匯入資料 part 3

Data Transfer and Exports 這一篇我們繼續來說明BQ的資料轉移與資料匯出,之前篇章我們提到的資料載入都是一次性的工作。但若你的資料是要定期性的匯入資料進入 BQ呢?BQ提供了 “Data transfer Servie" ,讓你定期的自動將資料匯入到 BQ中。這一類的工作BQ提供了Web UI介面/bq command 及REST API的方式來執行這種重複性的工作。BQ的 transfer servicet除了本身就支援Cloud Storage 之外還支援多種資料來源,例如Google Ads, Google Play, AWS Redshift, YouTube Channel。另外需要注意一點,因爲我們之前提到過BQ是Region Level的服務,Cloud storage也是。所以在設計上時會建議Cloud storage及BQ是在同一個Region(例如台灣),哪麼 data…

0 Comments
BigQuery –匯入資料 part 2
BigQuery –匯入資料 part 2-Data Management ( DDL and DML)

BigQuery –匯入資料 part 2

Data Management ( DDL and DML) 這一篇我們來講一下在BQ上的資料管理,例如我們需要刪除資料可以用如下的命令bq rm dataset_name.table_name 是直接刪除單一個table或是bq rm -f -f dataset_name其中 -r 是 recursively, -f force也就是不管該dataset有什麼資料直接強制刪除而且也不用再跳出確認是否要刪除的訊息。以上是用BQ在cloud shell的作法,當然也可以在SQL語法直接做這一類的操作例如Drop table if exists dataset_name.table_name在之前的篇章也有提到也可以設定table自動到期就刪除了選項,範例請參考BigQuery –匯入資料此篇文章。BQ的DDL(Data Definition Language)跟一般的DataBase一樣有,create/drop/alter table的等操作。當然也有DML(Data Manipulation Language)--delete/insert/merge等功能可以使用,但到目前為止無法使用DML來copy…

0 Comments

BigQuery 資料型態與功能 part 2

BigQuery Data types,Functionspart 2 String字串功能 文字的運用應該是在資料庫裡最普遍使用,BQ內建了很多文字運用的語法功能。請看一下範例 with string as ( select * from unnest ([ 'Taipei', 'New York', 'Singapore' ]) as city ) select city , LENGTH(city) as len ,…

0 Comments

BigQuery 資料型態與功能 part 1

BigQuery Data types,Functions 這一篇我們要來介紹BQ的資料型態與它的功用,BQ支援數字/文字/時間/地理位置/結構化/半結構化等資料型態。底下為大家一一說明INT64這是一個數字的整數型的資料也就是數字沒帶小數點,範圍可以從10的負19次方到10的19次方。若是real-valued的數字哪麼就需要用FLOAT64的資料型態。Numeric提供小數點前38位數及小數點之後9個位數的數字型態,這一類的資料型態適合被拿來做計算。若您的資料有需要在資料庫做計算就是適合此類的資料型態。STRING文字字串,提供不特定長度的文字字串以Unicode為基礎。TimeStamp一個絕對數字的時間值資料型態DateTime這是一個日曆的時間型態,Dtae 跟Time可以分開來。Geography顯示的是經緯度的資料型態Struct/Array這個在我們前面的BQ SQL基本操作裡有提到並且有範例。 我們來看一個Numeric型態的例子 with examples as ( select 'Mon' as day, 1481 as numrides, 1051 as oneway union all select 'Sun', 2336, 2936 ) select *,…

0 Comments

End of content

No more pages to load