BigQuery SQL語法基本操作 part 2

上一篇BQ part 1我們介紹了一些簡單的指令,這一篇我們將介紹在BQ上稍微難一些的SQL語法 第一個是平均"AVG",我們一樣以citibike作為範例底下的語法我們計算了關於男性的騎乘平均的時間。計算tripduration這一個欄位除60之後單位就是分鐘,在針對這個欄位所有的資料做一個平均值其結果是13.4分鐘 select     AVG(tripduration / 60) AS avgtripduration   from     `bigquery-public-data`.new_york_citibike.citibike_trips   where      gender = 'male' 若我們要分配在更細一點對“性別”做分組 使用group by,範例如下 select    …

0 Comments

GCP帳單功能簡介,和設定預算

各位如果從GCP主控台的產品選單裡面會找到帳單這個選項: GCP帳單選項 進來之後會有兩個選項: 如果你點擊「前往連結的帳單帳戶」,就會進到你現在所在的GCP專案的帳單管理頁面,如果你點擊「管理帳單帳戶」,他這裡會有多個帳單帳戶的統一管理介面,我們今天先選擇前往「連結的帳單帳戶 」。 當你進來之後可能會看到不太一樣的畫面,如果你是自己透過信用卡來使用GCP的話,看到的畫面會長這樣: 如果你是透過經銷商來使用GCP的話,看到的畫面會長這樣: 你有沒有發現當你透過經銷商的時候好像少了一些功能? 但是不用擔心,因為那些功能是針對付款所需要的設定,你今天透過經銷商就不用處理這些複雜的設定。 我們現在來看帳單帳戶Billing Account和GCP專案Project的關係: GCP帳單帳戶和專案的關係1 一個帳單帳戶底下可以掛多個不同的GCP專案,如果你是刷信用卡的,Google會給你一張invoice包含三個專案的費用,也就是說你只要刷一筆款項就可以付清三個專案,不用分三次付款。  如果透過經銷商也是一樣,我們可以開一張發票同時包含三個專案的費用。 當然你也可以再建立一個帳單帳戶,把要分開付款的專案掛進來: GCP帳單帳戶和專案的關係2 這樣子我們就可以開兩張發票,第一張發票包含專案1和專案2的費用,第二張發票包含專案三個費用,可以針對貴公司帳務上面的需求,或是做成本區分的需求(有些公司是各部門各自付款) 。 剛開始你看到的畫面是用不同的專案來區分費用的: 在圖表的下方會看到各個專案的費用加總: 當然你會想要看到更細的東西,例如我到底是用什麼功能花這麼多錢,你可以在分組依據選擇產品或是sku在這裡我直接用sku可以看到最細分的使用金額 如果你想要把詳細的金額全部匯出的話,可以去費用表查看到明細: 注意你要選費用表(英文介面叫做Cost Table)不是費用明細喔!費用明細反而沒有那麼詳細,對了它也可以下載成CSV。 大家都想要的功能就是如何管控每個專案的預算 我們按下「設定預算」之後,取完名字,它可以讓你去指定你現在的預算政策要管理哪幾個專案的預算: 也可以去管理某一項工具的使用預算,如果有其中一兩項很容易有大量的使用,就可以這樣子去設定,你也可以都不要勾選就是整個專案的預算統一管理。 在預算額度方面,你可以直接選擇上個月的額度,或者你自己手動指定這個月不要超過多少錢,另外你也可以決定是否要納入Google提供的抵免額(Credit),假如你是第一次使用信用卡申請試用,Google會給你300塊美金的抵免額,如果你有參加其他活動可能會有額外的抵免額。 在提醒門檻的部分,你可以設定不同的預算百分比,或直接指定門檻的額度,你甚至可以依照實際產生的費用來做提醒,或者讓Google用自己的演算法去預測,當預算有可能超過的時候也會發出提醒給你。 當你使用GCP的費用超過任何一個門檻的時候,會收到像下列這樣的通知:…

0 Comments
第一次使用GCP就上手 – GCP主控台簡介
第一次使用GCP就上手-GCP主控台簡介

第一次使用GCP就上手 – GCP主控台簡介

今天來為各位介紹GCP的主要操作畫面,假設各位的GCP專案已經開起來了。 請進入這個網址:https://console.cloud.google.com/ 會看到大致如下的畫面:   GCP主控台 console 介紹 為什麼我會說大致上呢?因為GCP其實不斷的在更新,它的功能,甚至操作介面也不斷的在更改,也許兩個禮拜後又突然多一個按鈕,甚至多出一個視窗都有可能。 以下我挑幾個比較重要的區會詳細說明。 首先是你的專案資訊:   GCP 專案資訊 其實這部分最重要的是,當你的組織越來越大的時候,你手上可能會有數十個專案需要管理,你要確定你是在正確的專案環境裡面,不要做錯專案喔! 如果要切換專案,可以點擊右邊的倒三角形:   切換專案環境 開啟小視窗   GCP 專案和組織選單 為什麼有些人的專案是在某個組織底下,有些人的專案是「無組織」?最主要的原因就是因為你所屬的公司有沒有使用G suite(或是Cloud identity)身份識別工具,如果有的話,系統管理員在建立第一個GCP專案的時候,就會自動建立這個組織單位,如果沒有使用的話會一直保持在無組織的狀態。 有了組織這個功能,它就可以用階層式去管理你的公司下面所有的專案,也可以針對不同部門,授權不同用戶來管理,如果沒有組織,每個專案的管理都是各自為政,如果公司規定每個專案都要啟用某項功能,管理員必須要逐一去設定。 接下來是已使用的資源:   GCP 已使用的資源 這部分看起來很簡單不是嗎?只是知道自己開了哪些東西而已。你剛開始使用GCP可能沒有感覺,當你開了許多大台機器,或是大數據分析、機器學習的時候,你就會很有感覺,因為你使用的資源越多下個月收到的帳單金額就會越大。…

0 Comments

Anthos – Service Mesh

Service Mesh with Istio 繼上一次我們介紹了Anthos 的其中一個元件功能GKE on-prem,這一篇我們要來介紹Anthos 的第二個元件 - Istio。如果用過Istio的朋友基本上這一篇可以跳過,不了解的朋友請繼續往下看。 先來定義一下什麼是Service MeshService Mesh 就是一個專屬的infra layer,專門控制每個Micro Service之間的網路通訊。簡單來說就是在每一個Micro Service對外的通訊都需要透過這一個服務,你可以把它想成是一個Proxy Layer代替Micro Service對外的網路溝通。而這當中Istio是目前最廣為人知的Service Mesh服務了 為什麼需要這個服務呢?因為當你有一百個甚至一千個的微服務需要互相溝通時時,要控制這些微服務相互間的溝通。例如只允許Micro service A與B溝通而不允許 A與C溝通,或者是我們要控制L7的attributes。另外透過這個機制我們也能知道,哪個Micro Service正在與誰溝通,不論是對外或對內。另外我們也可以透過這一個服務來觀察我們整個資料流是慢在哪一段網路之間或哪一個Micro Service。 Service Mesh有三個面向1. Traffic Control2.…

0 Comments

BigQuery SQL語法基本操作 part 1

Big Query CRUD(Create/Read/Update/Delete)的基本操作介紹BigQuery(以下簡稱BQ)的CRUD操作都可以透過SQL指令來完成Create: SQL INSERT statementRead: SQL SELETE statementUpdate : SQL UPDATE/MERGE, 雖然Bigquery支援update。但這畢竟是資料分析的 solution。建議還是不要經常做。Delete: SQL DELETE因為是資料分析的工具,故會用最多的就是"Read"的功能。現行BigQuery 支援SQL:2011的語法。 以下我們使用一個例子,如下圖。進入到BQ後我們使用BQ的公開資料,我們使用的公開資料是紐約市的自行車租借資料. 一開始我們可以檢視我們所要分析的資料,在BQ的左下表列(如圖一),你會看到BQ的公開資料 bigquery-public-data,這些都是BQ公開可以分析的資料。這裡說明一下BQ的資料庫結構。BQ的第一層是project name,在這裡project ID就是 bigquery-public-data第二層是 dataset name ,在這裡dataset name 就是 new_york_citibike(如圖二)第三層是 table…

0 Comments

Anthos GKE 介紹

GKE On-Prem Solution 之前我們介紹過整個Anthos的概觀,這一篇我們來詳細解說其中一個功能。 GKE on-prem,說白話就是把GKE整個平台搬到你的地端機房使用。GKE on-prem跟GKE有著一樣的功能,例如1. work node是自動化管理2. GKE on-prem底層也是跟GCP上的GKE一樣是經過Google驗證測試過的3. 軟體解決方案,意謂這是直接部署在您的vmware環境中的。不需要購買額外的硬體,直接使用現有的環境4. 高度整合Istio/Knative/GCP的Marketplace/ Cloud Build/Container Registry, /Logging and Monitoring等等GCP上的功能 管控GKE on-prem的工作就如同你在GKE在操作介面一樣,都是在同一個管理介面做管控。在GCP上的console與GKE on-prem的溝通都是通過Https/TLS方式,網管人員不需要特別為這個架構再做特殊的設定。 Anthos GKE架構 有三個元件組成1. Admin Workstation2. Admin Cluster3. User…

0 Comments

在GCP中使用MongoDB Atlas服務

如何串接GCP的VPC與MongoDB Atlas的服務 近來有越來越多的使用者開始在 GCP上使用MongoDB。除了自行架設在GCE(VM)上外。 MongoDB也在GCP的Marketplace推出了 MongoDB Atlas的全託管式服務,這一篇就要來介紹如何在GCP Marketplace啟用MongoDB Atlas服務。並將兩個服務(GCP and MongoDB Atlas)的網路連通。 首先請在GCP Marketplace訂閱您的MongoDB Atlas,並開通服務。MongoDB在GCP Marketplace尚有兩種方案,請參閱下圖 Step 1:為了做到VPC peering, 兩個服務的IP網段不能有overlap.所以先前的IP Plan就需要做好,避免日後因為環境的新增/異動而造成網路變更的困難。這邊我們的IP PlanGCP VPC -- 10.0.0.0/22MongoDB VPC -- 192.168.0.0/18Step 2 :…

0 Comments

BigQuery—-Google Data Warehouse 解決方案

簡介 在現今的企業中,越來越多公司傾向以資料導向作為企業的決策依據。哪麼資料倉儲系統就是一個現代企業不可或缺的一部分。然而現今各種資料來源充斥著整個企業內部,越來越來的資料需要進行分析。傳統上的資料倉儲效能變得越來越糟而企業需要根據資料來做決策卻要越來越即時,因為市場瞬息萬變。而隨著市場的動態,分析的需求也是不固定的。若要準備夠大的資料倉儲系統應對則有資源浪費的狀況發生,資料倉儲太小則分析需求就會有效能太慢跟不及時的狀況發生, BigQuery就在此種狀況狀況下應運而生。 什麼是BigQuery(以下簡稱BQ) Google BQ是一個託管式及高擴充性的服務,也就是說不再需要再像傳統的資料中心一樣建立一堆的機器以及需要各式基礎建設的各類工程師來幫你搭建這個環境,例如在BQ服務下你不需要一個資料庫管理員來做幫你做Data replication/defragmentation/Disaster Recovery等等的工作, Google都會幫你處理這些問題。您只需要一個熟習一般傳統SQL語法的工程師幫你使用即可。Google BQ的效能能夠讓你在一秒內查詢TB及資料量或一分鐘內查詢PB及的資料量,也不再需要建立傳統資料庫為了加快資料量需要建立index機制。BQ除了是一個全託管的服務外,它的高效能也是因為BQ是一種分散式的SQL Engine。你可以使直接在Google的UI介面上使接使用這一項服務,甚至可以查詢的資料不是放在BQ之內,例如 CVS/JSON/Avro等類型的檔案。當然你也可以直接將這些檔案直接載入到BQ內的系統,由於BQ是雲端服務所以你也不用擔心會把BQ的儲存空間用滿,除非你有一天不再需要這些資料。BQ與一般傳統的資料倉儲系統不同在於,一般傳統的資料倉儲系統是 row base的設計,而BQ是用Column base的架構設計(如下圖)。 如何將資料載入BQ呢? 這時免不了的需要ETL這一類的工具拉幫助我們將資料載入到BQ內, GCP也有一套全託管的ETL服務。Extract -- Cloud Pub/Sub(Stream) or Cloud Storage(Batch)Transfer -- Cloud DataflowLoad -- BQ另外GCP也提供了另外兩項託管式服務Datalab --…

0 Comments

Anthos概觀

GCP的多雲與混合雲解決方案 現今,多雲或混合雲平台是越來越多企業的選擇方案之一。不僅是資源有效的利用或是法規法令的限制(地端+雲端的混合雲)還是系統平台的高可用度實現(多個公有雲的混合)。但無論哪一種Cloud service mode,這樣的架構也帶來了管理上的困難。故GCP推出了一個介面的多種平台的管理解決方案。 什麼是Anthos呢?1. 讓企業的敏捷開發能夠跨平台的使用,所謂跨平台就是讓您的應用服務能夠自由移動在地端/公有雲/多雲的跨平台環境。2. 一個相互協作的獨特服務平台,可在整個企業中創造價值。3. 一個現代化的應用程序管理平台,可在公有雲和地端環境提供一致的開發和維運. Anthos的額外效益:1. 能夠讓您的傳統程式服務轉換成容器化的應用程式服務2. 在企業實行敏捷開發的同時也提高的程式的安全性與操作的便利性.同時滿足了企業的開發/維運/資安三個團隊的需求. Anthos架構示意圖 由上面的架構圖可以看到, Anthos將control plane由GCP雲端橫跨進入到地端機房。也就是說靠一套管理介面就可以管控整個Anthos平台.接下來我們將就上圖來介紹Anthos的主要核心元件以及這些元件提供了什麼樣的服務.由上面的架構圖我們可以看到Anthos由三大塊組成,1. Container Orchestration2. Service Mesh3. Config Management Container Orchestration 這一個服務有兩個部分, GKE and GKE On-Prem,相信有用過GKE的人都知道。GKE是一個完全託管的服務。你不需要去對K8S的底層架構去進行設定/管理等工作.只要設定好K8S cluster,其他就交給GKE來處理。GKE On-Prem,故名思議就是把GKE的功能完全搬到地端機房中。您在GKE用到的功能完全可以讓您地端機房的虛擬環境中實現,在GCP有關GKE的marketplace的應用也可以都在地端機房實現。整個GKE…

0 Comments

GCP/AWS/Azure的Kubernetes(k8s)比較

近期 Platform9, 發布了一份三個雲端的Kubernetes比較表. 內容提到在選擇Kubernetes比較時,除了價格考量外."可擴展性","標準化","版本更新的頻率","高可用性"還有"Service mesh"的支援都是在選擇K8s要被考量的 在三個cloud service provider中, GCP的Anthos 的方案可讓您的Micro Service橫跨GKE跟您的地端機房.也就是您的Micro Service可以在GKE與您的地端機房無縫接軌的移動. 在這份比較表可以看出, GCP的GKE的穩定版本優於其他兩家, control plane的upgrade也可已有自動化.k8s的監控也與GCP的stack driver高度整合.每一個k8s的cluster的work node更可以高達5000個.Network Policies 也是三家中唯一自行整合有提供的.Global Load Balancing, GCP也提供了網路層級的Load Balancing機制。提供你更快更穩定的外部網路連線。 也是唯一提供K8s marketplace的雲端平台 原文可觀看此連結https://platform9.com/blog/kubernetes-cloud-services-comparing-gke-eks-and-aks/?fbclid=IwAR3FtGeN2c_jdiEC6jIklQR452EVyA-3j7tpK7B0gd8dQIA_kExyU9kPLzc

0 Comments

End of content

No more pages to load