30天學會Data Integration - Kettle系列 第 14 篇 - Step - 字串組合與欄位調整

 延續上一篇，此篇將繼續介紹如何將拆解的日期重新合併，接下來的操作會比較繁瑣，但如果都能跟得上的話，就代表你對Kettle的操作熟練度又更上一層樓囉！此篇會介紹到[Transform]Select Values與[Transform]String operations

[Transform]Select Values介紹

Select Values是一個專門處理刪除欄位、重新命名欄位與選擇欄位的Step、主要分成三種類型：

  1. Select and Alter：可以指定欄位的順序、名稱、長度與數字的小數點長度
  2. Remove：可刪除指定的欄位
  3. Meta-data：可以更改欄位名稱、類型、長度、格式、編碼、貨幣符號等等...

[Transform]String operations介紹

String operations可以針對字串來做填位、或是大小寫的調整

本篇目標

將上一篇分隔的民國年、月與日欄位做字串相加，得到一個民國年的生日欄位，例如：76/05/22

有六大步驟：

  1. 將年月日轉成字串：將數字轉字串，以便組合文字
  2. 將月與日以0補足2位數：將個位數的月份與日期補0
  3. Add constants：新增日期分隔符號
  4. 組成民國日期：組合日期字串
  5. 刪除欄位：移除不需要的欄位
  6. 重新命名欄位


步驟1：將年月日轉成字串：將數字轉字串

因為要做字串的相加，必須把原本的民國年、月、日的型態從Integer改為String

新增Select Values



建立Hop



設定Select Values

將民國年、月、日的型態改為String



步驟2：將月與日以0補足2位數

因為月份與日是Integer型態，所以1月份會以1顯示，但這樣會造成後續組成完整日期時會少一個字串的長度，所以我們必須盡行補位的處理

新增String operations



建立Hop



設定String operations

Trim type：修剪的類型
Padding：向左填充或向右填充
Pad char：指定填充的文字
Pad Length：指定填充的長度



預覽String operations

可以觀察看月與日已經完成補0囉



步驟3：新增日期分隔符號

我們會使用/來進行字串的相加，所以需要在新增一個常數，覺得要使用哪個Step呢？就是前一篇提到的Transform[Add constants]

設定 Add constants



步驟4：組合日期字串

將民國年、月、日與日期分隔符號來進行字串的組合，一樣是使用到前一篇的Calculator

新增 Calculator 與建立 Hop



設定 Calculator

由於Calculator只提供3種欄位的相加，所以必須進行兩次的運算才能得到完整的年月日與分格符號的加總，設定方式如下圖



預覽 Calculator



步驟5：刪除不需要的欄位

由於資料處理的過程，一定會透過一些額外的欄位來輔助，而已經使用完畢的欄位，一直出現在眼前也是挺干擾的，所以我們就來把這些欄位通通都拿掉，保留必要的資訊就好。

新增Select Values、建立Hop、設定Select Values

請切換到Remove頁籤，將不需要的欄位給移除掉，說白一點就是，把沒有利用價值的欄位都刪掉XD



預覽Select Values



步驟6：重新命名欄位名稱

在這邊，會發現我把所有的Step名稱都打上描述了，方便我們了解整個處理的邏輯，修改名稱設定方式就是點兩下Step，在Step name上進行文字輸入即可，回歸正題，我們想把"民國年月日"的欄位名稱改成"生日"

新增Select Values、建立Hop、設定Select Values

請切換到Select & Alter頁籤，按一下Get Fields to select，來選擇我們要顯示的欄位，並且在第4項的Rename to上輸入"生日"



預覽Select Values

終於！完成了民國年月日的轉號囉



我想有些人看到這邊已經吐血了，感覺這種東西就Excel套用公式一下就做完了，幹嘛用Kettle在那邊設定一大堆勒！的確，如果是這種需求我也絕對不會用Kettle做XDDDD(被扁)，啊...就是個操作範例讓大家感受一下[Transform]中的Add constants、Calculator、Select Values、String operations的功能，其實看似功能很簡單的Step，在後續其實都會發揮很大的功用，而在這兩篇的操作中，大家又認識了一些Step，當我們認識的Step越多時，可以應用的範圍就又更廣囉！

下一篇將繼續介紹以上這些Transform將如何直接用[Scripting]Modified Java Script Value值接通通取代掉XD，有好東西幹嘛不早講(再次被打)，不過有瞭解才有選擇，如果不會寫js就可以透過這兩篇的方式去進行一些資料的分析運算與組合，如果會寫js，那Modified Java Script Value就是另外提供另外一種資料處理的方式，各有優點缺，大家可以在自行評估自己適合哪一種。

留言

張貼留言

這個網誌中的熱門文章

CPE 一顆星選集題目說明與解答 - Java 筆記與心得分享

以下是自己的 CPE 一顆星選集 解題紀錄 (共有 49 題) 每次考試都會從一顆星選集中抽 1 提出來考 算是比較能把握的部分，重點筆記整理如下 內容包含題目說明、程式碼、註解說明、解答、考古題統計(下方土黃色日期) 解題使用的程式語言是  JAVA  目前有提供 10 題的試閱 另有提供完整 49 題的完整解答 ( pdf 檔 )， 共 305 頁， 售價 $399 元 ， 若有需要請來信購買 greens2314@gmail.com 推薦閱讀： 建議熟讀 java 基本觀念，與使用 eclipse 練習， 等熟悉之後再到瘋狂程設考試(一定要懂如何查 JAVA API 與使用英漢字典) Java 考試常用的方法或類別 Eclipse 常用小技巧 CPE 一顆星選集： 編號 | 題目名稱 | 歷屆考古題日期 1. Vito's family (CPE10406, UVA10041) 2024/04/23 可與第 40 題一起看 2. Hashmat the brave warrior (CPE10407, UVA10055) 3. Primary Arithmetic (CPE10404, UVA10035) 　 2011/05/25、2023/03/21 4. The 3n + 1 problem (CPE10400, UVA100) 　 2010/06/09 5. You can say 11 (CPE10460, UVA10929) 　 2011/12/20 6. Bangla Numbers (CPE10414, UVA10101) 　 2018/12/18 7. List of Conquests (CPE21924, UVA10420) 　 2019/03/26 　　可與 第 8, 11, 43 題一起看 字元與字串 8. What's Cryptanalysis? (CPE10402, UVA10008) 　　可與 第 7, 11, 43 題一起看 9. Decode the Mad man (CPE10425, UVA10222) 　 2021/10/19 10. Problem J: Summing Digits (CPE10473, UVA11332) ...
Read more »

Visual Studio 自動排版格式化程式碼

圖片
在團隊開發過程中，什麼時候是程式碼瘋狂修改的階段呢， 無非就是Code Review了，有時候卡個幾天或是幾個月都是有可能的， 裡面常出現的comment，每次幾乎都會出現的就是排版的問題， 例如空白多一個少一個，括號還沒換行等等的小瑕疵， 對於心思不夠細膩的人而言，真的十分的惱人 團隊中喜歡將大括號換行， 例如： if(true) {   //code } else {   //code } 那也許有些團隊喜歡： if(true){   //code }else{   //code } 有時候不只括號要不要換行，連else要不要換行都有各自的喜好， 所以有時候要統一使用團隊規定的喜好真的會有眼殘的時候， 自己檢查老半天可能還是有漏網之魚， 但現在不用擔心啦！ 只要使用Format 格式化文件就能為你分憂解勞， 設定方式如下： 編輯 > 進階 > 格式化文件 Visual Studio會根據你的環境設定幫你自動重新排版 設定方式如下： 工具 > 選項 切換到 文字編輯器 > C# >程式碼樣式 > 格式化 > 新行 這邊可以設定很多換行的邏輯， 將對應的項目打勾跟取消勾選，下面的黑色區域會顯示排版的格式， 可根據自己或是團隊的喜好去做調整，即可自動排出你想要的格式囉！ 如果覺得 編輯 > 進階 > 格式化文件 這個選項太難找到， 可以參考這篇文章，將他加入在明顯的工具列區域喔 http://greens2314.blogspot.tw/2017/09/visual-studio-2015.html
Read more »

1. Vito's family (CPE10406, UVA10041) - CPE一顆星解答與說明

圖片
    👉   CPE 一顆星選集列表(49題) 題目說明與解答 題目 Vito 在紐約有非常多的親戚，他希望在紐約找到一間房子，這間房子到每個親戚家的距離總和，要是最少的距離 輸入說明 輸入資料包含很多筆測試資料 每筆測資，包含親戚數量與每位親戚家的街號 親戚數量介於1~499、街道範圍介於1~29999 多位親戚可住在同一條街 輸出說明 針對每筆測試資料，計算出 Vito 到每位親戚家的最短距離總和 街與街的距離 = 街道數字相減取絕對值 解題技巧 中位數 是指一組數字的中間數字；即是有一半數字的值大於中位數，而另一半數字的值小於中位數，其意義是在所有資料中居於中間位置的代表 排序 街道的數字同時代表距離，透過排序，可得知中位數 解題過程 取得輸入 取得資料筆數 根據資料筆數取得親戚數量 根據親戚數量取得街道編號 將街道編號存入陣列中 將親戚的街道位置 由小至大 排序 呼叫 Arrays 類別提供的 sort() 方法 https://docs.oracle.com/javase/7/docs/api/java/util/Arrays.html 假設親戚有 5 位，分別住在：2、5、8、4、2街 排序後為：2 、2、4、5、8街 計算中位數 中位數在陣列中的索引 = 親戚數量 / 2 假設親戚有 5 位( 奇數) ，分別住在：2、5、8、4、2街 排序後為：2 、2、4、5、8街，其中 4 為中位數，中位數有 1 個 5位親戚 / 2 = 2.5，取整數，陣列索引 2 的位置，儲存的是第 4 街 假設親戚有 4位 (偶數) ，分別住在：2、5、8、4街 排序後為：2 、4、5、8街，其中 4 或 5 為中位數， 中位數有 2 個，擇一即可 4位親戚 / 2 = 2，陣列索引 2 的位置，儲存的是 5 街 計算最小距離總和並印出 宣告 sum 變數，統計距離 使用 foreach 將各街道編號 減掉 中位數編號，取絕對值並進行家總 取絕對值要呼叫  Math.abs ()  方法 奇數情況 ： 中位數有 1 個 假設親戚有 5 位   ，分別住在： 2 、2、 4 、5、8 街 中位數 4 ，Vito 住在 4 街，到其他親戚家的距離總和即是最小值 9   偶數情況 ： ...
Read more »