IBM Data Replication 是一套運用 Change Data Capture（CDC）技術，實現異質資料庫系統即時資料同步與抄寫的資料整合解決方案。作為傳統 ETL 批次式資料整合的補充技術，該方案能即時從來源資料庫的交易日誌中擷取資料異動，並將變更內容傳送至目標資料庫，或是各類第三方中介平台與工具。相較於需要設計批次作業（Batch Job）的 ETL 工具，IBM Data Replication（以下簡稱 IDR）是一種基於配置設定（Config-based）的工具軟體。使用者僅需透過滑鼠操作完成設定與配置，再視需求撰寫少量客製化的衍生表達式（Derived Expressions），即可快速滿足異質資料庫之間的即時資料同步抄寫需求。
本系列文章將帶您逐步了解資料同步與抄寫的實作流程。首先《環境建置篇》將聚焦於整體實作環境所需的軟體安裝與設定，共分為來源端（Part 1）、目的端（Part 2）與中控端（Part 3）等三篇文章。其次在《實作演練篇》則會詳細說明 IDR 如何因應各種常見使用場景的操作流程，共分為標準與稽核模式同步抄寫（Part 1）、自訂客製化稽核欄位（Part 2）、同步抄寫作業的停止與重新啟動（Part 3）以及同步抄寫作業監控與效能瓶頸分析（Part 4）等四篇文章，這些豐富地內容將可協助您快速掌握實務操作的技巧。
IDR CDC 資料同步抄寫實作環境配置
本系列文章將以 Oracle Database 資料同步抄寫至 Microsoft SQL Server 做為案例場景，實作環境配置三個 Windwos Server 作業系統主機，分別建置來源端 Oracle Database、目的端 Microsoft SQL Server、以及 IDR CDC Server 中控端所需之軟體。整體配置如下圖所示：
IDR CDC 資料同步抄寫實作《環境建置篇》Part 2：目的端環境建置
1. Microsoft SQL Server 軟體安裝
目的端主機安裝 Microsoft SQL Server 2019 Standard Edition 以及 Microsoft SQL Server Management Studio V20.1 軟體，前者直接以掛接虛擬光碟機方式安裝（掛接完成後以系統管理員身分執行 setup.exe），後者下載完成後即為 EXE 執行檔，直接點擊安裝即可。啟動 Microsoft SQL Server 2019 安裝程式後，點擊「安裝」>「新增 SQL Server 獨立安裝…」。勾選「我接受授權條款…」，點擊「下一步」按鈕。
請勾選「使用 Windows Update 檢查更新」並忽略有關 Windows 防火牆的警告。點擊「下一步」按鈕。
SQL Server 執行個體功能，請勾選「資料庫引擎服務」以及「SQL Server 複寫」這二項功能，並且選擇預設的執行個體以及識別碼（MSSQLSERVER）。
伺服器組態使用預設配置即可，資料庫引擎組態點選「混合模式」，指定 SA 密碼（例如：!QAZ2wsx），並且將目前使用者（Administrator）加入成為 SQL Server 管理員。
確認軟體安裝的配置無誤後，點擊「安裝」按鈕就可以開始安裝軟體。安裝完成後，請點擊「關閉」按鈕關閉安裝程式。
Microsoft SQL Server Management Studio 軟體安裝僅須依據提示步驟即可快速完成，軟體安裝完成後請開啟它建立與 Microsoft SQL Server 的連線，並且新增一個名為 CREDIT_APPS 的資料庫（這個資料庫將作為目的端資料庫）。
2.IDR CDC Engine for MS SQL Server 軟體安裝及設定
目的端主機上的 SQL Server 資料庫安裝與初始化配置完成後，接著我們就可以安裝 IDR CDC Engine for MS SQL Server 軟體（版本同樣為 V11.4.0.5）。請以系統管理員身分執行安裝程式：setup-iidr-11.4.0.5-5703-x86.exe，選擇安裝新產品。
安裝程式啟動後，首先在資料儲存庫類型選擇：Microsoft SQL Server。供應項目（軟體授權類型）選擇：IBM InfoSphere Data Replication。
直接使用預設安裝路徑：C:\Program Files\IBM\InfoSphere Data Replication\ Replication Engine for Microsoft SQL Server，並且選擇接受軟體授權合約。
選擇「在桌面上」建立軟體捷徑，再來直接使用預設的抄寫引擎實例和產品日誌路徑：C:\ProgramData\IBM\ InfoSphere Data Replication\Replication Engine for Microsoft SQL Server。
確認所有的參數配置項目都正確後，即可開始安裝軟體。安裝完成後，請點擊「完成」按鈕關閉安裝程式。
IDR CDC Engine for Microsoft SQL Server 軟體安裝完成後，接著我們可以開始完成 IDR CDC Engine 與 SQL Server 資料庫之間的連接與配置。請點擊桌面圖示，啟動軟體。
開啟 IDR 配置工具後，先回到配置工具主視窗。點擊「Encryption Profiles」區段的 「Manage」按鈕，建立共用的 TLS 加密配置（請注意：本實作環境並不會進行 TLS 加密配置）。
建立一個名為 Disable_Encryption 的配置，Engine-to-Engine 之間的網路通訊不使用 TLS 加密（Encryption 選擇：Disabled）。
回到配置工具主視窗，點擊「Instances」區段的 「新增」按鈕，新增一個 CDC Replication Engine Instance for Microsoft SQL Server。
請依據以下內容配置 CDC Replication Engine Instance for Microsoft SQL Server 的相關設定。
- 實例：
- 名稱：CREDIT_USER_TARGET。
- 伺服器埠：10501。
- 暫存磁碟配額：10 (GB)。
- 容許記憶體上限：1024 (MB)。
- Encryption Profile：Disable_Encryption。
- Windows 服務：
- 此選項係將 CDC Replication Engine Instance 配置為 Windows 作業系統的服務，請將「登入身分」選擇為：這個帳戶，並輸入 Windows 作業系統管理者帳號及密碼（需加入網域或主機名稱）。
- 資料庫：
- 主機：localhost。。
- 名稱：CREDIT_APPS。
- 埠：1433。
- Meta 資料綱目：dbo（預設抓取）。
- 資料庫鑑別：選擇「SQL 鑑別」，使用 sa 帳號及密碼 !QAZ2wsx。
- 重新整理載入器：C:\TEMP（請自行建立）」。
抄寫引擎實例（CDC Replication Engine Instance）會進行一系列的連線測試與配置驗證，完成後就會將這個實例作為 Windows 服務常駐於作業系統中。作業完成後，點擊「是」即可啟動這個 CREDIT_USER_TARGET 實例的服務。
CREDIT_USER_TARGET 實例建置完成後，在 IDR 配置工具主視窗中可以看到這個實例的基本配置以及運行狀態。
到目前為止，我們已完成目的端環境的建置，包含 MS SQL Server 資料庫安裝和相關前置配置作業以及 IDR CDC Engine for Microsoft SQL Server 軟體安裝及設定。若我們檢視 CREDIT_APPS 資料庫，可以觀察到 IDR CDC Engine 會在該資料庫中建立三個系統資料表（TS_ 開頭）。這三個資料表也就是我們之前文章提到的抄寫引擎實例所擁有並管理的組態資料表（Metadata），用於記錄資料庫連線、資料表對應（mappings）、抄寫訂閱工作（subscriptions）以及事件通知（notifications）等相關設定。
最後，請在 Windows 作業系統的防火牆中新增 TCP 10501 連入規則。這個連接埠主要係讓中控端主機的 IDR CDC 存取伺服器（Access Server）可以與目的端主機的 IDR CDC Engine 進行溝通。
Part 1：來源端環境建置 《 上一篇 ∣ 下一篇 》 Part 3：中控端環境建置
版權聲明
文章內容未經授權，請勿進行任何形式的複製、修改或發佈本文內容，如需轉載或引用，請在使用時注明出處並取得授權。本文中提及的特定公司、產品、品牌名稱等僅為描述目的，其版權歸屬於相應的公司或擁有者。
沒有留言:
張貼留言