作為系列文章的結尾,本篇文章將聚焦於 IDR 管理主控台中的「訂閱監控(Monitoring Subscriptions)」功能。透過這個內建工具,管理者可以即時掌握訂閱任務的同步狀態、分析抄寫作業的執行效能與延遲時間,以及檢視與訂閱任務或資料儲存庫相關的系統事件訊息。這些資訊有助於深入瞭解整體同步抄寫環境的運作情形,並協助診斷潛在可能的問題。我們將新增一個一對一資料表標準同步鏡映(Mirror)的訂閱任務,並檢視 IDR 資料抄寫引擎在來源端與目的端所產生的事件記錄(Event Log)。此外,我們會對來源端 Oracle 資料庫執行大量資料異動操作,藉由 IDR 管理主控台提供的效能監測指標,即時觀察同步效能是否出現瓶頸,進一步掌握系統負載狀況。
小麥的 AI 學習之路
2025年4月22日 星期二
IBM Data Replication (CDC) 資料同步抄寫實作系列《實作演練篇》 Part 3:同步抄寫作業的停止與重新啟動(圖文說明)
由於某些營運需求,企業可能希望以區段性的方式執行資料同步,以避免在系統尖峰時段影響應用系統的使用者體驗。基於「資料保證交付」的核心價值,IDR 資料抄寫引擎在停止訂閱並重新啟動後,仍然會依據原始 SQL 交易順序,持續將異動資料同步至目標系統。換言之,即使在訂閱停止期間,來源端資料庫所發生的新增、修改或刪除操作,仍會在重新啟動訂閱後,完整同步至目的端資料庫中。本篇文章將延續 Part 2 文章中建立的 ORCL_TO_SQL_3 訂閱任務,模擬在訂閱停止期間對 Oracle 資料庫中的 CREDIT_APP 資料表進行新增、更新及刪除等操作,並於重新啟動訂閱任務後,觀察 Microsoft SQL Server 目的端資料庫的資料同步結果,以驗證 IDR 在區段同步情境下的資料一致性與可靠性。
IBM Data Replication (CDC) 資料同步抄寫實作系列《實作演練篇》 Part 2:自訂客製化稽核欄位(圖文說明)
本篇文章將延續《環境建置篇》完成的三台伺服器主機配置,實作基於自訂表格對映方法下的 Oracle 資料庫與 Microsoft SQL Server 之間的標準模式資料表同步抄寫,並且在不使用 LiveAudit 預設稽核模式下建立客製化的稽核欄位,整體架構如下圖所示。我們將沿用之前已建立的資料庫連線,新增一個包含自定義稽核欄位的訂閱任務,然後透過衍生表達式(Derived Expressions)建立一個可以正確記錄到毫秒的 TimeStamp 欄位。啟動訂閱任務後,在中控端主機執行 Python 程式,對 Oracle 資料庫中的 CREDIT_APP 資料表發動新增、修改與刪除等 SQL 操作,並觀察預設 &TIMSTAMP 日誌登載控制欄位和我們客製化稽核欄位之間的差異。
IBM Data Replication (CDC) 資料同步抄寫實作系列《實作演練篇》 Part 1:標準與稽核模式同步抄寫(圖文說明)
本篇文章將延續《環境建置篇》完成的三台伺服器主機配置,實作 Oracle 資料庫與 Microsoft SQL Server 之間的標準與稽核模式資料表同步抄寫,整體架構如下圖所示。首先,我們將透過 IDR 管理主控台,分別建立與這兩個資料庫的連線。接著,新增二個訂閱任務:第一個是一對一資料表的標準同步鏡映訂閱(Mirror);第二個則是包含稽核軌跡記錄的一對一資料表稽核模式同步鏡映訂閱(LiveAudit)。啟動這兩個訂閱工作後,我們會在中控端主機執行 Python 程式,對 Oracle 資料庫中的 CREDIT_APP 資料表發動新增、修改與刪除等 SQL 操作,觀察資料是否正確同步至 SQL Server,並且分析整體同步作業的延遲時間。
2025年4月15日 星期二
IBM Data Replication (CDC) 資料同步抄寫實作系列《環境建置篇》 Part 3:中控端環境建置(圖文說明)
IBM Data Replication 是一套運用 Change Data Capture(CDC)技術,實現異質資料庫系統即時資料同步與抄寫的資料整合解決方案。作為傳統 ETL 批次式資料整合的補充技術,該方案能即時從來源資料庫的交易日誌中擷取資料異動,並將變更內容傳送至目標資料庫,或是各類第三方中介平台與工具。相較於需要設計批次作業(Batch Job)的 ETL 工具,IBM Data Replication(以下簡稱 IDR)是一種基於配置設定(Config-based)的工具軟體。使用者僅需透過滑鼠操作完成設定與配置,再視需求撰寫少量客製化的衍生表達式(Derived Expressions),即可快速滿足異質資料庫之間的即時資料同步抄寫需求。
本系列文章將帶您逐步了解資料同步與抄寫的實作流程。首先《環境建置篇》將聚焦於整體實作環境所需的軟體安裝與設定,共分為來源端(Part 1)、目的端(Part 2)與中控端(Part 3)等三篇文章。其次在《實作演練篇》則會詳細說明 IDR 如何因應各種常見使用場景的操作流程,共分為標準與稽核模式同步抄寫(Part 1)、自訂客製化稽核欄位(Part 2)、同步抄寫作業的停止與重新啟動(Part 3)以及同步抄寫作業監控與效能瓶頸分析(Part 4)等四篇文章,這些豐富地內容將可協助您快速掌握實務操作的技巧。
IBM Data Replication (CDC) 資料同步抄寫實作系列《環境建置篇》 Part 2:目的端環境建置(圖文說明)
IBM Data Replication 是一套運用 Change Data Capture(CDC)技術,實現異質資料庫系統即時資料同步與抄寫的資料整合解決方案。作為傳統 ETL 批次式資料整合的補充技術,該方案能即時從來源資料庫的交易日誌中擷取資料異動,並將變更內容傳送至目標資料庫,或是各類第三方中介平台與工具。相較於需要設計批次作業(Batch Job)的 ETL 工具,IBM Data Replication(以下簡稱 IDR)是一種基於配置設定(Config-based)的工具軟體。使用者僅需透過滑鼠操作完成設定與配置,再視需求撰寫少量客製化的衍生表達式(Derived Expressions),即可快速滿足異質資料庫之間的即時資料同步抄寫需求。
本系列文章將帶您逐步了解資料同步與抄寫的實作流程。首先《環境建置篇》將聚焦於整體實作環境所需的軟體安裝與設定,共分為來源端(Part 1)、目的端(Part 2)與中控端(Part 3)等三篇文章。其次在《實作演練篇》則會詳細說明 IDR 如何因應各種常見使用場景的操作流程,共分為標準與稽核模式同步抄寫(Part 1)、自訂客製化稽核欄位(Part 2)、同步抄寫作業的停止與重新啟動(Part 3)以及同步抄寫作業監控與效能瓶頸分析(Part 4)等四篇文章,這些豐富地內容將可協助您快速掌握實務操作的技巧。
IBM Data Replication (CDC) 資料同步抄寫實作系列《環境建置篇》 Part 1:來源端環境建置(圖文說明)
IBM Data Replication 是一套運用 Change Data Capture(CDC)技術,實現異質資料庫系統即時資料同步與抄寫的資料整合解決方案。作為傳統 ETL 批次式資料整合的補充技術,該方案能即時從來源資料庫的交易日誌中擷取資料異動,並將變更內容傳送至目標資料庫,或是各類第三方中介平台與工具。相較於需要設計批次作業(Batch Job)的 ETL 工具,IBM Data Replication(以下簡稱 IDR)是一種基於配置設定(Config-based)的工具軟體。使用者僅需透過滑鼠操作完成設定與配置,再視需求撰寫少量客製化的衍生表達式(Derived Expressions),即可快速滿足異質資料庫之間的即時資料同步抄寫需求。
本系列文章將帶您逐步了解資料同步與抄寫的實作流程。首先《環境建置篇》將聚焦於整體實作環境所需的軟體安裝與設定,共分為來源端(Part 1)、目的端(Part 2)與中控端(Part 3)等三篇文章。其次在《實作演練篇》則會詳細說明 IDR 如何因應各種常見使用場景的操作流程,共分為標準與稽核模式同步抄寫(Part 1)、自訂客製化稽核欄位(Part 2)、同步抄寫作業的停止與重新啟動(Part 3)以及同步抄寫作業監控與效能瓶頸分析(Part 4)等四篇文章,這些豐富地內容將可協助您快速掌握實務操作的技巧。
訂閱:
文章 (Atom)