僅驗證使用案例

將遷移或複寫任務的資料驗證部分分割為單獨的 僅驗證任務 的使用案例，包括但不限於下列項目：

確切控制驗證發生時間 ：驗證查詢會同時為來源和目標端點新增額外負載。因此，先在某項任務中遷移或複寫資料，然後在另一項任務中驗證結果可能會有所幫助。

減少複寫執行個體的負載 ：將資料驗證拆分為在其自己的執行個體上執行會更有優勢。

快速獲得在給定時間點有多少資料列不相符 ：例如，在維護時段生產切換到目標端點之前或期間，您可以建立僅完全載入驗證任務來取得問題的答案。

當具有 CDC 元件的遷移任務預期發生驗證失敗時 ：例如，如果將 Oracle varchar2 遷移至 PostgreSQL jsonb ，CDC 驗證會持續重試這些失敗的資料列，並限制每次報告的失敗次數。但是，您可以建立僅完全載入驗證任務，並獲得更快的答案。

您已經開發讀取驗證失敗表的資料修復指令碼/公用程式 ：(另請參閱 故障診斷 )。「僅限完全載入驗證」任務可快速報告失敗，資料修復指令碼會根據該失敗採取行動。

如需 JSON 檔案中 ValidationSettings 任務設定的範例，請參閱 任務設定範例 )。

在驗證期間， AWS DMS 會在目標端點建立新的資料表： awsdms_control.awsdms_validation_failures_v1 。如果任何記錄進入 ValidationSuspended 或 ValidationFailed 狀態， 會將診斷資訊 AWS DMS 寫入 awsdms_control.awsdms_validation_failures_v1 。您可以查詢此資料表，來協助對驗證錯誤進行故障診斷。

如需相關資訊，了解如何變更在目標上建立之資料表的預設結構描述，請參閱 控制資料表任務設定 。

以下是 awsdms_control.awsdms_validation_failures_v1 資料表的說明：

以下是 MySQL 目標的範例查詢，其會透過查詢 awsdms_control.awsdms_validation_failures_v1 資料表來顯示任務的所有失敗。請注意，結構描述名稱和查詢語法會因目標引擎版本而有所不同。任務名稱應該是任務的外部資源 ID。任務的外部資源 ID 是任務 ARN 中的最後一個值。例如，針對 ARN 值為 arn:aws:dms:us-west-2:5599:task: VFPFKH4FJR3FTYKK2RYSI 的任務，任務的外部資源 ID 會是 VFPFKH4FJR3FTYKK2RYSI。

您可以查看 DETAILS 欄位，以確定不相符的資料欄有哪些。有失敗記錄的主索引鍵後，即可查詢來源和目標端點以查看哪個記錄部分不相符。

awsdms_validation_failures_v2 控制資料表

在驗證期間，在 3.6.1 版及更高 AWS DMS 版本中，DMS 會在 PostgreSQL 目標端點建立新的資料表： awsdms_validation_failures_v2 。此資料表包含已啟用資料驗證的所有 DMS 任務的失敗。建立 awsdms_validation_failures_v2 資料表時，您不應捨棄或截斷資料表，因為這可能會導致驗證和啟用重新同步的任何任務發生錯誤。 awsdms_validation_failures_v2 資料表具有自動遞增主索引鍵功能。此資料表包含支援資料重新同步功能的新資料欄。這些類別為：

在 awsdms_validation_failures_v2 資料表中，索引會新增至 TASK_NAME 、 TABLE_OWNER 、 FAILURE_TYPE 、 TABLE_NAME 和 FAILURE_TIME 資料欄，以有效率地讀取目標資料庫中任何指定資料表的失敗。以下是建立 awsdms_validation_failures_v2 資料表的範例建立陳述式：

CREATE TABLE public.awsdms_validation_failures_v2 (
    "RESYNC_ID" int8 GENERATED BY DEFAULT AS IDENTITY( INCREMENT BY 1 MINVALUE 1 MAXVALUE 9223372036854775807 START 1 CACHE 1 NO CYCLE) NOT NULL,
    "TASK_NAME" varchar(128) NOT NULL,
    "TABLE_OWNER" varchar(128) NOT NULL,
    "TABLE_NAME" varchar(128) NOT NULL,
    "FAILURE_TIME" timestamp NOT NULL,
    "KEY_TYPE" varchar(128) NOT NULL,
    "KEY" varchar(7800) NOT NULL,
    "FAILURE_TYPE" varchar(128) NOT NULL,
    "DETAILS" varchar(7000) NOT NULL,
    "RESYNC_RESULT" varchar(128) NULL,
    "RESYNC_TIME" timestamp NULL,
    "RESYNC_ACTION" varchar(128) NULL,
    CONSTRAINT awsdms_validation_failures_v2_pkey PRIMARY KEY ("RESYNC_ID")
        
Redshift 驗證效能
  
        
Amazon Redshift 與關聯式資料庫有幾個不同處，包括單欄式儲存、MPP、資料壓縮和其他因素。這些差異為 Redshift 提供了與關聯式資料庫不同的效能設定檔。
        
在完全載入複寫階段，驗證功能會使用範圍查詢，資料大小由 PartitionSize 設定管控。這些基於範圍的查詢選擇來源表中的所有記錄。
        
對於進行中的複寫，會在基於範圍和個別記錄擷取之間切換查詢。查詢類型是根據多項因素動態來決定的，如下所示：
        
減少 PartitionSize 和 ThreadCount 設定，以協助減輕完全載入驗證期間的工作負載。請注意，這將會減慢資料驗證速度。
雖然 Redshift 不會強制執行主索引鍵，但 AWS DMS 依賴主索引鍵來唯一識別目標上的記錄以進行資料驗證。若可行，請將主索引鍵設定為鏡像排序索引鍵，以便加快執行完全載入驗證查詢速度。
        
的增強型資料驗證 AWS Database Migration Service
        
AWS Database Migration Service 具有增強的資料庫遷移資料驗證效能，讓客戶能夠以更快的處理時間驗證大型資料集。此增強型資料驗證現在可在具有 CDC 遷移任務的完全載入和完全載入的複寫引擎 3.5.4 版中使用。目前，此增強功能支援從 Oracle 遷移至 PostgreSQL、SQL Server 遷移至 PostgreSQL、Oracle 遷移至 Oracle，以及 SQL Server 遷移至 SQL Server，並規劃未來版本的其他遷移路徑。
                    
Oracle：將 上的 EXECUTE 許可授予存取 Oracle SYS.DBMS_CRYPTO 端點的使用者帳戶：
                    
GRANT EXECUTE ON SYS.DBMS_CRYPTO TO dms_endpoint_user;
                    
在 PostgreSQL 資料庫上安裝pgcrypto擴充功能：
                    
對於自我管理的 PostgreSQL 執行個體，您需要安裝contrib模組程式庫並建立擴充功能：
                                    
安裝contrib模組程式庫。例如，在具有 Amazon Linux 和 PostgreSQL 15 的 Amazon EC2 執行個體上： PostgreSQL 
                                    
sudo dnf install postgresql15-contrib
                                    
建立pgcrypto擴充功能：
                                    
CREATE EXTENSION IF NOT EXISTS pgcrypto;
                    
對於 Amazon RDS for PostgreSQL 執行個體，請設定 AWS DMS 端點的 SSL 模式：
                            
根據預設，Amazon RDS 會強制 SSL 連線。當您為 Amazon RDS for PostgreSQL 執行個體建立 AWS DMS 端點時，請使用「SSL 模式」選項 =「必要」。
                            
如果您想要使用「SSL 模式」選項 =「無」，請在 RDS 參數群組中將 rds.force_ssl 參數設定為 0。
                    
針對 PostgreSQL 12 和 13，建立BIT_XOR彙總：
   
                    
CREATE OR REPLACE AGGREGATE BIT_XOR(IN v bit) (SFUNC = bitxor, STYPE = bit);
            
增強的資料驗證限制
            
此增強型資料驗證功能有下列限制：
                        
主索引鍵資料欄不能是 CLOB、BINARY、 BLOB或 類型BYTE。
                                
針對 VARCHAR 或 CHAR 類型的主索引鍵資料行，長度必須小於 1024。您必須指定資料類型的長度。您無法使用無界資料類型做為資料驗證的主索引鍵。
                                
使用 NOVALIDATE 子句建立的 Oracle 索引鍵不被視為主索引鍵或唯一索引。
                                
對於沒有主索引鍵且只有唯一索引鍵的 Oracle 資料表，具有唯一限制的資料欄也必須具有 NOT NULL 限制。
                        
不支援驗證 NULL PK/UK 值。
                        
如果目標 PostgreSQL 執行個體中主索引鍵資料行的定序未設為 "C"，則主索引鍵的排序相較於 Oracle 的排序會有所不同。如果 PostgreSQL 與 Oracle 之間的排序不同，資料驗證將無法驗證記錄。
                        
資料驗證會對來源和目標資料庫產生額外的查詢。您必須確保這兩個資料庫有足夠的資源，可處理此額外的負載。Redshift 目標尤其如此。如需詳細資訊，請參閱下列 Redshift 驗證效能。
                            
將數個資料庫整合成單一資料庫時不支援資料驗證。
                            
對於來源或目標 Oracle 端點， AWS DMS 會使用 DBMS_CRYPTO。如果您在 Oracle 端點上使用資料驗證，則必須將 的執行許可授予用於存取 Oracle 端點的dbms_crypto使用者帳戶。您可以執行下列陳述式來執行此操作
                            
grant execute on sys.dbms_crypto to dms_endpoint_user;
                        
如果在驗證 AWS DMS 期間在 外部修改目標資料庫，則可能無法準確報告差異。如果您的其中一個應用程式將資料寫入目標資料表，而 正在對該相同資料表 AWS DMS 執行驗證，則可能會發生此結果。
                        
如果在驗證期間持續修改一或多個資料列，則 AWS DMS 無法驗證這些資料列。
                        
如果 AWS DMS 偵測到超過 10，000 個失敗或暫停的記錄，則會停止驗證。請解決資料的任何基本問題，再繼續進行。
                        
AWS DMS 不支援檢視的資料驗證。