一、MogDB數(shù)據(jù)庫介紹

MogDB是云和恩墨基于openGauss開源數(shù)據(jù)庫進行完善增強的企業(yè)發(fā)行版。它圍繞高性能、高可用、全密態(tài)、自動化運維、多數(shù)據(jù)庫兼容等企業(yè)需求，應(yīng)對企業(yè)用戶需求新一代數(shù)據(jù)庫的應(yīng)用場景。其核心價值是高安全、高性能、高兼容、易運維和全天候的企業(yè)支持。

二、MogDB目前公開的客戶

三、MogDB生態(tài)工具

1 . 關(guān)于MogHA（MogDB Highly Available ）

• MogHA 是云和恩墨基于 MogDB 同步異步流復(fù)制技術(shù)自研的一款保障數(shù)據(jù)庫主備集群高可用的企業(yè)級軟件系統(tǒng)

• MogHA 能夠自主探測故障實現(xiàn)故障轉(zhuǎn)移，虛擬IP自動漂移等特性，使得數(shù)據(jù)庫的故障持續(xù)時間從分鐘級降到秒級（RPO=0，RTO<30s），確保數(shù)據(jù)庫集群的高可用服務(wù)。

• 為什么需要MogHA

  • 首先我們需要理解一下什么是高可用，高可用的目的是為了讓數(shù)據(jù)庫盡可能提供連續(xù)服務(wù)，以保證上層業(yè)務(wù)的穩(wěn)定運行。數(shù)據(jù)庫雖然支持主備庫的部署結(jié)構(gòu)，其目的是防止單點故障。但數(shù)據(jù)庫并不提供故障檢測以及自動化切換主備的功能，這也不屬于數(shù)據(jù)庫的處理范疇。所以需要有 MogHA 這樣的一套高可用系統(tǒng)，來保證數(shù)據(jù)庫服務(wù)的連續(xù)性。

• 功能特性

  • 自主發(fā)現(xiàn)數(shù)據(jù)庫實例角色
  • 自主故障轉(zhuǎn)移
  • 支持網(wǎng)絡(luò)故障檢測
  • 支持磁盤故障檢測
  • 虛擬IP自動漂移
  • 感知雙主腦裂，自動選主
  • 數(shù)據(jù)庫進程和CPU綁定
  • HA自身進程高可用
  • 支持單機并行部署多套 MogHA
  • 支持 x86_64 和 aarch64

• 系統(tǒng)架構(gòu)

• 支持的模式

  • Lite 模式，顧名思義即輕量級模式，該模式僅需在主庫和一臺同步備機器上啟動 MogHA 服務(wù)，此時 MogHA 服務(wù)可以保證這兩臺機器上數(shù)據(jù)庫實例的高可用，當(dāng)主庫發(fā)生不可修復(fù)的問題或者網(wǎng)絡(luò)隔離時，MogHA 可以自主地進行故障切換和虛擬IP漂移。

  

  • Full模式相較于 lite 模式，需要在所有實例機器上運行 MogHA 服務(wù)，且所有的實例有由 MogHA 來自動管理，當(dāng)出現(xiàn)主庫故障時，會優(yōu)先選擇本機房同步備進行切換，如果本機房同步備也是故障的情況，會選擇同城備機房的同步備進行切換。為了達到RPO=0，MogHA 不會選擇異步備庫進行切換，以防止數(shù)據(jù)丟失。該模式會在主備切換時，會自動修改數(shù)據(jù)庫的復(fù)制連接及同步備列表配置。
    

2 . 關(guān)于MTK（Database Migration Toolkit）

• 將Oracle/DB2/MySQL/openGauss數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)，全量數(shù)據(jù)高速導(dǎo)入到MogDB的工具。最新版本同時支持對于Oracle數(shù)據(jù)庫中存儲過程，函數(shù)，觸發(fā)器等程序段的MogDB兼容性改寫和導(dǎo)入。
• 多數(shù)據(jù)庫類型支持
  • 支持 Oracle,DB2,openGauss,SqlServer,MySQL,Informix 等數(shù)據(jù)庫之間的互相遷移 (互為源和目標(biāo))。
  • 支持將數(shù)據(jù)庫內(nèi)容導(dǎo)出成可執(zhí)行的 SQL 腳本 （源數(shù)據(jù)庫內(nèi)容遷移到文本）。
• 遷移性能調(diào)整
  • 支持調(diào)整數(shù)據(jù)遷移過程中的批量查詢、批量插入大小等細粒度參數(shù)，來調(diào)整數(shù)據(jù)遷移的性能。
  • 支持?jǐn)?shù)據(jù)遷移時的多并發(fā)，并行和數(shù)據(jù)分片。
• 結(jié)構(gòu)和數(shù)據(jù)分離
  • 支持遷移對象結(jié)構(gòu)和數(shù)據(jù)；也支持僅遷移結(jié)構(gòu)或者僅遷移數(shù)據(jù)（在結(jié)構(gòu)已經(jīng)遷移完之后）。
  • 支持表級和 Schema 級的遷移范圍限定，允許指定schema下全部對象或者某些對象進行遷移 。
  • 支持遷移過程中的 Schema 重映射，也就是支持將對象從源Schema遷移到目標(biāo)端的不同名Schema下 。
• 程序遷移（支持Oracle/MySQL/DB2為源,openGauss為目標(biāo)）
  • 支持Oracle/MySQL/DB2->openGauss的存儲過程，函數(shù)，觸發(fā)器，包遷移。
    自動根據(jù)openGauss的語法規(guī)則，對Oracle/MySQL/DB2的程序進行改寫，之后再在目標(biāo)端openGauss數(shù)據(jù)庫中創(chuàng)建。
• 遷移場景

• 支持?jǐn)?shù)據(jù)庫對象

• 存儲過程轉(zhuǎn)換
  • 入?yún)⒑统鰠㈩愋娃D(zhuǎn)換
  • 函數(shù)重載
  • FROM dual 移除
  • 語法轉(zhuǎn)換

• 函數(shù)轉(zhuǎn)換

3. MDB (MogDB Data Bridge)

• 異構(gòu)數(shù)據(jù)庫遷移同步工具，用于 MogDB/openGauss 以及同類基于 openGauss 的數(shù)據(jù)庫與其他異構(gòu)數(shù)據(jù)庫（Oracle, DB2, MySQL, PostgreSQL等）之間的數(shù)據(jù)遷移和同步
• 架構(gòu)
  
• 支持?jǐn)?shù)據(jù)庫類型

• 支持?jǐn)?shù)據(jù)庫對象

• 不支持?jǐn)?shù)據(jù)庫對象

4. MVD (MogDB Verify Data)

• 異構(gòu)數(shù)據(jù)庫對比工具，可用于異構(gòu)數(shù)據(jù)遷移或同步完成之后，校驗源庫與目標(biāo)庫之間的差異。

• 主要功能

  • 對象結(jié)構(gòu)對比： 包括源庫與目標(biāo)庫的對象差異，表對象的結(jié)構(gòu)（字段類型和名稱），約束，索引的差異等。
  • 數(shù)據(jù)特征對比： 包括表中各個字段的統(tǒng)計學(xué)特征值對比，主要對比相關(guān)性與平均值，最大值，最小值，中位值等。
  • 精確差異識別： 對數(shù)據(jù)特征有差異的表，進行精確差異識別，通過統(tǒng)一的 MD5 摘要算法，找出源庫與目標(biāo)庫中數(shù)據(jù)不一致的行記錄。

• 操作系統(tǒng)與平臺支持

  • Linux x86_64
  • Linux arm64 ( 因為 ARM 平臺沒有 DB2 客戶端，所以 ARM 版不支持源庫或者目標(biāo)庫為 DB2 )
  • MacOS

• 數(shù)據(jù)庫支持

  • Oracle >= 11.2
  • MogDB/openGauss >= 1.0 ( MacOS 暫不支持 SHA256 加密認(rèn)證方式 )
  • MySQL >= 5.5
  • DB2 >= 11.5

5. SCA (SQL Compatibility Analyzer)

• 評估源數(shù)據(jù)庫中的實際業(yè)務(wù) SQL 在目標(biāo)庫中是否能正常執(zhí)行，以及評估異構(gòu)數(shù)據(jù)庫中 SQL 的實際性能差異。

• SCA 程序可運行如下 10 種類型的任務(wù)：

  • I [Initialize]: 初始化，用于初始化 SCA 資料庫
  • L [Apply License]: 申請 License，用于 License 申請的任務(wù)
  • OC [Oracle Collection]: Oracle采集，用于采集 Oracle 數(shù)據(jù)庫中執(zhí)行過的業(yè)務(wù) SQL，需要長時間采集
  • MC [MySQL Collection]: MySQL采集，用于采集 MySQL 數(shù)據(jù)庫中執(zhí)行過的業(yè)務(wù) SQL，需提前配置慢日志，然后一次性采集
  • DC [DB2 Collection]: DB2采集，用于采集 DB2 數(shù)據(jù)庫中執(zhí)行過的業(yè)務(wù) SQL，需要長時間采集
  • OI [Oracle Inspection]: Oracle兼容評估，用于評估源端 Oracle 中采集到的業(yè)務(wù) SQL，在目標(biāo)端 MogDB 中的實際兼容性
  • MI [MySQL Inspection]: MySQL兼容評估，用于評估源端 MySQL 中采集到的業(yè)務(wù) SQL，在目標(biāo)端 MogDB 中的實際兼容性
  • DI [DB2 Inspection]: DB2兼容評估，用于評估源端 DB2 中采集到的業(yè)務(wù) SQL，在目標(biāo)端 MogDB 中的實際兼容性
  • OS [Oracle Simulation]: Oracle性能評估，用于評估源端 Oracle 中采集到的業(yè)務(wù) SQL，在目標(biāo)端 MogDB 中的執(zhí)行性能
  • OIS [Oracle Inspection & Simulation]: Oracle兼容和性能評估，等同于 OI + OS 兩種任務(wù)同時進行

• 操作系統(tǒng)與平臺支持

  • Linux x86_64
  • Linux arm64 (ARM 平臺由于沒有 DB2 客戶端，故不支持 DB2 數(shù)據(jù)采集)
  • MacOS (MacOS 版本不支持 openGauss/MogDB 中的 SHA256 加密認(rèn)證方式)

• 數(shù)據(jù)庫支持

  • SCA 目前支持的源端與目標(biāo)端數(shù)據(jù)庫類型如下：

    • 源端：
    • Oracle: 不低于 10.2
    • MySQL: 不低于 5.5
    • DB2: 不低于 11.5
    • PostgreSQL: 不低于 9
    • File: MySQL slow-log

  • 目標(biāo)端：

    • MogDB/openGauss: 不低于 2.0
    • PostgreSQL: 不低于 13.0

6. Mogeaver

• Mogeaver基于流行的開源圖形化工具dbeaver，在嚴(yán)格遵循DBeaver Community Edition 的ASL開源協(xié)議基礎(chǔ)上，進行了二次開發(fā)和封裝，支持對于MogDB數(shù)據(jù)庫的圖形化開發(fā)及管理，支持通過圖形化的方式創(chuàng)建，修改，調(diào)試數(shù)據(jù)庫內(nèi)的存儲過程，自定義函數(shù)，及包。

• Mogeaver High light

  • 多平臺支持

    • 支持macOS Intel版本，支持macOS Apple Silicon版本，
    • 支持Windows，包括但不限于Windows 10， Windows 11
    • 支持Linux，包括但不限于openEuler，Kylin Linux，UOS，Ubuntu，CentOS

  • 兼容MogDB的特性

    • 支持創(chuàng)建數(shù)據(jù)庫選擇不同的兼容模式（A，B，PG）
    • 支持管理MogDB數(shù)據(jù)庫角色（role）
    • 支持管理Large序列（MogDB 3.0之后版本支持）
    • 支持管理分區(qū)表（Partition Table）
    • 支持管理數(shù)據(jù)庫內(nèi)任務(wù)（Job）
    • 支持BLOB和CLOB字段的修改和查看

  • 支持圖形化調(diào)試

    • 支持MogDB服務(wù)端的dbe_pldebugger調(diào)試功能
    • 支持?jǐn)帱c調(diào)試和單步調(diào)試
    • 支持查看調(diào)試中變量值實時變化
    • 支持定位并跳轉(zhuǎn)至準(zhǔn)確的代碼報錯位置

7. MogDB Manager

• MogDB Manager提供了圖形化的數(shù)據(jù)庫運維套件，包括：自動化安裝部署，數(shù)據(jù)庫監(jiān)控，備份恢復(fù)管理等組件，在多個運維維度幫助客戶提高數(shù)據(jù)庫管理效率。
• 目前還未發(fā)布release版本，POC版本可用

8. MogDB Stack

• MogDB Stack是Kubernetes上的MogDB集群自動運維系統(tǒng)，提供包括部署、高可用、擴縮容、監(jiān)控、備份恢復(fù)的MogDB全生命周期管理。借助MogDB Stack，MogDB可以無縫運行在公有云或私有部署的Kubernetes集群上。

• MogDB Stack特性

  • 簡單便捷的自動部署/回收

    • 以Kubernetes作為原生的容器編排系統(tǒng)，以擴展資源的方式，輕松便捷地創(chuàng)建整套MogDB集群，并且根據(jù)用戶的期望任意擴縮容。

  • 穩(wěn)定可靠的備份恢復(fù)能力

    • 支持基于SQL的備份方式，并且存儲在遠端分布式存儲中，多副本保證備份的可靠性，指定point-in-time的恢復(fù)方式，恢復(fù)到指定的時間點。

  • 企業(yè)級的高可用性

    • 自動故障探測、切換，并自動化的拉取數(shù)據(jù)快照恢復(fù)故障節(jié)點或重新調(diào)度新節(jié)點，實現(xiàn)系統(tǒng)的自愈能力，保證用戶期望的副本數(shù)。

  • 完善可靠的監(jiān)控能力

    • 基于Prometheus實現(xiàn)多維度的統(tǒng)一監(jiān)控，囊括了系統(tǒng)層、容器層、數(shù)據(jù)庫層的完整的監(jiān)控指標(biāo)。

  • 精細化的資源管控

    • 針對CPU、內(nèi)存、存儲等資源的限額，保證容器層的獨立性，不會互相干擾，支持容器的親和性、反親和性調(diào)度。

• 系統(tǒng)架構(gòu)
  

• 操作系統(tǒng)與平臺支持

  • MogDB Stack 目前支持在如下操作系統(tǒng)和平臺架構(gòu)下運行：
    • Linux x86_64
    • Linux arm64

9. PTK

• PTK (Provisioning Toolkit)是一款針對 MogDB 數(shù)據(jù)庫開發(fā)的軟件安裝和運維工具，旨在幫助用戶更便捷地安裝部署MogDB數(shù)據(jù)庫。

• 如果用戶想要運行 MogDB 或者 MogDB 的相關(guān)組件時，僅需要執(zhí)行一行命令即可實現(xiàn)。

• 使用場景

  • 開發(fā)人員快速啟動多個本地MogDB環(huán)境
  • 用戶通過PTK快速安裝部署MogDB
  • DBA日常運維使用
  • 第三方運維平臺集成

• 通過 PTK 支持安裝 MogDB 的操作系統(tǒng)

四、MogDB目前的合作伙伴（適配過的生態(tài)）

• 硬件整機

• 芯片

• 操作系統(tǒng)

• 中間件

• 備份存儲

• 應(yīng)用軟件

五、墨天輪數(shù)據(jù)庫排行榜

六、MogDB認(rèn)證體系

• MogDB數(shù)據(jù)庫認(rèn)證等級

• 獲取證書路線圖
  

七、MogDB社區(qū)

http://www.sunline.cc/mogdb

八、MogDB大事記

• 2020.07.01?
  發(fā)布o(jì)penGauss Container Edition（openGauss容器版v1.00-支持單機）

• 2020.08.30?
  發(fā)布GSHA（openGauss HA）高可用組件

• 2020.09.24?
  在華為全聯(lián)接2020上，MogDB正式亮相發(fā)布，并與民生銀行一起聯(lián)袂獲得華為頒發(fā)的openGauss超級用戶大獎

• 2020.09.30
  發(fā)布o(jì)penGauss Container Edition（openGauss容器版v1.0.1-支持主備）

• 2020.10.30
  發(fā)布輔助MogDB后期運維的自動化批量化安裝部署工具PTK（Provioning ToolKit），同時支持單機、主備以及級聯(lián)備庫自動化安裝

• 2020.11.30
  發(fā)布輔助MogDB后期運維的監(jiān)控工具MIT（MogDB Insight）和備份恢復(fù)工具BRM（Backup and Recovery Manager）

• 2020.12.30
  發(fā)布o(jì)penGauss Container Edition（openGauss容器版v1.1.0-支持主備）
  開源opengauss_exporter for Prometheus
  開源wal2json for openGauss

• 2021.03.30
  發(fā)布o(jì)penGauss?Container?Edition?2.0

• 2021.05.25
  發(fā)布MogDB 2.0

• 2021.06.30
  發(fā)布MogDB 2.0.1

• 2021.11.30
  發(fā)布MogDB 2.1.0

• 2022.03.30
  發(fā)布MogDB 2.1.1