H3C SeasQL MPP 분산 데이터베이스

H3C는 다양한 분야의 고객이 빅데이터 시대의 도전에 대처할 수 있도록 고성능 빅데이터 처리 플랫폼을 구축했다. Hadoop과 MPP 분산 데이터베이스가 융합된 컴퓨팅 프레임워크를 사용하여 사용자에게 완전한 빅데이터 플랫폼 솔루션을 제공한다. 데이터 수집 전환, 저장 컴퓨팅, 분석 발굴, 공유 교환, BI 전시 및 운영 관리 등 전체 기능을 포함하여 사용자가 대량의 데이터 처리 시스템을 구축하고 새로운 시장 가치를 발견할 수 있도록 도와준다.

SeasQL MPP는 로컬 물리적 시스템 배포와 프라이빗 클라우드에 배포를 지원하며 데이터 소스는 로컬 스토리지,HDFS、Oracle, MySQL 등과 같은 클라우드 스토리지 또는 기타 관계형 데이터베이스는 ETL 도구나 Kafka 등을 통해 SeaSQL MPP 데이터베이스에 통합됩니다.SeaSQL MPP 분산 데이터베이스는 공유되지 않은 대규모 병렬 아키텍처를 기반으로 PB급 데이터 처리 능력을 갖추고 있으며, 커널은 PostgreSQL 커널을 기반으로 대량의 최적화를 진행하였고, 강력한 조회 최적화기를 제공하여 SQL을 완벽하게 호환하였다.인터페이스 계층에서 SeasQL MPP는 표준 JDBC/ODBC 인터페이스 외에도 일반적인 프로그래밍 언어인 Python/R/Java/Perl/C의 인터페이스를 제공하며 기계 학습 라이브러리인 MADLib, 전체 텍스트 검색 및 PostGIS의 인터페이스도 제공하여 계층 호출을 제공합니다.

분산 아키텍처인 SeaSQL MPP는 수천 개의 노드를 상호 연결하고 수천 개의 CPU를 지원하는 확장성이 뛰어납니다.강력한 데이터 처리 및 연산 기능은 다음 시나리오에 적용됩니다.

• 엔터프라이즈급 ODS/EDW 구축, 데이터 마켓플레이스 등 분석용 애플리케이션에 적용

• 데이터 웨어하우징, 비즈니스 인텔리전스 등과 같은 대용량 데이터를 처리해야 하는 애플리케이션에 적합합니다.

• 고객 행동 분석, 인물 초상화, 행동 예측 모델링 등 오프라인 데이터의 분석과 데이터 마이닝에 적용됩니다.

H3C SeasQL MPP는 Shared-Nothing 아키텍처, 호스트, 운영 체제, 메모리, 스토리지를 공유하지 않고 자체 제어하는 PostgreSQL 기반 분산 데이터베이스입니다.H3C SeasQL MPP 데이터베이스의 주요 특징은 다음과 같습니다.

· 대규모 병렬 처리 아키텍처.

· 행 및 열 저장소를 모두 지원합니다.각 테이블 또는 테이블 파티션은 관리자가 애플리케이션 요구 사항에 따라 저장 및 압축 방식을 지정할 수 있습니다.

· Zlib, RLE 등 다양한 압축 방법을 지원합니다.

· 다중 레벨 파티션 테이블 지원, 파티션은 범위, 목록 등을 포함한 다양한 모드를 지원합니다.

· B 트리, 비트맵 및 GiST와 같은 인덱스를 지원합니다.

· 인증 메커니즘은 LDAP와 Kerberos 등 다양한 방식을 지원합니다.

· 확장 언어 지원: SeasQL MPP는 Python, R, Java, Perl, C/C++ 등 다양한 인기 언어를 사용하여 사용자 정의 함수를 구현할 수 있습니다.

· 지리 정보 처리: PostGIS를 통합하여 SeasQL MPP는 지리 정보의 저장 및 분석을 지원합니다.

· 내장 데이터 마이닝 알고리즘 라이브러리: MADlib (현재는 Apache 인큐베이팅 프로젝트) 알고리즘 라이브러리를 통해 수십 가지 일반적인 데이터 분석과 마이닝 알고리즘을 SeasQL MPP 데이터베이스에 내장할 수 있으며, 논리 회귀, 의사 결정 트리, 랜덤 포리스트 등을 포함한다.알고리즘 코드를 작성하지 않고도 SQL을 통해 모든 알고리즘을 사용할 수 있습니다.

· 텍스트 검색: SeasQL MPP는 효율적이고 유연하며 풍부한 전체 텍스트 검색 기능을 지원합니다.MADlib과 함께 병렬 텍스트 분석 및 마이닝이 가능합니다.

• Petabyte 수준의 데이터 양에 대한 로드 성능을 제공하는 MPP 기술을 사용하는 고성능 로드.

· 빅데이터 워크플로우 조회 최적화.

· 다중 데이터 저장 및 실행

· Apache MADlib 기반의 고급 기계 학습 능력.

· SQL 92 ANSI/ISO, SQL 99 ANSI/ISO, SQL 2003 ANSI/ISO, SQL 2006 ANSI/ISO 표준, C API, ODBC, JDBC 등 국제 인터페이스 사양 지원, DDL, DML, DCL 구문 지원, 기본 데이터 유형, 기본 무결성 제약, 기본 테이블 관리, 검색 조건, 테이블 연결, 하위 쿼리, 삽입, 수정, 삭제, 트랜잭션 제어.

클라우드 배포

SeasQL MPP는 클라우드 배포를 지원할 수 있는 CloudOS5.0 클라우드 플랫폼의 배포 설치를 지원합니다.사용자는 CloudOS 인터페이스를 통해 모든 자원을 통일적으로 관리하고 통일적으로 관리할 수 있으며, 분배 자원을 유연하게 관리하여 전체적인 자원 이용률을 높일 수 있다.

중단 없이 용량 확장

SeasQL MPP 데이터베이스는 호스트 확장과 인스턴스 확장이라는 두 가지 방식으로 고객의 요구에 따라 용량을 확장할 수 있습니다.용량 확장 과정에서 시스템 테이블 메타데이터만 업데이트하면 용량 확장이 완료되며, 데이터베이스에 대한 작업을 중단할 필요가 없으며, 데이터베이스 용량 확장 후 Jump Consistent Hash 알고리즘을 사용하여 데이터 재분포 과정에서 데이터의 이동을 크게 줄일 수 있습니다.

행렬 혼합 스토리지

SeasQL MPP 데이터베이스는 다양한 유형의 스토리지 모델을 제공합니다: 행 스토리지, 열 스토리지, 행렬 혼합 스토리지, 비즈니스 요구에 따라 데이터의 스토리지 모델을 만들 수 있습니다.

OLAP 함수

SeasQL MPP는 Rollup, cube, 창 함수, 재귀 작업 등 다양한 OLAP 함수를 제공하며 의사 결정권자와 고위 관리자에 대한 의사 결정 지원에 중점을 둔 복잡한 분석 작업을 지원합니다.분석가의 요구에 따라 빅데이터량의 복잡한 조회처리를 신속하고 유연하게 진행하여 그들이 기업의 경영상황을 정확하게 파악하고 피서비스대상의 수요를 료해하며 정확한 방안을 제정할수 있도록 할수 있다.

다세입자

SeasQL MPP 데이터베이스의 다중 세입자 특성은 하나의 데이터베이스를 여러 세입자에게 나누어 사용할 수 있으며, 서로 다른 세입자의 물리적 자원은 서로 격리되어 있으며, 다중 세입자 특성은 주로 다음과 같은 몇 가지 장점을 나타냅니다.

서로 다른 세입자가 물리적 자원에 대한 요구가 다르고, 각 자원은 서로 격리되고 서로 방해하지 않으며, 일부 세입자가 업무 파장이 있을 때 다른 사용자의 자원을 선점하는 것을 방지한다.

세입자 간의 데이터는 서로 격리되어 데이터의 안전성을 높인다.

시스템 자원이 한가할 때 CPU, 메모리 자원은 탄력적으로 사용할 수 있으며, 자원이 비교적 바쁠 때 세입자 간의 자원은 설정할 때의 매개변수에 따라 제한하여 전체 시스템의 자원 이용률을 높일 수 있다.

강력한 병렬 마운트 기능

데이터의 가져오기 성능 지표는 데이터 웨어하우스의 사용 경험에 중요한 역할을 합니다. SeasQL MPP 데이터베이스는 데이터를 로드할 때 전체 클러스터의 모든 노드의 자원을 사용할 수 있습니다. 로드 성능은 노드 수가 증가함에 따라 선형적으로 증가합니다. 대규모 클러스터에서 데이터 로드 속도는 20TB/h에 달할 수 있습니다.

통합 MADLib 기계 학습 라이브러리

MADlib은 프로그래머를 대상으로 하는 것이 아니라 데이터베이스 개발이나 DBA를 대상으로 하는 것으로 SQL의 간단하고 사용하기 쉬운 것을 데이터 마이닝의 복잡한 알고리즘과 결합시켜 양자의 장점과 특징을 충분히 활용하여 개발자의 개발 효율을 크게 높일 수 있다.

사용자에게 MADlib은 SQL 쿼리 문에서 호출할 수 있는 함수를 제공하는데, 여기에는 기본적인 선형 대수 연산과 통계 함수뿐만 아니라 일반적으로 사용되는, 기성 기계 학습 또는 데이터 마이닝 모델 함수도 제공한다.사용자는 알고리즘의 프로그램 실현 세부 사항을 깊이 이해할 필요가 없고 함수의 사용 방법만 잘 알면 되어 개발 효율을 크게 향상시키고 개발 원가를 절약할 수 있다.

통합 PostGIS 지리공간 데이터 처리

PostGIS는 객체 관계형 데이터베이스 시스템인 PostgreSQL의 확장으로, PostGIS는 PostgreSQL에 공간 데이터 유형, 공간 색인 및 공간 함수 지원을 추가하여 PostgreSQL 데이터베이스 관리 시스템을 공간 데이터베이스로 변환합니다.

SeasQL MPP는 PostGIS 공간 데이터베이스를 통합하여 공간 데이터와 객체 관계 데이터베이스를 완전히 통합하여 GIS 중심에서 데이터베이스 중심으로 전환합니다.이렇게 하면 사용자는 전용 GIS 데이터 엔진이 공간 데이터를 처리하고 조작할 필요가 없으며, 응용 프로그램은 SQL 언어를 통해서만 공간 데이터를 쉽게 조작할 수 있다.

투명 암호화

SeasQL MPP 투명 암호화 모듈은 클라이언트에 대해 전혀 인식하지 못하는 전체 데이터베이스를 암호화합니다.블록을 디스크에 쓸 때 데이터를 암호화합니다.디스크에서 데이터를 읽을 때 암호를 해독합니다.디스크에 저장된 데이터가 계속 암호화되어 디스크 내용을 가져와도 안에 있는 일반 데이터를 읽을 수 없습니다.또한 비즈니스 차원에서는 암호화 작업에 대한 인식이 전혀 없으며 암호화에 대한 적절한 수정이 필요하지 않습니다.암호화 방식은 AES의 XTS 암호화 모드를 사용하여 데이터 암호화의 보안을 보장합니다.

데이터 탈민

데이터 마스킹(Data Masking)은 데이터 표백, 데이터 프라이버시 제거 또는 데이터 변형이라고도 합니다.일부 민감한 정보에 대해 탈민 규칙을 통해 데이터를 변형하여 민감한 프라이버시 데이터를 안정적으로 보호하는 것을 말한다.고객 보안 데이터 또는 일부 상업성 민감한 데이터와 관련된 경우, 시스템 규칙을 위반하지 않는 조건에서 실제 데이터를 개조하고 테스트 사용을 제공하는데, 예를 들면 신분증 번호, 핸드폰 번호, 카드 번호, 고객 번호 등 개인 정보는 모두 데이터 탈민을 진행해야 한다.

SeaSQL MPP 데이터베이스는 다양한 탈민 방법을 제공하며 탈민 규칙을 정의한 후 다음과 같은 두 가지 방법으로 탈민 데이터에 액세스할 수 있습니다.

정적 탈민:라이브러리 내의 중요 정보를 제거하고 데이터베이스 내의 중요 데이터를 복구할 수 없도록 덮어씁니다.

동적 탈민:지정된 사용자에 대해 민감한 정보를 차단하면 다른 민감하지 않은 사용자는 여전히 원본 데이터에 액세스합니다.

FDW 데이터 방련

FDW는 SQL 표준 SQL/MED(SQL Management of External Data)의 구현이다.FDW는 확장 프로그램이 외부 데이터 소스를 SQL 문으로 직접 조회하고 조작할 수 있도록 SeasQL과 같은 핵심 부분을 최적화, 실행, 스캔, 업데이트 및 통계에 쉽게 통합할 수 있는 일련의 통합 공용 인터페이스를 제공합니다.예를 들어 FDW for MySQL과 같이 사용자는 지역 테이블을 조작하는 것처럼 MySQL 데이터베이스의 데이터를 직접 조회, 정렬, 그룹화, 필터링, Join 또는 삽입하고 업데이트할 수 있습니다.

데이터 소스에 따라 SeasQL이 구현하는 FDW 모듈은 다음과 같습니다.postgres_fdw、file_fdw、oracle_fdw、mysql_fdw、json_fdw、redis_fdw、hdfs_dfw，다음 그림과 같습니다.

Roaringbitmap 압축 비트맵

RoaringBitMap은 효율적인 비트맵 압축 알고리즘으로 비트맵 메모리의 사용 효율을 효과적으로 향상시키고 희소한 비트맵이 희소한 스토리지에 적응하지 못하는 문제를 해결할 수 있습니다.Bitmap 비트 컴퓨팅은 빅 데이터 베이스 컴퓨팅에 매우 적합하며 중복 제거, 태그 필터링, 시간 시퀀스 등의 계산에 자주 사용됩니다.gpdb_roaringbitmap 플러그인은 Roaringbitmap 기능을 SeaSQL MPP 데이터베이스에 통합하여 Roaringbitmap을 데이터 유형으로 네이티브 데이터베이스 함수, 연산자, 집계 등의 기능을 지원합니다.