H3C DataEngine MPP 분산 데이터베이스

고급 열 스토리지 및 컴퓨팅

H3C DataEngine MPP에서는 각 열의 데이터가 연속적인 하드 드라이브 스토리지 블록에 독립적으로 저장됩니다.이는 기존의 행 데이터베이스가 행의 순서에 따라 데이터를 연속적으로 저장하는 것과는 근본적으로 다르다.

H3C DataEngine MPP는 지연 압축 해제 기술도 지원합니다.H3C DataEngine MPP의 최적화기 및 실행 엔진은 열식 컴퓨팅 기술을 최대한 활용하여 먼저 디코딩하지 않고도 쿼리 조건 및 연관에서 데이터 인코딩 후의 값에 직접 액세스할 수 있도록 지원합니다.이를 통해 H3C DataEngine MPP는 데이터 쿼리 중 CPU 오버헤드를 크게 절감하고 전반적인 쿼리 성능을 향상시킬 수 있습니다.

효율적인 액티브 압축

H3C DataEngine MPP는 스트로크 길이 알고리즘(run length encoding), 델타 밸류 인코딩(delta value encoding), 정수 데이터에 대한 정수 압축, 문자 데이터에 대한 블록 사전 인코딩, 다른 데이터 유형에 대한 Lempel-Ziv 인코딩 등 12가지 이상의 압축 알고리즘을 지원합니다.

H3C DataEngine MPP의 데이터 압축 비율은 일반적으로 10: 1입니다.I/O 리소스 소비 절감의 관점에서 볼 때, I/O가 주요 병목 현상인 분석 시스템의 경우, H3C DataEngine MPP의 액티브 압축 기술은 기존의 라인 데이터베이스에 비해 약 한 수준의 성능 향상을 가져올 수 있다.그러나 업종에 따라 업무 데이터의 특징 차이가 비교적 크다.따라서 H3C DataEngine MPP는 다양한 유형의 데이터에 대한 압축 비율도 다릅니다.

공유되지 않는 고유하고 편리한 대규모 병렬 컴퓨팅 및 확장성

H3C DataEngine MPP는 원클릭 온라인 클러스터 확장을 지원합니다.클릭 한 번으로 노드를 추가하고 삭제하여 데이터 재배포를 자동으로 완료할 수 있으며, 확장 프로세스는 실행 중인 비즈니스를 중단할 필요가 없습니다.H3C DataEngine MPP 클러스터의 모든 노드는 마스터 노드가 필요 없이 완전히 동등하며, 데이터 로드, 데이터 내보내기 및 쿼리는 모든 노드에서 동시에 동시에 동시에 실행될 수 있습니다.리소스 공유가 없기 때문에 노드를 추가하면 H3C DataEngine MPP의 데이터 용량과 컴퓨팅 능력을 선형적으로 확장할 수 있으며, 여러 노드에서 수천 노드로, 또는 몇 TB에서 10PB로 쉽게 확장하고 축소할 수 있어 비즈니스 규모 증가를 충족할 수 있습니다.

비즈니스 기반 계층형 스토리지

빅 데이터 시대에는 데이터 생성이 점점 빨라지고 있으며, 규정 준수 및 딥 마이닝은 더 많은 데이터를 보존해야 하기 때문에 데이터베이스에 더 많은 데이터를 저장하고 있습니다.H3C DataEngine MPP는 서로 다른 Schema, 테이블과 같은 객체, 테이블 파티션에 대해 서로 다른 스토리지 정책을 지정하고, 서로 다른 성능, 비용 및 용량의 스토리지 미디어를 사용할 수 있는 다른 저장 위치를 지정하여 스토리지 비용을 최적화할 수 있습니다.또한 H3C DataEngine MPP는 일부 테이블과 테이블 파티션을 오프라인 스토리지로 백업하고 오프라인 스토리지에서 복구할 수 있도록 지원하여 온라인 스토리지와 오프라인 스토리지 간의 데이터 교환 속도를 크게 향상시키고 온라인 장치의 활용도와 비즈니스 가치를 향상시킵니다.

내장형 자동 최적화 설계

H3C DataEngine MPP의 설계자는 데이터베이스 또는 패턴에 대한 전반적인 최적화 설계뿐만 아니라 특정 쿼리에 대한 증가분 최적화를 지원합니다.또한 H3C DataEngine MPP는 데이터베이스 실행 로드 데이터를 수집하는 로드 분석기를 제공하여 자동화된 권장 사항을 제공합니다.따라서 DBA 관리 비용이 크게 절감됩니다.

안정성 보장 체계

H3C DataEngine MPP는 데이터의 여러 중복 백업을 유지 관리하여 고가용성을 보장합니다.H3C DataEngine MPP는 중복 데이터가 서로 다른 결점에 분산 저장되도록 보장하여 지능형 데이터 미러링 기능을 내장합니다.H3C DataEngine MPP는 이를 K-safety(K-safety)라고 하는데, K는 H3C DataEngine MPP가 용인할 수 있는 장애 발생 가능성이 있는 임의의 결점의 개수를 말한다.

K 레벨 계수 신뢰성은 모든 K 노드에 장애가 발생했을 때 클러스터에 데이터 처리 및 쿼리 요청에 응답하는 최소 하나의 완전한 데이터가 있음을 보장합니다.노드 장애는 애플리케이션에 영향을 주지 않으며 업무 수행에 지장을 주지 않습니다.H3C DataEngine MPP는 중복 데이터의 쿼터 수를 조정하여 다양한 애플리케이션 설계 요구 사항을 충족할 수 있는 가용성을 제공합니다.

H3C DataEngine MPP는 내결함성 그룹 및 랙 인식 기능을 기본적으로 지원합니다.H3C DataEngine MPP의 데이터 이중화는 내결함성 그룹입니다. 내결함성 그룹 (일반적으로 캐비닛, 심지어 여러 캐비닛으로 구성된 영역을 포함) 의 노드에 장애가 발생하면 전체 데이터베이스의 데이터가 완전하고 유효한지 보장할 수 있습니다. 따라서 캐비닛의 전력 누전과 같은 대규모 하드웨어 고장이 전체 클러스터의 가용성에 미치는 피해를 효과적으로 방지할 수 있습니다.

라이브러리 기계 학습

기존 데이터 분석 시스템은 분석 / 마이닝 요청 - 데이터 제출 - 분석 / 마이닝 - 결과 표시 운영 프로세스를 사용합니다.빅 데이터의 도래는 네트워크를 병목 현상으로 만들었고, 분석/마이닝 작업의 높은 지연 시간은 참을 수 없게 만들었다.

H3C DataEngine MPP는 분석/마이닝 알고리즘을 데이터베이스에 배치하여 알고리즘과 데이터를 긴밀히 결합시키고 H3C DataEngine MPP가 열식과 MPP 아키텍처 특성에 기반한 실시간 컴퓨팅 능력을 충분히 활용하여 분석/마이닝 작업을 효율적으로 수행할 것을 강조한다.

일반적인 통계 분석 및 선형 회귀 분석 외에도 H3C DataEngine MPP는 SQL-99를 기반으로 확장되어 시간 시퀀스 기반, 패턴 매칭 분석, 지리 분석 등의 고급 분석 기능을 제공합니다.이러한 기능은 사용자 스스로 복잡한 데이터 분석을 개발하는 작업을 크게 줄이고 빅 데이터 양 환경에서 분석 작업을 잘 수행 할 수 있습니다.또한 H3C DataEngine MPP는 구조화 및 비구조화 융합 분석을 지원하며, H3C DataEngine MPP와 Hadoop이 각각 구조화 및 비구조화에 뛰어난 분석 능력을 결합하여 효율적인 융합 분석 솔루션을 만들 수 있다.

개발 및 확장

H3C DataEngine MPP는 호환성이 뛰어납니다.SQL-92/SQL-99/SQL-2003 표준을 지원하고 ODBC, JDBC, ADO.NET 드라이버를 제공하여 기존 ETL(예: Informatica, DataStage) 도구, 보고서 도구(예: BO, Cognos 등) 및 분석 도구(예: SAS, SPASS 등)와 쉽게 통합하여 기존 투자를 보호할 수 있습니다.

H3C DataEngine MPP 서버는 주요 X86 서버 및 Linux 릴리스를 지원하는 X86 Linux 서버를 사용합니다.H3C DataEngine MPP는 또한 사용자 정의 함수를 개발하는 SDK를 제공하며, 사용자가 H3C DataEngine MPP를 빅데이터 컴퓨팅 플랫폼으로 삼고, C++/R/Java 언어를 통해 자신의 독특한 데이터 분석과 처리 알고리즘을 H3C DataEngine MPP에 확장으로 추가하여 H3C DataEngine MPP의 MPP와 열식 컴퓨팅 기술을 충분히 활용하여 사용자의 즉각적인 효율적인 데이터 처리 능력을 사용할 수 있도록 지원한다.

H3C DataEngine MPP는 원클릭 온라인 클러스터 확장을 지원합니다.클릭 한 번으로 노드를 추가하고 삭제하여 데이터 재배포를 자동으로 완료할 수 있으며, 확장 프로세스는 실행 중인 비즈니스를 중단할 필요가 없습니다.

데이터베이스 보안

H3C DataEngine MPP는 강력한 보안을 제공합니다.H3C DataEngine MPP는 다양한 인증 방식을 지원합니다.인증된 사용자만 H3C DataEngine MPP에 액세스할 수 있습니다.또한 H3C DataEngine MPP는 사용자의 데이터 액세스 권한을 유연하게 제어할 수 있는 완벽한 역할과 권한 부여 메커니즘을 제공합니다.다세입자와 샌드박스를 지원하여 데이터베이스의 다세입자 관리 모델을 실현한다.다세입자 모델은 서로 다른 세입자/응용의 자원 소모"봉-곡"시간 차이를 충분히 이용하여 자원 공유를 실현할 수 있다.

또한 H3C DataEngine MPP는 Schema, 테이블과 같은 일부 데이터베이스 개체의 백업, 복구 특성을 지원하며, 세입자별로 백업 정책을 관리할 수 있도록 지원하여 각 세입자가 자신의 데이터 개체에 대해 완전한 라이프 사이클 관리를 할 수 있도록 한다.H3C DataEngine MPP의 데이터베이스 부분 개체 백업 및 복구 기능은 응용 프로그램 및 사용자별 다차원 계층 관리를 지원하는 빅 데이터 시스템을 지원합니다.

최적화된 열 스토리지 및 컴퓨팅

H3C DataEngine MPP에서는 각 열의 데이터가 연속적인 하드 드라이브 스토리지 블록에 독립적으로 저장됩니다.이는 기존의 행 데이터베이스가 행의 순서에 따라 데이터를 연속적으로 저장하는 것과는 근본적으로 다르다.H3C DataEngine MPP는 지연 물질화 기술을 지원합니다.대부분의 분석 질의에서는 모든 열 데이터의 하위 집합만 가져오는 경우가 많습니다.H3C DataEngine MPP 열 최적화기 및 실행 엔진은 열 스토리지에서 관련 없는 열을 건너뛸 수 있으므로 I/O 리소스 사용량을 크게 줄일 수 있습니다.

액티브 압축

열 스토리지를 지원한다고 알려진 다른 데이터베이스가 데이터 삽입 후 순서에 따라 저장되는 방식과 달리, H3C DataEngine MPP는 각 열의 데이터 유형, 베이스 및 쿼리 특성에 따라 적용 가능한 정렬 및 압축 알고리즘을 자동으로 선택하여 데이터가 차지하는 저장 공간을 최소화하고 쿼리의 I/O 소비를 줄이며 쿼리 성능을 향상시킵니다.H3C DataEngine MPP는 12가지 이상의 압축 알고리즘을 지원합니다.

공유되지 않은 대규모 병렬 컴퓨팅 및 확장성

H3C DataEngine MPP 클러스터의 모든 노드는 마스터 노드가 필요 없이 완전히 동등하며, 데이터 로드, 데이터 내보내기 및 쿼리는 모든 노드에서 동시에 동시에 동시에 실행될 수 있습니다.리소스 공유가 없기 때문에 노드를 추가하면 H3C DataEngine MPP의 데이터 용량과 컴퓨팅 능력을 선형적으로 확장할 수 있으며, 여러 노드에서 수천 노드로, 또는 몇 TB에서 10PB로 쉽게 확장하고 축소할 수 있어 비즈니스 규모 증가를 충족할 수 있습니다.

계층형 스토리지

빅 데이터 시대에는 데이터 생성이 점점 빨라지고 있으며, 규정 준수 및 딥 마이닝은 더 많은 데이터를 보존해야 하기 때문에 데이터베이스에 더 많은 데이터를 저장하고 있습니다.성능 분석, 고속 디스크 고비용 및 빅 데이터 용량 요구 사항은 종종 모순됩니다.H3C DataEngine MPP의 계층형 스토리지 기능은 이러한 모순을 효과적으로 해결할 수 있습니다.H3C DataEngine MPP는 서로 다른 Schema, 테이블과 같은 객체, 테이블 파티션에 대해 서로 다른 스토리지 정책을 지정하고, 서로 다른 성능, 비용 및 용량의 스토리지 미디어를 사용할 수 있는 다른 저장 위치를 지정하여 스토리지 비용을 최적화할 수 있습니다.

설계 자동화

H3C DataEngine MPP에는 전문가 지식이 포함된 데이터베이스 최적화 디자이너가 내장되어 있습니다.사용자는 논리 모드 (Schema) 를 지정하고 샘플 데이터를 마운트하며 일반적인 쿼리 SQL 문을 제공하기만 하면 됩니다. H3C DataEngine MPP의 데이터베이스 최적화 디자이너는 전문가 지식에 따라 데이터의 수평 분포 방식, 각 열의 정렬 방식과 압축 알고리즘을 자동으로 설계하여 쿼리 성능과 저장 공간 크기 요구의 균형을 맞추고 데이터베이스 전체의 최적화를 실현합니다.

네이티브 클라우드 분석 플랫폼

H3C DataEngine MPP는 공유 클라우드와 프라이빗 클라우드 시나리오에서 컴퓨팅과 스토리지 자원의 분리를 동시에 지원하며, 공유 MPP가 없는 고성능과 공유 스토리지의 빠른 확장 장점을 결합하여 데이터 마스터 복제본은 공유 스토리지에 위치하여 매우 빠르게 확장하기 쉽고, 핫 데이터는 컴퓨팅 리소스에 로컬로 고속 성능을 제공하며,"하위 클러스터 그룹"을 통해 클러스터 노드 수가 너무 많은 동시 부하 시나리오에서의 자원 낭비를 방지하여 처리가 탄력적으로 확장됩니다.

공유 없는 MPP 아키텍처: H3C DataEngine MPP가 수백 수천 개의 노드를 사용하여 병렬로 컴퓨팅하는 것은 빅 데이터 분석을 지원하여 충분한 컴퓨팅 및 스토리지 자원을 확보하는 아키텍처의 핵심입니다.공유 없는 MPP 아키텍처는 공유 스토리지가 필요하지 않으며 심지어 전문 마스터 (으뜸) 노드가 필요하지 않아야 수백 수천 개의 노드로 확장하여 빅 데이터 분석을 지원할 수 있습니다.

기본 지원 고가용성: H3C DataEngine MPP에는 고가용성이 내장되어 있어 설계 가용성 범위 내에서 노드 장애가 발생하면 애플리케이션에 영향을 주지 않고 업무 수행을 중단할 수 있습니다.H3C DataEngine MPP의 증가분 백업 및 복구, 데이터베이스 부분 개체 백업 및 복구 기능은 재해 발생 시 애플리케이션의 신속한 복구를 보장합니다.

최적화된 열 데이터베이스: 빅 데이터 분석 성능의 핵심은 I/O 오버헤드 병목 현상을 제거하는 것입니다.H3C DataEngine MPP 열 저장 및 컴퓨팅(열 엔진)을 결합하여 추가, 삭제, 수정 작업을 포함한 완전한 기능을 제공하는 것은 빅 데이터 조건에서 고성능 분석 쿼리와 즉석 쿼리를 지원하는 열쇠입니다.

이상적인 빅데이터 실시간 분석 플랫폼: H3C DataEngine MPP는 고성능의 열식 저장 및 계산 기술을 사용하여 능동적인 데이터 압축, 고급 분석을 지원하며 탄력적인 확장 및 사용자 정의 외부 확장 등 선진적인 특성을 가지고 있어 빅데이터의 실시간 분석을 지탱하는 이상적인 플랫폼이다.