나그네소
8a(china cluster db) 본문
GBASE 8A - MPP Database Products
(Massively Parallel Computer,MPP) 대규모 병렬 컴퓨터
[ contents ]
1. column-oriented mpp database to build a Big Data Platform
컬럼 지향적인 MPP 빅데이터 플랫폼 구축
2. Introduction to new gbase 8a MPP database
8a MPP database 새로운 gbase 소개한다.
3. Application scenarios and typical cases
어플리케이션 시나리오 및 대표적인 케이스
4. company profile
회사 프로파일
[Big Data]
1. Industry Big Data
산업 Big Data
1-1) Operation-Oriented ( 운영-지향)
Telecom signaling
텔레콤 신호
Telecom call detail records (CDR)
텔레콤 자세한 레코드 호출
Financial breakdown
금융 고장
Financial documents
금융 문서
Power dispatching
Power 파견
Smart grids
스마트 그리드
Operation analysis
운영 분석
Structured data dominates
스트럭쳐 데이터 지배
1-2) Management-Oriented ( 관리자 지향 )
Documents
문서
Statements
명령
Tax analysis
Tax 분석
Analysis on social insurance
사회 보험데 대한 분석
Decision-making support
의사결정 지원
Predictions
예측
Structured
+semi-structured
1-3) Supervision-Oriented
감독-지향
Internet surveillance by public security organs
공공 보안 조직의 인터넷 감시
Technical investigation for national security
국가 보안에 대한 기술 조사
Monitoring and control of public opinions
공공 의견의 모니터링 및 조정
Inspection by China Banking Regulatory Commission (CBRC)
CBRC 검사
Food traceability
음식 추적
Environmental monitoring
환경 모니터링
Structured
+ semi-structured data
1-4) Profession-Oriented
개인-지향
AV
Seismic exploration
지진 탐구
Weather pictures
날씨 사진
Satellite remote sensing
위성 원격 탐사
Radar data
레딩터 데이터
Internet of things
사물의 인터넷
Unstructured data domains
구조화 되지 않은 데이터 도메인
2. Internet Big Data
인터넷 빅데이터
Structured data: 10%
구조화 데이터
Semi-structured data: 30%
간단한-구조화 데이터
Unstructured data: 60%
구조화 되지 않은 데이터
Value destiny
값 운명
Structured
> Semi-structured
>> Unstructured
The size of the industrial big data is relatively equal to that of internet big data, namely, both of them are at the same level.
산업의 빅데이터의 크기는 인터넷 빅데이터와 상대적으로 동일하다, 이름, 양쪽 둘다 같은 레벨이다.
However, the former’s value destiny is higher than the latter’s.
그러나, 이전의 운명은 지난것보다 더높다.
The former creates more business opportunities and values than the latter.
전자는 지난 값보다 더많은 비즈니스 기회를 생성한다.
The big data drives reform of the database architecture: break the unification
big data는 database architecture를 개선하여 운전하다.:
하나의 architecture는 이전 어플리케이션에 여러개의 architecture는 여러개의 어플리케이션에 적합하다.
적합하다.
big data 시대
---------------->
database architectures는 다양하다.
The big data drives product innovation: three major camps
big data는 제품의 혁신을 주도한다;3메이져 캠프
NewSQL : 컬럼지향, 관계, MPP(Massive paralle processing ) 대규모 병렬 프로세싱
NoSQL : key value, map 감소, MPP
OldSQL : 행 지향적, 관계, SMP( symmetric multiprocessing) 대칭형 다중처리
분산 컴퓨팅, 분산 파일 시스템
인메모리 컴퓨팅
새로운 하드웨어: 플레쉬 카드, SSD, and 인피니밴드 (40G/s)
The big data has stimulated the database industry’ passion for technical innovation and mainly drived by the strong demand for the data-processing performance.
big data는 기술 혁신에 대한 유행 및 데이터베이스 산업의 시뮬레이터를 가지고 있다. 그리고 데이터 성능에 대한 강력한 수용로 유지 및 유도하고 있다.
In order to enhance the performance, NewSQL camp adopts the column-oriented technology at large while NoSQL camp mainly adopts the KV technology.
성능 향상을 위해, NewSQL 캠프는 NoSQL 캠프가 KV 기술을 주로 채택 하는 동안 큰 컬럼-지향 적인 기술을 채택 하였다.
These three key camps adopt distributed computing, the distributed file system, and memory computing at different levels and actively make use of the new
세개 키의 캠프는 분산 컴퓨팅을 채택하였다, 분산 파일 시스템, 그리고 다른 레벨의 메모리 컴퓨팅 그리고 큰 메모리의 새로운 하드웨어 기술 활동적으로 만들어 사용한다, 플래쉬, SSD 그리고 높은 인터넷 접속
hardware technologies such as Big Memory, Flash, SSD, and high-speed internet connections (10 GB switches and Infiniband).
The big data drives segments of the market: the market is divided into three segments.
빅데이터 시장의 세그먼트를 구동; 시장은 세개의 세그먼트로 분리된다.
The market pattern for the new-model NewSQL databases
사장의 NewSQL database new-model에 대한 패턴이다.
New domestic database: GBase 8a (NewSQL)
새로운 국내 데이터베이스 : GBase 8a (NewSQL)
Technical characteristics: column-oriented, MPP and relational patterns.
기술 특징 : 컬럼 지향적, MPP (Massive paralle processor) and relational , 관계형 패턴
Market positioning: industrial market
시장 위치 : 산업 시장
In 2012, China Mobile performed a data warehouse selection test which lasted for a year.
2012년, 차이나 모바일은 작년 마지막에 데이터웨어 하우스를 선택하는 테스트를 수행 하였다.
GBase 8a was at last shortlisted through competing against other NewSQL database products provided by seven foreign manufacturers.
GBase 8a는 7개의 외국 제조업체에서 NewSQL 데이터베이스 제품을 공급하여고 경쟁을 통해 마지막에 올랐다.
Introduction to new gbase 8a MPP database
8a MPP database 새로운 gbase 소개한다.
GBase 8a column-oriented database
GBase 8a 컬럼-지향적 데이터베이스
Core technology: column-oriented storage, efficient compression, smart indexes, parallel architecture, full-text retrieval
핵심기술: 컬럼-지향 스토리지, 효율적인 압축, 스마트한 인덱스, 병렬 아키텍쳐, 전체 텍스트 검색
Application scenarios: data warehouses with the data size below 10TB (standalone: PC server)
어플리케이션 시나리오: 데이터 웨어하우스 와 10TB 아래의 데이터 사이즈(독립적인: pc server)
Customers’ values: automatic optimization, great speed increase, space-saving, and energy-saving.
고객 결과 : 자동 최적호, 대단히 빠르 증가, 공간-절약, 그리고 에너지-절약
GBase 8a MPP Cluster is a large scale parallel database cluster.
GBase 8a MPP(Massive Parallle processor ) cluster는 큰 스케일의 병렬 데이터베이스 클러스터이다.
Core technology: 8a technology, Shared Nothing, MPP
핵심 기술 : 8a 기술, 공휴 하지 않는다, MPP
Application scenarios: data warehouses with the data size ranging from 10TB to PB ( multiple nodes)
어플리케이션 시나리오: 10TB 에서 PB(multiple nodes)
Customers’ values: all values of GBase 8a column-oriented database, the cloud data warehouse, dynamic scalability, as well as high availability.
고객의가치 : GBase 8a 컬럼-지향 데이터베이스의 모든 가치, 클라우드 데이터 웨어하우스, 동적 확장성, 높은 유효성
높은성능, 높은 밀도, 자동 조절
통합된 전체 text 검색
컬럼 그리고 데이터 세포-기존 압축(영향, 투명한)
데이터 세포-기본 컬럼-지향적 구조(i/o 능률을 향상)
대단위 깔끔한 인덱스(자동조절의 용량의 능률)
Brief Introduction to Column-oriented Storage
컬럼 지향적인 스토리지에 대한 간략한 소개
There is an essential difference between the column-oriented data storage in the disk and the traditional row-oriented database.
디스크와 와 전통적 행-지향적인 데이터베이스 안의 컬럼-지향적 데이터 스토리지에는 근복적인 차이가 있다.
The former maps the traditional two-dimensional table into the physically independently-stored columns through the mapping relations.
전자의 매핑 관계를 통해 물리적으로 독립적인-저장 컬럼 으로 전통적인 이-차원 테이블 지도한다.
Column-oriented Database vs. Row-oriented Database
컬럼-지향적 데이터베이스 대 행-지향적 데이터베이스
Row-oriented advantages: increase, delete and modify the small data.
행-기반 유리한점: 증가하다, 삭제하고 작은 데이터를 수정한다.
A large number of I/O will be used in case of a query without indexes.
i/o의 큰 숫자는 인덱스 없는 쿼리에서 사용될 것이다.
A lot of time and resources will be cost to build the indexes and the materialized view.
많은 시간과 자원을 인덱스 생성 하는데 소비할것이다 그리고 view 구체화하다.
Column-oriented advantages: easy to query, sum up and analyze the data
컬럼-지향적 유리한점: 쿼리가 쉽다, 요약 및 데이터 분석
Significantly reduce I/O since only the involved columns are queried.
크게 관련된 컬럼으로 부터 i/o 감소시키는 쿼리이다.
The data types are unified so that the data is easy to compress.
데이터 타입은 데이터 압축이 쉽도록 통합되어 있다.
The indexes are automatically created in the data cell for indexing the data in real time.
인덱스는 실시간으로 인덱싱에 대한 데이터 cell에 자동으로 생성한다.
What shall be highlighted:
무엇을 강조해야 한다.
Row-oriented advantages:
행-지향적 이로운점
typical OLTP operations to increase, delete and modify the small data.
증가 시 대표적인 OLTP 운영, 작은 데이터를 수정하고 삭제 한다.
Column-oriented advantages:
컬럼-지향적 이로운점
to query, sum up, analyze and increase, delete and modify the big data in batch.
쿼리,요약,분석 및 증가, 배치의 큰데이터 삭제 및 수정
Core technology 1: Column-oriented architecture
핵심 기술 1: 컬럼-지향적 구조
In this slide, GBase 8a column-oriented architecture is focused on.
이 슬라이드에서, GBase 8a 컬럼-지향적 구조 포커스를 맞츄고 있다.
Firstly, the data table is independently stored by column.
첫째로, 데이터 베이스 컬럼을 독릭접으로 저장한다.
Secondly, each column is partitioned horizontally into several DCs (Data cells). Each DC includes 65,536 data values.
둘째로, 각각 컬럼은 각각의 data cell로 수평적 분할한다.각각의 DC는 65,536 데이터 값을 포함한다.
Core technology 2: Efficient self-adaptive compression-improve I/O performance.
핵심 기술 2: 효율적인 자기 적응하는 압축-개선 I/O 성능을 제공 합니다.
GBASE compression characteristics
' The compression ratio reaches 1:20, much higher than that of row-oriented database.
압축 비율은 1:20에 이른다, 열 지향적인 데이터베이스보다 훨씬 높다.
' Compression algorithms vary with data type and data distribution. The best algorithm will be selected automatically.
압축 알고리즘은 데이터 타입 과 데이터 분산에따라 달라진다. 가장 좋은 알고리즘은 자동으로 선택되는 것이다.
' The compression can be made at the database, table and column level so as to flexibly balance the relation between performance and the compression ratio.
압축하여 데이터베이스를 만들수 있다, 테이블 및 컬럼의 레벨은 압축 비율 과 성능에서 관련 균형을 잡는다.
GBASE compression advantages
GBASE 압츅 유리한점
Able to save 90% of memory space and greatly reduce the energy consumption for processing TB data.
메모리 공간을 90% 저장할 수 있고 processing TB data에 대해 에너지 소비를 많이 감소시킬 수 있다.
Greatly reduce the demand for I/O in case of compression.
압축 케이스의 i/o에 대한 수요을 많이 감소 시킨다.
Functions such as data loading and query can be further improved.
기능의 data loading 및 query를 좀더 향상 시킬 수 있다.
Core technology 3: Coarse-grained smart indexes
핵심기술3: 대단위 스마트 인덱스
Coarse granularity: high scalability, and rare impact on data loading
대단위: 높은 확장성, 그리고 데이터 로딩시 더딘 영향
Locality: data can be loaded efficiently as the data query and statistics is carried out.
장소 : 데이터를 쿼리 데이터를 이용하여 효율적으로 로딩할 수 있다 그리고 통계를 출력할 수 있다.
The data-loading speed will not drop off as the data volume rises.
데이터 로딩 속도는 데이터 볼륨을 올림으로서 내려가지 않을 것이다.
All-field index: it is not necessary to create the index by hand.
모든-필드 인덱스 : 조작하여 인덱스 생성을 할 필요가 없다.
Ad hoc queries: R-OLAP can be optimized, and automatic optimization of complex queries has a relatively positive effect.
임시쿼리 : R-OLAP optimized 할수 있다. 그리고 복잡한 쿼리를 자동으로 최적화 하는 상대적으로 긍적적인 효과가 있다.
The knowledge theory-based CBO efficiency has been greatly improved.
지식 이론-기반 CBO 효율이 크게 개선 되었다.
Coarse-grained smart indexes.
대단위 스마트 인덱스
What GBase 8a adopts is the unique smart indexing technology and the optimizer. Its indexes are coarse-grained, not as fine-grained as the traditional ones.
GBase 8a는 유일한 스마트 인덱스 기술 과 최적화를 채용하였다. 인덱스는 대규모이다, 전통적인 것들을 세분화 하지 않는다.
GBase 8a’s indexes occupy very little space and have high scalability.
GBase 8a's 인덱스는 매우 작은 공간을 차지한다. 그리고 높은 확장을을 가지고 있다.
The indexes themselves cover a lot of statistical information so that the packaged statistical data can be directly obtained.
인덱스는 자체 통계 정보를 많이 포함하고 패킷 통계 정보 데이터를 직적 획득 할 수 있다.
The statistical values can be achieved without unpacking, and according I/O will be further decreased.
통계 값은 unpacking 없이 달성 할 수 있다 그리고 i/o에 따라서 추가로 감소 한다.
In addition, the default smart indexes for each column in the table will be created.
추가, 생성되는 테이블 안의 각 컬럼데 대해 기본 스마트 인덱스
Users do not need to create and maintain them by hand.
사용자는 생성하고 유지하는데 손으로 할 필요가 없다.
Locality means that the indexes are created on the base of each data cell.
지역의 인덱스 의미는 각 데이터 셀의 기본에 생성 되는 것이다.
The speed to creat the indexes for follow-up data cells will not be impacted by the previous ones.
다음 데이터 셀의 인덱스를 생성하는 속도는 이전 것들에 의해 영향을 받지 않을 것이다.
Background information:
배경정보
CBO (cost-based optimizer) efficiency
Core technology 3: Principle for the smart indexes
핵심기술3 : 스마트 인덱스에대한 원리
An actual example is given in this slide to explain the application of the smart indexes.
실제 예는 스마트 인데스의 어플리케이션 설명 하기위해 이 슬라이드에서 주어진다.
Greatly optimize the original complex computing process by obtaining the indexing information.
크게 인덱스 정보를 획득하여 기존의 복잡한 컴퓨팅 프로세서를 최적화 한다.
It is known that the indexed data completely meets the filtering conditions by reading the first indexes in column a.
컬럼 A안의 최초 인덱스를 읽어 필터링 조절을 하여 인덱스 데이터가 복잡한 것을 알고 있다.
Therefore, the system can directly use the sumed value in the column b index without expanding the data cell.
그러므로, 이 시스템은 데이터 셀의 확장 없이 b Index 컬럼에서 합한 결과를 바로 사용 할 수 있다.
(컬럼에 데이터가 있어서 바로 사용할 수 있다는 것을 얘기 하는것 같다.)
The second data cell is still expanded to be read.
두번째 data cell은 읽어서 계속 확장 한다.
The third and fourth data cell can be excluded only by reading the column a index.
3번째와4번째 data cell은 컬럼 인덱스 읽는 것을 제외시킬수 있다.
This step can greatly enhance I/O efficiency as SQL sentences are executed.
이 단계는 SQL 문장이 수행될 때 I/O 효율을 매우 높일 수 있다.
Core technology 3: Characteristics of GBase 8a’s smart indexes
핵심 기술 3: GBase 8as smart index 특징
This table is used to show the difference between the smart indexes and the traditional ones.
이 테이블은 간략한 인덱스와 전통적인것 사이에 다른것을 보여주기 위해 사용한다.
What is important: the smart indexes occupy very little space, only just 1% of the data itself.
중요한점 : 간략한 인덱스는 매우 작은 공간을 차지한다, 데이터 자체만 1%이다.
The smart index has high scalability while the traditional index’s is relatively low.
스마트 인덱스는 전통적인 인덱가 상대적으로 낮은반면 높은 확장성을 가지고 있다.
Use and maintenance of the smart indexes are completely transparent for users.
스마트 인덱스의 사용 및 관리는 사용자에게 완변하게 투명하다.
Core technology 4: tow-way parallel technology for the multi-core CPU
핵심기술 4: multi-core cpu에 대한 병렬 기술 2가지
The parallel data processing means that the single task is divided into smaller multi units.
병렬 데이터 처리는 작은 여러개의 단위로 분리되는 하나의 작업을 의미한다.
All tasks are not done through one process but are paralleled and multi processes are operated at the same time on the smaller unit.
모든 작업은 하나의 프로세서를 통해 수행 되지 것이 아니라 병렬로 처리된다. 그리고 여러개의 프로세서는 작은 단위로 동시에 수행 된다.
Parallelism will be achieved for all database functions including SQL access, parallel data operation and parallel recovery.
병행처리는 SQL 접속이 포함된 모든 데이터베이스에 달성될 것이다. 병렬 데이터 운영 및 병렬 복구.
Parallel data processing exactly means that multi CPUs and I/O are used to operate a single database.
병렬 데이터 프로세싱은 정확하게 다중 cpu 와 i/o가 하나의 데이터베이스를 운영하는데 사용되는 것을 의미한다.,
The parallel processing can achieve high performance by using all available hardware resources such as multi CPUs,
다중 프로세싱은 각각의 여러개 cpu로 모든 이용 가능한 하드웨어 자원을 이용하여 성능을 달성 할 수 있다.
multi I/O channels, multi memory arrays and disc drives and a lot of memory space.
다중 i/o 채널, 다중 메모리 배열 그리고 disk 드라이므 그리고 많은 메모리 공간.
More effectively the database software uses such resources, more effective query and other operations related to the databases are.
효과적으로 데이터베이스 소프트웨어 자원을 사용하고 있다, 효과적인 쿼리 그리고 다른 동작이 데이베이스에 대하여 관련 되어 있다.
aggregate 집합
correlate 연관성이 있다/ 상관 관계가 있다.
parallelism 병행
operate 작동하다.
Core technology 5: High-efficiency full-text retrieval
Character-based partition : 문자 기반의 파티션
Concurrently create the full-text index : 동시에 전체 텍스트 인덱스 만듬
High-speed retrieval : 높은속도 검색
Unified external interfaces : 통합 외부 인터페이스
Fully merged execution plan : 전체 병합 실행 계획
Uniformly scheduled SQL executors : 균일한 스케쥴 SQL 실행
Multipurpose tool set : 다목적 도구 세트
It mainly features that the full-text retrieval module is integrated on the base of GBase 8a column-oriented database so as
to establish the highly close combination between the full-text retrieval and the GBase 8a database.
전체 검색 모둘의 중심의 미래는 전체 문자 검색 과 GBase 8a database 가깝게 조합되어 설립되어 GBASE 8a 컬럼 지향 데이터베이스의 기본에 통합된 것이다.
Primary technologies and theoretical extreme values
주요 기술 그리고 이론적인 극단적인 값
GBase 8a database adopts such core technologies as column-oriented storage,
GBase 8s database는 컬럼 지향적인 저장에 대해 핵심 기술로 채택 하였다
sefl-adaptive compression, smart indexes, and parallel technology,
압축, 스마트 인덱스, 병렬 기술,
all of which can greatly enhance the query and statistical performance of the database.
모든 쿼리를 크게 향실 시킬수 있다 그리고 데이터베이스의 성능 통계
If you want to query and sum up a 1TB table,
니가 query 및 1TB table 합치는 것을 원한다면
you just need to read the data with the size of MB from the disk according to the theoretical extreme value.
너는 이론적인 극단적인 값에 따른 MB의 disk에 따라 size와 함계 data를 읽는것이 반드시 필요하다.
GBase 8a MPP Cluster
MPP(massively parallel processing) 고도 병렬처리
MPP[엠피피]란 프로그램을 여러 부분으로 나누어 여러 프로세서가 각 부분을 동시에 수행시키는 것을 말한다. 이때 각 프로세서는 각기 운영체계와
메모리를 따로 가지고 일을 수행하며 각 프로세서간에는 메시지 패싱과 같은 기법을 이용 하여 통신을 한다. 따라서 하나의 프로그램을 수행하는데
수 백 혹은 수 천개의 프로세서를 이용할 수 있다. MPP의 성능을 제대로 발휘하려면, 프로그램을 독립 적으로 수행되는 여러 부분으로 나누고, 각
프로세서가 다른 프로세서와 정보를 주고받는 일을 최대한 효율적으로 할 수 있는 하드웨어 구조와, 이를 뒷받침하는 운영체계의 성능이 잘 조화를
이루어야 한다. 보통 MPP시스템은 SMP와 비교하여 loosely coupled 시스템이라 부르기도 한다. SMP시스템에 비하여 MPP시스템은 여러 데이터베이스를
동시에 검색하는 의사결정 시스템이나 데이터웨어하우징 시스템에서 보다 나은 성능을 나타낸다. 또한 같은 패턴이 반복되는 이미지 프로세싱에도
적합한 것으로 알려져 있다.
GBase 8a MPP Cluster, an extended version of Gbase 8a column-oriented database ,
GBase 8a MPP Cluster, Gbase 8a 컬럼 지향적인 데이터베이스로 확장 되어진 버젼이다.
is a parallel data-processing database cluster based on the modern cloud computing MPP idea and the Shared Nothing architecture.
현대의 컴퓨팅 MPP idea 와 아키텍쳐를 공유 하지 않는 것위에 병렬 데이테 처리 데이터베이스 클러스터 기반이다.
With its unique flat architecture, high availability and dynamic scalability, it can provide a cost-effective commonly-used platform to manage the very-large-scale data.
고유한 구조와 , 높은 효율 그리고 동적 확장성, 매우 큰 스케일의 데이터를 관리하기 위하여 경제인적고 일반적으로 사용되는 플랫폼을 제공할 수 있다.
Traditional Shared Disk architecture
Horizontal scalability and storage are the bottlenecks of this architecture.
수평적 확장 및 저장은 이 구조에서의 병목이다.
All servers in the cluster share the disk arrays and data.
클러스터안의 모든 서버는 디스크의 배열 및 데이터를 공유한다.
Disk arrays will become the I/O bottleneck.
디스크 배열은 I/O 병목이 될 것이다.
Shared-storage disadvantages: increasing the number of nodes can enhance the scalability, but unavailable in case of more than 4 nodes.
공유-저장소 불리한점 : 노드의 수를 증가 하는 것은 확장성을 향상 시킬수 있다 그러나 4개 이상의 노드의 경우 사용 할 수 없다.
Increasing the number of nodes can not enhances the response speed of each node but reduces the overall performance.
노드의 넘버 증가시 각각의 노드에서 응답 속독을 높게 줄 수 없고 전반적인 성능을 감소 시킨다.
New-type Shared Nothing + MPP architecture technology
Hundreds of nodes are increased horizontally for the MPP architecture.
수백개의 노드들은 MPP 구조에서 수평적으로 증가 한다.
For the Shared Nothing-based clusters, data is evenly distributed to each node in the cluster according to different partition strategies when loaded.
클러스터 기반에서는 공유하지 않는다, 데이터를 로딩할 때 다른 파틴션의 방법에 따라서 클러스의 각각의 노드에 고르게 분배 한다.
Nodes in the cluster share nothing, and the data is stored in the local disk.
노드는 클러스터 안에서 공유 하지 않는다, 그리고 데이터는 로컬 디스크에 저장 된다.
I/O bottleneck issue with which the Shared-disk cluster is faced is accordingly resolved.
클러스터 공유-디스크 I/O 병목 이슈는 상황에 따라 해결될 것이다.
Architecture characteristics of GBase 8a MPP Cluster
master 없는 일반구조 원격 노드의 높은 성능 그리고 노드의 높은 밀도
완전한 병렬 MPP + 공유하지 않는 구조를 동적 방법에서 온라인 노드의 스트레칭으로 만들었다.
Core technology: Assurance mechanism of high availability of the cluster - Safegroup
Core technology: On-line dynamic scalability
The cluster extends by Safegroup. The on-line extension is available. Data reorganization is also available during extension.
클러스터는 안전한 그룹으로 확장한다. 온라인 확장을 할 수있다. data 조직 확장시에도 이용할 수 있다.
Performance Extension of GBase 8a MPP Cluster
Scale Out means that the enterprises can add different server applications according to their demands and can enhance their computing capability
enterprises scale out 의미는 그들의 요구에 따라서 다른서버의 application을 추가 할수 있다 그리고 그들의 계산 능력을 높일수 있다.
and the reliability by virtue of functions such as collaborative computing of multi servers, loading balance and fault-tolerance.
여러대 서버의 공동의 서버로 기능을 수행으로 장점의 신뢰도, 로드 밸런스, 결함-허용.
Scale Up means that the back-end large-scale server can be upgraded by increasing processors and other computing resources to meet the demand for the application performance.
back-end 대규모 서버의 확장의 의미는 프로세스 증가로 업그레이드 할 수 있다는 것이다. 그리고 다른 컴퓨터의 자원은 어플리케이션 성능에 대한 요구를 충족 시킨다.
Scalability of GBase 8a Cluster has a linear relation with increase of nodes of the cluster
Gbase 8a Cluster의 확장성은 클러스터 노드 증가의 선형관계를 가지고 있다.
Background information:
SMP, short for Symmetric Multi Processing, means that there are a lot of tighly-coupled multiprocessors.
SMP, 대칭형 멀티 프로세싱 짧은, 많은 단단한 결합 멀티프로세스에의 방법이다.
Sharing all resources are typical of this system.
공유하는 모든 자원은 이 시스템의 대표적이다.
Against it is MPP (Massively Parallel Processing), which is composed of a lot of loosely-coupled processing units.
그것은 MPP이다, 많은 결합 프로세싱 장치로 구성된
Please note that the processing unit here is not equal to the processor.
부탁한다 여기 처리 장치 프로세서와 같지 않은것을 적어달라.
CPUs in each unit have their own resources such as the bus, internal storage and disks.
각 장치안의 cpu는 버스에 하나의 리소스를 가지고 있다, 내부 저장소 와 디스크.
There are the operation system and the example copies to manage the database in each unit.
운영 시스템 및 예제 복사는 각 장지안에서 데이터베이스를 관리한다.
Sharing nothing is typical of this structure.
공유하지 않는 것은 이 구조에서 대표적이다.
Key Parameters of GBase 8a MPP Cluster
Focus on the following parameters:
다음 파라메터의 초점
The structured data with the size above PB can be processed.
구조 데이터는 PB 위의 크기는 처리 될 수 있다.
The actual scalability can reach up 64 Safegroups (Max. 64 x3=192) nodes
실제 확장 범위는 64개 그룹의 노드로 할 수 있다.
The data-loading speed is more than 2TB/hour.
데이터 로딩 속도는 2TB/hour 1시간 정도 이다.
Standard APIs are available: C API, JDBC, ODBC, ADO.Net
다음의 API 이용할수 있다 : C API, JDBC, ODBC, ADO.Net
Monitoring Tools for GBase 8a MPP Cluster
Management Tools of GBase 8a MPP Cluster
GBase 8a’s Application Scenarios Summary
GBase 8a is not only applied to the big data but also to the small data. ROLAP is applied to the smaller data.
Gbase 8a 작은 데이터 와 큰데이터에 적용되지 앟는다. ROLAP는 작은 데이터에 적용 된다.
Typical Cases of GBase 8a
GBase 8a databases are widely used in many industries due to their advanced architecture, remarkable performance, and sound operating effect after its launch.
Gbase 8a database 진보된 구조를 많은 산업안에서 넓게 사용하고 있다, 놀란만한 성능 그리고 출시 후 사운드 운영 효과.
GBase MPP Database - Application Scenarios in the Telecom Industry
Case 1: The CDR query system of China Mobile in a certain city - Business scenarios
특정한 도시의 차이나 모바일 CDR Query 시스템 - 비즈니스 모델
The city is a pilot city for cloud-based reform of the CDR query system of China Mobile
이도시는 차이나 모바일 CDR Query System의 클라우로 개정한 안내 도시이다.
The original “small-scale server + magnetic matrix” query system cannot meet the demand for the CDR query and statistics any more.
오리지널 작은 범위 server + 관리 모형의 쿼리 시스템은 CDR 쿼리 및 많은 통계에 대하여 요구를 충족 시킬 수 없다.
[Key requirements ]
Save the space of storage devices, and provide the capability to save 12+1 CDRs
저장 장치의 저장 공간, 12+1 CDR 저장에 대한 능력을 제공
Carry out the efficient query when the CDRs data is compressed strongly; second response is made to the query.
효출적인 쿼리가 수행 될때는 CDR 데이터가 강하게 압축 되었을 때; 두번째 응답이 쿼리로 만들어 진다.
Real-time and rapid data loading. For example, load the data every 10 minutes.
실시간 과 빠른 데이터 로딩. 예제, 데이터를 10분마다 load
Support 200 concurrent queries
200개의 동시 질의를 지원
Case 1: The CDR query system of China Mobile in a certain city - Solutions
CDR 특정 도시에 차이나 모바일의 스시템 질의 - 해결책
' PC Server + Linux + SATA-based solutions of GBase 8a MPP Cluster with 24+2 nodes
PC Server + Linux + SATA-based 24+2 node 함께 Gbase 8a MPP Cluter의 해결책이다.
' Column-oriented, high compression. The compression ratio is 1:20 (the size of raw data is 350TB).
컬럼-지향,높은 압축. 압축 비율은 1:20이다.(기초 데이터 사이즈는 350TB이다)
' Load the CDRs in real time. The time of response to the query is reduced below 3 seconds.
실시간으로 CDR 로드. 쿼리 응답 시간은 3초 아래로 내려간다.
' In addition, the database supports the Business Analysis Support System(BASS) and the billing business. One database achieves three purposes.
추가, database BASS 빌링 사업을 지원한다. 하나의 데이티베이스는 3개의 목적을 달성한다.
Case 2: The cloud-based Business Analysis Support System for China Mobile in certain province - Project background.
클라우드-기반 비즈니스 분석 시스템을 특정 지역의 차아나 모바일의 시스템을 지원한다. - 프로젝트 배경
[Issues of the traditional operational analysis system]
기존 운영 분석 시스템의 이슈
1. The data size increases rapidly.
data size 빠른 증가.
' Active users reach 72 million. The data size per day exceeds 2.1T.
활동 사용자가 72만에 도달. 하루 데이터 사이즈 2.1T 초과.
' The total data size grows rapidly, and is heading to the PB level.
total data size는 빠르게 증가, 그리고 PB levle로 향하고 있다.
2. The existing system responses slowly.
기존 시스템은 천천히 응답한다.
' Business requirements from different business departments continue to grow.
다른 비즈니스 부서로 부터의 비즈니스 요구사항은 커질떼까지 계속 된다.
The pressure to meet such increasing requirements becomes huger due to the tight system resources and its slow response.
?
3. The traffic analysis is not fine enough.
트랙픽 분석은 충분하지 않다.
' WAP logs, position data, data transaction records, WLAN records, etc. related to the traffic analysis cannot be effectively integrated and comprehensively analyzed.
WAP logs, position data, data transaction recored, WLAN record, etc. 트래픽 분석에 연관된것을 효율적인 통합 및 종합적인 분석을 할수 없다.
' The event-level traffic analysis is not achieved, and thus the fine analysis objective cannot be fulfilled.
event-level traffic 분석은 달성 할 수 없다 그리고 따라서 벌금 분석의 목적은 실현 할 수 없다.
[Project objectives]
프로젝트 목표
' Get rid of the IOE system (De-IOE), and build the cloud-based cluster architecture based on the open and low-cost X86 PC Server.
IOE system 제거하다 그리고 low-cost X86 PC Server 위에 cluster 구조의 기반의 cloud_based에 세우다.
' Set up the ETL data distribution platform and MPP-based cluster database.
ELL MPP set 하다.
' Remove the applications into the new data warehouse platform by topic.
topic을 새로운 데이터 웨어하우스 플램폼으로 application을 이동해라.
Build the “low-cost, cost-effective and high-performance” cloud platform under the BI
운영 관리 및 실시간 정환한 마케팅 대한 수요를 요구하는 구조 의 BI 아래의 클라우드 플래폼에 "낮은 비용, 경제적, 높은성능" 세우다.
architecture to meet the demand for the fine operational management and the real-time accurate marketing.
DE-IOE means to abandon IBM’s mini computers, Oracle’s databases and EMC’s storage.
DE-IOE는 IBM의 미니 컴퓨터, 오라클 데이터베이스와 EMC의 스토리지를 포기하는 것을 의미한다.
Case 2: The cloud-based Business Analysis Support System of China Mobile in a certain province - Overall architecture
특정지역 - 모든 구조의 차이나 모바일의 클라우드 기반 비즈니스 분석 지원 시스템.
The operational analysis system is divided into the application center and the data center, the former adopting the MPP distributed parallel database,
운영 분석 시스템은 어플리케이션 센터와 데이터 센터로 분리 되었다, MPP 분산 병렬 데이터베이스 도입하기 전, GBase 8a Mpp Cluster, 중요 부분.
GBase 8a MPP cluster, as its main body.
Hadoop-based HDFS completes the unified data storage to realize separation of computing and storage.
Hadoop-based HDFS 컴퓨팅 및 저장소의 분리 실현되는 것을 하나의 데이터 저장소로 완료 하였다.
Case 2: The cloud-based Business Analysis Support System of China Mobile in a certain province - Solutions
특정 지역의 차이나 모바일 클라우드 기반 비즈니스 분석 지원 시스템
' The original system adopted 2 IBM P780 servers (6 virtual mini machines ), while the new system users 16 x86 servers and Gbase 8a MPP Cluster.
예전 시스템은 IBM P780 server 채택하다, 새로운 시스템 사용자는 16 x86 server 와 gbase 8a mpp cluster 사용합니다.
' The new system reduces its cost to one-tenth of the original system’s, with the relatively equivalent performance.
새로운 시스템은 옛날 시스템보다 1/10로 비용이 줄어든다, 비교적 동등한 성능 과 함께.
' The system has 8 safe groups, each of which has 2 nodes which back up each other. The service will be available in case any node malfunctions. The system has high availability.
이 시스템은 8개의 안전한 group을 가지고 있다. 각각은 서로 백업하는 2개의 노드를 가지고 있다.
이 서비스는 모든 노드가 기능불량일 때 이용할 수 있다. 이 시스템은 높은 유효성을 가지고 있다.
Case 2: The cloud-based Business Analysis Support System of China Mobile in a certain province - Application values
특정 지역의 - 응용 값 안의 China Mobile의 클라우드 기반 비즈니스 분석 지원 시스템
1. Low cost, high performance
' GBase 8a database can run on the low-cost X86 PC servers so as to effectively save the cost invested in the hardware.
GBase 8a database는 하드웨어의 투자되었던 비용을 효과적으로 절약하여 x86 pc server 낮은 비용으로 수행할 수 있다.
' The new system has the same performance as the original one’s (the execution time lasts about 10 hours), but it can reduce its cost to one-tenth of the original one’s.
새로운 시스템은 예전과 같은 성능을 가지고 있다.(실행시간은 10시간 지속된다.), 그리고 원래 비용의 10분의1로 감소 할 수 있다.
2. Support the mass data and the dynamic extension.(대량 데이터와 다이나믹 수행을 지원한다)
' GBase 8a MPP Cluster database supports hundreds of computing nodes and is capable of processing the PB-level data in an effective way.
GBase 8a MPP Cluster database는 수백개의 컴퓨팅 노드를 지원한다. 그리고 효율적인 방법으로 pb-level data 처리가 가능하다.
' The vertical “Scale up” model of the original server is changed into the horizontal “Scale out” model based on the data.
원본 서버의 수직의 확장 모델은 데이터 기반의 수평확장 모델로 교환 되었다.
No need to stop the service in case of dynamic extension so as to guarantee the service continuity
서비스를 연속성을 보증하기 위해 동적 확장시 서비스를 멈추지 않아도 된다.
3. High availability(높은 유효성)
' Proper deployment can effectively achieve the load balancing,
적절한 배치로 데이터의 균형을 효율적으로 달성 할 수 있다.
give the full play of the computing capability of each node and can enhance the collaborative efficiency of the whole system.
각각 노드에서 컴퓨팅 능력을 최대로 활용한다 그리고 전체 시스템의 협업 효율을 높일 수 있다.
' Saftgroup-based backup strategy can ensure that the service continuity of the system will not be impacted in case that any fault occurs to the nodes.
saftgroup-기반의 백업 전략은 노드 고장이 나타났을 때 시스템에 영향을 미치지 않고 서비스 유지할 수 있는 것을 보장한다.
4. Realize the in-depth and fine business analysis ( 깊이 실현 & 좋은 비즈니스 분석)
' The efficient data analysis capability can help customers with applications with high complexity and high demand for the efficiency and instantaneity.
효율적인 데이터 분석 능력으로 복잡도가 높은 어플리케이션 또는 효율성 및 즉각성이 요구가 높은 고객을 도와줄수 있다.
' Effectively manage the mass data, perform the in-depth multidimensional analysis on various types of data, and accurately extract the data value.
대량의 데이터를 효율적으로 관리, 다양한 유형의 데이터에 깊고 다양한 분석을 수행한다, 그리고 데이터 값을 정확하게 추출한다.
' Help customers achieve the application of themes such as relationships, repeated internet access identification, WLAN accurate and real-time marketing and CI self analysis.
관계가 필요한 응용
Case 3:The comprehensive analysis network platform of China Mobile in a certain province - Business scenarios
특정지역의 차아니 모바일 종합 분석 네트웍 플랫폼 - 비즈니스이다.
' The data size of the comprehensive network system grows rapidly, an increase of 210GP per day.
종합적인 네트웤 시스템의 데이터 사이즈는 빠르게 커진다, 하루에 210G 증가.
The original database only supports the report shows, and can neither store nor process increasing data such as signaling in order to suppo rt the complete data analysis.
원본 데이터베이스는 오직 리포트 표시로만 지원한다, 어느 상점도 완벽한 데이터 분석의 지원 명령의 시그러링과 같이 증가하는 데이터를 처리 하지 않느다.
' Indicators related to “four-network cooperation” and traffic management is unsatisfactory.
지표는 4개의-네트워크 협력에 관련되어 있고 트래픽 관리는 만족스럽지 못하다.
The existing system has a performance bottleneck. The response to demand is not timely.
기존 시스템은 성능 병목을 가지고 있다. 요구에 대한 대응은 시의 적절하지 않다.
' The traffic analysis is only applied to the summed-up data and cannot meet the demand for the in-depth and relational analysis.
트랙픽 분석은 합산데이터에만 적용 되었다 그리고 깊이 있는 연관된 분석의 요구를 처리 할 수 없다.
The in-depth traffic analysis is urgent to be carried out.
심층 트랙픽 분석이 시급하다.
[Key requirements]
- Build the comprehensive network analysis platform: fully enhance the supporting level of network management, operation and maintenance and the capability of network services.
포괄적인 네트웍 분석 플랫폼 구축: 네트웤 관리의 지원 수준을 완전히 향상 시킨다, 네트웤 서비스의 운영 및 관리 능력.
- Connect with the Gn interface data all over the province: data collected by the PS-field signaling monitoring system will be extended from the network layer to all Gn interfaces all over the province.
지방 전역에 Gn 인터페이스 데이터로 접속한다 :
- Create the unified platform: ETL-based data distribution platform and cloud-based X86 PC server cluster database.
통합 플랫폼 생성 : ETL-BASE 데이터 분산 플랫폼 와 클라우드 베이스 x86 pc server cluster database.
- In-depth analysis: realize the topic-based analytical applications such as the in-depth traffic analysis, four-network cooperation, and users’ behavior.
심층분석 : 심츰트래픽 분석 과 주제기반 분석 어플리케이션을 시행 한다 , 4개 네트워크 협력, 그리고 사용자의 행동.
Case 3: The comprehensive analysis network platform of China Mobile in a certain province - Solutions
특정지역의 차이나 모바일 종합 분석 네트워크 플랫폼 - 솔루션
' Adopt GBase 8a MPP Cluster database to process the data,
data process GBase 8a MPP Cluster database로 채택하다
which can store the massive detailed data and can execute the association-based sum so as to effectively meet the in-depth analysis demand for the four-network cooperation and the traffic analysis.
대량의 상세 데이터를 정할 할 수 있다 그리고 4개의 network 협력에 대한 심층적인 분석 요구를 효과적으로 충족할수 있도록 협회 기반으로 실행 할 수 있다.
그리고 트래픽을 분석 할 수 있다.
' Store and process the 3+1-months PM database in the fundamental data layer,
기본적인 데이터 레이어의 3+1 개월의 PM database 저장 및 처리,
the 36+1-month detailed data and the ODM datbase in the data-lightly summarized layer,
36+1-month 자세한 데이터 그리고 data를 가볍게 요약한 레이어의 ODM 데이터베이스
and the 36+1-month DM database in the data-heavily summarized layer.
무거운데이터를 요약한 레이어의 37개월 DM 데이터베이스.
The data size totals 210TB, with the average compression ratio of 1:10.
total 201TB data size, 평균 압축 비율 1:10
Case 3: The comprehensive analysis network platform of China Mobile in a certain province - Efficient network management
특정 지역의 차이나 모바일 종합 분석 네트워크 플랫폼 - 효율적인 네트워크 관리
[Low investment, high performance] 낮은 투자, 높은 성능
' Use of PC servers achieves the objective of constructing a high-performance network comprehensive analysis system with low cost.
PC server를 사용하면 낮은 비용으로 높은 성능의 네트워크 종합 분석 시스템 구축 목표를 달성 할 수 있다.
' Second response of the presentation layer to queries provides collaborative optimization and collaborative planning with data support and performance guarantee.
쿼리에 대한 프리젠테이션 두번째 응답은 협업 최적화를 공급한다. 그리고 데이터 지원을 통한 협업 계획 그리고 성능 보장.
[Massive data] 대용량 데이터
' Massive data can be stored with a high compression ratio of 1:10 so as to save the storage space and to satisfy the increasing demand of storing network management data.
대용량 데이터의 스토리지 공간을 저장 함으로써 1:10 높은 비율로 압축하여 저장 할 수 있다. 그리고 저장 네트워크 관리 데이터 요구시 안전한다.
[Security and high availability] 보안 및 유효성
' Data replicas are created to ensure the safety of data.
데이터 복제본이 데이터의 안전을 보장하기 위해 생성 된다.
The system supports the dynamic expansion to contract the time window cutover and to reduce the cutover cost.
이 시스템은 시간의 절약 계약을 위해 다이나믹 확장을
[Fine analysis]
' The demand of analyzing the traffic in depth is met. Customer behavior analysis data and network optimization and performance monitoring reports are available.
깊이있는 트래픽 분석의 수요를 충족 된다. 고객 행동 분석 데이터 와 네트웤 최적화 그리고 성능 모니터링 보고를 이용 할 수 있다.
' Accurate and timely topic-based analysis platforms such as the quality optimization analysis platform and the user terminal analysis platform are available
정확한 시간의 토픽-기반의 분석플랫폼 과 품지이 최적환된 분석 플랫폼 그리고 사용자 터미널의 분석 플랫폼을 이용 할 수 있다.
Case 4: The signaling monitoring system of China Mobile in a certain province - Business scenarios
특정 지역의 차이나 모바일 신호 모니터링 시스템 - 비즈니스 시나리오
' The signaling network is the key sub-network supporting the telecommunications network.
신호 네트웍은 통신 네트웤의 핵심 서브 네트워크을 지원한다.
Its connection directly influences the communication quality of the whole telecommunication network.
그것의 연결은 직접적으로 전체 통신 네크워크의 통신 품질에 대한 영향을 끼친다.
' As the network continues to evolve, its businesses become complex, and the signaling data size continuously expands,
네트워크가 계속 진화함에 따라, 그것의 사업은 복잡해 지고, 그리고 시스널링 데이터 사이즈는 지속적으로 확장된다,
the existing system cannot meet the demand for the on-line dynamic extension.
기존 시스템은 온라인 동적 확장에 대한 요구를 충족 시킬 수 없다.
The huge network keeps producing signaling data.
거대한 네크워크는 계속해서 시그널 데이터를 생성 합니다.
The platform cannot effectively satisfy the demand for processing such massive data, and cannot make
[Key requirements]
' Build the unified signaling monitoring and analysis platform to monitor the signaling abnormalities in real time.
통합 신호 모니터링 및 실시간 신호 이상 감지 분석 플랫폼을 구축 한다.
' Analyze and explore the effective information in depth to provide the existing network businesses with the effective support.
효과적인 정보를 분석하고 탐색하여 기존 네트워크 비즈니스에 효과적인 지원을 제공하십시오.
Case 4: The signaling monitoring system of China Mobile in a certain province - Solutions
특정 지역의 차이나 모바일 신호 모니터링 시스템 - 솔루션
' The on-line dynamic horizontal-extension mechanism of GBase 8a database cluster can meet the increasing signaling-processing demand.
Gbase 8a database cluster의 동적 수평 확장 작용은 신호-처리 요구를 만날 수 있다.
' Complete the all-round in-depth analysis on the network signaling on the base of MPP column-oriented architecture so as to provide functions such as loading, query, and management of the statistic and the report data.
컬럼 지향 구조의 MPP의 지의 및 로딩 functino 제공하고 네트 워크 신호에 포괄절인 심층 분석 완료 그리고 정적 및 보고서 데이터를 관리한다.
Case 4: The signaling monitoring system of China Mobile in a certain province - Real-time monitoring
특정 지역의 차이나 모바일 신호 모니터링 시스템 - 실시간 모니터링
[Low cost, high performance]
낮은 비용, 높은 성능
' Customer input cost is lowered due to low-cost X86 PC servers.
고객의 입력 비용은 저가의 X86 Pc server로 인해 낮아졌다.
' The system-wide processing capability is more than two orders of magnitude higher than competitors.
이시템의 전체 처리 능력은 경쟁사보다 2배이상 높다.
' Addressing bottleneck based on no system tackles the performance risks arising from the network-wide data traffic which grows by hundred times.
시스템의 테클 없이 병목을 백배로 늘어 날수 있는 네트워크 데이터 트래픽 성능 리스크의 해결 할 수 있다.
[Security, high availability]
보안, 높은 유효성
' Rational configuration effectively realizes the balanced load, gives full play to the computing capacity of nodes, and enhances the system-wide collaborative efficiency.
합리적인 구성으로 균현있는 로드가 효율적으로 실행 된다, 노드의 컴퓨팅 용량을 최대로 활용한다, 그리고 시스템 영역의 협업 효율을 높이다.
' SafeGroup backup strategies ensure that the continuity that the system provides services externally shall be not affected in case of a node failure.
안전한 백업 전략을 보장한다.연속성 시스템은 노드 장애시에 영향을 받지 않는 외부에서의 서비스를 제공할 것이다.
[Real-time monitoring and end-to-end analysis ]
실시간 모니터링 및 종단간 분석
' High-performance data analysis capability based on the column-oriented storage contributes to the in-depth analysis in the application layer.
컬럼 지향적인 저장으로 높은 성능 데이터 분석 능력을 어플리케이션 레이어의 깊은 분석을 발휘한다.
' Uniformly monitoring and handling the network-wide signaling effectively contributes to handling the great events in a real-time and associated way.
균일하게 모니터링 과 조정 네트워크-영역 시그널링 효율적으로 실시간 및 독립적인 방법으로 거대한 이베튼 조정에 기여한다.
' Be capable of the network-' wide end-to-end fault location and the business analysis.
네트웤 결함의 위치 및 비즈니스 분석이 가능해야 합니다.
Case 5: Storage of historical data of China Unicom in a certain province - Business scenarios
지방 차이나 유니콤의 지난 데이터 저장장치 - 비즈니스 사니리오
The existing network can only store three to six-month CRDs.
기존의 network는 3~6개월의 CDR만 저정할 수 있다.
CRDs are loaded to the disks in case that they were created 6 months ago.
CDRS는 6개월전 생성된 diks에 로드된다.
These CRDs cannot be used due to off-line data.
CDRS는 off-line data로 사용할 수 없습니다.
' High compression ratio (1:20)
높은 압축 비율
Size of raw data>20TB
원시 데이터 사이즈 > 20TB
The size compressed will be less than 1.5TB
size 압축 비율은 1.5TB 아래이다.
The on-line CRDs, which were created 2 year ago, can be stored.
on-line CDRS, 2년전 생성하거나 , 저장할수 있다.
' Transparent application
명백한 어플리케이션
DBlink To 8a
Transparent access to the business system
비즈니스 시스템에 대한 투명한 접근
Case 5: Storage of historical data of China Unicom in a certain province - Saving the storage space.
특정 지역의 차이나 유니콤의 과거 데이터 저장 - 저장 영역의 절약
Customer value
' Capacity extension of software:
소프트웨어의 용량 확장
GBase 8a database can compress the historical data with the compression ratio of 1:20, greatly saving the storage space and reducing the investments in the storage devices.
GBase 8a database는 1:20 압축비율로 과거 데이터를 압축 할 수 있다. 저장 공간을 많이 절약 한다 그리고 저장 장치에 대한 투자를 줄입니다.
' Improve services:
서비스 개선
capable of querying the CRDs which were created three or above years ago rather than three to six months
CDRs 질의에 유능하다. 세개를 만들었다 3~6개월이 아니라 몇 년전.
' No need to develop:
개발할 필요 없음
transparent access to GBase 8a database by DB-link without any code in the applications migrating
어플리케이션 마이그레이션 코드 없이 DB-LINK로 GBase 8a database에 투명하게 접근할 수 있다.
Case 6: BSS log management of China Unicom in a certain province - Business scenarios
특정 지역 차이나 유니콤의 BSS log 관리자 - 비즈니시 시나리오
' BSS system is composed of UIP system and IBSS system, covering more than 20 varieties of sub-class logs.
비스니스 시스템은 UPI system 긜고 IBSS system으로 구성 되어 있고, sub-class log를 20종류 이상으로 처리 되고 있다.
' Business processes such as customer complaints, and analysis and positioning of business failure all need to obtain information from log files for analysis.
고객 불만 과 같은 비즈니스 프로세스, 분석, 비즈니스 실패의 위치의 분석은 모든 로그 파일로 부터 정보를 획득할 필요가 있다.
' The log data are stored in file form. The log management are mainly done by person through the text commands
로그 데이터는 파일로 저장되어 있다. 로그 관리는 주로 text 명령어를 통하여 사람이 한다.
As the business interfaces increase, the log data grows rapidly, and data management and storage become more and more difficult, BSS log system needs improving urgently.
비즈니스 인터페이스 증가하다, 로그 데이터는 빠르게 커진다, 그리고 데이터 관리 와 저장은 더많고 더 어렵다, BSS log system은 빠른 개선이 필요하다.
Key requirements
' Efficiently compress and store the massive log data.
대량의 log data를 효율적으로 압축하고 저장한다.
' Change the situation that the information query is done manually from massive log files,
교환 현상은 정보 쿼리를 대량의 로그 파일에서 수동으로 한다.
realize the automation and informatization, and enhance the efficiency of retrieval and analysis.
자동화 및 정보화 실현 , 검색 및 분석에 대한 능률을 높이다.
' Change the situation that the contents of log files are so complex that only professionals can understand them, and realize the simple analysis on the information.
전문가만이 이해 할수 있는 복장 로그 파일의 내용의 상태로 교환해야 한다. 그리고 정보에 대한 간단한 분석을 실행한다.
Case 6: BSS log management of China Unicom in a certain province - Solutions
특정 지역의 차이나 유니콤 BSS log 관리자 - 솔루션
' Use new GBase 8a database to create BSS log management system
새로운 Gbase 8a database 사용하여 BSS log 관리자 시스템을 생성한다.
' Features such as high performance, high compression ratio and high concurrence can efficiently compress and store the massive log data.
고성능 미래, 높은 앞축 비율 그리고 높은 동시성 효율적으로 압축 할 수 있다 그리고 거대한 로그 데이터를 저장 한다.
' Customize the conversion tools to clean, analyze and convert the log files.
정리에 대한 변환 유틸의 사용자 정의, 분석 그리고 로그파일 변환.
' The front-end application systems connect with GBase 8a database through standard ODBC/JDBC for smooth migration so as to query and manage the data from heterogeneous logs.
front-end application 시스템은 이기종 데이터를 쿼리 및 관리 원활하게 하기위해 표준 ODBC / JDBC를 통해 GBase 8a 데이터베이스와 연결되어
원활한 마이그레이션을 수행합니다.
Case 7: Full-service query system of China Telecom in a certain province - Business scenarios
특정 지역 차이나 유니콤의 전체-서비스 질의 시스템 - 비즈니스 시나리오
Directly contact with the end users to provide the unified external queries of bills and CRDs.
최종 사용자에게 직접 접속하여 bills 과 CRD의 균일한 외부질의를 제공해라.
Users total 21 million. The data increases rapidly.
user total 2100만. 데이터가 빠르게 증가 합니다.
The old query system composed of “traditional database + file system” is faced with a serious performance bottleneck.
기존 쿼리 시스템으로 구성된 "전동 데이터베이스 + 파일 시스템"은 심각한 성능 병목을 직면한다.
The front-end queries often fail due to time-out.
처음과 마지막 쿼리는 종종 시간이 지나 실패한다.
Its concurrent processing capacity needs improving urgently.
동시 프로세싱 용량은 시급하게 개선 될 필요가 있다.
[Key requirements]
Support more than 300 concurrent queries
여러개의 300개의 동시 질의를 지원한다.
The response time shall be less than 3 seconds 100%.
응답시간은 100% 3초보다 더 작을 것이다.
Support the queries in the business halls as well as the internet-based queries.
인터넷베이스 쿼리 뿐만 아니라 홀 비즈니스 쿼리도 지원한다.
Enhance the satisfaction of the end users and fully improve SLA
최종 사용자 와 SLA 완전히 향상시켜 만족도를 높인다.
Case 7: Full-service query system of China Telecom in a certain province - Solutions
특정 지역 차이나 유니콤의 전체 서비스 질의 시스템 - 솔루션
4-node GBase 8a MPP Cluster solution can be used to build the full-service query system platform.
4-node gbase 8a mpp cluter 솔루션은 전체-서비스 질의 시스템 플랫폼을 구축해서 사용할 수 있다.
Technologies such as Shared Nothing architecture, column-oriented storage and data compression with high performance facilitate customers to do efficient queries.
분배하지 않은 구조와 같은 기술, 컬럼-지향 저장 그리고 데이터 압축과 고성능으로 고객은 효율적인 쿼리를 수행 할 수 있다.
The system allows 1,300 queries at most to be done concurrently.
이 시스템을 사용하면 최대 1300 개의 쿼리를 동시에 수행 할 수 있습니다.
The fastest response time shall be less 3 seconds. Fully enhance SLA and the satisfaction of the end users.
가장빠른 응답 시간은 3초 보다 작을 것이다. SLA와 최종 사용자의 만족도를 완전히 향상시킵니다.
Case 8: Self-service reporting system of China Telecom in a certain province - Business scenarios
특정 지역 차이나 텔네콤의 셀프-서비스 보고 시스템 - 비즈니스 시나리오
Telecom data and transactions grow rapidly.
텔레콤 데이터는 빠르게 증가한다.
At present, ODS/EDW system has a performance bottleneck in loading data, and is challenged by poor-efficiency query and high-cost system optimization.
현재, ODS/EDW 시스템은 데이터 로딩시 성능 병목을 가지고 있다 그리고 효율성이 낮은 쿼리로 어려움을 겪는다 그리고 높은비용 시스템을 최적화.
In order to improve the network-wide data operation of China Telecom,
차이나 유니콤 네트웤-전체 데잍터을 개선하기 위해,
it is necessary to boost the speed of processing data from the existing wide tables and the efficiency of loading the data and enhance the capacity of analyzing and supporting
기존에 넓게 퍼져 있는 테이블의 데이터 처리 속도를 높이기 위해 필요하다. 그리고 데이터의 로딩의 효율 그리고 분석의 능력을 높이다. 그리고
various customer applications such as 4G and traffic operation.
4G 및 트랙픽 운영에 대한 여러 고객의 응용프로그램을 지원한다.
The supporting capacity for a large quantity of transaction reports is required to be timely and accurate.
거래 보고의 높은 품질의 지원 능력은 시위 적절하고 정확한 것을 요구한다.
[Key requirements]
' Enhance the efficiency: improve the efficiency of users’ ad hoc queries and relational queries.
효율성 향상 : 사용자의 임시 쿼리 및 연관 질의 효율성이 개선 된다.
' Break through the bottleneck: break through the performance bottleneck of data loading at present, and overcome the disadvantages of traditional relational database,
병복 현상 빠져 나오다: 현재 데이터 로딩 시 성능 병목을 극복한다 그리고 전통적인 관계형 데이터베이스의 불리한점을 극복한다.
such as high cost, long computing time, and hysteresis of analysis results and business reports.
높은 비용, 긴 계산 시간, 그리고 분석 결과의 히스테리시스 및 비즈니스 보고
' Fully speed up: fully speed up to load the network-wide data from the wide tables of China Telecom to the interfaces.
전체 스피드 사고 : 차이나 텔레콤의 넓은 테이블에서 네터워크 데이터를 빠르게 업로드 할 수 있다.
Case 8: Self-service reporting system of China Telecom in a certain province - Solutions
특정 지역 차이나 유님콤의 셀프 서비스 보고 시스템 - 솔루션
Based on the MPP architecture, build the cloud-based self-service reporting system,
MPP 구조의 기반이다, 클라우드 기반 셀프-서비스 보고 시스템을 세우다.
which can release all varieties of reports in time and response the demand of the business departments in real time.
모든 종류의 보고서를 제때에 공개하고 비즈니스 부서의 요구에 실시간으로 응답 할 수 있습니다.
GBase 8a MPP Cluster synchronizes the unified data in the integrated layers at the ODS platform
GBase 8a MPP Cluster는 ODS 플랫폼 통합 레이어의 통합 데이터를 동기화 한다.
and totally produces various wide tables and summary reports.
그리고 이전 영역 테이블 및 요약 보고서를 제공한다.
Case 8: Self-service reporting system of China Telecom in a certain province - Cloud-based reporting system
특정 지역 차이나 유니콤의 셀프-서비스 보고 시스템 - 클라우드 기반의 보고 시스템
Low cost, high scalability
낮은 비용, 높은 확장성
Use of X86 PC servers effectively lowers the input cost of hardware.
x86 pc server 사용 하면 하드웨어의 입력 비용을 효과적으로 낮출 수 있다.
MPP architecture supports the stable and high-availability scale-out of the system.
MPP 구조는 시스템의 안정성 과 높은-유효성의 확정성을 제공한다.
Efficient ad hoc queries
효율적인 ad hoc 질의
Second response to manual and self-help report queries is realized.
메뉴얼 및 셀프-도움말 리포트 질의는 두번째 응답이 실현된다.
The problem of low-efficiency query of high-volume data application reports, which technical architectures of traditional relational
높은-볼륨 데이터 어플리케이션 보고의 낮은 효율의 문제는,
databases cannot resolve, has been addressed so as to improve user experience and satisfaction.
전통적인 관련형 데이터베이스 기술 구조로 해결 할 수 없다. 사용자 경험 과 만족도를 개선하기 위한 방법을 알고 있다.
Operation speeding-up
운영 속도-향상
Customer’s requirements that the network-wide data operation should step into the speeding-up phase and all data such as product cases
and sales products should be uploaded before 10 o’clock every day, have been satisfied.
고객은 네트워크 데이터 운영의 속도향상 단계를 요구한다 그리고 각각의 상품 케이스 및 판매 제품의 모든 데이터는 매일 10전에 안전하게 올려야 한다.
Performance improvement
성능 개선
The performance of loading business with massive data has increased by 10 times.
성능은 대량 데이터의 비즈니스 로딩으로 10배 증가 하고 있다.
Weaknesses of traditional relational databases, such as high cost, long computing time, and hysteretic nature of analysis results and
전통 관계형 데이터베이스의 약점, 높은 비용과 같은, 긴 계산 시간, 그리고 분석 결과의 이력성 그리고
business reports have been overcome.
비즈니스 보고서가 극복 되었다.
Contents
I. Column-oriented MPP databases to build a big data platform
컬럼 지향적 MPP 데이터베이스로 큰 데이터 플랫폼을 구축 한다.
II. Introduction to New GBase 8a MPP Database
새로운 GBase 8a Mpp 데이터베이스 소개.
III. Application Scenarios and Typical Cases
어플리케이션 시나리오 및 대표적 케이스
Iv. Company Profile
회사 이력
'sunjesoft > Goldilocks Extern DB' 카테고리의 다른 글
windows oracle 설치 (0) | 2019.01.30 |
---|---|
TIDB (0) | 2019.01.30 |