대용량 실시간 데이터를 처리하는
고성능 빅데이터 플랫폼

라온비트 2.0

In Memory Architecture

  • BDAS(Berkeley Data Analytics Stack) 채택
  • 메모리에서 데이터를 처리할 수 있도록 하여 고속처리 가능
  • 기존 Hadoop MapReduce에 비해 비약적인 속도 개선
  • Hadoop 2(YARN Cluster), 기존 Hadoop 과의 통합
서비스 아키텍처
고성능 실시간 데이터 처리

고성능 실시간 데이터 처리

  • Streaming Data를 실시간 분석하여 특정 이벤트 발생 시 notification 및 지정 동작 수행
  • 대표적인 실시간 처리 엔진인 Storm 대비 크게 향상 된 데이터 처리량
  • 배치 분석과 동일 한 방식의 실시간 데이터 처리 Interface (동일 Programming API, 동일 SQL)

SQL on Stream

  • SQL on Hadoop(Hive, Impala, Tajo 등)과 동일하게 SQL을 통한 실시간 데이터 분석
  • 실시간 데이터 분석 위하여 Esper, Storm 등에서 처럼 별도의 프로그램 작성 없이 SQL 활용
Stream on Data
통합 분석 인터페이스

통합 분석 인터페이스

  • SQL, R, Machine Learning 통합 인터페이스
  • 다양한 방식의 데이터 전처리 기능 – SQL, R, Spark Work

Monitoring

  • Ganglia 기반의 Monitoring System
  • 분산 Hardware 모니터링 이외에 Kafka, Spark 모니터링 제공
모니터링

서비스

Apache Spark Consulting

조직의 Apache Spark도입과 활용을 도와드립니다.

주요 서비스

  • – Big Data Architecture 수립
  • – Business Intelligence 분석 모듈 작성
  • – Spark Streaming을 활용한 실시간 데이터 처리(Storm, Esper 대체/연계)
  • – Spark Work을 활용한 처리 모듈 작성(MapReduce 대체)
  • – Spark SQL 활용(HIVE 대체/연계)
  • – Performance Tuning
  • – R, Machine Leaning, SQL 연계

Apache Spark Training

Apache Spark 관련 기업 및 개인 교육을 진행합니다.

교육내용

Basic Advanced
1 일차 2 일차 3 일차 4 일차
오전 Basic Technique
– Scala for Apache Spark
– SBT for Apache Spark

Apache Spark 개요
– Big Data and Spark
– BDAS(Berkeley Data Analytics Stack)
– RDD, DStream

Apache Spark Core
– Deploying Spark Application
– Spark Application Configuration
Spark Streaming
– Streaming API
– [실습] Streaming Application 작성하기
– Monitoring & Performance Tuning
Machine Learning
– Mllib 개요
– Basic statistics
– Classification & Regression
– Collaborative filtering
– Clustering
– Dimensionality reduction
– Feature extraction and transformation
– Optimization
Integration with Big Data Architecture
– ElasticSearch
– Flume & Kafka
– HDFS & NoSQL
오후 Apache Spark 설치 및 설정
– Spark Build
– [실습] Installing Spark Locally
– Spark Configuration

Apache Spark Core
– Scala, Java, Python API
– [실습] Spark Application 작성하기
– Building Spark Application

Apache Spark SQL
– Spqrk SQL 개요(Shark vs. Spark SQL)
– [실습] SQL Application 작성하기
– Hive, Parquet, JSON Suppoort
Machine Learning
– [실습] ML Application 작성하기
– Integration with Streaming, SQL

GraphX
– GraphX 개요
– Graph Operators
– Pregel API
– Vertex & Edge RDDs
– [실습] GraphX Application 작성하기

Performance Tuning
– Monitoring
– Evaluate Performance
– Debugging and trouble shooting

Advanced Usage
– Spark SQL
– Spark Streaming

Scala/Akka Training

JVM 기반의 Functional Language인 Scala와 Actor model framework인 Akka에 대한 개인 교육을 진행합니다.

교육내용

Scala Akka(Scala or Java)
1 일차 2 일차 1 일차 2 일차
오전
  • Introduction
  • First Steps in Scala
  • OO Basic
  • For and Loop
  • Inheritance and Traits
  • Introduction
  • Actors Basics
  • Testing Actior
  • Modifying Actor Behavior
  • Actor Pattern
오후
  • Testing
  • Collection and Functional Programming
  • Pattern matching
  • Dealing with optional values
  • Actor Lifecycle
  • Fault Tolerance
  • Routers / Dispatchers
  • Akka Excensions
  • Finite State Machine
Service에 대한 문의는 info@raonbit.com 이나 Q&A 게시판을 이용해 주세요.