본문 바로가기

Technology

빅데이터 분석 및 AI

오픈소스 기반 빅데이터 플랫폼 구현 및 인공지능 분석 기술

Hadoop, Spark 등 빅데이터 수집 및 관리, 분석을 위한 분산 병렬 처리 플랫폼을 구축하고 운영하며, 이러한 플랫폼 상에서 빅데이터 기반 분석을 수행하는 데이터마이닝, 기계학습, 딥러닝 알고리즘 기술을 보유, 활용하고 있습니다.

빅데이터 처리 플랫폼 구축 및 활용

공개 소프트웨어 Apache Hadoop 및 Spark 프레임워크

  • 분산 빅데이터 관리 및 분산 처리: Hadoop/Spark 프레임워크
  • 분산 데이터의 수집 및 전처리: Kafka, Flume, Sqoop, Nifi 등
  • 실시간 데이터 스트림 수집 및 전처리: Storm, Spark Streaming 등

오픈소스 데이터 분석 도구 및 딥러닝 라이브러리 활용

  • R, Python 패키지
  • TensorFlow, Keras, SparkML 등