728x90 반응형 SMALL MLOps1 MLOps 기술들 설명 (데이터, 모델, 서빙 등) 1. 데이터 - 데이터 수집 파이프라인 (Data Ingestion Pipeline): Sqoop: Apache Hadoop과 관계형 데이터베이스 사이에서 대량의 데이터를 효율적으로 전송하는 도구. Flume: 대량의 로그 데이터를 효율적으로 수집, 집계 및 이동하는 분산형, 안정적이고 사용 가능한 서비스. Kafka: 이벤트 스트리밍을 위한 분산 플랫폼으로, 실시간 데이터 파이프라인 및 스트리밍 애플리케이션을 구축하는 데 사용됨. Flink: 대용량 데이터 처리 및 분석을 위한 오픈 소스 스트림 처리 프레임워크. Spark Streaming: 배치 처리 엔진인 Spark의 확장으로, 스트림 처리를 지원함. Airflow: 워크플로우를 프로그래밍 방식으로 작성, 예약 및 모니터링하는 플랫폼. - 데이터 .. 2023. 12. 29. 이전 1 다음 728x90 반응형 LIST
