Atlas Stream Processing 변경 로그

Kafka 소스 스트림 프로세서가 로드가 많은 기간 동안 파티션에 처리 분산하여 처리 더욱 균등하게 하는 방법을 개선합니다.

Atlas UI 의 탭 에 스트림 프로세서 CPU 및 메모리 사용량을 추가합니다. 자세한 학습 Monitoring 은 Atlas UI 에서 스트림 프로세서 작업 공간 모니터링을 참조하세요.

$iceberg 집계 단계를 사용하여 Apache Iceberg 테이블에 쓰기에 대한 일반 가용성 지원을 추가합니다. 자세한 내용은 $iceberg를 참조하세요.

리전 페일오버에 대한 지원을 추가합니다. 자세히 알아보려면 페일오버 프로세서를 참조하세요.

스트림 프로세서 생성 및 편집을 위한 UI 경험을 전면적으로 개선합니다. 자세한 내용은 스트림 프로세서 생성을 참조하세요.

연결 레지스트리 엔트리에서 사용 중인 연결에 대한 Edit Connection 페이지에 대한 읽기 전용 액세스를 추가합니다. 배너는 변경사항을 적용하기 전에 연결을 사용하는 프로세서를 중지해야 함을 나타냅니다. 이전에는 연결을 사용하는 프로세서를 중지해야 상세 정보를 볼 수 있었습니다. 자세한 내용은 연결 레지스트리에서 연결 보기를 참조하세요.

Atlas UI에서 파이프라인을 생성할 때 오류 메시지가 개선됩니다.

다중 컬렉션 initialSync에 대한 지원을 추가합니다. 자세한 내용은 MongoDB 컬렉션 변경 스트림을 참조하세요.

스트림 프로세서가 구성한 추가 병렬성을 addedParallelism 보고하는 최대 병렬성 sp.processor.stats() 이 정의한 값과 같은 필드를 에 추가합니다.

mongosh에서 스트림 프로세서의 계층을 변경할 수 있는 기능을 추가합니다. 자세히 알아보려면 sp.processor.modify().을 참조하세요.

Atlas UI에서 Stream Processing 작업 공간의 계층을 변경하는 기능을 추가합니다.

빈 Stream Processing 워크스페이스 카드에 Visual Builder 과 JSON editor 에 대한 직접 링크를 추가합니다.

연결 이름에 ., -, * 및 _ 이외의 특수 문자가 포함될 수 있는 버그를 수정합니다.

스트림 프로세서가 존재하지 않을 때 단일 스트림 프로세서 가져오기 엔드포인트가 HTTP 404 대신 HTTP 400 을 반환하는 버그를 수정합니다.

initialSync 메모리 처리에 대한 개선사항을 포함합니다.

Azure의 brazilsouth 및 australiaeast, AWS의 eu-west-3, Google Cloud 리전의 us-east4 에 대한 지원 추가합니다.

Azure Blob Storage 연결을 위한 비공개 네트워킹에 대한 지원 추가합니다. To learn more, see Azure Blob Storage 비공개 링크 연결 추가를 참조하세요.

작업 공간을 찾을 수 없을 때 잘못된 HTTP 상태 코드가 반환되던 문제를 해결합니다.

Atlas UI에서 AWS Kinesis 및 S3 연결에 대한 AWS PrivateLink 비용 표시를 추가합니다.

GCP 워크스페이스에서 GCP Private Service Connect 비용이 정상적으로 표시되지 않던 UI 문제를 해결합니다.

소스 또는 싱크가 대상별 통계를 지원하지 않을 경우 스트림 프로세서 지표 UI에서 소스 메시지 소비 및 싱크 메시지 전달 패널을 제거합니다.

파이프라인 시각 빌더의 Kinesis 싱크 템플릿에서 유효하지 않은 필드를 수정합니다.

Atlas 관리 API의 하나의 스트림 프로세서 만들기 엔드포인트에 tier 옵션을 추가합니다.

병렬 처리를 사용하지 않는 경우 발생하는 $lookup 지연 시간 통계에 대한 수정 사항을 통합합니다.

하위 호환성을 유지하면서 Terraform 리소스 생성 문제를 해결하기 위해 metricThreshold 객체를 추가하고 기존의 threshold 객체는 사용 중단으로 설정합니다.

싱크로 Google Cloud Pub/Sub에 대한 지원 추가합니다. 자세히 학습하려면 Google Cloud Pub/Sub 연결을 참조하세요.

JSON 편집기 UI 페이지의 새로운 Upload file 버튼을 사용하여 로컬 .json 파일에서 직접 프로세서 정의를 업로드하기 위한 지원 추가합니다.

Azure Blob Storage에 대한 지원 추가합니다. 자세한 학습 은 Azure Blob Storage ($emit 단계) 및 Azure Blob Storage 연결을 참조하세요.

샘플, Apache Kafka 및 Atlas 연결에 대해 테스트 아이콘을 레이블이 지정된 TEST 버튼으로 대체합니다.

스트림 프로세서가 여전히 참조하는 클러스터의 삭제를 차단합니다.

Apache Kafka 연결 레지스트리에서 PLAIN 와 OIDC 간의 Apache Kafka 연결 인증 변경할 수 있습니다.

Apache Kafka 부트스트랩 서버 호스트 이름 에 대한 추가 유효성 검사 추가합니다.

기본값 으로 프로젝트 수준 스트림 감사를 활성화하고 Atlas UI 의 Database & Network Access > Security > Advanced 페이지에서 Streams Auditing 토글을 제거합니다. 이제 감사 로그는 항상 켜져 있고 삭제할 수 없으므로 보안 및 컴플라이언스 기대치를 충족합니다. Atlas Stream Processing 감사에 대해 자세히 학습하려면 Atlas Stream Processing 액세스 및 감사를 참조하세요.

연결 레지스트리에서 연결을 볼 때 Atlas UI 에 실시간 상태(Ready, Pending, Failed, Deleting)를 추가합니다.

Atlas UI 에서 스트림 프로세서를 생성할 때 소스 및 싱크 옵션으로 AWS Kinesis 연결에 대한 지원 추가합니다.

Atlas Stream Processing 작업 공간 또는 스트림 프로세서에 대한 운영 로그를 다운로드하기 위해 Atlas 관리 API 에 하나의 Atlas Stream Processing 작업 공간에 대한 운영 로그 다운로드 엔드포인트에 대한 지원 추가합니다.

기본 Atlas 클러스터 아직 프로비저닝 되는 동안 스트림 연결이 조기에 Ready 로 표시되는 문제를 수정합니다.

역할 할당에 modifyStreamProcessor 조치 사용할 수 없는 문제를 수정합니다.

스트림 프로세서를 시작, 중지 및 삭제 작업에 대한 오류 처리를 개선합니다.

유효한 네임스페이스 ARM URI만 허용되도록 Azure Event Hub 연결에 대한 유효성 검사 개선합니다.

Avro직렬화에 대한 지원 추가합니다.

Confluent 스키마 레지스트리와의 통합에 대한 지원 추가합니다.

파이프라인 의 마지막 단계로 $https 를 사용하여 HTTPS 연결을 통해 쓰기를 허용합니다.

소스($source 단계) 및 싱크($emit 단계)로서 AWS Kinesis 에 대한 지원 추가합니다.

스트림 프로세서와 대상 리전 모두에 대한 리전별 요금을 반영하도록 데이터 전송 요금 을 업데이트합니다. 자세한 학습 은 스트림 프로세서 가격을 참조하세요.

SP10 및 SP30 계층 스트림 프로세서의 가격 책정을 레거시 작업자 기반 모델에서 프로세서별 가격 책정 모델로 업데이트합니다. 자세한 내용은 스트림 프로세서 가격을 참조하세요.

이전 인스턴스 모델을 Atlas Stream Processing Workspaces로 대체합니다. 자세한 내용은 Stream Processing 계층을 참조하세요.

새로운 스트림 프로세서 계층을 추가합니다: SP2, SP5, SP50.

Apache Kafka 연결에 대해 JWT 인증을 사용하는 OIDC에 대한 지원 추가합니다.

Atlas UI 에서 스트림 프로세서 파이프라인 만들기 위한 지원 추가합니다.

AWS S3 비공개 링크 연결 유형에 대한 지원 추가합니다.

연결 레지스트리 UI 에 Test Connection 버튼을 추가하여 각 연결에 대한 연결 테스트를 시작합니다.

DataDog로 내보낸 지표를 포함하여 Atlas Stream Processing 지표 에 tenant_name, project_name 및 org_name 필드를 추가합니다.

단계의 lifetime cache hit/miss $cachedLookup stats.operatorStats에 통계를 추가합니다.

Atlas DataDog 통합에서 Stream Processor State 지표에 대한 지원 추가합니다.

스트림 처리 파이프라인에서 JavaScript 실행할 수 있도록 $function 연산자 추가합니다. 자세한 학습 은 $function (스트림 처리)를 참조하세요.

$cachedLookup 연산자를 추가하고 $lookup 결과를 특정 TTL에 대해 캐시하여 느리게 변화하는 데이터의 성능을 개선합니다. 자세한 내용은 $cachedLookup를 참조하세요.

$emit.config.tombstoneWhen = boolean을 사용하여 Kafka 주제를 압축하기 위해 $emit 단계에서 null 값을 Kafka 주제로 전송하는 기능을 추가합니다. 자세한 내용은 $emit 집계 단계(Stream Processing)를 참조하세요.

$source 및 $merge에 대한 Cross Atlas Project에 대한 지원 추가합니다. 자세한 내용은 $merge (Stream Processing) 레퍼런스의 Atlas 클러스터 간 변경 스트림 이벤트 복제 섹션을 참조하세요.

Atlas 컬렉션에서 읽을 때 초기 동기화를 지원 위해 $source 에 대한 지원 추가합니다. 자세한 학습 은 MongoDB 컬렉션 변경 스트림을 참조하세요.

Google Cloud에 배포할 Stream Processing Workspace에 대한 지원을 추가합니다. 자세한 내용은 Google Cloud(GCP) Stream Processing 리전을 참조하세요.

컬렉션의 문서를 삭제 수 있도록 $merge 에 대한 지원 추가합니다. 자세한 학습 은 $merge(스트림 처리)를 참조하세요.

DataDog 지표에 대한 지원 추가합니다. 자세히 학습 DataDog 지표를 참조하세요.

Amazon Web Services S3 연결에 대한 지원 추가합니다.

데이터 집계를 위한 세션 창을 지정하는 새로운 $sessionWindow Atlas Stream Processing 파이프라인 집계 단계를 추가합니다. 이를 통해 입력 스트림 에서 활동의 각 '세션'에서 파이프라인 실행 수 있습니다. 자세한 학습 은 $sessionWindow를 참조하세요.

Private Link 연결을 통해 Azure에서 호스팅되는 Confluent Kafka cluster를 지원합니다.

특정 Amazon Web Services Lambda 리소스에서 프로세스를 트리거하는 새로운 $externalFunction Atlas Stream Processing 파이프라인 단계를 추가합니다. 자세한 학습 은 $externalFunction을 참조하세요.

Atlas UI 에서 $https 연결 생성 을 지원합니다.

$merge에 parallelism 필드 추가합니다. 이 필드 쓰기 (write) 작업을 분산할 스레드 수를 지정하여 성능을 향상시킵니다.

출력 메시지 수, DLQ 메시지 수, Kafka 지연 및 변경 스트림 지연과 같은 추가 경고를 생성할 수 있습니다. 자세히 학습하려면 Atlas Stream Processing 경고를 참조하세요.

인수를 받지 않고 스트림 프로세서에서 UUID BSON types 값을 반환하는 createUUID 표현식 지원합니다.

eventTime 외에 processingTime 를 지원 하도록 창 연산자에 대한 새로운 구성을 추가합니다. 자세한 학습 은 처리 시간을 참조하세요.

문서 의 모든 스트리밍 메타데이터 포함하는 객체 를 반환하는 $meta 표현식 추가합니다.

parseJsonStrings 필드 $https 연산자 에 추가하여 API 호출에서 반환된 JSON 문자열을 구문 분석할 수 있도록 합니다. 자세한 학습 은 $https를 참조하세요.

Amazon Web Services MSK 클러스터에 대한 Kafka 비공개 링크 연결을 추가 할 수 있습니다.

AWS us-east-2에서 Stream Processing Workspace을 배포할 수 있습니다. 자세히 알아보려면 Atlas Stream Processing 리전을 참조하세요.

$currentDate 표현식을 지원하여 Atlas Stream Processing이 이를 평가할 때마다 스트림 처리 작업 공간의 시스템 시간을 반환합니다.

파일 서명(매직 바이트)이 포함된 JSON 문서 읽기를 지원합니다.

interval보다 큰 hopSize 로 Windows 호핑하도록 구성하지 못하는 문제를 수정합니다.

executionTimeSecs 통계를 executionTimeMillis로 변경합니다. 이 통계를 보려면 sp.processor.stats() 명령을 호출합니다.

Apache Kafka 싱크에 대한 애그리게이션 $emit 단계(스트림 처리)의 버퍼링 지속 시간을 1000 밀리초에서 5 밀리초로 변경합니다.

Amazon Web Services 에서 Confluent를 사용한 VPC 피어링 지원합니다.

Atlas 관리 API를 사용하여 스트림 프로세서를 편집할 수 있도록 지원합니다.

Confluent에 대한 AWS Private Link를 지원합니다.

EventHubs에 대한 Azure Private Link를 지원합니다.

Apache Kafka 시간 초과를 10 초에서 30 초로 늘립니다.

대상 클러스터가 REPAIRING 상태일 때 항상 프로세서를 재시도합니다.

체크포인트 복원 후 partitionIdleTimeout 문제를 수정합니다.

상세 통계에 워터마크 및 창 정보를 더 많이 추가합니다.

생산자 대기열이 가득 차더라도 Apache Kafka 에 대한 메시지 생성 호출이 무기한 중단되지 않도록 합니다.

다중 주제 Apache Kafka 소스 수집을 지원합니다.

소비자 그룹에 대한 Apache Kafka 를 거의 실시간으로 업데이트합니다.offsets

Apache Kafka $emit 구성에서 및 compression.type acks 설정을 지원합니다.

컬렉션 없는 $lookup 구문을 지원합니다.

Atlas Stream Processing Apache Kafka 오류를 문자열로 직렬화하는 방식을 표준화합니다.

$emit 및 $merge 동적 표현식 제한을 1000 로 늘립니다.

창 connectionName 파이프라인 내에서 고유한(으)로 $lookup을 처리합니다.

일시 중지된 클러스터 오류를 개선합니다.

$convert를 사용하여 Binary 데이터를 다양한 데이터 유형으로 변환하는 것을 지원합니다. 이를 통해 필요에 따라 Kafka 헤더를 특정 데이터 유형으로 변환할 수 있습니다.

Apache Kafka 소스로 사용하는 스트림 프로세서는 sp.processor.stats()에 파티션별 워터마크를 노출합니다.

사용자가 API를 통해 특정 리전에서 스트림 처리 작업 공간을 생성할 수 없는 버그를 수정합니다.