Data Ingestion Service
Contato de vendas

Data Ingestion Service (DIS)

Data Ingestion Service (DIS)

Data Ingestion Service (DIS) oferece recursos essenciais para coletar, processar e distribuir dados de fluxo em tempo real. Esse serviço é compatível com uma variedade de ferramentas externas de coleta de dados e fornece diversos Agents/SDKs. Ele é ideal para cenários como monitoramento de dispositivos, recomendações em tempo real e análises de logs para IoT, Internet, mídia e outros setores.

Data Ingestion Service (DIS) oferece recursos essenciais para coletar, processar e distribuir dados de fluxo em tempo real. Esse serviço é compatível com uma variedade de ferramentas externas de coleta de dados e fornece diversos Agents/SDKs.

Pague por uso, a partir de $0,0117 USD/hora

Vantagens

  • Transferências eficientes

    DIS oferece suporte a milhões de conexões simultâneas e apresenta um tempo de resposta em milissegundos. Cada partição permite que centenas de gigabytes de dados sejam gravados por dia.

    DIS oferece suporte a milhões de conexões simultâneas e apresenta um tempo de resposta em milissegundos. Cada partição permite que centenas de gigabytes de dados sejam gravados por dia.

  • Fácil de usar

    Você pode criar fluxos de DIS em segundos e coletar dados simplesmente configurando SDKs/Agents, sem necessidade de programação.

    Você pode criar fluxos de DIS em segundos e coletar dados simplesmente configurando SDKs/Agents, sem necessidade de programação.

  • Seguro e confiável

    DIS usa HTTPS para transmissões e controla permissões de acesso isolando os recursos e as operações dos locatários. Além disso, esse serviço armazena dados em diferentes AZs para assegurar uma confiabilidade de 99,9%.

    DIS usa HTTPS para transmissões e controla permissões de acesso isolando os recursos e as operações dos locatários. Além disso, esse serviço armazena dados em diferentes AZs para assegurar uma confiabilidade de 99,9%.

  • O&M simples

    DIS permite a O&M gerenciada, possibilitando que você concentre seus esforços em explorar o valor dos dados. Com o uso desse serviço, reduzem-se os custos de Kafka e Flume na criação de um sistema de transmissão de dados.

    DIS permite a O&M gerenciada, possibilitando que você concentre seus esforços em explorar o valor dos dados. Com o uso desse serviço, reduzem-se os custos de Kafka e Flume na criação de um sistema de transmissão de dados.

Cenários de aplicação

Processamento de dados em tempo real

Processamento de dados em tempo real

DIS coleta dados de tráfego de veículos em tempo real e os armazena em fluxos de DIS. Os dados podem ser analisados para facilitar o controle do tráfego.

Vantagens

  • Em tempo real

    DIS recebe dados de sistemas de aplicações ao mesmo tempo que são gerados.

  • Alta simultaneidade e baixa latência

    Milhões de mensagens podem ser processadas simultaneamente com uma latência de ponta a ponta de milissegundos.

  • Aberto

    DIS pode operar com diversas plataformas de análise para fornecer uma solução abrangente de computação e transmissão de dados.

Serviços relacionados
DLI
MRS
Transferência de arquivos em tempo real

Transferência de arquivos em tempo real

DIS coleta arquivos de sistemas de aplicações em tempo real, realiza seu upload na nuvem e identifica as necessidades de clientes VIP e clientes em potencial por meio de análises e Machine Learning.

Vantagens

  • Coleta automática de dados incrementais

    Dados incrementais ou novos arquivos podem ser automaticamente coletados.

  • Fácil de usar

    DIS fornece Agents para diferentes plataformas a fim de simplificar a coleta de dados.

  • Alta segurança

    As transmissões criptografadas por HTTPS asseguram a segurança dos dados.

Serviços relacionados
OBS
MRS
DLI
Consumo e backup de dados

Consumo e backup de dados

DIS mantém arquivos de logs em backups na nuvem para fins de recuperação de dados e análise de exceções. É possível fundir pequenos arquivos de logs e colocá-los em um grande arquivo único para acelerar o processamento de dados.

Vantagens

  • Várias fontes de dados

    DIS é compatível com sistemas de código aberto, como Kafka e Flume e ele pode ser facilmente integrado com outras plataformas.

  • Transmissão eficiente de dados

    Você pode dimensionar a capacidade de fluxo do DIS com base no volume de entrada de dados.

  • Transferência em massa de pequenos arquivos

    Arquivos de menor tamanho são migrados para a nuvem e, em seguida, colocados no OBS.

Serviços relacionados
OBS

Funções

  • Coleta de dados

    DIS fornece APIs RESTful, SDKs e Agents para a coleta offline de dados de diversas fontes em tempo real.

    DIS fornece APIs RESTful, SDKs e Agents para a coleta offline de dados de diversas fontes em tempo real.

  • Transmissão de dados

    DIS transmite dados em tempo real mantendo alta simultaneidade, alta confiabilidade e baixa latência.

    DIS transmite dados em tempo real mantendo alta simultaneidade, alta confiabilidade e baixa latência.

  • Movimento de dados

    DIS fornece diversos conectores para mover dados livremente entre armazenamento, computação e serviços de análise.

    DIS fornece diversos conectores para mover dados livremente entre armazenamento, computação e serviços de análise.

  • Várias fontes de dados
    Várias fontes de dados

    DIS coleta dados de sistemas de aplicações de usuários, Kafka e Flume em tempo real.

    DIS coleta dados de sistemas de aplicações de usuários, Kafka e Flume em tempo real.

  • Diversos modos de consumo de dados
    Diversos modos de consumo de dados

    DIS fornece APIs RESTful, SDKs e Agents para o consumo de dados em tempo real com necessidades mínimas de configuração.

    DIS fornece APIs RESTful, SDKs e Agents para o consumo de dados em tempo real com necessidades mínimas de configuração.

  • DIS permite milhões de conexões simultâneas. Cada fluxo de DIS pode ingerir terabytes de dados por dia, e cada partição dá suporte a uma velocidade de gravação de dados de centenas de gigabytes por dia.

    DIS permite milhões de conexões simultâneas. Cada fluxo de DIS pode ingerir terabytes de dados por dia, e cada partição dá suporte a uma velocidade de gravação de dados de centenas de gigabytes por dia.

  • A taxa de transferência de cada fluxo de DIS pode ser dimensionada dinamicamente com a adição de partições.

    A taxa de transferência de cada fluxo de DIS pode ser dimensionada dinamicamente com a adição de partições.

  • DIS é integrado com OBS, MRS, DWS, CloudTable, DLI e FunctionGraph para simplificar o despejo, a computação e a análise de dados.

    DIS é integrado com OBS, MRS, DWS, CloudTable, DLI e FunctionGraph para simplificar o despejo, a computação e a análise de dados.

  • Os dados podem ser importados para serviços em nuvem como CloudTable, DWS, HBASE, RDS e DCS. Para isso, basta configurar os Agents entre o DIS e esses serviços.

    Os dados podem ser importados para serviços em nuvem como CloudTable, DWS, HBASE, RDS e DCS. Para isso, basta configurar os Agents entre o DIS e esses serviços.

  • Data Processing

    DIS vem pré-carregado com os conectores para extrair, agregar, converter e pré-processar a entrada de dados dos usuários.

    DIS vem pré-carregado com os conectores para extrair, agregar, converter e pré-processar a entrada de dados dos usuários.

  • Cache de dados

    DIS preserva os dados obtidos em tempo real por até sete dias dependendo das configurações, garantindo sua segurança.

    DIS preserva os dados obtidos em tempo real por até sete dias dependendo das configurações, garantindo sua segurança.

  • DIS converte dados de formato CSV/JSON em formato Parquet/CarbonData, melhorando a qualidade dos dados dos usuários.

    DIS converte dados de formato CSV/JSON em formato Parquet/CarbonData, melhorando a qualidade dos dados dos usuários.

Guias de uso

Recursos para desenvolvedores

Referência de API do DIS

Documentos técnicos

Guia do usuário do DIS

Perguntas frequentes

O que é DIS?

Inscreva-se e comece uma incrível jornada na nuvem

Experimentar gratuitamente