MapReduce Serviceとは

スケーラブルなパワーで可用性が高いビッグデータクラスターを起動および管理し、オープンソースの分析ワークロードを実行

  • 高速のプロビジョニングと容易な保守

    自動化されたソフトウェアのインストールと設定、統合されたローリングパッチとローリングアップグレード、簡素化された運用・保守により、ビッグデータクラスターの迅速なプロビジョニングを実現。

    自動化されたソフトウェアのインストールと設定、統合されたローリングパッチとローリングアップグレード、簡素化された運用・保守により、ビッグデータクラスターの迅速なプロビジョニングを実現。

  • 分離されたストレージとコンピューティング

    99.9999999999%の耐久性を備えた低コストのObject Storage Service(OBS)にデータを無制限に保存しつつ、コンピューティングクラスターを分析に使用することで柔軟性の向上とコストの削減を実現。

    99.9999999999%の耐久性を備えた低コストのObject Storage Service(OBS)にデータを無制限に保存しつつ、コンピューティングクラスターを分析に使用することで柔軟性の向上とコストの削減を実現。

  • エンドツーエンドのセキュリティ

    ケルベロス認証でクラスタープロジェクト権限を管理し、Identity and Access Management(IAM)サービスでユーザーとリソースを安全に保つことが可能。伝送中および保存中にデータを暗号化。

    ケルベロス認証でクラスタープロジェクト権限を管理し、Identity and Access Management(IAM)サービスでユーザーとリソースを安全に保つことが可能。伝送中および保存中にデータを暗号化。

  • 高い可用性とパフォーマンス

    アベイラビリティゾーン全体で高可用性を実現しており、単一障害点なし。クラスターでインスタンスやRAMおよびCPUを素早くスケールアップして、大規模なコンピューティングパワーを実現。

    アベイラビリティゾーン全体で高可用性を実現しており、単一障害点なし。クラスターでインスタンスやRAMおよびCPUを素早くスケールアップして、大規模なコンピューティングパワーを実現。

主要なリリース

Apache Pulsar(次世代の分散型メッセージおよびストリーミングプラットフォーム)

Apache Pulsar(次世代の分散型メッセージおよびストリーミングプラットフォーム)

Apache Pulsarは、ストレージとコンピューティングが分離された次世代のメッセージシステムであり、ハイパフォーマンスなクラウドネイティブのサービスとして、統合モデルとストリーミングモデルを備えています。統合モデルとストリーミングモデルを備えた高性能なクラウドネイティブサービスです。メッセージキューおよびストリーム処理プラットフォーム向けの優れたオプションを提供するために、Huawei Cloud MRSにはエンタープライズクラスのApache Pulsarメッセージシステムが統合されています。

  • 活用場面
  • - メッセージキューの作成

    - ストリーミングデータ処理

  • 技術的な特長
  • MRSは、リアルタイムのデータレイク、オフラインのデータレイク、論理データレイクを備えたハイブリッドクラウド用のクラウドネイティブなアーキテクチャや、安価、柔軟かつ安全で信頼できるパブリッククラウド用のワンストップのビッグデータプラットフォームとして使用可能。分離されたストレージとコンピューティングによって、より柔軟性が高いスケーラビリティが実現されており、マルチテナント構成や階層化されたストレージ、幅広い柔軟なサブスクリプションモード(専用、アクティブ/スタンバイ、共用)を利用可能。

ClickHouse(エンタープライズエディション)

ClickHouse(エンタープライズエディション)

ClickHouseは、優れた圧縮率と超高速のクエリを備えている卓越したリアルタイムの分析データベースです。ClickHouseでは、Huawei Cloudによる信頼性が高いセキュリティ機能とマルチアーキテクチャのコンピューティング(x86およびArm)により、数百のディメンションの数百億件のレコードのクエリにミリ秒単位で応答できます。クラウドでハイパフォーマンスかつ大規模なデータ分析ウェアハウスを構築する場合のオプションとして最適です。

  • 活用場面
  • - フラットワイドテーブルにおける大量のデータのリアルタイム分析

    - リアルタイムのBIレポートの分析

    - ユーザーの挙動の分析

    - ゲーミングの操作データの分析

  • 技術的な特長
  • 究極のパフォーマンス、マルチアーキテクチャのコンピューティング、セキュリティと信頼性、スムーズで弾力性があるスケーリング、柔軟な設定、専門家のサポート。

MapReduce Serviceアーキテクチャ

MapReduce Serviceアーキテクチャ

Terms & Conditions

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动时间: 2020年8月12日-2020年9月11日

ユースケース

幅広いビッグデータコンポーネントを使用して大量のデータの処理、分析、クエリ、マイニングを実行

ビッグデータ

迅速な移行

わずか数ステップで、他のビッグデータプラットフォームからMRSへ移行できます。エラーとサービスの中断を最小限に抑えるために、各コンポーネント向けの一連の移行ツールが用意されています。

特長

  • 統合されたデータストレージ

    リアルタイムのデータレイク、オフラインのデータレイク、論理データレイクを組み合わせてデータサイロを解消。1つのデータのコピーを複数のサービスで共有して分析することが可能。

  • 弾力性があるスケーリング

    インスタンスを最適化し、使用状況に基づく自動スケーリングポリシーを設定して、クラウドへの移行のコストを大幅に削減。

  • オープンソースの互換性

    MRSはオープンソースのAPIとの完全な互換性を備えており、移行中に利用サービスが影響を受けることはなく、サービスのコードの修正も不要。

関連サービス
自動車

自動車のインターネット(IoV)

MRSでは、オープンソースのAPIとの互換性を活かして、高速かつ効率的なデータ処理コンピューティングエンジンを利用できるようにしています。これにより、自動車のステータスデータ、テレメトリーデータ、ユーザー体験データを大量に分析できます。

特長

  • 統合されたフルスタックのスケーラブルなデータプラットフォーム

    エンタープライズレベルのクラウドネイティブなビッグデータプラットフォームであるMRSでは、ストレージとコンピューティングを分離して、利便性と柔軟なスケーラビリティの向上を実現。

  • ハイブリッドなワークロード向けのマルチエンジンによる処理

    必要に応じて自由に組み合わせられるオープンソースのコンポーネントを利用できるようになっており、リアルタイム/オフラインの複雑なサービスの処理に対応。

  • 低コストでハイパフォーマンスを実現

    高スループットかつ低レイテンシーでのリアルタイムのコンピューティングと分析を実現するために、StormでKafkaからリアルタイムのストリームデータを取得することが可能。

関連サービス
ファイナンス

ファイナンスおよび保険

MRSは、保険業界のコンプライアンス、セキュリティ、信頼性に関する厳しい要件を満たします。迅速な変化を求められている保険会社向けに素早く従来型のアーキテクチャを再構築して、デプロイすることが可能です。デジタルトランスフォーメーションによって、サービスの変革と進化を容易化および迅速化できます。

特長

  • 堅牢なセキュリティ

    業界の規制上の要件を満たし、顧客の機密データを保護。

  • 専用のリソース

    専用のMRSクラスターと限定のリソースを提供し、コンピューティングリソースをストレージから分離。

  • 柔軟な作成、フルスタック、手軽な運用と保守

    わずか数クリックでユーザーがフルスタックのビッグデータプラットフォームを作成可能。また、エンタープライズクラスのプラットフォーム管理インターフェースを提供して、運用と保守を簡素化。

関連サービス
物流

スマートな物流

MRSを使用して物流とサプライチェーンのルートのインテリジェントな管理を実現し、サービスオペレーションの効率を高めて、コストを大幅に低減することができます。

特長

  • 高スループットと低レイテンシー

    専用のMRS Kafkaクラスターは高スループット、高可用性、低レイテンシーを実現しており、数百万件のメッセージに対するリアルタイムのアクセスを促進。

  • 大規模なデータ分析と高速の前処理

    MRS Sparkで大規模なデータコンピューティングに対応。MRS HBaseで物流データをミリ秒単位で読み込んで更新し、ペタバイト規模の時系列データのクエリと分析を実行することが可能。

  • AIでインテリジェンスを強化

    ビッグデータマイニングにAIを使用し、物流組織、マーケティング、オペレーション管理向けの正確でインテリジェントな予測および分析機能を提供。

関連サービス
エレベーター

エレベーターのインターネット(IoE)

MRSは、インテリジェントなエレベーター管理のためのオープンなワンストップのビッグデータ処理プラットフォームです。このプラットフォームは、ほぼすべてのシナリオに適応するうえで十分な柔軟性とカスタマイズ性を備えています。

特長

  • オープンで柔軟

    特定のニーズを満たすために多種多様なコンピューティング製品とストレージハードウェアを提供し、統合されたオープンなビッグデータプラットフォームの構築を支援。パワフルなコンピューティングエンジン、容量無制限のストレージを備えており、サービスコンポーネントの柔軟な統合を実現。

  • ハイパフォーマンスと大容量

    MRS Kafkaでハイパフォーマンスな汎用ネットワーク拡張(C3ne)ECSと連携し、数百万台のエレベーターのデータに対するリアルタイムなアクセスを提供。

  • AIによるサポート

    リアルタイムの高速な並行処理と浮動小数点コンピューティング機能を提供するGPUに対応しており、エンコードおよびデコード、ディープラーニング、科学的コンピューティングに便利。

関連サービス
水の管理

水のスマートな管理

MRS Hadoopによる信頼性が高いハイパフォーマンスなビッグデータストレージと分析により、インテリジェントな水の管理を実現します。

特長

  • 統合されたスケーラブルなデータプラットフォーム

    柔軟にスタックできるオープンソースのコンポーネントを備えたエンタープライズレベルのビッグデータプラットフォームを提供し、リアルタイムまたはオフラインの複雑なサービス処理に対応。

  • 高スループットと低レイテンシー

    高スループットかつ低レイテンシーでのリアルタイムのコンピューティングと分析を実現するために、StormでKafkaからリアルタイムのストリームデータを取得することが可能。

  • さまざまなタイプのデータの統合

    構造化データ、半構造化データ、非構造化データのコンピューティングと処理が可能なほか、従来型のデータウェアハウスのデータを容易に移行し、クロスソースデータの探索と分析を行えるようにすることが可能。

関連サービス
ゲーミング

リアルタイムのゲーミング

KafkaとFlumeを使用して、ゲームのログデータをリアルタイムで評価できます。その後、Sparkストリーミングでデータをリアルタイムで処理および分析し、分析結果をHBaseやHiveに保存して、迅速なゲーム広告の分析、データのクエリと分析、収益の分析を行うことができます。

特長

  • 統合されたスケーラブルなデータプラットフォーム

    柔軟にスタックできるオープンソースのコンポーネントを備えたエンタープライズレベルのビッグデータプラットフォームを提供し、非常に複雑なサービス処理のニーズを充足。

  • リアルタイムで高スループット

    MRS KafkaおよびFlumeでリアルタイムのデータを収集し、ハイパフォーマンスな汎用ネットワーク拡張(C3ne)ECSと統合して、大量のデータのリアルタイムアクセスを実現。

エネルギー

大量データの取り込み

MRS KafkaおよびSqoopは、複数のデータ取り込み方法をサポートしており、数百万のメッセージをリアルタイムに簡単に取り込むことができます。

特長

  • 統合されたビッグデータプラットフォーム

    柔軟にスタックできるオープンソースのコンポーネントを備えたエンタープライズレベルのビッグデータプラットフォームを提供し、リアルタイムまたはオフラインの複雑なサービス処理に対応。

  • 大量のデータの取り込み

    MRS KafkaおよびSqoopで複数のデータ取り込み手法に対応しており、数百万件のメッセージのリアルタイムな取り込みを促進。

  • 統合が容易

    SQL APIを使用してマルチディメンションのデータに対してクエリを実行し、容易にデータの探索と分析を行うことが可能。

関連サービス

クラスターのオプション

プリインストールされたコンポーネントを使って、事前に設定されたクラスターテンプレートから素早くデプロイ

  • Hadoop分析クラスター 大量のデータの分析

    Sparkで大量のデータの分析とクエリが可能なほか、Hiveを使用してテラバイト規模からペタバイト規模までのデータを分析できます。

    Sparkで大量のデータの分析とクエリが可能なほか、Hiveを使用してテラバイト規模からペタバイト規模までのデータを分析できます。

  • HBaseクラスター 大量のデータストレージ

    HBaseを使用して大量のデータを保存し、ミリ秒単位でデータに対してクエリを実行します。

    HBaseを使用して大量のデータを保存し、ミリ秒単位でデータに対してクエリを実行します。

  • Kafkaクラスター 低レイテンシーのストリーミング処理

    Flumeをリアルタイムのデータ取り込みに使用し、Kafkaを数万件のデータレコードのリアルタイムなアクセスに使用できるほか、Stormを信頼性が高いフォールトトレラントな低レイテンシーのオンラインサービスデータ処理に使用することが可能です。

    Flumeをリアルタイムのデータ取り込みに使用し、Kafkaを数万件のデータレコードのリアルタイムなアクセスに使用できるほか、Stormを信頼性が高いフォールトトレラントな低レイテンシーのオンラインサービスデータ処理に使用することが可能です。

  • ClickHouseクラスター 大量のデータのリアルタイムな分析

    ClickHouseを使用して大量のデータのクエリと分析をリアルタイムで実行し、データの価値の抽出を迅速化します。

    ClickHouseを使用して大量のデータのクエリと分析をリアルタイムで実行し、データの価値の抽出を迅速化します。

x86、Arm、オープンソースのビッグデータエコシステムとの互換性

Huaweiが開発したArmサーバーに、Huaweiが開発したOSとデータベースを統合しました。

さまざまなオープンソースのコンピューティングフレームワーク(MapReduce、Spark/Spark SQL、Hive、Stormなど)をサポートしています。

また、ハイパフォーマンスなファイルストレージ形式であるCarbonDataに対応しています。

Spark SQLにはHive SQLとの互換性があります。

新機能

導入事例

美図(Meitu)

FusionInsightで分離されたストレージとコンピューティングを使用し、必要に応じてコンピューティングリソースとストレージリソースを柔軟かつ個別に拡大することができます。単一のデータのコピーで複数のタイプの分析とコンピューティングに対応できるように、Hadoopのビッグデータの3つのコピーを1つのECアルゴリズムに置き換えて、リソース活用率を40%向上し、コストを全体で30%削減しました。これは、美図のビッグデータサービスを世界中の20億人以上のユーザーに効率よく提供するうえで役立ちます。



さらに見る

招商銀行(China Merchants Bank)

「Huawei Cloud FusionInsightビッグデータプラットフォームは、招商銀行でのイノベーションを大きく推進しました。現在では、より優れたオンデマンドのリアルタイムなオンラインサービスの提供が可能になっています。また、以前は過去13か月間の履歴データに対してのみクエリを実行できましたが、現在は過去7年間のデータに対してクエリを実行できます。さらに、これまでより82%少ない件数のSMSメッセージで、ターゲットに設定したユーザー全員にリーチすることもできています。」


—招商銀行、情報技術部門、次世代クラウドコンピューティングプロジェクト担当マネージャー、リウ・ジン

さらに見る

T3出行(T3Go)

T3出行のレイクハウスでは、分離されたストレージとコンピューティングを採用しています。オープンソースのHudiフレームワークをベースに構築されており、BIとAIの両方に適用できます。現在、T3出行のレイクハウスはHuawei Cloud FusionInsightでホストされています。


— T3出行、ビッグデータプラットフォーム責任者、ヤン・フア



さらに見る

新規登録して素晴らしいクラウドジャーニーを開始する

無料で使ってみる