デジタル近代化においてストリーミングファーストのアプローチが重要な理由

データは、現代の組織において最も価値のある資産の 1 つです。金融犯罪と戦うためにデータを使用する金融サービス会社であっても、気候への影響を最小限に抑えることを目指す運送会社であっても、サプライチェーンの最適化を目指す製造業であっても、デジタル近代化は重要な洞察と可視性を提供し、成功に不可欠な情報を解き放ちます。

今日の世界では、データはさまざまなソースから、さまざまな種類と形式で、さまざまな速度で取得されます。従来のインフラストラクチャのほとんどは、バッチ処理が標準だった時代に設計されました。これらのシステムは、リアルタイムでデータを取り込んで分析する必要がある企業に対応するには不向きです。

組織は、データの完全性に対する信頼を維持しながら、複数のデータ ソースからの情報を統合する柔軟なデジタル モダナイゼーションをどのように実現できるのか? 今日、世界では、ストリーミングファーストのアプローチが求められています。

バッチからリアルタイムへの長い道のり

従来の「抽出、変換、格納」（ETL）システムは、テクノロジーと実装リソースのコスト、および計算能力の固有の制限に起因する特定の制約の下で構築されました。組織のすべてのデータを一元管理して多目的なビジネス分析に利用できるようにするアプローチを採用することは、まったく現実的ではありませんでした。

20 年前、強力なビジネス インテリジェンス システムはオンプレミスのデータ ウェアハウスに依存しており、通常は完了までに数時間かかる夜間のバッチ ETL プロセスによって供給されていました。分析を高速化するために、データ サイエンティストは、データの最も重要な要素を集約、並べ替え、管理する前処理機能を実装しました。

それにもかかわらず、結果は常に古い情報でした。現在のトランザクションは、別の夜間の ETL プロセスを経てのみビジネス分析に組み込むことができます。ビジネス ユーザーは、大規模なデータ セットに基づいて構築された強力な分析か、現場で何が起こっているかをリアルタイムで反映する基本的なレポートのどちらかを選択できます。強力かつ包括的な分析とリアルタイムの可視性を組み合わせた両方の属性を備えるというアイデアは、ほとんどの企業にとってまったく現実的ではなく、実際多くの場合不可能でした。

今日、Snowflake、Databricks、Amazon Redshift などのクラウド データ プラットフォームが状況を変えました。これらは、企業全体のさまざまなユーザーと情報を共有する手段を提供し、運用システムのパフォーマンスを低下させることなく、さまざまなソースからのデータを 1 つ屋根の下で統合し、リアルタイムで完全にアクセスできるようにします。

「ストリーミングファースト」アプローチとは何か?

ストリーミングファーストのアーキテクチャは、組織が抱えるあらゆるデータ消費に合わせて拡張できるように構築されており、当面のタスクに必要な速度でデータを利用できるようになります。銀行にとって、これは、リアルタイムの異常検出のために分析プラットフォームにトランザクション データをストリーミングすることを意味する可能性があります。金融機関は、通常のパターンから外れる取引を迅速に特定することで、不正の可能性がある状況に介入し、さらなる損失を防ぐことができます。同じデータを使用して、アカウント所有者に通知したり、クレジット カードの交換プロセスをトリガーしたりして、顧客ができるだけ早く業務を再開できるようにすることがあります。

これらの金融機関の多くはメインフレーム システムで取引を処理しているため、運用コストが高くなる可能性があります。不正行為検出分析のためにデータをリアルタイムでオフロードすることで、メインフレーム データベースの過負荷を回避できると同時に、カード所有者にモバイル アラートを送信したり、同様の機能を実行したりする外部システムとの連携も容易になります。

その同じストリーミングファーストのアーキテクチャは、同じ金融機関の他の多くのユースケースをサポートしています。たとえば、コンプライアンス レポートと「顧客確認」(KYC) 分析は、メインフレーム リソースを消費しない読み取り専用プロセスであり、ストリーミング ファースト モデルにはるかに適しています。同様に、マーケティング部門も、データ強化、ロケーション インテリジェンス、人口統計分析を提供するクラウドベースのツールを使用して、より効率的かつ効果的に分析を実行できます。

ストリーミングファーストアプローチの利点

上記の運用上の利点に加えて、ストリーミング ファーストのアプローチは、データの収集、正規化、アクセスのための統一フレームワークを提供することで IT アーキテクチャを簡素化します。従来のアプローチでは、特注のポイントツーポイント統合が必要になることがよくありましたが、最新バージョンでは、想像できるほぼすべてのユースケースに対応する単一のソリューションが提供されます。

パブリッシュ/サブスクライブ アーキテクチャを使用すると、さまざまなエンタープライズ アプリケーションでリアルタイム データを利用できるようになり、他のアプリケーションやプラットフォームが必要に応じてその情報を利用できるようになります。銀行の不正取引を扱う部門は、クレジットカード取引のデータベースを使用して、潜在的な悪用パターンを検出したり、マーケティング部門がデータベースを使用して消費者の購買パターンを理解し、顧客に新しい金融サービス商品をアップセルする機会を特定したりすることがあります。どちらのシナリオも、特注のポイントツーポイント統合を必要とせず、また、そのようなアーキテクチャが通常必要となる冗長なメンテナンスやテストも必要ありません。

別の例では、Precisely は、情報を市民が利用できるように州政府と連携した実績があります。法廷文書と訴訟記録はメインフレーム システムに保存されており、一般の人々はアクセスできませんでした。裁判所職員がストリーミング データ パイプラインを実装してその情報をクラウド データ プラットフォームに複製し、Web 開発者がオンラインで公開できるようにするのを支援しました。その結果、システムはメインフレームのリソースやパフォーマンスに悪影響を与えることなく、市民は重要な法廷文書に迅速かつ簡単にアクセスできるようになりました。

企業は、特定のビジネス目標を念頭に置いて、ストリーミングファーストのアーキテクチャを実装する必要があります。 Precisely の製品管理シニア ディレクターであるアシュウィン・ラマチャンドラン氏は、弊社で最も成功している顧客は、明確に定義された一連の価値創造目標を持ってプロセスに参加している顧客であると述べています。これらの目標が達成されれば、テクノロジーはより幅広いユースケースに適用でき、時間の経過とともに企業にさらに多くの価値を生み出すことができます。

また、ラマチャンドラン氏は、ストリーミングファーストのアプローチがクラウド分析の導入に適しているとも述べています。ただし、「リフト アンド シフト」アプローチは一般的に的外れです。クラウドのメリットを真に活用するには、規模の変化に対応できる能力や弾力性などの利点を活用する計画を立てる必要があります。

デジタル近代化とストリーミングファーストのアプローチは、メインフレーム システムやオンプレミスのビジネス アプリケーションを運用する組織に大きな影響を与えます。詳細については、無料のeBook「Streaming Legacy Data for Real-Time Insights」をぜひご覧ください。