高速での絞り込み処理を実現する高速クロス集計インデックス

100万件などの多数の顧客データを、性別・年齢・住んでいる場所・関心がある事柄など、複数の条件を組み合わせて絞り込み、メールの配信を行いたいという案件がありました。
最初はSQLでアドホックにクエリを発行して、その結果を取得するようにしていましたが、絞り込みに時間がかかるのが不便でした。予め決めた件数より多く、かつなるべく反応が得られるユーザー層を条件に指定して絞り込みたいという要求があるため、条件を増やしたり減らしたりしながら目標とした件数に近づけていく必要があります。その際に、条件を変える度に長く待たされたため、作業がしにくい問題がありました。 この処理を大幅に高速化できれば、作業の負担を大幅に軽減することができます。これが開発のきっかけとなりました。

ユミルリンクの高速クロス集計インデックスは、データをロードしてインデックスを作成する処理も、絞り込み処理もきわめて高速です。その代わり、データを一括してロードし、インデックスを作成するという基本的な機能しかありません。インデックス作成はかなり高速ですが、1,000万件規模になると、ある程度の時間はかかってしまいます。今後、「リアルタイムに最新のデータを参照したい」といったお客様の要望を実現するため、データの差分更新を実現したいと思っています。