リモートコラボレーション用のバーチャルオフィスソフトウェア「VoicePing」を開発してるVoicePing株式会社のメンバー3名で、マイクロソフトで開催されるイベント「OpenHack for Lakehouse」に参加しました。
この短期集中型ハッカソンは、開発者がスキルを磨き、最新のデータサイエンス連携技術に慣れることを目的に開催されました。参加者は2日間にわたり、Azure Databricks環境を探索し、データの準備から機械学習モデルの作成、モニタリングに至るまで、さまざまなタスクを通してデータエンジニアリングについて学びました。
このイベントは、参加者に実践的な経験を提供することを目的としており、Microsoft Azureのツールやリソースを使用して、実際のビジネスや企業の課題に取り組みました。各チームには技術コーチが付き、参加者が集団で問題を解決し、互いに学び合うことができるようになっています。VoicePingのチームには、他社のプロフェッショナル2名が加わり、Azure Databricksプラットフォームにおける様々な課題に共同で取り組みました。
Azure Databricksは、ビッグデータの処理と分析のための協調的でスケーラブルな環境を提供する、クラウドベースのデータ分析プラットフォームです。Apache Sparkをベースに構築されており、ユーザーはSparkクラスターを管理し、データの取り込み、準備、機械学習タスクを実行することができます。
データ処理・分析フローには、メダリオンアーキテクチャを採用しています。生データ（ブロンズ）は汎用データ（シルバー）に加工され、そこから意思決定データ（ゴールド）が抽出され、洗練されます。
Azure Databricksは、Azure Machine LearningやPower BIなどのMicrosoftサービスや、Azure Synapse AnalyticsやAzure Stream Analyticsなどのクラウドベースの分析サービスと統合されていること、 DataScience＆Engineering、Machine Learning、SQLの3つのモードが用意されていることから、様々なタスクの処理やワークフローの構築を行うことができます。
DataScience＆Engineeringモードは、データサイエンティストやエンジニアがデータの準備、処理、分析を共同で行うためのワークスペースを提供します。複数のプログラミング言語をサポートし、豊富なライブラリセットを提供し、ジョブスケジューリング機能を備えています。
Machine Learningモードは、機械学習モデルの構築、トレーニング、デプロイを行うデータサイエンティストやエンジニアのために作られたモードです。手動による介入を最小限に抑えるAutomated MLツールを搭載し、複数のクラスタノードを使用した大規模な機械学習モデルをサポートします。
SQLモードでは、Apache Sparkを使用してデータに対してSQLクエリを実行することができ、SQLユーザーにとって使い慣れたインターフェイスを提供します。
OpenHack中には、上記のモード全てを使って、データの処理・加工から機械学習モデルのトレーニング・デプロイまで一貫して体験することができました。
2日間のイベントを通して、参加メンバーはAzure Databricksを深く理解しビジネスへの応用の可能性に関する貴重な知見を得ることができました。AzureDatabricksに限定された範囲に限らず、データサイエンスの分野についての基礎的な知識も得ることができ、バーチャルオフィスのソフトウェア開発におけるデータドリブンな意思決定に大きく寄与できるような経験も得ることができました。また、技術面だけではなく、グループメンバーと綿密に連携し、技術コーチの指導を受けることで、コラボレーションやチームワークの面でも充実した学習体験となりました。
VoicePingは将来を見据え、さらなるAI技術をビジネスに取り入れることを検討しています。今回のようなイベントに参加することで得られる知識や経験は、データを活用したAIの導入・開発において非常に重要です。そして、AI技術に限らずチームメンバーに投資し、学習とコラボレーションの文化を育むことで、VoicePingは革新的なリモートワークソリューションの追求を続けることができています。今回のOpenHack for Lakehouseのようなイベントへの参加は、技術の進歩の最前線に立ち続けるVoicePingの成長と、進化し続けるリモートワークの世界におけるクライアントのさらなる成功につながると考えています。
個人的なまとめ
相田 – Mobile / Web developer
私自身、Web系の開発経験しかない状態でしたが、全く新しい領域であるデータエンジニアリングを初めて深く学べた非常に価値あるイベントでした。
実際のビジネスシナリオに基づく課題を通じて、Azure Databricksを活用したデータエンジニアリングや機械学習モデル作成の実践的なスキルを習得できることは、今後のビジネスやキャリアに大きな影響を与えたと思います。
今回のイベントを通じて、データ駆動型の意思決定に役立つ技術や知識を身につけたことを、今後の開発に活かして行きたいと思う。
次郎丸 – Web developer
普段はwebアプリケーションの領域でのタスクがメイン（エンジニアリングの領域において100%）ですので、データサイエンス・エンジニアリングの知見が得られた今回のイベントは、技術面・ビジネス面の双方から見て非常に充実した内容でした。
技術面においては、データ分析における処理・加工の一般的な流れや、AzureDatabricksがどのような動きをしているのかについて学ぶことで、データ分析の領域について自分がこれからどのように知識を身につけて行けばいいのか知ることができました。
ビジネス面においては、データは使える状態になければ意味がなく、使える状態にするためには具体的にどのようなことをすればいいのか知ることができました。
今回のイベントの経験をこれからの自分の成長の足がかりにし、会社での仕事に還元していきたいと考えています。
Ivan – AI / Mobile developer
The OpenHack for Lakehouse event was a truly fascinating experience for me. Working alongside other professionals from the industry and sharing knowledge with them made it all the more exciting. I was genuinely surprised by the ease of collaboration on data science projects using Azure Databricks, which led to a more effective workflow, even when handling vast amounts of data. This experience has given me valuable insights into the industry’s progress and solidified my belief in the potential benefits of implementing such software in our business in the future. The event has left me eager to explore further opportunities to apply these new learnings at VoicePing.
現在、VoicePingではAIエンジニア・WEB開発エンジニア募集中です。最先端の言語モデルを扱いたい(ChatGPT、GPT3.5 Turbo..etc)、高性能音声認識(Whisper..etc)、翻訳モデルを作りたい、複雑でハイパフォーマンスなWEB開発アプリケーションの設計・開発・運用をしたい方は、カジュアルにご相談お願いします。
https://corp.voice-ping.com/recruit