大數(shù)據(jù)服務(wù)商Databricks最近在紐約的全美零售商大展NRF 2024上聯(lián)合合作伙伴大力宣傳基于Data Intelligence Platform的零售行業(yè)解決方案，這兩天又開始緊鑼密鼓地與電信運(yùn)營商聯(lián)合發(fā)布基于該平臺(tái)的通信行業(yè)解決方案。實(shí)際上，Databricks兩個(gè)月前發(fā)布這個(gè)新架構(gòu)AI數(shù)據(jù)平臺(tái)時(shí)就引發(fā)了業(yè)內(nèi)關(guān)注，因?yàn)檫@一次不是簡單的產(chǎn)品功能更新，而是宣告了Databricks從過去多年立足的湖倉平臺(tái)開始向新架構(gòu)AI數(shù)據(jù)平臺(tái)邁進(jìn)。

Databricks誕生于伯克利的產(chǎn)學(xué)研合作項(xiàng)目

十幾年前，加州大學(xué)伯克利分校的羅馬尼亞裔教授Ion Stoica教授聯(lián)合產(chǎn)學(xué)研各方，在伯克利啟動(dòng)了AMPLab，該實(shí)驗(yàn)室專攻產(chǎn)業(yè)界面臨的大數(shù)據(jù)難題。

在當(dāng)年的AMPLab啟動(dòng)儀式上，Stoica教授明確講到大數(shù)據(jù)面臨兩類實(shí)際難題，一類是大數(shù)據(jù)管理成本高，另一類則是從大數(shù)據(jù)中提取有價(jià)值信息的效率低。

為了解決這些問題，AMPLab開展了多個(gè)大數(shù)據(jù)管理和分布式計(jì)算項(xiàng)目，其中包括分布式計(jì)算框架Spark項(xiàng)目，該項(xiàng)目主要人馬后來出來成立了Databricks公司，并由Stoica教授出任董事會(huì)執(zhí)行主席。

此外，這個(gè)實(shí)驗(yàn)室同期還開展了Alluxio等其它項(xiàng)目，它后來也成為了業(yè)界主要的分布式數(shù)據(jù)管理中間件之一。

Databricks為什么能快速轉(zhuǎn)向新架構(gòu)AI數(shù)據(jù)平臺(tái)？

這些年來，Databricks定位于融合數(shù)據(jù)湖和數(shù)據(jù)倉庫的Lakehouse，成為領(lǐng)先的湖倉解決方案提供商。直到2023年6月，Databricks宣布13億美元收購了以降低大模型訓(xùn)練成本而知名的MLOps服務(wù)商MosaicML。

就在業(yè)界還在質(zhì)疑13億美元價(jià)格太貴、Lakehouse和MLOps能產(chǎn)生多少協(xié)同效應(yīng)的時(shí)候，宣布收購后還不到5個(gè)月，Databricks就正式發(fā)布了融合Delta Lake、數(shù)據(jù)目錄、機(jī)器學(xué)習(xí)模型托管等模塊在內(nèi)的統(tǒng)一數(shù)據(jù)智能平臺(tái)Data Intelligence Platform，并表示公司將從立足多年的湖倉平臺(tái)全面轉(zhuǎn)向這個(gè)新架構(gòu)的AI數(shù)據(jù)平臺(tái)。

為什么Databricks能如此快速的開展收購和戰(zhàn)略轉(zhuǎn)型？我認(rèn)為，這依然可以從我上面提過的伯克利產(chǎn)學(xué)研合作找到答案。

2017年，Stoica教授在AMPLab的產(chǎn)學(xué)研合作和項(xiàng)目經(jīng)驗(yàn)的基礎(chǔ)上，又發(fā)起成立了新的實(shí)驗(yàn)室RISELab，研究目標(biāo)是要提升大數(shù)據(jù)系統(tǒng)進(jìn)行實(shí)時(shí)化智能分析的能力。

在這個(gè)實(shí)驗(yàn)室中開展的新一批項(xiàng)目中，一個(gè)名為Ray的項(xiàng)目提出了大規(guī)模分布式機(jī)器學(xué)習(xí)和強(qiáng)化學(xué)習(xí)編排框架，逐步獲得業(yè)界認(rèn)可。Ray項(xiàng)目的主要人馬在Stoica教授的支持下也出來成立了Anyscale公司，為OpenAI、Uber、AWS等提供MLOps服務(wù)。

至此，基于來自產(chǎn)學(xué)研前沿的判斷，加上實(shí)際的MLOps發(fā)展態(tài)勢(shì)，那么為Databricks選擇融合MLOps業(yè)務(wù)，并選取該領(lǐng)域內(nèi)的代表服務(wù)商MosaicML助力構(gòu)建AI數(shù)據(jù)平臺(tái)，也就成為順理成章的戰(zhàn)略決策。

AI數(shù)據(jù)平臺(tái)將助力智能數(shù)據(jù)應(yīng)用加速落地

Databricks這一次融合MLOps能力推出新架構(gòu)AI數(shù)據(jù)平臺(tái)Data Intelligence Platform，讓企業(yè)用戶具備了使用大規(guī)模自有數(shù)據(jù)高效開發(fā)定制化智能應(yīng)用的可能性。加上Databricks長期以來在各行業(yè)落地?cái)?shù)據(jù)項(xiàng)目的經(jīng)驗(yàn)，可以預(yù)想到，在各個(gè)垂直領(lǐng)域的智能數(shù)據(jù)應(yīng)用將在2024年加速落地。

從更長遠(yuǎn)的視角看，在各行業(yè)智能化轉(zhuǎn)型和應(yīng)用落地的過程中，如何統(tǒng)籌運(yùn)用和綜合提升基礎(chǔ)模型能力、算力規(guī)劃能力和數(shù)據(jù)調(diào)度能力，將成為各方的長期戰(zhàn)略錨點(diǎn)。