技術優勢

TECHNICAL

Calin數據采集

零拷貝內存

應用層和驅動之間進行的數據交換全部采用零拷貝技術
讓采集應用曾訪問網卡內核空間的內存,如網卡訪問自己地址空間一樣
沒有系統調用的上下文切換時間,沒有加鎖開銷

高速網絡處理

采用自主創新的高性能處理架構,海量網絡數據包被抓取,優先調度和處理,不丟包、不累計

多核數據歸并

每個鏈接的數據包按照分發規則分發到不同CPU上進行處理
同一個連接、同一個用戶的數據包只會分發到同一個CPU
對用戶和連接資源的處理都是無鎖的高性能內存訪問方式

業務內存保障

把操作系統的內存分為了兩部分,一部分由操作系統進行管理,另外一部分則構成關鍵業務內存池
在操作系統層面進行隔離,保證業務程序有充分內存進行業務處理,保障數據包暢通

業務深度識別

能利用DPI和DFI技術,對數據包解析,識別用戶面數據中包含的業務類型,并提取相關元數據字段
設備能夠支持采用定期或是補丁去方式更新業務識別能力,持續跟蹤各種應用的發展和演進

Mintaka的大數據平臺

   高可擴展性:

Mintaka大數據平臺所采用的Hadoop是一個高度可擴展的存儲平臺,Hadoop可以存儲和分發橫跨數百個并行操作的廉價的服務器數據集群。不同于傳統的關系型數據庫系統不能擴展到處理大量的數據, Hadoop是能給企業提供涉及成百上千TB的數據節點上運行的應用程序。

   成本效益:

Hadoop還為企業用戶提供了極具成本效益的存儲解決方案。傳統的關系型數據庫管理系統的問題是,它并不符合海量數據的處理器,不能夠符合企業的成本效益,而且有些商業數據庫使用費用非常昂貴。許多公司不得不假設那些數據最優價值,然后根據這些有價值的數據設定分類,如果保存所有的數據,那么成本就會過高。雖然這種方法可以短期內實現工作,但是隨著數據量的增大,這種方式并不能很好的解決問題。Hadoop的架構則不同,其版權使用是免費的,其被設計為一個向外擴展的架構,可以以一般的x86服務器集群就提供數百TB的存儲和計算能力,經濟地存儲所有公司的數據供以后使用,節省的費用是非常驚人的。

   最大化數據的價值:

Hadoop可以容納移動運營商中的不同類型的數據,從這些數據中產生價值,這意味著移動運營商可以利用Hadoop的靈活性從用戶行為、用戶位置、用戶標簽等數據中獲得寶貴的商業價值,并拓展原來的通信業務到各種大數據運營業務,與政府及商業機構開展各種業務合作。

   海量數據的統計分析:

海量數據的統計分析:Hadoop的架構可以以一般的x86服務器集群就提供數百TB的存儲和計算能力,其被廣泛應用于各大互聯網公司,包括百度、阿里巴巴及淘寶。

   實時:

集成Spark Streaming流計算技術,滿足10分鐘實時指標統計;集成HBase滿足歷史數據及詳單查詢響應2秒以內。

   穩定:

集群在同時垮掉2個節點情況下不影響生產。

   橫向擴展:

集群支持在線、橫向擴展。

   資源的靈活調度、可隔離及均衡利用:

利用MESOS進行資源的靈活調度及計算資源的均衡應用,對比于YARN,MESOS可以隔離實時處理模塊及非實時處理模塊的計算資源,以保證實時處理模塊的時效性,避免非實時處理模塊對實時處理模塊的影響。

   智能規則引擎:

能規則引擎支持對于用戶標簽智能統計及分析,智能規則引擎使用Spark MLLib技術,其支持四種常見的機器學習問題:二元分類、回歸聚類以及協同過濾、同時也包括一個底層的梯度下降優化基礎算法來智能地計算用戶標簽,以盡可能地精確地為各種業務定位目標用戶。

TOP