以太幣交易所 以太幣交易所
Ctrl+D 以太幣交易所
ads
首頁 > 屎幣 > Info

大家都知道分布式存儲,但是你了解過分布式搜索嗎?_HARD

Author:

Time:1900/1/1 0:00:00

搜索引擎是指根據一定的策略、運用特定的計算機程序從互聯網上搜集信息,在對信息進行組織和處理后,為用戶提供檢索服務,將用戶檢索相關的信息展示給用戶的系統。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費鏈接列表等。

搜索引擎是網站建設中針對“用戶使用網站的便利性”所提供的必要功能,同時也是“研究網站用戶行為的一個有效工具”。高效的站內檢索可以讓用戶快速準確地找到目標信息,從而更有效地促進產品/服務的銷售,而且通過對網站訪問者搜索行為的深度分析,對于進一步制定更為有效的網絡營銷策略具有重要價值。

要了解分布式搜索引擎,先了解搜索這個事兒吧,搜索這個技術領域里最入門級別的一個概念就是倒排索引。我們先簡單說一下倒排索引是個什么東西。

1、倒排索引是什么

假如說你現在不用搜索引擎,單純使用數據庫來存放和搜索一些數據,比如說放了一些論壇的帖子數據吧,那么這個數據的格式大致如下:

金色算力云Maggie Lin:未來大家對于以太坊的挖礦預測性沒有比特幣來得強:據官方消息,2020世界區塊鏈領袖峰會暨2020年度礦業風向標頒獎典禮在科興ECO國際會議中心盛大落幕,在本次大會中特別邀請到金色算力云聯合創始人 Maggie Lin 在會上發表了《Filecoin的挖礦未來》主題演講,在演講中Maggie Lin表示:“以太坊目前存在部分的泡沫,因為以太坊2.0要即將推出。大家可以看到,目前以太坊的算力增長非常快,未來大家對于它的挖礦預測性沒有比特幣來得強。目前顯卡存在缺貨的狀況,3080在一個月內價格增長了10%,所以現在IPFS礦機需要出來。當然,我認為長期比較看好以太坊,雖然受到2.0的影響,它的流動性是部分被鎖定的,但是未來可以形成更大規模的應用。所以比特幣和以太坊可以根據不同的預算和對于時間周期的考量進行一些投資。”[2020/12/25 16:31:36]

很簡單吧,假設有一個id字段標識每個帖子數據,然后title字段是帖子的標題,content字段是帖子的內容。那么這個時候,比如我們要是用數據庫來進行搜索包含“汽車”這個關鍵字的所有帖子,大致SQL如下:

李小加:今天是2020年重要日子 歡迎網易加入港股大家庭:今日網易赴港上市,股價大漲8%。對此香港行政總裁李小加表示,“今天是2020年的重要日子,因為我們迎來本年度首家第二上市公司,歡迎網易加入我們香港市場大家庭,這是我們雙方的大日子”。[2020/6/11]

咱們姑且不論這個數據庫層面也有支持全文檢索的一些特殊索引類型,或者數據庫層面是怎么執行的,這個不是本文討論的重點,你就看看數據庫的數據格式以及搜索的方式就好了。但是如果你通過搜索引擎類的技術來存放帖子的內容,他是可以建立倒排索引的。就是說,你把上述的幾行數據放到搜索引擎里,這個倒排索引數據大致看起來如下:

所謂的倒排索引,就是把你的數據內容先分詞,每句話分成一個一個的關鍵詞,然后記錄好每個關鍵詞對應出現在了哪些id標識的數據里。那么你要搜索包含“汽車”關鍵詞的帖子,直接掃描這個倒排索引,在倒排索引里找到“汽車”這個關鍵詞對應的那些數據的id就好了。然后你可以從其他地方根據這幾個id找到對應的數據就可以了,這個就是倒排索引的數據格式以及搜索的方式,上面這種利用倒排索引查找數據的方式,也被稱之為全文檢索。

奶牛算力王沖:個人建議大家買最早最新的高能效比機器:2020年5月23日,由百團大戰、節點咨詢、金色財經主辦,萊比特、算力360聯合主辦的百團大戰礦業峰會·豐水期之戰在成都開幕。

在會上,奶牛算力王沖表示,礦工有兩類,大礦工和小礦工,個人礦工建議大家買最早最新的高能效比機器,比特大陸的S19,或者是神馬30S和30S++,可能這個貨賣得比較貴了,但如果你是小礦工,你想嘗試挖礦,我建議買新的機器可以多挖幾年。既然挖礦就一定是因為看好行業,看好未來,我相信在未來兩三年的長周期里,一定會有牛市,機器的長生命周期里收益不會差,回本,賺錢都是很輕松的事情,前提是一定要屯住幣。[2020/5/23]

2、分布式搜索引擎理解

其實還是很簡單,假如說你現在要存儲1TB的數據,那么放在一臺機器還是可以的。但是如果你要存儲超過10TB,100TB,甚至1000TB的數據呢?你用一臺機器放的下嗎?當然是放不下的了,你的機器磁盤空間是不夠的。大家看一下下面的圖:

聲音 | 趙東:不亂操作恰恰是最難的操作 大家硬是把錢賠掉了:RenrenBit創始人趙東發微博表示,不亂操作恰恰是最難的操作。幣圈的任何人或者基金從去年年初到現在如果不做任何買入操作,僅持有BTC或者持有法幣不動就能輕松躺贏90%以上的基金。事實呢?大家辛辛苦苦憑本事硬是把錢給賠掉了。[2019/10/10]

所以這個時候,你就得用分布式搜索引擎了,也就是要使用多臺機器來部署搜索引擎集群。比如說,假設你用Elasticsearch(后面簡寫為:ES)。現在你總共有3TB的數據,那么你搞3臺機器,每臺機器上部署一個ES進程,管理那臺機器上的1TB數據就可以了。這樣不就可以把3TB的數據分散在3臺機器上來存儲了?這不就是索引數據的分布式存儲嗎?而且,你在搜索數據的時候,不就可以利用3臺機器來對分布式存儲后的數據進行搜索了?每臺機器上的ES進程不都可以對一部分數據搜索?這不就是分布式的搜索?是的,這就是所謂的分布式搜索引擎:把大量的索引數據拆散成多塊,每臺機器放一部分,然后利用多臺機器對分散之后的數據進行搜索,所有操作全部是分布在多臺機器上進行,形成了完整的分布式的架構。同樣,我們來看下面的圖,直觀的感受一下。

聲音 | 鄒均:區塊鏈落到實處 才能讓大家真正擁抱區塊鏈:據中證網消息,廣電運通區塊鏈科技有限公司CEO、中關村區塊鏈聯盟副秘書長鄒均近日表示,數字經濟時代更多以生產數據為主。發展區塊鏈是為迎接數字經濟時代來臨做好技術準備,區塊鏈不是一個空的概念,要把它落到實處,給老百姓帶來真正的價值,區塊鏈技術才能夠得到很快的發展和推廣。他表示,區塊鏈是有落地場景的,這些落地場景需和民生結合,給老百姓真正帶來實惠,才能讓大家真正擁抱區塊鏈。[2018/12/3]

3、shard的數據分片機制

那么這個時候大家考慮一下,比如有一個index,專門存放論壇的帖子,現在論壇的帖子有1億,占用了1T的磁盤空間,這個還好說。如果這個帖子有10億,100億,占用了10TB、甚至100TB的磁盤空間呢?那這個index還能放到一臺機器上存儲嗎?肯定不行的。這個時候,必須得支持這個index的數據分布式存儲在多臺機器上,利用多臺機器的磁盤空間來承載這么大的數據量。

而且,需要保證每臺機器上對這個index存儲的數據量不要太大,因為控制單臺機器上這個index的數量,可以保證他的搜索性能更高。所以就引入一個新的概念:shard數據分片結構、每個index都可以指定創建多少個shard,每個shard就是一個數據分片,會負責存儲這個index的一部分數據。

比如說index里有3億帖子,占據3TB數據。然后這個index你設置了3個shard。那么每個shard就可以包含一個1TB大小的數據分片,每個shard在集群里的一臺機器上,這樣就形成了利用3臺機器來分布式存儲一個index的數據的效果了。大家看下面的圖:

現在index里的3TB數據分布式存儲在了3臺機器上,每臺機器上有一個shard,每個shard負責管理這個index的其中1TB數據的分片。而且,另外一個好處是,假設我們要對這個index的3TB數據運行一個搜索,是不是可以發送請求到3臺機器上去?3臺機器上的shard直接可以分布式的并行對一部分數據進行搜索,起到一個分布式搜索的效果,大幅度提升海量數據的搜索性能和吞吐量。

4、Replica多副本數據冗余機制

但是現在有一個問題,假如說3臺機器中的其中一臺宕機了,此時怎么辦呢?是不是這個index的3TB數據的1/3就丟失了?因為上面有1TB的數據分片沒了。所以說,還需要為了實現高可用使用Replica多副本數據冗余機制。在Elasticsearch里,就是支持對每個index設置一個replica數量的,也就是每個shard對應的replica副本的數量。比如說你現在一個index有3個shard,你設置對每個shard做1個replica副本,那么此時每個shard都會有一個replicashard。這個初始的shard就是primaryshard,而且primaryshard和replicashard是絕對不會放在一臺機器上的,避免一臺機器宕機直接一個shard的副本也同時丟失了。我們再來看下面的圖,感受一下:

在上述的replica機制下,每個primaryshard都有一個replicashard在別的機器上,任何一臺機器宕機,都可以保證數據不會丟失,分布式搜索引擎繼續可用。Elasticsearch默認支持每個index是5個primaryshard,每個primaryshard有1個replicashard為副本。

長期以來,集中式系統給我們的生活帶來了很多改變。它對我們的日常生活產生了影響,影響了我們如何閱讀新聞,我們可以搜索到多少信息,甚至可以影響我們訪問的內容。過去幾年,區塊鏈技術有了巨大的增長,給一直堅守它的人們帶來了希望。但是,壟斷使得那些持有他們的公司處于一種強勢地位。壟斷公司可以隨時改變政策,竊取用戶數據。更可怕的事情正在發生:喪失數據所有權。

IPSOU(interplanetSearch)是基于IPFS協議的分布式存儲和區塊鏈技術的新型搜索引擎,通過關注用戶隱私,分散化和搜索效率來構建新的體驗。IPSOU允許用戶通過加密技術和智能合約控制他們的個人數據.使用IPSOU可以享受無限制和不受審查的瀏覽,您可以通過該站點發出請求,您可以獲取IPFS資源并將其發送回您的計算機和移動設備。

在IPSOU上,用戶可以免費搜索IPFS網絡文件,并使用IPFS和其他底層協議訪問內容,而不需要依賴于集中的服務(和服務器),如谷歌或百度。用戶將再次擁有自己的數據,沒有廣告跟蹤,沒有針對性的廣告,也沒有隱私問題。IPSOU使用區塊鏈技術保護隱私。

集中式系統改變我們的生活,但我們對數據的所有權也在逐漸消減,分布式系統帶來的應用,會使我們在生活、工作更加隱私、安全、高效、可信。

Tags:HARDSHARDSHADEXGenesis ShardsSHAEL RUNE - Rune.GameAlphaDEX

屎幣
大佬“圍剿”孫宇晨:何小鵬稱其恬不知恥_比特幣

6月4日,幣圈最具爭議的創業者孫宇晨宣布豪擲456.7888萬美元拍下“巴菲特慈善午餐”。原本應該皆大歡喜,巴菲特為再次刷新記錄的成交價暗自歡喜,孫宇晨則慶幸于有機會親自與“股神”聊聊區塊鏈,不.

1900/1/1 0:00:00
火星財經特約分析師蔚藍:一根大陽線即可粉碎夜王,IEO次新幣大幅領漲,重點關注!_ECOIN

6月4日,幣市全線大跌,市場一片唏噓。然而,蔚藍大膽喊出:“短線調整到位,滿倉以待,勇者無懼”,并指出:“看主流幣EOS、XRP、BNB、XLM、ADA跌至30日線,ETH跌破20日線,TRX下.

1900/1/1 0:00:00
專訪陳昊芝:鏈游的紅與黑

2017年11月,加密貓出世,以太坊主網擁堵。開發者們從此便在區塊鏈游戲的賽道上屢屢嘗試。前有“萊茨狗”、“本體龍”,后有“一起來捉妖”,不同的“嘗鮮式”游戲出現在玩家面前.

1900/1/1 0:00:00
JEX上線周ETH期權0613公告_SDT

ETH看漲期權 代碼周ETH看漲0613期權標的ETH合約類型歐式看漲期權計價單位USDT最小價格單位0.0001USDT合約比例20:1.

1900/1/1 0:00:00
火星一線 | 比特幣續走短時暴跌模式,1小時內跌破7500美元_比特幣

火星財經APP一線報道,比特幣于今日早6點左右短時跌破7500美元關口,最低觸及7479.35美元,24小時跌幅達3.20%,再次延續昨日早間的短時暴跌趨勢,表明了市場多空爭奪戰正逐漸升溫.

1900/1/1 0:00:00
“Utreexo”能解決比特幣容量難題嗎?_比特幣

金色財經比特幣6月5日訊比特幣閃電網絡原始論文共同撰寫人塔奇·德里亞最近發布了一份研究論文,其中概述了他在過去一年時間里研究的一套全新比特幣擴容解決方案.

1900/1/1 0:00:00
ads