是的,算法類崗位通常需要具備編程能力。編程是算法設(shè)計(jì)、開(kāi)發(fā)和實(shí)施的基礎(chǔ)技能之一。在算法類崗位中,你可能需要使用編程語(yǔ)言來(lái)實(shí)現(xiàn)和優(yōu)化算法,處理大量的數(shù)據(jù),并進(jìn)行算法的測(cè)試和驗(yàn)證。
常見(jiàn)的編程語(yǔ)言如Python、Java、C++等在算法領(lǐng)域得到廣泛應(yīng)用。掌握至少一種編程語(yǔ)言以及相關(guān)的數(shù)據(jù)結(jié)構(gòu)和算法是在算法類崗位中很重要的技能。此外,對(duì)于特定的領(lǐng)域,如機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、自然語(yǔ)言處理等算法應(yīng)用,還可能需要了解相關(guān)的工具和框架,如TensorFlow、PyTorch等。
需要注意的是,對(duì)于不同的算法類崗位,編程技能的具體要求可能有所不同。有些崗位可能會(huì)更加側(cè)重于算法設(shè)計(jì)和分析,而另一些崗位可能更加側(cè)重于算法的實(shí)現(xiàn)和優(yōu)化。因此,具體崗位的要求應(yīng)根據(jù)招聘單位和職位描述進(jìn)行進(jìn)一步了解和掌握。
主要是聊基礎(chǔ)算法知識(shí)和代碼題。
測(cè)試題一、
1、 程序可以響應(yīng)的兩種事件分別是鍵盤事件和鼠標(biāo)事件。
2、 處理事件的代碼稱為事件處理器
3、 Pygame使用KEYDOWN事件來(lái)檢測(cè)按鍵是否按下。
4、 Pos屬性會(huì)指出事件發(fā)生時(shí)鼠標(biāo)所在的位置
5、 要為用戶事件得到下一個(gè)可用的事件編號(hào),可以使用pygame.NUMEVENTS。
6、 要?jiǎng)?chuàng)建一個(gè)定時(shí)器,可以使用pygame.time.set_timer()。
7、 要在Pygame窗口中顯示文本,可以使用font對(duì)象。
8、 使用字體對(duì)象有3個(gè)步驟:
創(chuàng)建一個(gè)字體對(duì)象
渲染文本,創(chuàng)建一個(gè)表面
把這個(gè)表面塊移到顯示表面
動(dòng)手試一試
1、 如果球沒(méi)有碰到球拍的頂邊,而是碰到了球拍的左右兩邊,為什么會(huì)有奇怪的表現(xiàn)?這是因?yàn)檫@里有一個(gè)碰撞,所以代碼嘗試讓球的y方向 (讓它向上而不是向下)。但是因?yàn)榍?是從兩邊(左邊或右邊)過(guò)來(lái)的,即使在反向之后它仍會(huì)與球拍"碰撞”。下一次循環(huán)(一幀之后)時(shí),它會(huì)再次反向,因此會(huì)再次向下,如此繼續(xù),要解決這個(gè)問(wèn)題,有一種簡(jiǎn)單的方法:當(dāng)球與球拍碰撞時(shí)總是將球設(shè)置為向"上”(y速度是一個(gè)負(fù)值)。這不能算是一種完美的解決辦法,因?yàn)檫@意味著即使碰到球拍左右兩邊也會(huì)向上反彈---這可不太真實(shí)!不過(guò)這樣能解決球在球拍兩邊來(lái)回反彈的問(wèn)題,如果你想要一種更真實(shí)的解決方案,可能需要多寫一些代碼,也許要增加一些內(nèi)容,在"反彈”之前檢查球碰到了球拍的哪一邊。
2、 我們已經(jīng)給出了有關(guān)代碼的一個(gè)例子,可以為程序增加隨機(jī)性。
測(cè)試題二、
1、 存儲(chǔ)聲音的文件類型包括波形文件(.wav)、MP3(.mp3)、Ogg Vorbis文件(.ogg)和Windows媒體音頻文件(.wma)。
2、 Pygame.mixer模塊用來(lái)播放音樂(lè)
3、 要用各個(gè)聲音對(duì)象的set_volume()方法設(shè)置Pygame聲音對(duì)象的音量。
4、 使用pygame.mixer.music.set_volume()設(shè)置背景音樂(lè)的音量。
5、 要讓音樂(lè)淡出,可以使用pygame.mixer.music.fadeout()方法。要提供淡出時(shí)間(毫秒數(shù),即千分之一秒)作為參數(shù)。例如pygame.mixer.music. fadeout(2000)會(huì)讓聲音在2秒內(nèi)淡出。
動(dòng)手試一試
在當(dāng)今數(shù)字化時(shí)代,大數(shù)據(jù)已成為各行各業(yè)不可忽視的重要資產(chǎn)。對(duì)于數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師來(lái)說(shuō),掌握大數(shù)據(jù)算法是至關(guān)重要的技能之一。隨著數(shù)據(jù)量的不斷增長(zhǎng)和復(fù)雜性的提升,大數(shù)據(jù)算法的應(yīng)用范圍也越來(lái)越廣泛。
大數(shù)據(jù)算法是指為處理大規(guī)模數(shù)據(jù)而設(shè)計(jì)的一組算法和技術(shù)。在處理海量數(shù)據(jù)時(shí),傳統(tǒng)的算法可能無(wú)法有效地運(yùn)行,因此需要專門針對(duì)大數(shù)據(jù)量級(jí)和特點(diǎn)設(shè)計(jì)的算法來(lái)進(jìn)行處理。
大數(shù)據(jù)算法的重要性在于它可以幫助企業(yè)從海量數(shù)據(jù)中提取出有用的信息、模式和見(jiàn)解,為決策提供支持。通過(guò)運(yùn)用大數(shù)據(jù)算法,企業(yè)可以更好地理解客戶需求、優(yōu)化產(chǎn)品設(shè)計(jì)、改進(jìn)營(yíng)銷策略,從而提升競(jìng)爭(zhēng)力。
下面列舉了一些常見(jiàn)的大數(shù)據(jù)算法面試題,希望能夠幫助準(zhǔn)備面試的同學(xué)更好地理解和掌握相關(guān)知識(shí):
為了更好地準(zhǔn)備大數(shù)據(jù)算法面試,以下是一些建議:
大數(shù)據(jù)算法在當(dāng)今信息爆炸的時(shí)代扮演著至關(guān)重要的角色,對(duì)于從事數(shù)據(jù)分析和數(shù)據(jù)科學(xué)相關(guān)工作的人員來(lái)說(shuō),掌握大數(shù)據(jù)算法是必備的技能之一。通過(guò)不斷學(xué)習(xí)、實(shí)踐和應(yīng)用,相信每個(gè)人都可以在大數(shù)據(jù)算法領(lǐng)域取得優(yōu)異的成績(jī)。
編程算法是指用計(jì)算機(jī)語(yǔ)言(通常是高級(jí)語(yǔ)言)實(shí)現(xiàn)某種特定功能的程序或步驟。它是一系列解決問(wèn)題的清晰指令,旨在將問(wèn)題轉(zhuǎn)化為可計(jì)算機(jī)執(zhí)行的數(shù)學(xué)問(wèn)題或邏輯問(wèn)題。
編程算法可以有多種形式和類型,但通常具備以下特點(diǎn):
有窮性:算法必須在有限的步驟內(nèi)完成,否則計(jì)算機(jī)無(wú)法處理。
確定性:算法的每個(gè)步驟都應(yīng)該是確定的,即輸入相同的數(shù)據(jù)會(huì)得到相同的結(jié)果。
可行性:算法的每個(gè)步驟都應(yīng)該是可行的,即能夠被計(jì)算機(jī)理解和執(zhí)行。
輸入和輸出:算法可以具有零個(gè)或多個(gè)輸入,但通常都至少有一個(gè)輸出,以提供問(wèn)題的解決方案。
編程算法廣泛應(yīng)用于計(jì)算機(jī)科學(xué)和數(shù)字技術(shù)的各個(gè)領(lǐng)域,包括計(jì)算機(jī)圖形學(xué)、數(shù)據(jù)處理、圖像處理、數(shù)值計(jì)算等。在編程中,選擇適當(dāng)?shù)乃惴▽?duì)于提高程序的效率、降低開(kāi)發(fā)時(shí)間和成本至關(guān)重要。
算法和編程之間有一定的區(qū)別。
算法可以看做是解決問(wèn)題的一種方法,是有序、確定、無(wú)歧義的步驟集,以及如何在有限時(shí)間內(nèi)完成特定的任務(wù)或計(jì)算的過(guò)程。而編程則是將算法用編程語(yǔ)言實(shí)現(xiàn)的過(guò)程。編程是將抽象的解決方案轉(zhuǎn)化為實(shí)際的計(jì)算機(jī)程序的過(guò)程,其中包括編程語(yǔ)言的語(yǔ)法、庫(kù)函數(shù)的使用等方面。
具體來(lái)說(shuō),算法是一種思想方式,是為了解決某個(gè)具體問(wèn)題而設(shè)計(jì)的一套流程。而編程是將這套流程用某種編程語(yǔ)言轉(zhuǎn)化為計(jì)算機(jī)可執(zhí)行的代碼,使其能夠在計(jì)算機(jī)上運(yùn)行。
可以說(shuō),算法是編程的基礎(chǔ),沒(méi)有好的算法,編寫出的程序可能也不見(jiàn)得是最優(yōu)的。同時(shí),編程技術(shù)也會(huì)對(duì)算法的實(shí)現(xiàn)產(chǎn)生影響。因此,算法和編程兩者的關(guān)系是密不可分的。
是一類用于解決決策問(wèn)題的算法。這些算法通常基于一定的決策規(guī)則或策略,從一組可行的方案中選擇最優(yōu)解。以下是一些常見(jiàn)的決策類算法:
1. 決策樹(shù)算法:
決策樹(shù)是一種基于樹(shù)形結(jié)構(gòu)的分類算法,通過(guò)遞歸地劃分?jǐn)?shù)據(jù)集,構(gòu)建一個(gè)類似于樹(shù)形結(jié)構(gòu)的分類模型。決策樹(shù)算法通過(guò)分析數(shù)據(jù)的屬性和特征,將數(shù)據(jù)集劃分為不同的類別。
2. 貪心算法:
貪心算法是一種在每一步都選擇局部最優(yōu)解的策略,試圖找到全局最優(yōu)解。貪心算法通常在求解組合優(yōu)化問(wèn)題時(shí)應(yīng)用廣泛。
3. 動(dòng)態(tài)規(guī)劃:
動(dòng)態(tài)規(guī)劃是一種將復(fù)雜問(wèn)題分解為相互重疊的子問(wèn)題,并通過(guò)求解子問(wèn)題來(lái)求解原問(wèn)題的優(yōu)化算法。動(dòng)態(tài)規(guī)劃算法通常用于求解具有最優(yōu)子結(jié)構(gòu)性質(zhì)的問(wèn)題。
4. 最大期望算法(EM算法):
最大期望算法是一種在概率模型中求解最大似然估計(jì)的迭代算法。EM算法通常用于求解含有隱變量的概率模型的參數(shù)估計(jì)問(wèn)題。
5. 隨機(jī)優(yōu)化算法:
隨機(jī)優(yōu)化算法是一類使用隨機(jī)策略進(jìn)行搜索的優(yōu)化算法。這類算法包括遺傳算法、模擬退火算法、粒子群優(yōu)化算法等。隨機(jī)優(yōu)化算法通常在求解復(fù)雜、非線性問(wèn)題時(shí)表現(xiàn)較好。
6. 深度強(qiáng)化學(xué)習(xí)算法:
深度強(qiáng)化學(xué)習(xí)是一種結(jié)合深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的方法,用于解決決策和控制問(wèn)題。深度強(qiáng)化學(xué)習(xí)算法利用神經(jīng)網(wǎng)絡(luò)表示和解決復(fù)雜的決策問(wèn)題,如游戲、機(jī)器人控制等。
這些決策類算法在不同的問(wèn)題和領(lǐng)域中具有廣泛的應(yīng)用。在實(shí)際應(yīng)用中,需要根據(jù)問(wèn)題的特點(diǎn)和需求選擇合適的算法。
機(jī)器學(xué)習(xí)是當(dāng)今科技領(lǐng)域的熱門話題之一,許多公司在招聘過(guò)程中更加重視求職者對(duì)機(jī)器學(xué)習(xí)算法基礎(chǔ)的掌握。在面試中,面試官往往會(huì)提出一些與機(jī)器學(xué)習(xí)算法基礎(chǔ)相關(guān)的問(wèn)題,這些問(wèn)題不僅考察了求職者的專業(yè)知識(shí)水平,還展現(xiàn)了求職者解決問(wèn)題的能力和邏輯思維能力。
在面試中,經(jīng)常會(huì)被問(wèn)及一些與機(jī)器學(xué)習(xí)算法基礎(chǔ)相關(guān)的問(wèn)題,下面列舉了一些常見(jiàn)的面試題:
機(jī)器學(xué)習(xí)是一種通過(guò)對(duì)數(shù)據(jù)進(jìn)行學(xué)習(xí)和分析,使計(jì)算機(jī)系統(tǒng)能夠自動(dòng)學(xué)習(xí)和改進(jìn)的技術(shù)。它主要利用統(tǒng)計(jì)學(xué)和數(shù)據(jù)分析來(lái)讓計(jì)算機(jī)系統(tǒng)具備學(xué)習(xí)的能力。
監(jiān)督學(xué)習(xí)是一種通過(guò)已知輸入和輸出數(shù)據(jù)之間的關(guān)系來(lái)訓(xùn)練模型的機(jī)器學(xué)習(xí)方法,而無(wú)監(jiān)督學(xué)習(xí)則是通過(guò)不需要標(biāo)記的輸入數(shù)據(jù)來(lái)學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)和模式。
回歸分析是一種用于研究變量之間關(guān)系的統(tǒng)計(jì)學(xué)方法,它能夠預(yù)測(cè)一個(gè)變量如何隨著另一個(gè)或多個(gè)變量的變化而變化。
決策樹(shù)算法是一種用于分類和回歸問(wèn)題的機(jī)器學(xué)習(xí)算法,它通過(guò)構(gòu)建一個(gè)樹(shù)狀結(jié)構(gòu)來(lái)模擬決策過(guò)程,根據(jù)輸入特征進(jìn)行判斷并輸出結(jié)果。
神經(jīng)網(wǎng)絡(luò)是一種模仿人腦神經(jīng)元之間信息傳遞方式的算法模型,它通過(guò)多層神經(jīng)元之間的連接來(lái)實(shí)現(xiàn)復(fù)雜的學(xué)習(xí)任務(wù)。
準(zhǔn)備機(jī)器學(xué)習(xí)算法基礎(chǔ)面試題需要一定的時(shí)間和系統(tǒng)性的學(xué)習(xí)過(guò)程。以下是一些建議:
熟悉常見(jiàn)的機(jī)器學(xué)習(xí)算法,了解其原理和應(yīng)用場(chǎng)景,掌握算法背后的數(shù)學(xué)原理,對(duì)于面試中的問(wèn)題能夠做到心中有數(shù)。
在學(xué)習(xí)過(guò)程中進(jìn)行實(shí)踐項(xiàng)目和練習(xí)題能夠幫助加深對(duì)機(jī)器學(xué)習(xí)算法的理解和應(yīng)用,同時(shí)也能夠提高解決問(wèn)題的能力。
參加機(jī)器學(xué)習(xí)相關(guān)的培訓(xùn)和課程能夠系統(tǒng)性地學(xué)習(xí)知識(shí),并且有機(jī)會(huì)和其他學(xué)習(xí)者進(jìn)行交流,共同提高。
關(guān)注機(jī)器學(xué)習(xí)領(lǐng)域的學(xué)術(shù)進(jìn)展和發(fā)展趨勢(shì),及時(shí)了解最新的算法和技術(shù),對(duì)于面試中的問(wèn)題更有把握。
了解機(jī)器學(xué)習(xí)算法基礎(chǔ)面試題的重要性,通過(guò)對(duì)常見(jiàn)問(wèn)題的準(zhǔn)備和學(xué)習(xí),能夠更好地在面試中展現(xiàn)自己的專業(yè)能力和解決問(wèn)題的能力。不斷學(xué)習(xí)和提升自己,在機(jī)器學(xué)習(xí)領(lǐng)域走得更遠(yuǎn)!
機(jī)器學(xué)習(xí)面試題考算法是很多求職者在準(zhǔn)備機(jī)器學(xué)習(xí)崗位面試時(shí)必須要重點(diǎn)關(guān)注的部分。隨著人工智能和數(shù)據(jù)科學(xué)領(lǐng)域的快速發(fā)展,對(duì)于機(jī)器學(xué)習(xí)算法的掌握和應(yīng)用已經(jīng)成為許多公司招聘機(jī)器學(xué)習(xí)工程師的重要考量因素之一。
在面試過(guò)程中,除了基礎(chǔ)知識(shí)的考察,對(duì)于候選人解決實(shí)際問(wèn)題的能力以及對(duì)機(jī)器學(xué)習(xí)算法的理解深度也會(huì)進(jìn)行更深入的評(píng)估。因此,熟悉并掌握一些常見(jiàn)的機(jī)器學(xué)習(xí)面試題目及相關(guān)算法是至關(guān)重要的。
在準(zhǔn)備機(jī)器學(xué)習(xí)面試時(shí),候選人需要熟悉一些常見(jiàn)的面試題目,以確保能夠在面試中游刃有余地回答問(wèn)題。下面列舉了一些常見(jiàn)的機(jī)器學(xué)習(xí)面試題目,供大家參考:
這是一個(gè)基礎(chǔ)性問(wèn)題,面試官通常會(huì)詢問(wèn)候選人對(duì)機(jī)器學(xué)習(xí)的定義以及其作用和應(yīng)用領(lǐng)域。
候選人需要了解監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等機(jī)器學(xué)習(xí)算法的分類,以及它們的應(yīng)用場(chǎng)景和區(qū)別。
過(guò)擬合和欠擬合是機(jī)器學(xué)習(xí)模型常見(jiàn)的問(wèn)題,候選人需要解釋這兩個(gè)概念,并討論如何通過(guò)調(diào)整模型參數(shù)或采用正則化方法來(lái)避免這些問(wèn)題。
候選人需要清楚地表述邏輯回歸和線性回歸的區(qū)別,包括適用場(chǎng)景、原理和模型形式等方面的差異。
面試官可能會(huì)詢問(wèn)候選人對(duì)支持向量機(jī)的理解和應(yīng)用,包括核技巧、軟間隔和硬間隔等概念。
了解機(jī)器學(xué)習(xí)算法的基本概念和原理是重要的,但更加重要的是能夠?qū)⑦@些算法應(yīng)用于實(shí)際場(chǎng)景中解決問(wèn)題。下面介紹了一些常見(jiàn)的機(jī)器學(xué)習(xí)算法應(yīng)用場(chǎng)景,供候選人參考:
機(jī)器學(xué)習(xí)在金融領(lǐng)域的應(yīng)用非常廣泛,包括風(fēng)險(xiǎn)評(píng)估、詐騙檢測(cè)、貸款預(yù)測(cè)等方面。
機(jī)器學(xué)習(xí)在醫(yī)療衛(wèi)生領(lǐng)域的應(yīng)用涵蓋疾病診斷、影像處理、基因組學(xué)等多個(gè)方面。
零售行業(yè)利用機(jī)器學(xué)習(xí)算法進(jìn)行銷售預(yù)測(cè)、客戶行為分析、庫(kù)存管理等,提升營(yíng)銷效率。
機(jī)器學(xué)習(xí)可用于交通流量預(yù)測(cè)、智能交通管理系統(tǒng)和無(wú)人駕駛技術(shù)等方面,極大地改善交通效率和安全性。
農(nóng)業(yè)領(lǐng)域中的機(jī)器學(xué)習(xí)應(yīng)用主要集中在精準(zhǔn)農(nóng)業(yè)、作物病害識(shí)別和農(nóng)作物產(chǎn)量預(yù)測(cè)等方面,幫助農(nóng)民提高生產(chǎn)效率。
機(jī)器學(xué)習(xí)面試題考算法是候選人在準(zhǔn)備機(jī)器學(xué)習(xí)崗位面試時(shí)需要重點(diǎn)關(guān)注的內(nèi)容之一。通過(guò)熟悉常見(jiàn)的機(jī)器學(xué)習(xí)面試題目和相關(guān)算法,以及了解機(jī)器學(xué)習(xí)算法的應(yīng)用場(chǎng)景,候選人可以提升自己的面試表現(xiàn),增加獲得心儀工作機(jī)會(huì)的機(jī)會(huì)。持續(xù)學(xué)習(xí)和實(shí)踐將幫助候選人在競(jìng)爭(zhēng)激烈的機(jī)器學(xué)習(xí)領(lǐng)域中脫穎而出。
又到安利Python的時(shí)間, 最終代碼不超過(guò)30行(優(yōu)化前),加上優(yōu)化也不過(guò)40行。
第一步. 構(gòu)造Trie(用dict登記結(jié)點(diǎn)信息和維持子結(jié)點(diǎn)集合):
-- 思路:對(duì)詞典中的每個(gè)單詞,逐詞逐字母拓展Trie,單詞完結(jié)處的結(jié)點(diǎn)用None標(biāo)識(shí)。
def make_trie(words):
trie = {}
for word in words:
t = trie
for c in word:
if c not in t: t[c] = {}
t = t[c]
t[None] = None
return trie
第二步. 容錯(cuò)查找(容錯(cuò)數(shù)為tol):
-- 思路:實(shí)質(zhì)上是對(duì)Trie的深度優(yōu)先搜索,每一步加深時(shí)就消耗目標(biāo)詞的一個(gè)字母。當(dāng)搜索到達(dá)某個(gè)結(jié)點(diǎn)時(shí),分為不消耗容錯(cuò)數(shù)和消耗容錯(cuò)數(shù)的情形,繼續(xù)搜索直到目標(biāo)詞為空。搜索過(guò)程中,用path記錄搜索路徑,該路徑即為一個(gè)詞典中存在的詞,作為糾錯(cuò)的參考。
-- 最終結(jié)果即為諸多搜索停止位置的結(jié)點(diǎn)路徑的并集。
def check_fuzzy(trie, word, path='', tol=1):
if word == '':
return {path} if None in trie else set()
else:
p0 = set()
if word[0] in trie:
p0 = check_fuzzy(trie[word[0]], word[1:], path+word[0], tol)
p1 = set()
if tol > 0:
for k in trie:
if k is not None and k != word[0]:
p1.update(check_fuzzy(trie[k], word[1:], path+k, tol-1))
return p0 | p1
簡(jiǎn)單測(cè)試代碼 ------
構(gòu)造Trie:
words = ['hello', 'hela', 'dome']
t = make_trie(words)
In [11]: t
Out[11]:
{'d': {'o': {'m': {'e': {'$': {}}}}},
'h': {'e': {'l': {'a': {'$': {}}, 'l': {'o': {'$': {}}}}}}}
容錯(cuò)查找:
In [50]: check_fuzzy(t, 'hellu', tol=0)
Out[50]: {}
In [51]: check_fuzzy(t, 'hellu', tol=1)
Out[51]: {'hello'}
In [52]: check_fuzzy(t, 'healu', tol=1)
Out[52]: {}
In [53]: check_fuzzy(t, 'healu', tol=2)
Out[53]: {'hello'}
似乎靠譜~
---------------------------分--割--線--------------------------------------
以上是基于Trie的approach,另外的approach可以參看@黃振童鞋推薦Peter Norvig即P神的How to Write a Spelling Corrector
雖然我已有意無(wú)意模仿P神的代碼風(fēng)格,但每次看到P神的源碼還是立馬跪...
話說(shuō)word[1:]這種表達(dá)方式其實(shí)是有淵源的,相信有的童鞋對(duì)(cdr word)早已爛熟于心...(呵呵
------------------------分-----割-----線-----二--------------------------------------
回歸正題.....有童鞋說(shuō)可不可以增加新的容錯(cuò)條件,比如增刪字母,我大致對(duì)v2方法作了點(diǎn)拓展,得到下面的v3版本。
拓展的關(guān)鍵在于遞歸的終止,即每一次遞歸調(diào)用必須對(duì)參數(shù)進(jìn)行有效縮減,要么是參數(shù)word,要么是參數(shù)tol~
def check_fuzzy(trie, word, path='', tol=1):
if tol < 0:
return set()
elif word == '':
results = set()
if None in trie:
results.add(path)
# 增加詞尾字母
for k in trie:
if k is not None:
results |= check_fuzzy(trie[k], '', path+k, tol-1)
return results
else:
results = set()
# 首字母匹配
if word[0] in trie:
results |= check_fuzzy(trie[word[0]], word[1:], path + word[0], tol)
# 分情形繼續(xù)搜索(相當(dāng)于保留待探索的回溯分支)
for k in trie:
if k is not None and k != word[0]:
# 用可能正確的字母置換首字母
results |= check_fuzzy(trie[k], word[1:], path+k, tol-1)
# 插入可能正確的字母作為首字母
results |= check_fuzzy(trie[k], word, path+k, tol-1)
# 跳過(guò)余詞首字母
results |= check_fuzzy(trie, word[1:], path, tol-1)
# 交換原詞頭兩個(gè)字母
if len(word) > 1:
results |= check_fuzzy(trie, word[1]+word[0]+word[2:], path, tol-1)
return results
好像還是沒(méi)有過(guò)30行……注釋不算(
本答案的算法只在追求極致簡(jiǎn)潔的表達(dá),概括問(wèn)題的大致思路。至于實(shí)際應(yīng)用的話可能需要很多Adaption和Tuning,包括基于統(tǒng)計(jì)和學(xué)習(xí)得到一些詞語(yǔ)校正的bias。我猜測(cè)這些拓展都可以反映到Trie的結(jié)點(diǎn)構(gòu)造上面,比如在結(jié)點(diǎn)處附加一個(gè)概率值,通過(guò)這個(gè)概率值來(lái)影響搜索傾向;也可能反映到更多的搜索分支的控制參數(shù)上面,比如增加一些更有腦洞的搜索分支。(更細(xì)節(jié)的問(wèn)題這里就不深入了逃
----------------------------------分-割-線-三----------------------------------------
童鞋們可能會(huì)關(guān)心時(shí)間和空間復(fù)雜度的問(wèn)題,因?yàn)樯鲜鲞@種優(yōu)(cu)雅(bao)的寫法會(huì)導(dǎo)致產(chǎn)生的集合對(duì)象呈指數(shù)級(jí)增加,集合的合并操作時(shí)間也指數(shù)級(jí)增加,還使得gc不堪重負(fù)。而且,我們并不希望搜索算法一下就把所有結(jié)果枚舉出來(lái)(消耗的時(shí)間亦太昂貴),有可能我們只需要搜索結(jié)果的集合中前三個(gè)結(jié)果,如果不滿意再搜索三個(gè),諸如此類...
那腫么辦呢?................是時(shí)候祭出yield小魔杖了? ??)ノ
下述版本姑且稱之為lazy,看上去和v3很像(其實(shí)它倆在語(yǔ)義上是幾乎等同的
def check_lazy(trie, word, path='', tol=1):
if tol < 0:
pass
elif word == '':
if None in trie:
yield path
# 增加詞尾字母
for k in trie:
if k is not None:
yield from check_lazy(trie[k], '', path + k, tol - 1)
else:
if word[0] in trie:
# 首字母匹配成功
yield from check_lazy(trie[word[0]], word[1:], path+word[0], tol)
# 分情形繼續(xù)搜索(相當(dāng)于保留待探索的回溯分支)
for k in trie:
if k is not None and k != word[0]:
# 用可能正確的字母置換首字母
yield from check_lazy(trie[k], word[1:], path+k, tol-1)
# 插入可能正確的字母作為首字母
yield from check_lazy(trie[k], word, path+k, tol-1)
# 跳過(guò)余詞首字母
yield from check_lazy(trie, word[1:], path, tol-1)
# 交換原詞頭兩個(gè)字母
if len(word) > 1:
yield from check_lazy(trie, word[1]+word[0]+word[2:], path, tol-1)
不借助任何容器對(duì)象,我們近乎聲明式地使用遞歸子序列拼接成了一個(gè)序列。
[新手注釋] yield是什么意思呢?就是程序暫停在這里了,返回給你一個(gè)結(jié)果,然后當(dāng)你調(diào)用next的時(shí)候,它從暫停的位置繼續(xù)走,直到有下個(gè)結(jié)果然后再暫停。要理解yield,你得先理解yield... Nonono,你得先理解iter函數(shù)和next函數(shù),然后再深入理解for循環(huán),具體內(nèi)容童鞋們可以看官方文檔。而yield from x即相當(dāng)于for y in x: yield y。
給剛認(rèn)識(shí)yield的童鞋一個(gè)小科普,順便回憶一下組合數(shù)C(n,m)的定義即
C(n, m) = C(n-1, m-1) + C(n-1, m)
如果我們把C視為根據(jù)n和m確定的集合,加號(hào)視為并集,利用下面這個(gè)generator我們可以懶惰地逐步獲取所有組合元素:
def combinations(seq, m):
if m > len(seq):
raise ValueError('Cannot choose more than sequence has.')
elif m == 0:
yield ()
elif m == len(seq):
yield tuple(seq)
else:
for p in combinations(seq[1:], m-1):
yield (seq[0],) + p
yield from combinations(seq[1:], m)
for combi in combinations('abcde', 2):
print(combi)
可以看到,generator結(jié)構(gòu)精準(zhǔn)地反映了集合運(yùn)算的特征,而且蘊(yùn)含了對(duì)元素進(jìn)行映射的邏輯,可讀性非常強(qiáng)。
OK,代碼到此為止。利用next函數(shù),我們可以懶惰地獲取查找結(jié)果。
In [54]: words = ['hell', 'hello', 'hela', 'helmut', 'dome']
In [55]: t = make_trie(words)
In [57]: c = check_lazy(t, 'hell')
In [58]: next(c)
Out[58]: 'hell'
In [59]: next(c)
Out[59]: 'hello'
In [60]: next(c)
Out[60]: 'hela'
話說(shuō)回來(lái),lazy的一個(gè)問(wèn)題在于我們不能提前預(yù)測(cè)并剔除重復(fù)的元素。你可以采用一個(gè)小利器decorator,修飾一個(gè)generator,保證結(jié)果不重復(fù)。
from functools import wraps
def uniq(func):
@wraps(func)
def _func(*a, **kw):
seen = set()
it = func(*a, **kw)
while 1:
x = next(it)
if x not in seen:
yield x
seen.add(x)
return _func
這個(gè)url打開(kāi)的文件包含常用英語(yǔ)詞匯,可以用來(lái)測(cè)試代碼:
In [10]: import urllib
In [11]: f = urllib.request.urlopen("https://raw.githubusercontent.com/eneko/data-repository/master/data/words.txt")
# 去除換行符
In [12]: t = make_trie(line.decode().strip() for line in f.readlines())
In [13]: f.close()
----------------------分-割-線-四-----------------------------
最后的最后,Python中遞歸是很昂貴的,但是遞歸的優(yōu)勢(shì)在于描述問(wèn)題。為了追求極致性能,我們可以把遞歸轉(zhuǎn)成迭代,把去除重復(fù)的邏輯直接代入進(jìn)來(lái),于是有了這個(gè)v4版本:
from collections import deque
def check_iter(trie, word, tol=1):
seen = set()
q = deque([(trie, word, '', tol)])
while q:
trie, word, path, tol = q.popleft()
if word == '':
if None in trie:
if path not in seen:
seen.add(path)
yield path
if tol > 0:
for k in trie:
if k is not None:
q.appendleft((trie[k], '', path+k, tol-1))
else:
if word[0] in trie:
q.appendleft((trie[word[0]], word[1:], path+word[0], tol))
if tol > 0:
for k in trie.keys():
if k is not None and k != word[0]:
q.append((trie[k], word[1:], path+k, tol-1))
q.append((trie[k], word, path+k, tol-1))
q.append((trie, word[1:], path, tol-1))
if len(word) > 1:
q.append((trie, word[1]+word[0]+word[2:], path, tol-1))
可以看到,轉(zhuǎn)為迭代方式后我們?nèi)匀豢梢宰畲蟪潭缺A暨f歸風(fēng)格的程序形狀,但也提供了更強(qiáng)的靈活性(對(duì)于遞歸,相當(dāng)于我們只能用棧來(lái)實(shí)現(xiàn)這個(gè)q)。基于這種迭代程序的結(jié)構(gòu),如果你有詞頻數(shù)據(jù),可以用該數(shù)據(jù)維持一個(gè)最優(yōu)堆q,甚至可以是根據(jù)上下文自動(dòng)調(diào)整詞頻的動(dòng)態(tài)堆,維持高頻詞匯在堆頂,為詞語(yǔ)修正節(jié)省不少性能。這里就不深入了。
【可選的一步】我們?cè)趯?duì)單詞進(jìn)行糾正的時(shí)候往往傾向于認(rèn)為首字母是無(wú)誤的,利用這個(gè)現(xiàn)象可以減輕不少搜索壓力,花費(fèi)的時(shí)間可以少數(shù)倍。
def check_head_fixed(trie, word, tol=1):
for p in check_lazy(trie[word[0]], word[1:], tol=tol):
yield word[0] + p
最終我們簡(jiǎn)單地benchmark一下:
In [18]: list(check_head_fixed(trie, 'misella', tol=2))
Out[18]:
['micellar',
'malella',
'mesilla',
'morella',
'mysell',
'micelle',
'milla',
'misally',
'mistell',
'miserly']
In [19]: %timeit list(check_head_fixed(trie, 'misella', tol=2))
1.52 ms ± 2.84 μs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
在Win10的i7上可以在兩毫秒左右返回所有結(jié)果,可以說(shuō)令人滿意。