close
搶便宜趁這一檔!!!!!【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)現在居然打折了!!!之前觀望好久的【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)這次買好划算
以前都花爸媽的錢這一次終於可以自己買電腦 ，自己出錢比較沒負擔，硬生生讓我等到折扣真的太好了
分期付款或是一次付清都有不同的優惠，我覺得真的是佛心來的~
以前爬文文章都說【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)滿不錯的，可以購買，看了很多規格確實不錯 我也觀望好久
好險還懂得一些不然現在電腦實在太多了都不知道要怎麼挑
現在就來說說 購買【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)的心路歷程
一開始沒打算在網路上購買的【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)我試過實體以後決定在網路上購買價格 比較便宜而且會送到家裡來
也是因為是在網路上販售並沒有在實體店面沒有那些人事費用價格就可以直接回饋價格給網民
而且這次申請帳號我還有拿到折價券(例如滿萬送千，所以我買兩萬多的電腦基本上就折兩千)
當然在購物商城買的話，除了有詳細的介紹以外，更有保障！！而且速度也很快~
↓↓↓限量折扣的優惠按鈕↓↓↓
【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)
討論,推薦,開箱,CP值,熱賣,團購,便宜,優惠,介紹,排行,精選,特價,周年慶,體驗,限時,品牌電腦推薦,電腦主機推薦,桌上型電腦推薦,筆記型電腦推薦,桌上型電腦價格,筆記型電腦價格,電腦推薦2017
↓↓↓現在馬上點擊購買↓↓↓
另外在推薦我平時會使用的平台可以比較價格找便宜~~
AlphaGo：黑色方碑？
AlphaGo：黑色方碑？36氪的朋友們???2016-03-15???深氪難道你已加入人類藥丸黨編者按：AlphaGo與李世石對戰的第四局，李世石終於扳回一局。這場人機大戰到底意味著什麼？人類已經打開瞭潘多拉魔盒嗎？AlphaGo的勝利是否意味著人工智能的黑色方碑已經出現?本文將從AlphaGo的原理入手逐步探討這個問題。本文作者 張夏天，36氪經授權轉載自微信公眾號 TalkingData（ID:TalkingData）。
AlphaGo與李世石的對戰已經進行瞭四局。前三局世人驚嘆於AlphaGo對李世石的全面碾壓，很多人直呼人類要完。因為被視為人類智能的聖杯－圍棋，在冷酷的機器（或者是瘋狂的小狗）面前變成瞭唾手可得的普通馬克杯，而人類的頂尖棋手似乎毫無還手之力。3月12號的第四局，李世石終於扳回一居，而且下瞭幾手讓人驚嘆的好棋。特別是第78手，圍棋吧很多人贊為“神之一手”，“名留青史”，“扼住命運喉嚨的一手”。因為這一局，圍棋吧的主流輿論已經從前幾天的震驚,嘆息，傷心，甚至是認為李世石收瞭谷歌的黑錢轉變為驚喜，甚至認為李世石已經找到瞭打狗棒法。而人類要完黨則認為這比AlphaGo5:0大勝更可怕，因為這隻狗甚至知道下假棋來麻痹人類，真是細思極恐。
不論怎樣，AlphaGo在與人類頂尖圍棋高手的對決中已經以3勝的優勢鎖定瞭勝局，李世石目前隻是在為人類的尊嚴而戰瞭。圍棋一年前還通常被認為是10年內都無法小冰箱推薦2017被人工智能攻克的防線，然而轉眼就變成瞭馬其諾防線瞭。那麼這場人機大戰到底意味著什麼？人類已經打開瞭潘多拉魔盒嗎？AlphaGo的勝利是否意味著人工智能的黑色方碑（圖1，請參見電影《2001：太空漫遊》）已經出現?本文將從AlphaGo的原理入手逐步探討這個問題。
圖1
一、AlphaGo的原理
網上介紹AlphaGo原理的文章已經有不少，但是我覺得想深入瞭解其原理的同學還是應該看看Nature上的論文原文“MasteringthegameofGowithdeepneuralnetworksandtreesearch”。雖然這篇文章有20頁，但是正文部分加上介紹部分細節的Method部分也就8頁，其中還包括瞭很多圖。個人覺得介紹AlphaGo的原理還是這篇最好。為瞭後面的討論方便，這裡對其原理做簡要總結。
對於圍棋這類完全信息博弈，從理論上來說可以通過暴力搜索所有可能的對弈過程來確定最優的走法。對於這類問題，其難度完全是由搜索的寬度和深度來決定的。1997年深藍解決瞭國際象棋，其每步的搜索寬度和深度分別約為35和80步。而圍棋每步的搜索寬度和深度則分別約為250和150步，搜索計算量遠遠超過國際象棋。減少搜索量的兩個基本原則是：1.通過評估局勢來減少搜索的深度，即當搜索到一定深度後通過一個近似局勢判斷函數(價值函數)來取代更深層次的搜索；2.通過策略函數來選擇寬度搜索的步驟，通過剔除低可能性的步驟來減少搜索寬度。很簡單的兩個原則，但難度在於減少搜索量和得到最優解之間是根本性矛盾的，如何在盡可能減少搜索量和盡可能逼近最優解之間做到很好的平衡才是最大的挑戰。
傳統的暴力搜索加剪枝的方法在圍棋問題上長期無法有大的突破，直到2006年蒙特卡洛樹搜索(MonteCarloTreeSearch)在圍棋上得到應用，使得人工智能圍棋的能力有瞭較大突破達到瞭前所未有的業餘5-6段的水平。MCTS把博弈過程的搜索當成一個多臂老虎機問題（multiarmedbanditproblem），采用UCT策略來平衡在不同搜索分支上的Exploration和Exploitation問題。MCTS與暴力搜索不同點在於它沒有嚴格意義的深度優先還是寬度優先，從搜索開始的跟節點，采用隨機策略挑選搜索分支，每一層都是如此，當隨機搜索完成一次後，又會重新回到根節點開始下一輪搜索。純隨機的搜索其效率是極低的，如同解決多臂老虎機的問題一樣，MCTS會記錄每次搜索獲得的收益，從而更新那些搜索路徑上的節點的勝率。在下一輪搜索時就可以給勝率更高的分支更高的搜索概率。當然為瞭平衡陷入局部最優的問題，概率選擇函數還會考慮一個分支的被搜索的次數，次數越少被選中的概率也會相應提高。面對圍棋這麼巨大的搜索空間，這個基本策略依然是不可行的。在每次搜索過程中的搜索深度還是必須予以限制。對於原始的MCTS采取的策略是當一個搜索節點其被搜索的次數小於一定閾值時（在AlphaGo中好像是40），就終止向下搜索。同時采用Simulation的策略，從該節點開始，通過一輪或者若幹輪隨機走棋來確定最後的收益。當搜索次數大於閾值時，則會將搜索節點向下擴展。Wikipedia上MCTS詞條中的示例圖（圖2）展示瞭MCTS的四個步驟：
圖2
1.選擇：根據子節點的勝率隨機選擇搜索路徑。
2.擴展：當葉子節點的搜索次數大於閾值時向下擴展出新的葉子節點（如無先驗則隨機選擇）。
3.仿真：從葉子節點開始隨機走棋一輪或者若幹輪得到終局的收益。
4.回傳：將此次搜索的結果回傳到搜索路徑的每個節點來更新勝率。
圖3
AlphaGo其基本原理也是基於MCTS的，其實一點也不深奧。但是AlphaGo在MCTS上做瞭兩個主要的優化工作，使得圍棋人工智能從業餘水平飛躍至職業頂尖水平。這兩個優化工作分別是策略網絡和價值網絡，這兩個網絡都是深度神經網絡，本質上是還是兩個函數。這兩個網絡分別解決什麼問題呢？在原始MCTS中的選擇步驟中，開始的那些搜索隻能純隨機的挑選子節點，其收斂效率顯然是很低的。而策略網絡以當前局勢為輸入，輸出每個合法走法的概率，這個概率就可以作為選擇步驟的先驗概率，加速搜索過程的收斂。而價值網絡則是在仿真那一步時直接根據當前局勢給出收益的估值。需要註意的是在AlphaGo中，價值網絡並不是取代瞭隨機走棋方法，而是與隨機走棋並行（隨機走棋在CPU上而價值網絡在GPU上運行）。然後將兩者的結果進行加權(系數為0.5)。當然AlphaGo的隨機走棋也應該是做瞭大量的優化工作，可能借鑒瞭之前的一些圍棋人工智能的工作。摘自AlphaGo論文的圖3清晰展示瞭策略網絡和價值網絡如何將圍棋人工智能的水平從業餘水平提升到職業水平（Rollouts就是隨機走棋）。因此AlphaGo的精髓就是在策略網絡和價值網絡上。
策略網絡可以抽象為,其中s為當前局勢，a為走法，其實就是在當前局勢下每一個合法走法的條件概率函數。為瞭得到這個函數，AlphaGo采用的監督學習的辦法，從KGSGoServer上拿到的三千萬個局勢訓練瞭深達13層的深度神經網絡。這一網絡能將走法預測準確度提高到57%。如果將這一問題看成一個多分類問題，在平均類別約為250個的情況下取得57%的精確度是十分驚人的。在這個訓練過程中，其目標是更看重走法對最後的勝負影響而不僅僅是對人類走法的預測精度。這個深度學習網絡的預測耗時也是相當大的（需要3毫秒）。為此AlphaGo又用更簡單的辦法訓練瞭一個快速策略函數作為備份，其預測精度隻有24.2%但是預測耗時僅為2微秒，低1000個數量級。需要註意的是，AlphaGo實際使用的策略網絡就是從人類棋譜中學到的策略網絡，而並沒有使用通過自我對弈來強化學習獲得的策略網絡。這是因為在實際對戰中，監督學習網絡比強化學習網絡效果要好。
價值網絡是個當值函數，可以抽象為，即當前局勢下的收益期望函數。價值網絡有14個隱層，其訓練是通過采用強化學習策略網絡AlphaGo的自我對弈過程中產生的局勢和最終的勝負來訓練這個函數。
強化學習或者說自我學習這個過程是大傢對AlphaGo最著迷的部分，也是藥丸黨最憂心的部分。這個過程甚至被解讀成瞭養蠱，無數個AlphaGo自我拼殺，最後留下一個氣度無比的。但讀完論文發現，強化學習的作用其實並沒有那麼大。首先是強化學習是在之前學習人類棋譜的監督學習網絡的基礎上進一步來學習的，而不是從0基礎開始。其次，強化學習網絡的並沒有用在實際博弈中，而是用在訓練價值網絡中。而且在訓練價值網絡中，並不是隻使用那條最強的蠱狗，而是會隨機使用不同的狗。個人認為，強化學習在AlphaGo中主要是用來創造具有不同風格的狗，然後通過這些不同風格的狗訓練價值網絡，從而避免價值網絡的過擬合。這可能是因為目前人類棋譜的數量不夠用來訓練足夠多的水平高的策略網絡來支持價值網絡的訓練。
二、AlphaGo到底從人類經驗中學到瞭什麼？
個人認為，AlphaGo有某種程度的超強學習能力，能夠輕松的學習人類有史以來所有下過的棋譜（隻要這些棋譜能夠數字化），並從這些人類的經驗中學到致勝的秘訣。但顯然，AlphaGo下圍棋的邏輯從人類看起來肯定是不優美的。MCTS框架與人類棋手的佈局謀篇完全沒有相同的地方，隻是冷冰冰的暴力計算加上概率的權衡。策略網絡學習瞭大量人類的策略經驗，可以非常好的判斷應該走哪一步，但並不是基於對圍棋的理解和邏輯推理。如果你要問為什麼要選擇這一步，策略網絡給出的回答會是歷史上這種情況90%的人都會走這一步。而策略網絡呢，學習的是當前局面的勝負優勢的判斷，但是它同樣無法給出一個邏輯性的回答，而隻能回答根據歷史經驗，這種局面贏的概率是60%這樣的答案。有些人說，這種能力近乎人的直覺，但我覺得人類直覺的機制應該比這復雜得多，我們的直覺無法給出判斷的概率，或者說人類的思維核心並不是概率性的。AlphaGo從大量人類經驗中學到瞭大量的相關性的規律（概率函數），但是確沒有學習到任何的因果性規律。這應該是AlphaGo和人類棋手最本質的區別瞭。
三、AlphaGo超越瞭人類的智能瞭嗎？
要回答這個問題，首先要明確超越的定義。如果說能打敗人類頂尖棋手，那AlphaGo在圍棋上的智能確實是超越瞭人類。但是假設，人類再也不玩圍棋瞭，沒有更新的人類棋譜，AlphaGo的圍棋智能還能提高嗎？從前面的分析看，AlphaGo的自我學習過程作用並不是那麼大，這點我是表示懷疑的。也許人類沉淀的經驗決定瞭AlphaGo能力的上界，這個上界可能會高於人類自身頂尖高手。但是當人類不能繼續發展圍棋，AlphaGo的能力也就會止步不前。
從理論上來說圍棋可能發生的變化數量是個170位數，這是人類和計算機的能力都無法窮盡的。無論是人類的邏輯推理，還是人工智能的搜索策略，陷入局部最優是無法避免的命運。而目前AlphaGo的機制，決定瞭其肯定是跟著人類掉進坑裡（某些局部最優）。如果人類不能不斷的挖掘新坑（新的局部最優，或者圍棋新的風格和流派），AlphaGo能跳出老坑的可能性並不是太大。從這個意義上來說，AlphaGo在圍棋上超越人類智能應該還沒有實現。
四、AlphaGo會故意輸給李世石嗎？
12號這一局有人認為是AlphaGo故意輸給李世石，或者為瞭保存實力，或者為瞭能夠進入排名。但是從Google公開的原理來看，其顯然不具備做這樣決策的機制。AlphaGo的機制就是追求當局取勝，完全沒有考慮各局之間的關系，更沒有人工智能偉大崛起的戰略目標。AlphaGo故意輸隻是句玩笑而已。真要說故意，那也隻可能是DeepMind中的人幹的事情。
五、人類能否戰勝AlphaGo？
李世石贏瞭一局，圍棋吧不少人都認為人類找到瞭克制AlphaGo的打狗棒法。就是不要把狗當人，不要用人的思維對待狗，我們需要大膽跳出以往的經驗，去尋找神之一手。結合前面的分析，我覺得這個思路是對的。本質上AlphaGo是在追隨人類圍棋的發展，如果人類不能跳出自己的窠臼，則隻會被在這個窠臼中算無遺策的AlphaGo碾壓。人類棋手可以通過自己的邏輯推理，尋找跳出當前局部最優的方法。但這也不是一件容易的事情，跳出經驗思維，更多的可能性是陷入更大的逆勢，這對人的要求太高瞭，也隻有頂尖棋手才有可能做到。而且AlphaGo也能夠不段的學習新的經驗，神之一手可能戰勝AlphaGo一次，但下一次就不見得有機會瞭。AlphaGo就如同練就瞭針對棋力的吸星大法，人類對他的挑戰隻會越來約困難。
六、AlphaGo能幹什麼以及不能幹什麼？
DeepMind的目標肯定不隻是圍棋，圍棋隻是一個儀式，來展示其在人工智能上的神跡。看公開報導，下一步可能是星際爭霸，然後是醫療，智能手機助手，甚至是政府，商業和戰爭決策等領域。
DemisHassabis在接受TheVerge采訪時透露DeepMind接下來關註的核心領域將會是個人手機助手。Hassabis認為目前的個人手機助手都是預編程的，過於脆弱，無法應變各種情況，而DeepMind想通過人工智能技術，特別是無監督的自我學習方式具有真正智能的真正智能手機助手。這是因為智能手機的輸入變化太多，需要巨量的訓練樣本才能學到有用的東西。而這正是AlphaGo目前主要依賴的方法。為此，Hassabis想挑戰讓機器的自我學習成為主要的學習方式，他對此充滿瞭信心。但我認為這個問題可能不是那麼好解決的，因為在AlphaGo中自我學習的作用是相對有限的。如果在圍棋這種相對簡單的環境中，自我學習的作用都相對有限，在更加復雜的環境中要能有很好的自我學習效果其挑戰會更加巨大。不過從我們TalkingData的角度來看，把我們的海量移動端數據和監督學習技術相結合，可能更容易實現Hassabis的設想。
我個人期待AlphaGo能夠創造更大的神跡，但同時也認為其應用還是有一定局限性的。因為並不是所有的實際問題都能找到這麼多的訓練數據。尤其在政府，商業和戰爭決策上，窮盡人類歷史也找不到多少精確的訓練集，而問題本身的復雜性又是超過圍棋這種完全信息博弈的。在這種情況下，恐怕很難學到足夠準確的策略網絡和價值網絡。這就使得AlphaGo的方法面對這些問題，可能是完全無法解決的。
七、AlphaGo到底意味著什麼？
雖然在圍棋這一被人類自認為是智能聖杯的特定領域，AlphaGo取得瞭巨大成就，但其基本機制並沒有什麼顛覆性的東西。要實現強人工智能的星辰大海，目前的計算機理論和技術可能隻算得上工質火箭。但是AlphaGo所代表的人工智能突破性的發展也不能被低估，工質火箭畢竟把人類帶入瞭太空時代。目前的人工智能在某些領域已經能夠更好的學習全人類的經驗的能力。也許人工智能很變頻冷氣推薦2017難創造出什麼，但是至少能把人類已經達到的高度推向更高，將人類從更多的重復性勞動中解放出來，也為我們創造更好的生活，更好的環境。AlphaGo是人類進步史上的一個重要臺階，但是它可能並不是人工智能崛起的黑色方碑。
本文經授權發佈，不代表36氪立場。如若轉載請註明出處。人工智能谷歌火箭贊+136氪的朋友們資深作者“點擊”盡享閱讀沉浸模式,
沉浸模式下點擊右上角按鈕返回
打開微信 掃一掃 ,
打開網頁後點擊屏幕
右上角 分享 按鈕
21+12參與討論提交評論登錄後參與討論相關文章柯潔最終向“AlphaGo升級版 低頭認輸？對人類來說這絕對不是一件壞事
文/宇多田
擁有自我意識和情感的超級人工智能到底會不會出現？
文/腦極體
AlphaGo Zero橫空出世，人機圍棋大戰正式收官：以後洗衣機推薦品牌不會再有這樣的戰爭瞭
文/36氪新媒體
贊助商 加載中
【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)筆電推薦【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)筆電推薦2017 【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G) 電腦價格【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)主機推薦 【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)推薦品牌 【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)筆電評價【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)學生筆電推薦【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)電競筆電推薦【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G) i7主機推薦 i5主機推薦 您或許有興趣的東西:
以前都花爸媽的錢這一次終於可以自己買電腦 ，自己出錢比較沒負擔，硬生生讓我等到折扣真的太好了
分期付款或是一次付清都有不同的優惠，我覺得真的是佛心來的~
以前爬文文章都說【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)滿不錯的，可以購買，看了很多規格確實不錯 我也觀望好久
好險還懂得一些不然現在電腦實在太多了都不知道要怎麼挑
現在就來說說 購買【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)的心路歷程
一開始沒打算在網路上購買的【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)我試過實體以後決定在網路上購買價格 比較便宜而且會送到家裡來
也是因為是在網路上販售並沒有在實體店面沒有那些人事費用價格就可以直接回饋價格給網民
而且這次申請帳號我還有拿到折價券(例如滿萬送千，所以我買兩萬多的電腦基本上就折兩千)
當然在購物商城買的話，除了有詳細的介紹以外，更有保障！！而且速度也很快~
↓↓↓限量折扣的優惠按鈕↓↓↓
- 品號：4631236
- i3-7100 雙核心處理器
- 1TB硬碟或120G SSD
- 技嘉GTX1050Ti-4G
【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)
討論,推薦,開箱,CP值,熱賣,團購,便宜,優惠,介紹,排行,精選,特價,周年慶,體驗,限時,品牌電腦推薦,電腦主機推薦,桌上型電腦推薦,筆記型電腦推薦,桌上型電腦價格,筆記型電腦價格,電腦推薦2017
↓↓↓現在馬上點擊購買↓↓↓
另外在推薦我平時會使用的平台可以比較價格找便宜~~
| 寶貝用品購物網推薦 | ||
| | 專門賣寶寶天然的清潔用品~~ | |
 | 韓國首選婦幼產品，既時尚又實用 | |
| | 適合給新手爸媽的嬰兒購物網，一應俱全! | |
| 各大購物網快速連結 | ||
 | 東森購物網 | 性質大多相同 建議每一家搜尋要購買的品項後 比對出能折價卷能扣最多的一家來消費保養品、化妝品我比較常在momo購物網買，切記是"購物網"才有正品保障!! |
 | 森森購物網 | |
 | udn買東西 | |
 | MOMO購物網 | |
 | 瘋狂麥克 | 有時候新鮮貨我都在瘋狂麥克找，基本上想找的，瘋狂賣客都會賣~ |
AlphaGo：黑色方碑？
AlphaGo：黑色方碑？36氪的朋友們???2016-03-15???深氪難道你已加入人類藥丸黨編者按：AlphaGo與李世石對戰的第四局，李世石終於扳回一局。這場人機大戰到底意味著什麼？人類已經打開瞭潘多拉魔盒嗎？AlphaGo的勝利是否意味著人工智能的黑色方碑已經出現?本文將從AlphaGo的原理入手逐步探討這個問題。本文作者 張夏天，36氪經授權轉載自微信公眾號 TalkingData（ID:TalkingData）。
AlphaGo與李世石的對戰已經進行瞭四局。前三局世人驚嘆於AlphaGo對李世石的全面碾壓，很多人直呼人類要完。因為被視為人類智能的聖杯－圍棋，在冷酷的機器（或者是瘋狂的小狗）面前變成瞭唾手可得的普通馬克杯，而人類的頂尖棋手似乎毫無還手之力。3月12號的第四局，李世石終於扳回一居，而且下瞭幾手讓人驚嘆的好棋。特別是第78手，圍棋吧很多人贊為“神之一手”，“名留青史”，“扼住命運喉嚨的一手”。因為這一局，圍棋吧的主流輿論已經從前幾天的震驚,嘆息，傷心，甚至是認為李世石收瞭谷歌的黑錢轉變為驚喜，甚至認為李世石已經找到瞭打狗棒法。而人類要完黨則認為這比AlphaGo5:0大勝更可怕，因為這隻狗甚至知道下假棋來麻痹人類，真是細思極恐。
不論怎樣，AlphaGo在與人類頂尖圍棋高手的對決中已經以3勝的優勢鎖定瞭勝局，李世石目前隻是在為人類的尊嚴而戰瞭。圍棋一年前還通常被認為是10年內都無法小冰箱推薦2017被人工智能攻克的防線，然而轉眼就變成瞭馬其諾防線瞭。那麼這場人機大戰到底意味著什麼？人類已經打開瞭潘多拉魔盒嗎？AlphaGo的勝利是否意味著人工智能的黑色方碑（圖1，請參見電影《2001：太空漫遊》）已經出現?本文將從AlphaGo的原理入手逐步探討這個問題。
圖1
一、AlphaGo的原理
網上介紹AlphaGo原理的文章已經有不少，但是我覺得想深入瞭解其原理的同學還是應該看看Nature上的論文原文“MasteringthegameofGowithdeepneuralnetworksandtreesearch”。雖然這篇文章有20頁，但是正文部分加上介紹部分細節的Method部分也就8頁，其中還包括瞭很多圖。個人覺得介紹AlphaGo的原理還是這篇最好。為瞭後面的討論方便，這裡對其原理做簡要總結。
對於圍棋這類完全信息博弈，從理論上來說可以通過暴力搜索所有可能的對弈過程來確定最優的走法。對於這類問題，其難度完全是由搜索的寬度和深度來決定的。1997年深藍解決瞭國際象棋，其每步的搜索寬度和深度分別約為35和80步。而圍棋每步的搜索寬度和深度則分別約為250和150步，搜索計算量遠遠超過國際象棋。減少搜索量的兩個基本原則是：1.通過評估局勢來減少搜索的深度，即當搜索到一定深度後通過一個近似局勢判斷函數(價值函數)來取代更深層次的搜索；2.通過策略函數來選擇寬度搜索的步驟，通過剔除低可能性的步驟來減少搜索寬度。很簡單的兩個原則，但難度在於減少搜索量和得到最優解之間是根本性矛盾的，如何在盡可能減少搜索量和盡可能逼近最優解之間做到很好的平衡才是最大的挑戰。
傳統的暴力搜索加剪枝的方法在圍棋問題上長期無法有大的突破，直到2006年蒙特卡洛樹搜索(MonteCarloTreeSearch)在圍棋上得到應用，使得人工智能圍棋的能力有瞭較大突破達到瞭前所未有的業餘5-6段的水平。MCTS把博弈過程的搜索當成一個多臂老虎機問題（multiarmedbanditproblem），采用UCT策略來平衡在不同搜索分支上的Exploration和Exploitation問題。MCTS與暴力搜索不同點在於它沒有嚴格意義的深度優先還是寬度優先，從搜索開始的跟節點，采用隨機策略挑選搜索分支，每一層都是如此，當隨機搜索完成一次後，又會重新回到根節點開始下一輪搜索。純隨機的搜索其效率是極低的，如同解決多臂老虎機的問題一樣，MCTS會記錄每次搜索獲得的收益，從而更新那些搜索路徑上的節點的勝率。在下一輪搜索時就可以給勝率更高的分支更高的搜索概率。當然為瞭平衡陷入局部最優的問題，概率選擇函數還會考慮一個分支的被搜索的次數，次數越少被選中的概率也會相應提高。面對圍棋這麼巨大的搜索空間，這個基本策略依然是不可行的。在每次搜索過程中的搜索深度還是必須予以限制。對於原始的MCTS采取的策略是當一個搜索節點其被搜索的次數小於一定閾值時（在AlphaGo中好像是40），就終止向下搜索。同時采用Simulation的策略，從該節點開始，通過一輪或者若幹輪隨機走棋來確定最後的收益。當搜索次數大於閾值時，則會將搜索節點向下擴展。Wikipedia上MCTS詞條中的示例圖（圖2）展示瞭MCTS的四個步驟：
圖2
1.選擇：根據子節點的勝率隨機選擇搜索路徑。
2.擴展：當葉子節點的搜索次數大於閾值時向下擴展出新的葉子節點（如無先驗則隨機選擇）。
3.仿真：從葉子節點開始隨機走棋一輪或者若幹輪得到終局的收益。
4.回傳：將此次搜索的結果回傳到搜索路徑的每個節點來更新勝率。
圖3
AlphaGo其基本原理也是基於MCTS的，其實一點也不深奧。但是AlphaGo在MCTS上做瞭兩個主要的優化工作，使得圍棋人工智能從業餘水平飛躍至職業頂尖水平。這兩個優化工作分別是策略網絡和價值網絡，這兩個網絡都是深度神經網絡，本質上是還是兩個函數。這兩個網絡分別解決什麼問題呢？在原始MCTS中的選擇步驟中，開始的那些搜索隻能純隨機的挑選子節點，其收斂效率顯然是很低的。而策略網絡以當前局勢為輸入，輸出每個合法走法的概率，這個概率就可以作為選擇步驟的先驗概率，加速搜索過程的收斂。而價值網絡則是在仿真那一步時直接根據當前局勢給出收益的估值。需要註意的是在AlphaGo中，價值網絡並不是取代瞭隨機走棋方法，而是與隨機走棋並行（隨機走棋在CPU上而價值網絡在GPU上運行）。然後將兩者的結果進行加權(系數為0.5)。當然AlphaGo的隨機走棋也應該是做瞭大量的優化工作，可能借鑒瞭之前的一些圍棋人工智能的工作。摘自AlphaGo論文的圖3清晰展示瞭策略網絡和價值網絡如何將圍棋人工智能的水平從業餘水平提升到職業水平（Rollouts就是隨機走棋）。因此AlphaGo的精髓就是在策略網絡和價值網絡上。
策略網絡可以抽象為,其中s為當前局勢，a為走法，其實就是在當前局勢下每一個合法走法的條件概率函數。為瞭得到這個函數，AlphaGo采用的監督學習的辦法，從KGSGoServer上拿到的三千萬個局勢訓練瞭深達13層的深度神經網絡。這一網絡能將走法預測準確度提高到57%。如果將這一問題看成一個多分類問題，在平均類別約為250個的情況下取得57%的精確度是十分驚人的。在這個訓練過程中，其目標是更看重走法對最後的勝負影響而不僅僅是對人類走法的預測精度。這個深度學習網絡的預測耗時也是相當大的（需要3毫秒）。為此AlphaGo又用更簡單的辦法訓練瞭一個快速策略函數作為備份，其預測精度隻有24.2%但是預測耗時僅為2微秒，低1000個數量級。需要註意的是，AlphaGo實際使用的策略網絡就是從人類棋譜中學到的策略網絡，而並沒有使用通過自我對弈來強化學習獲得的策略網絡。這是因為在實際對戰中，監督學習網絡比強化學習網絡效果要好。
價值網絡是個當值函數，可以抽象為，即當前局勢下的收益期望函數。價值網絡有14個隱層，其訓練是通過采用強化學習策略網絡AlphaGo的自我對弈過程中產生的局勢和最終的勝負來訓練這個函數。
強化學習或者說自我學習這個過程是大傢對AlphaGo最著迷的部分，也是藥丸黨最憂心的部分。這個過程甚至被解讀成瞭養蠱，無數個AlphaGo自我拼殺，最後留下一個氣度無比的。但讀完論文發現，強化學習的作用其實並沒有那麼大。首先是強化學習是在之前學習人類棋譜的監督學習網絡的基礎上進一步來學習的，而不是從0基礎開始。其次，強化學習網絡的並沒有用在實際博弈中，而是用在訓練價值網絡中。而且在訓練價值網絡中，並不是隻使用那條最強的蠱狗，而是會隨機使用不同的狗。個人認為，強化學習在AlphaGo中主要是用來創造具有不同風格的狗，然後通過這些不同風格的狗訓練價值網絡，從而避免價值網絡的過擬合。這可能是因為目前人類棋譜的數量不夠用來訓練足夠多的水平高的策略網絡來支持價值網絡的訓練。
二、AlphaGo到底從人類經驗中學到瞭什麼？
個人認為，AlphaGo有某種程度的超強學習能力，能夠輕松的學習人類有史以來所有下過的棋譜（隻要這些棋譜能夠數字化），並從這些人類的經驗中學到致勝的秘訣。但顯然，AlphaGo下圍棋的邏輯從人類看起來肯定是不優美的。MCTS框架與人類棋手的佈局謀篇完全沒有相同的地方，隻是冷冰冰的暴力計算加上概率的權衡。策略網絡學習瞭大量人類的策略經驗，可以非常好的判斷應該走哪一步，但並不是基於對圍棋的理解和邏輯推理。如果你要問為什麼要選擇這一步，策略網絡給出的回答會是歷史上這種情況90%的人都會走這一步。而策略網絡呢，學習的是當前局面的勝負優勢的判斷，但是它同樣無法給出一個邏輯性的回答，而隻能回答根據歷史經驗，這種局面贏的概率是60%這樣的答案。有些人說，這種能力近乎人的直覺，但我覺得人類直覺的機制應該比這復雜得多，我們的直覺無法給出判斷的概率，或者說人類的思維核心並不是概率性的。AlphaGo從大量人類經驗中學到瞭大量的相關性的規律（概率函數），但是確沒有學習到任何的因果性規律。這應該是AlphaGo和人類棋手最本質的區別瞭。
三、AlphaGo超越瞭人類的智能瞭嗎？
要回答這個問題，首先要明確超越的定義。如果說能打敗人類頂尖棋手，那AlphaGo在圍棋上的智能確實是超越瞭人類。但是假設，人類再也不玩圍棋瞭，沒有更新的人類棋譜，AlphaGo的圍棋智能還能提高嗎？從前面的分析看，AlphaGo的自我學習過程作用並不是那麼大，這點我是表示懷疑的。也許人類沉淀的經驗決定瞭AlphaGo能力的上界，這個上界可能會高於人類自身頂尖高手。但是當人類不能繼續發展圍棋，AlphaGo的能力也就會止步不前。
從理論上來說圍棋可能發生的變化數量是個170位數，這是人類和計算機的能力都無法窮盡的。無論是人類的邏輯推理，還是人工智能的搜索策略，陷入局部最優是無法避免的命運。而目前AlphaGo的機制，決定瞭其肯定是跟著人類掉進坑裡（某些局部最優）。如果人類不能不斷的挖掘新坑（新的局部最優，或者圍棋新的風格和流派），AlphaGo能跳出老坑的可能性並不是太大。從這個意義上來說，AlphaGo在圍棋上超越人類智能應該還沒有實現。
四、AlphaGo會故意輸給李世石嗎？
12號這一局有人認為是AlphaGo故意輸給李世石，或者為瞭保存實力，或者為瞭能夠進入排名。但是從Google公開的原理來看，其顯然不具備做這樣決策的機制。AlphaGo的機制就是追求當局取勝，完全沒有考慮各局之間的關系，更沒有人工智能偉大崛起的戰略目標。AlphaGo故意輸隻是句玩笑而已。真要說故意，那也隻可能是DeepMind中的人幹的事情。
五、人類能否戰勝AlphaGo？
李世石贏瞭一局，圍棋吧不少人都認為人類找到瞭克制AlphaGo的打狗棒法。就是不要把狗當人，不要用人的思維對待狗，我們需要大膽跳出以往的經驗，去尋找神之一手。結合前面的分析，我覺得這個思路是對的。本質上AlphaGo是在追隨人類圍棋的發展，如果人類不能跳出自己的窠臼，則隻會被在這個窠臼中算無遺策的AlphaGo碾壓。人類棋手可以通過自己的邏輯推理，尋找跳出當前局部最優的方法。但這也不是一件容易的事情，跳出經驗思維，更多的可能性是陷入更大的逆勢，這對人的要求太高瞭，也隻有頂尖棋手才有可能做到。而且AlphaGo也能夠不段的學習新的經驗，神之一手可能戰勝AlphaGo一次，但下一次就不見得有機會瞭。AlphaGo就如同練就瞭針對棋力的吸星大法，人類對他的挑戰隻會越來約困難。
六、AlphaGo能幹什麼以及不能幹什麼？
DeepMind的目標肯定不隻是圍棋，圍棋隻是一個儀式，來展示其在人工智能上的神跡。看公開報導，下一步可能是星際爭霸，然後是醫療，智能手機助手，甚至是政府，商業和戰爭決策等領域。
DemisHassabis在接受TheVerge采訪時透露DeepMind接下來關註的核心領域將會是個人手機助手。Hassabis認為目前的個人手機助手都是預編程的，過於脆弱，無法應變各種情況，而DeepMind想通過人工智能技術，特別是無監督的自我學習方式具有真正智能的真正智能手機助手。這是因為智能手機的輸入變化太多，需要巨量的訓練樣本才能學到有用的東西。而這正是AlphaGo目前主要依賴的方法。為此，Hassabis想挑戰讓機器的自我學習成為主要的學習方式，他對此充滿瞭信心。但我認為這個問題可能不是那麼好解決的，因為在AlphaGo中自我學習的作用是相對有限的。如果在圍棋這種相對簡單的環境中，自我學習的作用都相對有限，在更加復雜的環境中要能有很好的自我學習效果其挑戰會更加巨大。不過從我們TalkingData的角度來看，把我們的海量移動端數據和監督學習技術相結合，可能更容易實現Hassabis的設想。
我個人期待AlphaGo能夠創造更大的神跡，但同時也認為其應用還是有一定局限性的。因為並不是所有的實際問題都能找到這麼多的訓練數據。尤其在政府，商業和戰爭決策上，窮盡人類歷史也找不到多少精確的訓練集，而問題本身的復雜性又是超過圍棋這種完全信息博弈的。在這種情況下，恐怕很難學到足夠準確的策略網絡和價值網絡。這就使得AlphaGo的方法面對這些問題，可能是完全無法解決的。
七、AlphaGo到底意味著什麼？
雖然在圍棋這一被人類自認為是智能聖杯的特定領域，AlphaGo取得瞭巨大成就，但其基本機制並沒有什麼顛覆性的東西。要實現強人工智能的星辰大海，目前的計算機理論和技術可能隻算得上工質火箭。但是AlphaGo所代表的人工智能突破性的發展也不能被低估，工質火箭畢竟把人類帶入瞭太空時代。目前的人工智能在某些領域已經能夠更好的學習全人類的經驗的能力。也許人工智能很變頻冷氣推薦2017難創造出什麼，但是至少能把人類已經達到的高度推向更高，將人類從更多的重復性勞動中解放出來，也為我們創造更好的生活，更好的環境。AlphaGo是人類進步史上的一個重要臺階，但是它可能並不是人工智能崛起的黑色方碑。
本文經授權發佈，不代表36氪立場。如若轉載請註明出處。人工智能谷歌火箭贊+136氪的朋友們資深作者“點擊”盡享閱讀沉浸模式,
沉浸模式下點擊右上角按鈕返回
打開微信 掃一掃 ,
打開網頁後點擊屏幕
右上角 分享 按鈕
21+12參與討論提交評論登錄後參與討論相關文章柯潔最終向“AlphaGo升級版 低頭認輸？對人類來說這絕對不是一件壞事
文/宇多田
擁有自我意識和情感的超級人工智能到底會不會出現？
文/腦極體
AlphaGo Zero橫空出世，人機圍棋大戰正式收官：以後洗衣機推薦品牌不會再有這樣的戰爭瞭
文/36氪新媒體
贊助商 加載中
【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)筆電推薦【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)筆電推薦2017 【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G) 電腦價格【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)主機推薦 【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)推薦品牌 【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)筆電評價【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)學生筆電推薦【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G)電競筆電推薦【技嘉H110平台】i3雙核{荷絲提雅}GTX1050Ti獨顯 電玩機(i3-7100-4G-1T-GTX1050Ti-4G) i7主機推薦 i5主機推薦 您或許有興趣的東西:
-
#KEY_LIST_START#
- $2 #KEY_LIST_END#
- momo購物網推薦【Whirlpool 惠而浦】創易經典系列 13公斤洗脫烘滾筒洗衣機(WD13GW)特價下殺
- momo購物網推薦【Hello Kitty】電烤箱(OT-522)只剩此檔!!
- momo購物網推薦【日本iwaki】耐熱玻璃冰滴咖啡壺440ml(K8644-CL)不買後悔
AUGI SPORTS｜重機車靴｜重機車靴推薦｜重機專用車靴｜重機防摔鞋｜重機防摔鞋推薦｜重機防摔鞋
AUGI SPORTS｜augisports｜racing boots｜urban boots｜motorcycle boots
文章標籤
全站熱搜
留言列表
