越來越像人類的模型
凌晨1點，我還在追劇。
這時，朋友發來一則訊息說：Open AI發布了新模型，你在電腦上試試看能用嗎？哎，大哥，都要睡覺了，這要強制開機，讓我起來加班碼字啊。
帶著好奇，打開PC端ChatGPT一看，果然，多出兩個模型， 分別是ChatGPT 01-mini和01-preview。
這是什麼東東？怎麼叫這個名字？這個模型有什麼特色？怎麼還有兩個版本呢？價位如何？難道是先前被傳承的「草莓」做出來了？
帶著疑惑，熬夜看完官方文檔，把內容總結分享給你。
01為什麼叫01？官方說：
For complex reasoning tasks this is a significant advancement and represents a new level of AI capability. Given this, we are resetting the counter back to 1 and naming this series OpenAI o1。
我用自備瀏覽器的翻譯功能，翻譯出來就是：
這個模型在複雜推理任務上是一個重大的進步，代表了人工智慧能力的一個新層次；因此，我們決定重新開始編號，把這一系列模型命名為OpenAI 01。
襖，原來因為這個模型非常厲害，能做很多複雜的事情，OpenAI 覺得這是一個新的起點，所以把編號重新設為1，開始一個新的系列。
那麼，為什麼它會有兩個版本呢？官方說：
o1 mini版是個簡化的版本。它在速度、體積和成本方面都做了最佳化。
這個版本在處理數學、程式設計推理任務時表現不錯，特別適合需要快速處理問題的場合；因為它體積小，成本也低，所以，如果你想快速得到答案，那麼o1 mini版可能更適合你。
相對01 preview版，是完整版本。
比較擅長解決複雜的問題，例如，無論是科學問題、數學題還是編程，它都能處理得非常好；當然，如果你遇到的問題要廣泛的知識或者深刻的理解，那麼這個版本更適合你，因為它的推理能力非常強大。
我不相信，於是，讓國產大模型Kimi Chat給我想了一個邏輯數學邏輯題，如下：
假設我有一個農場，裡面有雞和兔子。有一天，我數了一下農場裡動物的頭和腳，發現總共有35個頭和94隻腳。請問，農場裡各有幾隻雞和兔子？
preview版的確很強。除了告訴我有23隻雞，和12隻兔子外，還給了步驟，整個下來，也不到2秒。當然，這個測驗用來對付Chat肯定是無壓力的，如果你有時間，也可以帶入工作中的問題，自己體驗下。
總的來說，兩個版本的主要區別是它們處理任務的能力、速度和成本；o1 mini版在速度、成本上有優勢；preview版更適合推理。
不過，實際體驗下來，沒覺得有什麼差異，也許我本身要它做的事情，比較簡單。
體驗完後，仔細一想，這和GPT-4o、GPT-4omini有啥差別呢？非要搞出四個模型嗎？加上GPT-4，我電腦上已經有五個模型了。
查了一下官方文檔，有一篇文章叫《用法學碩士學習推理》（Learning to Reason with LLMs）詳細介紹了一切。
他們是這麼說的：
在對OpenAI的兩個AI模型－o1-preview和GPT-4o的實際使用偏好測驗中，人類評估者在不知情的情況下，比較了兩個模型對複雜問題的回答。
結果顯示，在需要大量推理的任務上，例如數據分析、程式設計和數學問題，大家更喜歡o1-preview。因為o1-preview經過特殊的強化學習訓練，所以，在解決這類問題時，推理能力更強，更有效率。
但是，在自然語言處理任務上，o1-preview的表現不如GPT-4o。這是因為它的訓練重點在推理和解決問題的策略上，而不是在語言的流暢度或文本生成的多樣性上。
這說明，雖然o1-preview在某些領域很出色，但它並不適合所有類型的任務，尤其是那些專注於自然語言處理的場景。
原來如此。
我又看了看o1-preview和o1 mini版適合哪些人。官方說，如果你在處理科學、編碼、數學等領域的複雜問題，這些增強的推理能力可能特別有用。
如：
醫療研究人員可以用o1來標註細胞定序資料；物理學家可以產生量子光學所需的複雜數學公式；各領域的開發者都可以用o1來建構和執行多步驟的工作流程。
所以，如果你做科學、敲程式碼、程式設計、數學方面的工作，用它再好不過了。
02那麼，o1-preview和o1 mini到底做了哪些測試呢？
首先，為了顯示o1模型在推理方面比GPT-4o有多大改進， 他們在不同的人體檢查和機器學習基準上測試了它。
如：
在2024年的AIME數學考試中，GPT-4o平均只解決了12%的題目；而o1模型單次測驗的平均解題率達到了74%。如果算上64次測試的平均得分，能達到83%；重新從1000個樣本中排名，平均得分甚至可以達到93%。
這個成績不僅讓它進入了全美前500名，還超過了參加美國數學奧林匹克的分數線。
他們也用一個叫做GPQA鑽石的難題來測試o1。這個測試涉及化學、物理和生物學的專業知識。
他們請了一些擁有博士學位的專家來回答這些問題，結果發現，o1模型的表現超過了人類專家，成為第一個在這個測驗中取得這樣成績的模型。
這並不意味著o1在所有方面都比博士更厲害，而是說明它在解決某些專業問題上更為熟練。
當然，在其他一些機器學習的測試中，他們也做了大量測試 ；它在MMMU的視覺感知測試中得了78.2分，成為第一個能和人類專家競爭的模型；而且，在57個MMLU子測試在中的54個項目上，它的表現都優於GPT-4o。
我好奇地搜尋了一下，什麼是 MMLU？ 簡單講， MMLU 像一場大型的綜合考試，參加考試的不是人類，而是人工智慧模型。
總之，這些測試最終結論是：
OpenAI的o1模型在全球程式設計比賽Codeforces中排名第89位，在美國數學奧林匹克（AIME）的資格賽中，進入了全美前500名。
在物理、生物和化學問題的測試中，它的表現甚至超過了博士水平。
因此，o1-preview和o1 mini在解決高難度的推理和專業問題上表現更出色；而GPT-4o更適合處理日常的任務。
03所以，這麼強的推理能力怎麼實現的？關鍵有四個面向：
首先，o1模型用了一種「自我對弈強化學習」（Self-play RL）的方法；這是一種透過模擬環境和自我對抗來提升模型表現的技術。
在這種方法中，模型在沒有外部指導，透過不斷嘗試和錯誤來學習策略和優化決策。
想像一下：
它就像在跟自己下棋，一邊玩一邊學；過程中，不用別人教，自己試試、出錯、再試，慢慢就學會了怎樣做決策和解決問題。
其次，o1也模仿了人類的「慢思考」（Slow Thinking） ；這種思考要時間、努力和邏輯三者結合，就像我們在考試時仔細思考一個難題一樣。
透過深思熟慮方式，o1先分析問題，然後把它拆開，再推理，再解決；這讓它在科學、程式設計或數學上更精準，更出色。
當然，這一步離不開思維鏈。
思考鏈的推理，也用一種獨特的方法來監控模型。如果這些思考鍊是可讀的，研發人員就能「讀懂」模型的思考過程。
這對於監測模型是否能操縱使用者行為非常有幫助，但是，為了讓模型能自由地表達思考，他們不在模型中加入任何與政策、使用者偏好相關的硬性規定。
因此，這個模型整合了安全政策和人類價值觀，過度在模型的答案中重現思維鏈中的有用想法，讓使用者間接了解模型的思考過程。
還有一點，思維鏈加入了穩健性（Robustness）測驗。所謂穩健性指一個系統、模型或設備在面對各種意外情況、幹擾或變化時，仍能正常運作，不容易出問題。
如：
一輛車，無論在高溫、低溫、下雨或顛簸的路面上，都能正常行駛，這顯示它的魯棒性很好； 在AI領域，魯棒性指軟體、模型在面對不同的數據輸入、錯誤，甚至惡意攻擊時，仍能保持穩定和準確。
所以，魯棒性強調的是在各種複雜、多變的環境下，還是能維持可靠穩定的性能。
除以上兩點，o1在訓練時也用上了資料飛輪（Data Flywheel） ；它的正確答案會被用來再訓練它自己，幫助它變得更聰明。
當然，為支持這些複雜的思考任務，o1也用了一些特別優化的演算法、架構。這些技術讓它更快、更準確地解決問題，提高了它的整體能力。
總之，o1模型訓練著重五個維度：
一，自我對弈強化學習、二，模仿人類慢思考、三，拆解了思考鏈的過程；四，在思考鏈中加入了穩健性測驗；五，資料飛輪再強化。
看完官網文檔，說穿了，我覺得他們讓AI更像人了。
04再強大的東西，不商業化肯定不行。那麼，o1模型的成本和使用限制有哪些呢？
o1-preview的價格是：
每處理一百萬個輸入要花15美元，每處理一百萬個輸出則是60美元；這說明，如果你用這個版本，輸入和輸出的處理費用會比較高。
真貴啊。這是什麼概念？舉個例子：
如果你每天和這個模型聊天100次，每次輸入1000個單詞，那麼一天的費用是75美分乘以100次，等於75美元。照現在匯率，75美元大概等於540人民幣。
這樣看來，使用這個模型的成本相當於每天花540塊。如果你每天都這麼使用，一個月下來的花費就非常可觀了，堪比請一個專家了。
而o1-mini的價格便宜一些。
每一百萬個輸入只需3美元，每一百萬個輸出12美元。但這個便宜版在功能上可能會有些限制；如果你是ChatGPT Plus或Team的用戶，就可以優先嘗試o1模型的功能。
對開發者來說，要求就嚴格多了，只有支付了1000美元的五級開發者才能使用這個模型，而且每分鐘只能呼叫20次。
至於API的呼叫限制，o1-preview每週只能呼叫30次，o1-mini每週可以呼叫50次。這種限制是按週來算的，不是按小時或分鐘。
功能方面， 目前的o1模型還無法支援所有的功能，例如理解圖片、產生圖片、解釋程式碼、網頁搜尋等。所以，用戶現在只能用它來進行基本的對話。
官方還說：
雖然現在o1模型成本較高，使用也有限，但隨著技術發展和OpenAI的不斷改進，預計將來會有更多用戶能使用到這個模型，成本也可能會降低。
不管怎能說，AI越來越像人一樣「深思熟慮」了，至於這個模型，誰會付費呢？誰又能為它支付1000美金呢？或許，只有大公司、研究機構、有特定需求的專業人士才能負擔得起。
那到時候，真是就成了花錢請了一個「AI專家」，所以，AI會替代專家嗎？
總結
越來越像人的模型。
誰也猜不到，未來的o1-preview（mini）會發展成什麼樣，至少，它肯定不會是個普通的GPT。
它會發展成具身智能嗎？有這個可能。隨著科技不斷進步，o1-preview（mini）很大機率會改變一些產業的運作方式。
OpenAI新一代模式已經可以付費使用了，趕緊開一張虛擬卡，你也可以用起來！ ！ ！牛牛Visa@Master Card就是一個專門提供虛擬卡的平台，有興趣的朋友可以添加客服TG（@bullbull1999）諮詢了解。
