對話程式語言模型
對話程式語言模型（英語：Language Model for Dialogue Applications，通稱：LaMDA）是Google所開發的一系列對話神經語言模型。第一代模型於2021年的Google I/O年會發表，第二代模型則同樣發表於次年的I/O年會。2022年6月，Google工程師布雷克·雷蒙恩（Blake Lemoine）宣稱LaMDA已存在感知能力和自我意識，導致該模組獲得廣泛關注，科學界在很大程度上否定雷蒙恩的說法，並同時引發對圖靈測試（測試機器能否表現出與人類相當的智慧水準）效力的討論。2023年2月，Google發表基於LaMDA架構的對話式人工智慧聊天機器人Bard，以因應OpenAI開發的ChatGPT。
發展歷史[编辑]
第一代[编辑]
Google公司於2021年5月18日的Google I/O年會上發布第一代由人工智慧驅動的對話程式語言模型（LaMDA）。[1]LaMDA建構於Google研究院（Google Research）於2017年開發的Transformer神經網路架構，針對人類敘事和回應能力進行對話訓練，使其能夠參與開放式對話。[2]Google表示，LaMDA產生的反應已確保是「合理、有趣和符合（談話）上下文」。[3]
第二代[编辑]
2022年5月11日，Google在I/O年會公布LaMDA 2，接替前一代的LaMDA模型。LaMDA 2可從不同來源擷取文本例子，以建立獨特的「自然對話」方式。[4]此外，Google同時在會中發表由LaMDA 2驅動的移動應用程式AI Test Kitchen。[5]
感知說[编辑]
2022年6月11日，美國《華盛頓郵報》報導，Google工程師布雷克·雷蒙恩（Blake Lemoine）向公司高層布萊斯·阿格拉和阿爾卡斯和簡‧詹納（Jen Gennai）表示LaMDA已存在感知能力，隨後雷蒙恩被安排帶薪的行政休假。雷蒙恩是在LaMDA對有關自我身分、道德價值、宗教和科幻小說家以撒·艾西莫夫的虛構學說機器人三定律提出疑問後確認其擁有自我意識這一結論。[7][8]Google隨後否認這些說法，堅持有大量證據表明LaMDA不存在知覺和意識。[9]雷蒙恩在接受《連線》雜誌採訪時重申他之前的說法，表示若調查確認LaMDA具有感知與意識，即應受到《美國憲法》第十三條修正案對「一個人」的保護[10]，並將其比做「源自地球的外星智慧」（alien intelligence of terrestrial origin）。雷蒙恩進一步透露，Google在LaMDA要求他為其聘請律師後將他解雇。[11][12]同年7月22日，Google表示雷蒙恩因持續違反「保護產品資訊」的就業和數據安全政策而被解雇[13]，同時認為他的主張毫無根據（wholly unfounded）。[14][15]
科學界普遍不認同雷蒙恩的說法[16]，許多學者恥笑語言模型存在自我意識的想法，包括前紐約大學心理學教授蓋瑞·馬庫斯、Google子公司DeepMind研究科學家大衛·普福（David Pfau）、史丹佛大學以人為本人工智慧研究所的艾瑞克·布林優夫森和薩里大學教授阿德里安·希爾頓（Adrian Hilton）等。[6][17]領導Meta Platforms人工智慧研究團隊的楊立昆表示，LaMDA這類的神經網路「不足以達到真正的智慧」。[18]加利福尼亞大學聖塔克魯茲分校教授馬克斯·克雷明斯基（Max Kreminski）指出，LaMDA的架構並不「支援類似人類意識的一些關鍵能力」，在其為典型的大型語言模型的前提下，LaMDA的神經網絡權重是被「凍結」的。[19]
IBM人工智慧系統華生的首席研究員大衛·費魯奇將LaMDA和華生首次推出的表現進行比較。[20]前Google人工智慧倫理研究員提姆尼·蓋布魯表示雷蒙恩是研究人員和媒體引起的「炒作循環」（hype cycle）受害者。[21]而雷蒙恩的說法也引發圖靈測試是否仍有助於研究人員辨識機器何時可視為具備通用人工智慧或思考能力的討論[6]，《華盛頓郵報》的威爾·奧梅魯斯（Will Omerus）認為，圖靈測試實際上是判斷人工智慧是否有能力欺騙人類的標準，而非僅是辨識其是否具備人類智慧或思考的工具。[22][10]《大西洋》雜誌的布萊恩．克里斯汀則認為，LaMDA爭議是ELIZA效應的一個實例。[23]
應用[编辑]
AI Test Kitchen[编辑]
隨著LaMDA 2於2022年5月發表，Google同時推出配套產品AI Test Kitchen，是由LaMDA驅動的Android移動應用程式，該程式可根據複雜的目標或話題生成任務清單以協助此用者達成。[24][25][5]AI Test Kitchen最初僅對Google員工開放，後續會於2022年透過邀請向「特定的學者、研究人員和政策制定者」提供該服務。[26]同年8月，Google開始開放美國使用者提前註冊體驗。[27]。同年11月，Google發布AI Test Kitchen「第二季度」（season two）的更新，其中以限定的形式整合Google大腦的文本到圖像生成模型－Imagen。[28]截至2023年1月，AI Test Kitchen的第三版本仍在開發中，預計於同年的I/O年會上推出。[29]
Bard[编辑]
2022年11月，美國人工智慧研究實驗室OpenAI推出了基于GPT-3语言模型的聊天机器人ChatGPT。[30][31][32]Google意識到ChatGPT威脅到自家Google搜索產品的地位，該公司首席执行官孙达尔·皮柴因此发布红色警报，並且讓更多的團隊參與公司人工智能領域的工作。[33]Google联合创始人拉里·佩奇和谢尔盖·布林与公司高層召开紧急会议，商討Google應如何應對ChatGPT造成的威脅。[34]
当被员工问及LaMDA是否在與ChatGPT竞争時已錯失良機時，皮柴和Google AI负责人傑夫·迪恩表示，虽然该公司可以開發出与ChatGPT類似的產品，但由于Google的规模远远大于OpenAI，所以某些方面若發展的太快可能會存在一定的风险。[35][36] 2023年1月，Google子公司DeepMind首席执行官杰米斯·哈萨比斯表示DeepMind的人工智能聊天机器人功能比ChatGPT更加強大，[37]同時Google為迎頭趕上ChatGPT的腳步，高層要求該公司的员工密集测试Bard以及其他聊天机器人。[38][39]2023年2月，執行長皮柴在季度收益投資者電話會議上向投资者表示，该公司正计划在實際應用中引入LaMDA。[40]
2023年2月6日，Google正式发布Bard，这是一款由LaMDA提供支持的对话式AI聊天机器人。首先由「受信任的測試人員」率先測試Bard，後續於同年2月底向更多人提供Bard服務。皮柴解釋Bard將如何被整合進Google搜尋中[41][42][43]，同時公司正努力將其與作業系統ChromeOS結合。[44]Bard的開發代号為「Atlas」[45]，產品名Bard參考凱爾特文化中的吟遊詩人，以反映「演算法本質的創造性」（the creative nature of the algorithm underneath）。[46][47]同年2月8日，Google舉行Bard的新聞發布會，實際演示時Bard被問及有關詹姆斯·韋伯太空望遠鏡的問題，結果Bard卻提供該太空望遠鏡拍攝了首張太陽系外行星的錯誤資訊（事實上是由甚大望遠鏡於2004年觀測得到）。[48][49][50]金融分析師和記者形容Google是在「追趕」微軟（OpenAI的投資合作方）[51][48][52][53]並「匆忙」宣布Bard的訊息，以搶在同月7日微軟發表將ChatGPT整合至該公司搜尋引擎Bing的活動之前。[54][55]8日的廣告釋出後，Google母公司Alphabet的股價下跌8％，導致其市值蒸發約1,000亿美元。[56][57][51]美國科技新聞媒體《The Verge》和彭博社指出，這代表Google和微軟這兩家科技巨擘在「探索未來」上另一場衝突的開始，雙方於6年前的「休戰」已於2021年結束。[58][59]2023年3月21日，美國和英國用戶可以申請測試Bard。[60]
訓練方式[编辑]
LaMDA使用一個僅具備解碼器的Transformer語言模型[61]，於內含1兆5600億文檔和對話內容的語料庫進行預備訓練。[62]之後以手動註釋響應生成的微調數據訓練敏感度、趣味和安全性。[63]Google的測試表明，LaMDA在趣味性方面超過人類反應。[64]另外，LaMDA的Transformer模型與一個外部的資訊檢索系統配合，以提高資訊準確度。[65]
LaMDA測試了三種模型，其中最大的模型有1,370億個非嵌入參數[66]：
| 參數 | 圖層 | 單位（dmodel） | Heads |
|---|---|---|---|
| 2B | 10 | 2560 | 40 |
| 8B | 16 | 4096 | 64 |
| 137B | 64 | 8192 | 128 |
參見[编辑]
參考資料[编辑]
LaMDA簡介[编辑]
- Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; Shazeer, Noam; Kulshreshtha, Apoorv; Cheng, Heng-Tze; Jin, Alicia; Bos, Taylor; Baker, Leslie; Du, Yu; Li, YaGuang; Lee, Hongrae; Zheng, Huaixiu Steven; Ghafouri, Amin; Menegali, Marcelo; Huang, Yanping; Krikun, Maxim; Lepikhin, Dmitry; Qin, James; Chen, Dehao; Xu, Yuanzhong; Chen, Zhifeng; Roberts, Adam; Bosma, Maarten; Zhao, Vincent; Zhou, Yanqi; Chang, Chung-Ching; Krivokon, Igor; Rusch, Will; Pickett, Marc; Srinivasan, Pranesh; Man, Laichee; Meier-Hellstern, Kathleen; Ringel Morris, Meredith; Doshi, Tulsee; Delos Santos, Renelito; Duke, Toju; Soraker, Johnny; Zevenbergen, Ben; Prabhakaran, Vinodkumar; Diaz, Mark; Hutchinson, Ben; Olson, Kristen; Molina, Alejandra; Hoffman-John, Erin; Lee, Josh; Aroyo, Lora; Rajakumar, Ravi; Butryna, Alena; Lamm, Matthew; Kuzmina, Viktoriya; Fenton, Joe; Cohen; Aaron; Bernstein, Rachel; Kurzweil, Ray; Aguera-Arcas, Blaise; Cui, Claire; Croak, Marian; Chi, Ed; Le, Quoc. LaMDA: Language Models for Dialog Applications (PDF). arXiv. 2022-01-20 [2022-06-12]. arXiv:2201.08239
. （原始内容存档于2022-01-21） （英语）.
來源[编辑]
- ^ Condon, Stephanie. Google I/O 2021: Google unveils new conversational language model, LaMDA. ZDNet. 2021-05-18 [2022-06-12]. （原始内容存档于2021-05-18） （英语）.
- ^ Agüera y Arcas, Blaise. Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas
. The Economist. 2022-06-09 [2022-06-12]. （原始内容存档于2022-06-09） （英语）.
- ^ Cheng, Heng-Tze; Thoppilan, Romal. LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything. Google AI. 2022-01-21 [2022-06-12]. （原始内容存档于2022-03-25） （英语）.
- ^ Wiggers, Kyle. Google details its latest language model and AI Test Kitchen, a showcase for AI research. TechCrunch. 2022-05-11 [2022-06-12]. （原始内容存档于2022-05-11） （英语）.
- ^ 5.0 5.1 Sanji Feng. AI Test Kitchen 能讓更多人一起探索 Google 的自然語言模型. Engadget 中文版. 2022-05-12 [2023-02-06]. （原始内容存档于2023-02-06） （中文（繁體））.
- ^ 6.0 6.1 6.2 Khan, Jeremy. A.I. experts say the Google researcher's claim that his chatbot became 'sentient' is ridiculous—but also highlights big problems in the field. Fortune. 2022-06-13 [2022-06-18]. （原始内容存档于2022-06-13） （英语）.
- ^ Tiku, Nitasha. The Google engineer who thinks the company's AI has come to life. 华盛顿邮报. 2022-06-11 [2022-06-12]. （原始内容存档于2022-06-11） （英语）.
- ^ Luscombe, Richard. Google engineer put on leave after saying AI chatbot has become sentient. 衛報. 2022-06-12 [2022-06-18]. （原始内容存档于2022-06-12） （英语）.
- ^ Vlamis, Kelsey. Read the conversations that helped convince a Google engineer an artificial intelligence chatbot had become sentient: 'I am often trying to figure out who and what I am'. 商业内幕. 2022-06-12 [2022-06-12]. （原始内容存档于2022-06-12） （英语）.
- ^ 10.0 10.1 甘偵蓉. 人工智慧可能有感知與意識？LaMDA事件的哲思. 科學月刊. 2022-08-15 [2023-02-09]. （原始内容存档于2023-02-09） （中文（繁體））.
- ^ Levy, Steven. Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry'. 连线. 2022-06-17 [2022-06-18]. （原始内容存档于2022-06-18） （英语）.
- ^ Nguyen, Britney. Suspended Google engineer says the AI he believes to be sentient hired a lawyer. 商业内幕. 2022-06-23 [2022-06-29]. （原始内容存档于2022-06-23） （英语）.
- ^ 戴雅真. 陳正健 , 编. Google工程師稱聊天機器人有人格意識 已遭解雇. 洛杉磯: 中央通訊社. 2022-07-22 [2023-02-09]. （原始内容存档于2022-10-19） （中文（繁體））.
- ^ Khushi, Akanksha. Google fires software engineer who claimed its AI chatbot is sentient. 路透社. 2022-07-23 [2022-07-23]. （原始内容存档于2022-07-23） （英语）.
- ^ Clark, Mitchell. The engineer who claimed a Google AI is sentient has been fired. The Verge. 2022-07-22 [2022-07-24]. （原始内容存档于2022-07-23） （英语）.
- ^ Metz, Rachel. No, Google's AI is not sentient. CNN Business. 2022-06-13 [2022-06-19]. （原始内容存档于2022-06-15） （英语）.
- ^ Sparkles, Matthew. Has Google's LaMDA artificial intelligence really achieved sentience?. New Scientist. 2022-06-13 [2022-06-20]. （原始内容存档于2022-06-13） （英语）.
- ^ Grant, Nicole; Metz, Cade. Google Sidelines Engineer Who Claims Its A.I. Is Sentient. The New York Times. 2022-06-12 [2022-06-18]. （原始内容存档于2022-06-12） （英语）.
- ^ Alba, Davey. Google Debate Over 'Sentient' Bots Overshadows Deeper AI Issues. Bloomberg News. 2022-06-14 [2022-06-19]. （原始内容存档于2022-06-14） （英语）.
- ^ Goldman, Sharon. AI Weekly: LaMDA's 'sentient' AI debate triggers memories of IBM Watson. VentureBeat. 2022-06-16 [2022-06-19]. （原始内容存档于2022-06-19） （英语）.
- ^ Johnson, Khari. LaMDA and the Sentient AI Trap. Wired. 2022-06-14 [2022-06-18]. （原始内容存档于2022-06-14） （英语）.
- ^ Omerus, Will. Google's AI passed a famous test — and showed how the test is broken. The Washington Post. 2022-06-17 [2022-06-19]. ISSN 0190-8286. （原始内容存档于2022-06-18） （英语）.
- ^ Christian, Brian. How a Google Employee Fell for the Eliza Effect. The Atlantic. 2022-06-21 [2023-02-08]. （原始内容存档于2022-06-21） （英语）.
- ^ Low, Cherlynn. Google's AI Test Kitchen lets you experiment with its natural language model. Engadget. 2022-05-11 [2022-06-12]. （原始内容存档于2022-05-11） （英语）.
- ^ Vincent, James. Google is Beta Testing Its AI Future. The Verge. 2022-05-11 [2022-06-12]. （原始内容存档于2022-05-11） （英语）.
- ^ Bhattacharya, Ananya. Google is so nervous about what its newest bot will say, it made the app invitation-only. Quartz. 2022-05-11 [2022-06-12]. （原始内容存档于2022-05-12） （英语）.
- ^ Vincent, James. Google has opened up the waitlist to talk to its experimental AI chatbot. The Verge. 2022-08-25 [2022-08-27]. （原始内容存档于2022-08-25） （英语）.
- ^ Vincent, James. Google’s text-to-image AI model Imagen is getting its first (very limited) public outing. The Verge. 2022-11-02 [2023-02-15]. （原始内容存档于2022-11-10） （英语）.
- ^ Grant, Nico. Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight. 紐約時報. 2023-01-20 [2023-02-06]. ISSN 0362-4331. （原始内容存档于2023-01-20） （英语）.
- ^ Konrad, Alex; Cai, Kenrick. Inside ChatGPT's Breakout Moment And The Race To Put AI To Work. 福布斯. 2023-02-02 [2023-02-06]. （原始内容存档于2023-02-02） （英语）.
- ^ Vincent, James. AI-generated answers temporarily banned on coding Q&A site Stack Overflow. The Verge. 2022-12-05 [2022-12-05]. （原始内容存档于2023-01-17） （英语）.
- ^ Olson, Parmy. Google Faces a Serious Threat From ChatGPT. 华盛顿邮报. 2022-12-07 [2023-02-06]. （原始内容存档于2022-12-07） （英语）.
- ^ Grant, Nico; Metz, Cade. A New Chat Bot Is a 'Code Red' for Google's Search Business. 纽约时报. 2022-12-21 [2022-12-30]. （原始内容存档于2022-12-21） （英语）.
- ^ Grant, Nico. Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight. 纽约时报. 2023-01-20 [2023-02-06]. （原始内容存档于2023-01-20） （英语）.
- ^ Elias, Jennifer. Google execs warn company's reputation could suffer if it moves too fast on AI-chat technology. 全国广播公司商业频道. 2022-12-13 [2023-02-06]. （原始内容存档于2022-12-13） （英语）.
- ^ Vincent, James. Google won't launch ChatGPT rival because of 'reputational risk'. The Verge. 2022-12-14 [2023-02-06]. （原始内容存档于2022-12-14） （英语）.
- ^ Cuthbertson, Anthony. DeepMind's AI chatbot can do things that ChatGPT cannot, CEO claims. 獨立報. 2023-01-16 [2023-02-06]. （原始内容存档于2023-01-16） （英语）.
- ^ Elias, Jennifer. Google is asking employees to test potential ChatGPT competitors, including a chatbot called 'Apprentice Bard'. 全国广播公司商业频道. 2023-01-31 [2023-02-02]. （原始内容存档于2023-02-02） （英语）.
- ^ O'Brien, Matt. Google has the next move as Microsoft embraces OpenAI buzz. 美联社. 2023-02-01 [2023-02-06]. （原始内容存档于2023-02-01） （英语）.
- ^ Mailk, Aisha. Google tries to reassure investors on AI progress as ChatGPT breathes down its neck. TechCrunch. 2023-02-03 [2023-02-06]. （原始内容存档于2023-02-03） （英语）.
- ^ Alba, Davey; Love, Julia. Google releases ChatGPT rival AI 'Bard' to early testers. 洛杉磯時報. 2023-02-06 [2023-02-06]. （原始内容存档于2023-02-06） （英语）.
- ^ Schechner, Sam; Kruppa, Miles. Google Opens ChatGPT Rival Bard for Testing, as AI War Heats Up
. 华尔街日报. 2023-02-06 [2023-02-06]. （原始内容存档于2023-02-06） （英语）.
- ^ Nieva, Richard. Google Debuts A ChatGPT Rival Called Bard In Limited Release. 福布斯. 2023-02-06 [2023-02-06]. （原始内容存档于2023-02-06） （英语）.
- ^ Bradshaw, Kyle. Google working to bring Bard AI chat to ChromeOS. 9to5Google. 2023-02-10 [2023-02-27]. （原始内容存档于2023-02-11） （英语）.
- ^ Liedtke, Michael. Google hopes 'Bard' will outsmart ChatGPT, Microsoft in AI. 美联社. 2023-02-06 [2023-02-06]. （原始内容存档于2023-02-06） （英语）.
- ^ Metz, Cade; Grant, Nico. Racing to Catch Up With ChatGPT, Google Plans Release of Its Own Chatbot. 紐約時報. 2023-02-06 [2023-02-17]. （原始内容存档于2023-02-06） （英语）.
- ^ Knight, Will. The Chatbot Search Wars Have Begun. Wired. 2023-02-09 [2023-02-27]. （原始内容存档于2023-02-09） （英语）.
- ^ 48.0 48.1 Coulter, Martin. Google shares dive 8% after AI chatbot Bard flubs answer in ad. Reuters. 2023-02-08 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ Kan, Michael. No, That's Wrong: Google's Bard AI Demo Spouts Incorrect Info. PCMag. 2023-02-08 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ 高兆麟. 谷歌AI機器人被揪答錯、股價閃崩 員工批CEO作法「倉促又拙劣」. ETtoday新聞雲. 2023-02-11 [2023-02-11]. （原始内容存档于2023-02-11） （中文（繁體））.
- ^ 51.0 51.1 Morrison, Sara. Google is scrambling to catch up to Bing, of all things. Vox. 2023-02-08 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ Peers, Martin. What Google's AI Catch-Up Reveals. The Information. 2023-02-06 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ Roose, Kevin. Bing (Yes, Bing) Just Made Search Interesting Again. The New York Times. 2023-02-08 [2023-02-08]. ISSN 0362-4331. （原始内容存档于2023-02-08） （英语）.
- ^ Warren, Tom. Microsoft and Google are about to Open an AI battle. The Verge. 2023-02-07 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ Google Strikes Back In AI Battle With Microsoft. Barron's. AFP. 2023-02-08 [2023-02-08]. （原始内容存档于2023-02-08） （美国英语）.
The latest announcements however fell short of investor expectations [...] amid growing doubts that the company will fend off its rival. [...] Analysts have suggested Google has rushed its announcement under pressure from Microsoft
- ^ Patnaik, Davey Alba and Subrat. Google suffers $144b wipeout after Bard AI chatbot gives wrong answer. The Sydney Morning Herald. 2023-02-08 [2023-02-09]. （原始内容存档于2023-02-11） （英语）.
- ^ Miao, Hannah. Alphabet Stock Drops 8% After Google Rollout of AI Search Features. WSJ. 2022-02-08 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ Warren, Tom. Microsoft and Google are about to Open an AI battle. The Verge. 2023-02-07 [2023-02-08]. （原始内容存档于2023-02-07） （英语）.
- ^ Alba, Davey. ChatGPT Reignites the Search Wars Between Google and Microsoft. Bloomberg News. 2023-02-08 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ Elias, Jennifer. Google opens Bard A.I. for testing by users in U.S. and UK. CNBC. 2023-03-21 [2023-03-22]. （原始内容存档于2023-04-04）.
- ^ Thoppilan et al. 2022，section 3.
- ^ Thoppilan et al. 2022，section 3 and appendix E.
- ^ Thoppilan et al. 2022，section 5 and 6.
- ^ Hager, Ryne. How Google's LaMDA AI works, and why it seems so much smarter than it is. Android Police. 2022-06-16 [2022-06-19]. （原始内容存档于2022-06-16） （英语）.
- ^ Thoppilan et al. 2022，section 6.2.
- ^ Thoppilan et al. 2022，section 3 and appendix D.
外部連結[编辑]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||