隨著GPT-4等大型語言模型(LLM)的進一步發展,它們自然會更好地利用可用信息來生成幾乎任何主題的有用文本——不僅是短語或句子,而且是整個文檔。
【資料圖】
根據康奈爾大學的一項新研究,在個人通信至關重要且幾乎不可能的領域——代議制政府——使用AI編寫完整消息似乎比使用AI生成單個句子更有效。
由藝術與科學學院(A&S)政府系JohnL.Wetherill教授兼康奈爾大學JebE.Brooks公共政策學院康奈爾技術政策研究所所長SarahKreps領導的研究小組進行了測試一個AI介導的通信程序,用于查看消息級建議文本是否比句子級建議更有用。
克雷普斯和她的團隊發現,扮演國會工作人員角色的研究參與者在收到消息級建議時比收到單個句子建議的人反應更快,對體驗更滿意。
“這幾乎是一種成本效益效用計算,”克雷普斯說,并指出民選官員每周可以收到數千封電子郵件,有時甚至每天。“一旦你使用了這個工具,如果消息級別的建議足夠好(看起來確實如此),那么使用消息級別而不是句子級別是有意義的,因為句子級別需要更多的人機交互。”
Kreps的論文“ComparingSentence-LevelSuggestionstoMessage-LevelSuggestionsinAI-MediatedCommunication”發表在2023年CHI計算系統人為因素會議論文集(CHI"23)上。第一作者是傅立業博士。"22,信息技術集團湯森路透的應用研究科學家。該論文的一個版本當前可在arXiv預印本服務器上獲得。
合著者BenjaminNewman(西雅圖艾倫人工智能研究所研究員)和MauriceJakesch博士。"22,將在計劃于4月23日至28日在德國漢堡舉行的CHI"23上展示該論文。
克雷普斯也是一名法學兼職教授,她說她在之前研究立法者是否容易受到人工智能生成的信息影響的研究中產生了這項工作的想法。一位國會議員告訴她,用不了多久“我們就會使用AI來響應AI編寫的消息,”Kreps說。“他說,‘那真是太好了,因為我們收到了很多電子郵件,其中很多都是重復的,所以這些工具可能真的很有價值。’”
克雷普斯說,立法者已經將“99.999%”的電子郵件通信外包給工作人員,所以也許人工智能可以處理這項工作。“無論如何,員工基本上只是在進行剪切和粘貼,”她說。“所以這些人工智能工具實際上與員工現在所做的并沒有明顯的不同。”
為了這項工作,Fu和康奈爾鮑爾斯計算與信息科學學院的一群計算機科學本科生開發了Dispatch,這是一個可以模擬員工回復選民電子郵件過程的應用程序。Kreps招募了120名參與者作為立法人員,并將他們置于三種實驗條件之一:40名參與者沒有得到AI生成的幫助;40條收到句子級別的建議;40條收到消息級別的建議,兩種類型的建議均由GPT-3生成。
研究人員通過Resistbot對立法者收到的信件進行了抽樣,該服務宣傳能夠在不到兩分鐘的時間內撰寫和發送信件給立法者。研究人員只使用了信件的內容,沒有姓名,并選擇了由多人發送的信件,這樣就無法識別單個發件人。
不使用AI幫助的“員工”需要將近16.5分鐘來完成每封信件,幾乎是使用消息級AI建議的員工的兩倍。由于需要編輯和消息制作,那些使用句子級建議的人只用了不到16分鐘;實際寫作時間約為12分鐘。
不使用人工智能幫助的“員工”需要的時間幾乎是那些使用消息級人工智能建議的員工的兩倍。此外,那些使用消息級回復建議的人普遍認為該系統易于使用,他們收到的建議自然而有用。然而,使用句子級建議的參與者并未對建議的自然性和實用性給予好評。
“這種關系應該具有高度的同理心和理解力,”克雷普斯談到立法者與選區的動態時說。“公民想要被傾聽。然而,這種本能的問題在于,我們距離政客們敲門、進行個人對話和爐邊聊天的世界有多遠。這種關系中的大部分已經自動化了。
關鍵詞: