牛頭不對馬嘴的 ChatGPT

今天發現另一個 ChatGPT 不可信的現象。話說我叫它幫忙翻譯 David Bowie 歌曲〈Starman〉的歌詞，方法很簡單，就是去搜尋歌詞出來然後複製貼上給它，如下：

ChatGPT 這類 AI 做得最好的工作之一就是翻譯，這部分問題不大；有意思的是它知道我貼的這篇文字是歌詞，甚至是哪一首歌，並且推敲出主題意象：

在翻譯完之後，他還給了一點背景資訊，以及這句話：「我也可以幫你翻譯整張《Ziggy Stardust》專輯。想聽哪一首接下來？」

問還要幫翻哪首？這麼聰明啊？既然〈Starman〉是專輯中的第四首，那麼我就回它第五首吧：

不對呀，第五首應該是〈It Ain't Easy〉才對，它回的〈Lady Stardust〉是第六首（B 面第一首）才對，所以這裡已經開始看到誤謬。無論如何，等它翻譯完後補上一句，問說「如果你喜歡，我可以接著翻譯第六首〈Star〉。要繼續嗎？」，如圖五。

有了錯誤經驗，我這次就直接跟它要求我要〈It Ain't Easy〉，不理會它準備的下一首〈Star〉，而且〈Star〉在專輯中也不是第六首，而是第七首才對。

貌似沒錯了嗎？其實最可怕的錯誤就在這裡！這首歌原本的歌詞第一段是：

When you climb to the top of the mountain
Look out over the sea
Think about the places, perhaps, where a young man could be
Then you jump back down to the rooftops
Look out over the town
Think about all of the strange things circulating 'round

這哪裡是 ChatGPT 的譯詞？若直接把這段貼去讓它翻，會是這樣：

也就是說，ChatGPT 對這段歌詞的翻譯根本全錯！或是說它犯錯的其實不是「翻譯」，因為我只給它歌名〈It Ain't Easy〉，它自己會去找出這首歌詞並翻譯之。前面才說 AI 做得最好的工作之一就是翻譯，所以我認為出錯的地方在於「找錯歌」，或者也可能是它自己「瞎掰」出那段中文歌詞，無論有沒有實質的「翻譯」。

另外，因為有了之前對話的背景，所以它知道這段詞來自 David Bowie 專輯《Ziggy Stardust》中的歌，這不意外。問題是「來自〈Star〉的開頭」，這就錯了，明明是〈It Ain't Easy〉呀！如果再「繼續翻譯整首〈Star〉」，不就錯上加錯嗎？而且就算是〈Star〉，歌詞開頭也不是這樣！

結論：「牛頭不對馬嘴」，就是 ChatGPT / AI 的最大問題，畢竟用逐字推論生成結果的方式，讓它根本不知道自己在說什麼，然後又不附上來源的話就真的很容易誤導使用者、混淆視聽。當然我是用免費版，不知道付費的 Plus 版會不會好一點，但至少 AI 不是萬能的，切莫不假思索傻傻用之，不然你就會變得更傻。