AI新手必學:5個基礎概念,秒懂人工智能

AI新手必學:5個基礎概念,秒懂人工智能

Winky Pang
Winky Pang
November 2024

在 AI 人工智能的領域中,有不同概念和用語。這篇文章將以簡單生動的例子,為您說明5個重要的AI基礎概念:大型語言模型(LLM)、上下文長度(Context Length)、語言單位(Token)、自然語言處理(NLP)和下一個詞預測(NWP),幫助初接觸或正學習AI的您快速上手。當您進一步學習設計指令時,能快速提高學習效率!

1. 大型語言模型(Large Language Model, LLM)

大型語言模型 = 超級圖書館管理員

LLM像一位讀遍世界上數億本書的超級圖書館管理員。不管你問什麼問題,他都能快速翻閱腦中的「書籍」,並且整理和分析出合適的答案。而ChatGPT就是一位博學多才的圖書館管理員,能夠理解你的問題,並運用自己的知識來回答。

LLM是指由大量數據訓練而成的語言模型,通常包含數十億甚至上千億的參數。這些模型學習了語言的結構、語法和語義,繼而能夠生成文字、進行翻譯、回答問題等。ChatGPT就是一個典型的LLM,通過接收、輸入來進行推理,並生成相應的回答,幫助大家進行各種自然語言處理任務。

2. 自然語言處理(Natural Language Processing, NLP)

自然語言處理 = AI學習語言的過程

想像一下我們人類學習語言的過程:

  • 先學認字(文字識別)
  • 再學說話(語音處理)
  • 然後學寫作文(文本生成)
  • 最後學會看懂別人說話時的情緒(情感分析)

NLP其實是AI學習人類語言的過程,從基本的詞句理解到複雜的對話互動,一步步進步!NLP是人工智能的一個子領域,專門研究如何讓計算機理解、生成和處理人類語言。它的目標是讓機器能夠像人類一樣理解並操作語言,方便進行對話、文本生成(如ChatGPT、Claude)、語音音別(如Siri)、翻譯(如Google Translate)、情感分析等任務。

NLP技術融合了語言學、統計學和深度學習,使計算機能夠處理自然語言。

3. 語言單位(Token)

語言單位 = AI 理解和處理文字的單位

AI 用「Token」來組織和解讀語言。Token 是模型在處理語言時切分出的最小單位,例如是字母、單詞或符號,具體情況取決於模型的設計。大型語言模型(LLM)並不是直接處理整段文字,而是將其轉換為一系列 Token 來進行運算。通常,一個 Token 大約相當於一個英文單詞的長度,但在中文中,可能是一個字或部分詞。

Token 計算方式

  • 英文:I love you = 3 個 Token
  • 中文:我愛你 = 3 個 Token
  • 中英文加標點符號:Hello!你好 = 4 個 Token

4. 上下文長度(Context Length)

上下文長度 = AI的短期記憶容量

上下文長度像您和朋友聊天時的記憶力。假設你跟朋友聊天,朋友只能記住最近20分鐘的對話內容。如果你突然提到20分鐘前講的事,他可能會一頭霧水或忘記了。AI也一樣,它有固定的「記憶長度」,超過這個長度,之前的對話內容就會被遺忘。

以ChatGPT模型的Token容量(即上下文長度)為例:

ChatGPT 3.5:支持約4,096個Token,即是模型回應時可「記住」大約4,096個Token的上下文內容

ChatGPT 4:支持更高的Token容量,最多達到約8,192個Token。

上下文長度指的是模型在處理輸入時能考慮的文字數量。簡單來說,模型並非一次記住所有文字,而是有一個記憶的窗口,只能處理該窗口內的上下文。在這個範圍內的文字會影響生成的結果。如果超出該長度,模型可能會忽略最早的部分或生成不準確的回答。因此,上下文長度直接影響著LLM在長篇輸入時的準確性。

5. 下一個詞預測(Next Word Prediction, NWP)

下一個詞預測(NWP)= AI版接龍高手

下一個詞預測(NWP)是NLP內其中一種核心技術,能根據已輸入的文字預測,並推薦下一個可能的字詞。

當您在手機鍵盤上打字時,系統會根據上下文提供即時建議。當你說:「我想吃⋯」, 手機輸入法立刻推薦:「飯」、「麵」、「火鍋」等選項。AI通過學習大量的語言使用習慣,來猜測你最可能想要說的下一個詞,像一個超強的語言接龍玩家,總能猜到你想說什麼。

NWP主要特點如下:

  • 上下文理解:分析已輸入文字的含義和語境
  • 機率計算:根據語言數據庫,計算各候選詞的出現概率
  • 即時回應:在用戶輸入時提供建議

NWP已廣泛應用於智能手機、電子郵件撰寫輔助、搜尋引擎中,透過大量文本的訓練,學習詞與詞之間的關聯性,並生成語言模型來預測最可能的下一個詞。

總結

學會這五個AI基本概念,將能幫助您更理解AI的運作原理,並在未來的AI學習和應用中提升效率。

學習後小思考,測試看看!

試著用這些概念來解釋:

  1. 為什麼有時候AI會「忘記」之前聊過的內容?(提示:想想上下文長度)
  2. 為什麼AI打字有時候要收費?(提示:想想Token)

想獲取更多獨家和實用的網絡營銷策略、AI技巧

立即加入SLASHOUSE SKOOL社群

謝謝您的信任和支持!

想獲取更多獨家和實用的網絡營銷及 AI 技巧?立即加入SLAHOUSE SKOOL群

立即追蹤我們的ThreadsInstagramFacebook

遇到任何網絡營銷和AI的疑難,歡迎一起交流!

延伸閱讀:

超好用免費 AI 搜尋引擎 推介,幫你搵資料、整理、視覺化

ChatGPT介面新設應用功能按鈕,更快速生成各種內容

相關文章

網絡營銷 x AI 實戰社群

AI廣告創作速成課程

與30+營銷專家、中小企、一人創業家一起成長和實現營銷目標

Features