0511 評鑑與評量

• 評量是不帶價值判斷的。
• 評鑑是帶有價值判斷的。
  是建立在一個心目中已有的期望來看。

以課堂的圖畫練習（共識評量）活動來說：

1. 可以看出學童的觀察。
2. 可以透過共識評量看出大家對繪圖的評量方式。
3. 可以製作出一個共同基準來判定『評鑑』。

評鑑指標

1. 同儕評鑑
2. 指標評鑑

下週：每個人用講故事的分式，把這學期學到的『觀點』講出來。
一個研究應該是像一個說故事一樣。

0608 所得

0503 研究的三個命題

• 研究的目的並非找出世界上不知道的事情，而是你自己所不知道的事情。
• 寫作是讓思想持續的歷程，透過故事持續寫作下去。
• 做研究的目的不在找出世界上不知道的事情，而是找出自己不知道的事情。

研究裡有三個命題：

1. 把困難變簡單
   透過量化、指標性，從理論模型或文獻探討建構成評鑑指標，具有隱藏性的模型。
2. 把簡單變得有深度
   當提出一個問題，必須指出問題的理論依據與過去文獻的脈絡。
3. 把有深度的問題變得有趣
   如：如何克服考試緊張，與社會關連度有關如教學經驗、行銷經驗，與社會接觸的脈絡、對人性的看法。

論文口試的重點：

1. 不要與口試委員起衝突。
2. 研究需要有論點，透過他人文獻包裝。
   論文的難處在於：建立自己的觀點。

問卷的製作：

• 如何用問卷、報告來講一個故事（不疑處有疑）。
• 應由理論、文獻歸納出問卷的構面，倒著回來建構，才會變成有意義的問卷。
• 不可以光靠著問卷的標題就先馬行空杜撰內容。

0427 作業：自變項與moodle

從全國碩博士論文網站找出別人論文中的『自變項』：
（例如：不同性別的國小學童對數學因數分析的～）

• 論文的自變項會出現在論文的『題目』上。
• 從中分析自變項並以倒敘法找到源頭，做出問卷與態度。
• 資訊科技融入創造性問題解決教學對國小學童科學創造力學習之研究。

回答下列三個問題：
（此問題來自於康德三大批判）

• 你能從這門課知道什麼？
  測驗的『種類』以及每一種測驗的『目的』。
• 在這堂課我應該做些什麼？
  吸收課程內容，並將這些課程內容和舊有知識聯結（理解或延伸理解）。
• 我能從這堂課希望什麼？
  幫助我在論文研究方法中，可以有比較明確的思考。

康德三大批判：

1. 《純粹理性批判》（1781年）
2. 《實踐理性批判》（1788年）
3. 《判斷力批判》（1790年）

共識評量

• 專家共識評量（consensual assessment）是由Amabile（1996）所提出，主要係藉由領域中的專家，依據一定程序、規準針對成品進行「創意」程度與品質的評量。
• 經十餘年的檢驗分析，發現專家共識評量是一種具信、效度之評量技巧。
• 進行共識評量時，必須考量到「作業」、「受試者」、「評分者」三方面。

---

【參考資料】
美學導論---康德的無目的說
豆瓣讀書---康德三大批判
博雅旅遊網---伊曼努爾●康德
科學教育期刊文獻資料庫---共識評量

0420 測驗是什麼？

測驗/考試是什麼？

• 在測驗種類中，要依據研究的目的來選擇適當的量表。
  
  1. 普通興趣量表
     適用對象：國小高年級、國中、高中學生。
     目的：測量學生之興趣作向，供指導學生升學或選修職業科目之參考。
  2. 魏氏智力量表
• 測驗不僅僅是能力測驗與成就測驗。
• 固定範圍，容易考試非題。
• 我覺得對未來對我有用的測驗是什麼？
• 測驗不為人知的目的：例如古時科考的舉人的書法能力。

填寫考試焦慮量表

• 考試焦慮有哪幾種？
• 什麼樣的人會有考試焦慮？

測驗的種類

• 陷阱題：鑑別度低，低分組答對率高，高分組答對率低。
• 認知題：有鑑別度，低分組答對率低，高分組答對率高。

自變項的項目有哪些？怎麼問？除了性別、年齡外。

• 以班上同學來說，可以找出幾種有效變項？（基本資料）
  職業別、任教年資、教學科目、地區、網路年資、上網頻率、家中3c......等

0413 製作一個問卷 + 心得

免費線上問卷的好幫手
缺點：沒有辦法掌控填答人的背景資料、填答次數與用心程度

1. 各組設計一個不好的問卷
2. 題目不限
3. 題數十題左右

本組製作問卷為：竹塹城印象大調查

• 主題
  可以任意選擇對我們來說反而範圍太大，我們這一組討論到內容時，卻會發現這個題目的問題不多而又不停的換主題......
• 內容
  一開始想做最簡單的選擇題，可是做到最後發現根本就是在研究此網站的系統（暈）像是我們想要在第一題，讓選擇個別項目的人直接跳到項目類別去（等於第一個選項會跳到第二頁，第二個選項跳到第三頁那樣）......
• 總體心得
  製作問卷真的很困難......在主題訂定之前，應該要先想做這個問卷的『目的』是什麼，但我們在想主題與內容的時候，卻沒有先考慮好。這個沒有事先想好『目的』的行為，應該就是所有無效問卷的根本吧！

以下是各小組的每一個網址連結的位置：

1. 一同去郊遊
2. 數感測驗
3. 網路購物使用滿意度
4. 教學滿意度問卷調查
5. Facebook小了解
6. 學術型問卷
7. Facebook的使用習慣問卷

---

【參考資料】
如何設計一份好問卷
問卷設計的程序
問卷的組成

0330 筆記：教學策略（合作學習與個別式學習）

合作學習 Cooperative learning

合作學習法是將學生依其能力、性別與族群等族群不同，作異值性分組，以針對學習作業進行合作。合作學習與一般的傳統分組法不同，其特色有四：

1. 異值小組：依據性別、族群、或學業成就 , 進行分組 , 每一組都要有不同背景的學生。為促進學習效果 , 每一組最多不超過八人。
2. 尊重團體目標與個人績效責任 : 合作學習強調透過小組之間的競賽 , 達成團體目標。而小組中每一個人都有責任為團體得分 , 團體目標靠個人績效達成。 
3. 促進積極互賴的關係 : 合作小組賦予每一個人獨特的任務 , 每個人對團體而言 , 都有同等的重要性 , 缺一不可。
4. 實施團體歷程 : 在合作學習的過程中 , 小組成員必須反省互動，歷程是否需要改進 , 以共同達成目標 ( 黃光 雄 ,1996) 。

個別式學習
相較於合作學習，個別學習著重於教師與學員一對一的教學方式。

---

【參考資料】
合作學習理論
合作學習法
合作學習在大學課程之應用

0330 筆記

• 三角測量法是針對老師、學生、觀察者交叉比對
  →資料的三角測量法為從三種角度觀察：時間、空間、層次。

• 如何認識學生？
  →認知心理學＋行為學＋評量

• 不要讓電腦成為記憶的工具，要成為認知的工具。
  
  1. 測驗應當是學習的起始評量，不要作為成就測驗（總結性評量）
  2. 後續的學習就以檔案評量（部落格資料、歷程性評量）
  3. 評量方式多元化：互評、自評、他評

• 態度、價值、興趣可以做前、後測，作為比較改變的依據。
  →與一般學科的前、後測驗不同。
  →成就測驗往往有個先備知識，它有個致命傷就是沒有辦法做前、後測驗，利用雙向細目表進行測驗。
  • 前測可知道學生的起始能力
  • 後測可知道學生經過實驗處理後的能力

• 心理學：分為前端與後端。
  掌握心理學的概念就好，行為學派：工業革命、認知學派：強調一個學生的能力。
  電腦時代、發展心理學、學習心理學、為何做研究？
  合作學習策略、資訊融入的策略。把兩個放在一起，就是一個研究。
  
  
  1. 前端:：輸入：平時的數學能力、性別。
     把學生依據『性別、社經背景、成就動機、學科能力』進行分組。
     從這些部分，可以產生同質性合作，異質性研究。
     學策略的區別，合作學習和個別化學習。
     
  2. 後端：開發評量。
     如果未來找不到題目，可以做合作學習或mobile learning。
     解決評量這塊，評量方式會因為領域主題的不同而改變。

0330 筆記：智力測驗

智力測驗
旨在衡量人們的抽象能力、學習能力和對新情況的適應能力的一套測驗。

德國心理學家斯特恩(William Stern)首先提出此概念。後為美國心理學家特曼(Lewis Terman)於比奈-西蒙(Binet-Simon)智力測驗的史丹福修正方案(1916)中予以採用。

• 法國心理學家比奈在1903年發表了「智力實驗研究」。
• 1905年受法國巴黎教育局委託，與西蒙（Simon）合作發明了一個測量智力的工具－比西量表，發展測驗把一些需要特殊幫助的學生區別開來。
• 1908及1911 年，他們對量表作了修正；至此，智力測驗就在世界各國盛行起來。
• 1916年，美國的特曼（Terman）把它修訂為在國際上得到廣泛使用的『斯比量表』（Stanford-Binet Scale），開啟比率智商先河。

比奈和西蒙認為智力思維由三個重要元素組成：

1. 指向性：選擇必須做的事情並安排步驟和方法。
2. 調整性：在完成任務過程中選擇策略和對策略使用的監控。
3. 批判性：對個人的思維和行為作出批評和判斷控制。

---

【參考資料】
比奈-西蒙小故事
評量智能的工具

0330 筆記：創造力（與作業）

創造力

創造力，也作創造性或才思，是一種基於概念工具及精神上技巧的人類精神現象而最終產生。
創造力的概念也許起源很早，但當代心理學對創造力的重視與研究，常歸功於季弗德（Joy Paul Guilford）的研究與倡導。季弗德的智力結構論，將思考歷程區分聚斂性思考（convergent thinking）和擴散性思考（divergent thinking）兩個概念。

擴散性思考雖不等同於創造力，但被視為創造力的潛能或創造思考的主要歷程，可用來預測創造性成果或表現。季弗德認為創造力是人類某些特質的組合，這些特質 包括：對問題的敏感度、觀念流暢性、觀念新奇性、思考彈性、綜合能力、分析能力、觀念結構的複雜度，以及評鑑能力等。他也認為創造力在統計上是一個連續分佈，每個人或多或少都有些創造力，這些個別差異可以被測量出來。

閱讀文獻，載點
"Evaluation System in e-Learning Through the Knowledge State Analysis Method"

0323 考試與認知心理學的關係？

東方vs西方
東方以考試為主→記憶力
西方以推理等為主→邏輯→翻書考

認知測驗（認知學習的模式）
人類的認知能力，是透過人類的認知心理學而產生的。
如：小學老師教"紅燈停，綠燈行"。所以看到紅綠燈，綠燈時會穿過馬路，這就是一種認知能力。

記憶力：需要注意力開啟，才能進入記憶力。當你聽進去，才會產生認知的行為。
例如：為何考試前開夜車有效？因為夜深人靜注意力集中，離考試時間近，記憶效果好。

→google的心臟是貨櫃屋。如何搜尋，把你的東西備份在他那裏，整個google，就是在做資料分析和記憶力以及邏輯判斷，有了這三點，你就可以當教授了。

認知裡面，"記憶"是很大的一塊，但不需再把書面的問題拿來做網路測驗。

測驗是測驗『當下的能力』還是『過去的因果』？
成就測驗是否因學習而產生？
還是有一種測驗是預測性的？
→研究所入學考試是可預測未來的...因可能具備寫論文的能力...
→性向測驗可預測未來

---

【參考資料】
認知評量的測驗

0323 學生為何怕考試？ 考試是不是測驗？

人為什麼會怕考試？
→目前的考試大多為記憶形式，考試時無論如何就是想不起答案，所以害怕。
→學生怕自己的不穩定性。
→考試是測驗的基本型態。

以目前常有題型來說：

• 填充題，沒有線索或提示。
• 選擇題，可以用消去法，把可能性較低的排除，提升答對的機率。
• 是非題，有一半的機率可以猜對。
• 問答題，有寫有分，至少交代一下，不會完全空白。

→考試是俗名，測驗是學名

成就測驗：最常以紙筆形式來呈現，考試就是成就測驗。
→成就測驗上一層是認知測驗(cognitive test)或(cogniting test)
「成就測驗」的目的在測量個體學習或訓練後獲得之知識和技能的程度，故成就測驗在學校教育中扮演很重要的角色。舉例來說，在教學上，成就測驗可以幫助教師了解學生學習的情形，作為調整教材和教法的依據；在輔導上，成就測驗結果可以作為協助學生選課、選組或升學輔導的參考資料；在行政上，成就測驗結果可以作為學生編組編班的依據，使學生在最適合的班級或組別中學習。以下從幾個層面介紹成就測驗，使讀者對成就測驗和它的用途有更多的認識。

---

【參考資料】
測驗萬花筒  by 盧雪梅
成就測驗

0316 筆記

亞太國際教育年會 大前研一 2011亞太教育年會(APAIE)

• 大學排名不是重點：
  
  • 百大學校：評鑑而來。
  • 評鑑：一種個人的價值判斷 （權重/加權）。
  • 評量：較評鑑為客觀。
  • 測驗：又較評量客觀。
   
• 高等教育面臨的衝擊：全球化及網路(資訊化)
  
  • 學生：學會網路資源與團體互動(FB)。
  • 過去：要評鑑一個好大學→圖書館的藏書量多寡、校園大小、軟硬體。
  • 現在：資訊時代，已顛覆過去。

• 這學期將運用知識結構來出題。
  知識：找出他們之間的關係。

關於下週

1. 加入線上平台討論+學習心得報告進行個人評量。
2. 介紹測驗(信、效度)。

---

【參考資料】
大學搶爭百大？ 大前研一：落伍

0309 作業：考試經驗分享

• 國中考高中

那一次的考試準備，都是不停的寫考卷，一天五堂課，就五張考卷，有的不是考卷，是老師隨手出的小考應用題，那就會又多個八到十張。考試的練習時間限定為五十分鐘，所以我們練得就是快狠準，對於選擇題，不會得就先略過、做個記號，老師的建議是：「到後面或許會有答案出現。」

• 高中考大學

高中考大學反而不是不停的練習考卷，而是花更多時間在練習解題。但是現在問我到底內容是什麼......完全沒有印象......唯一記得的是，當出現關鍵字a以及關鍵字b，那麼答案就會是c。
快狠準，反而在這邊不夠用，要更能詳細的看懂每一個字、每一個詞，加在一起之後變成的意義是什麼。

0302 筆記

最早提倡 e-learning 的人 Jay Cross

1. 學習是建構知識的一個體系。
2. 測驗是分析、還原你建構的歷程。

典範 Paradigm（典範移轉）→ 解釋現象 → 形成理論
迷失概念：發展的概念是錯誤的，但不能說這個學生不好，反而可以找出這個學習的分岔點。

「評鑑是另外一個階段的學習點」by Teacher Wang
→ 過去的評量/起始點的評量

論文成就在於：概念的創新（研究方法、研究問題等）

• 這些概念是以前沒有的。
• 驗證這些概念。

這一門課會著重於：題目分析（知識建構）。
→ 利用題組的出題方式探測知識。

---

【參考資料】
王老師 教學平台、教學部落格
關於Jay Cross

0302 公告

• 最後7-8週是遠距教學課程。
  → 會在網路平台上進行分組討論。
• 希望大家能夠進行反射性回饋。

---

【相關課程之參考資料】
教學科技專題

0223 筆記

E-learning：數位學習主要是運用網路及數位科技，藉由主動學習模式進行知識建構(blog)。

測驗、評量、評鑑的差別？

1. 測驗（考試）testing measurement：有各種不同的形式，像期末考、期中考。
   以時間軸來說，像是一個點一個點的過程，測量今天跟明天還有大後天的狀況。
   通常指的是量化指標。
   
   
2. 評量 assessment：不一定是紙筆測驗。muti-skill 的機制。看態度、能力、相關的情感認知等等。
   和測驗的一個點一個點比較之下，評量會以至少三個面向來看。
   評量：蒐集各種不同面像的東西。
   ex：上學期的部落格、心智圖。
   超過量化，更有多項質化指標。
    
3. 評鑑 evaluation：（對機構、事務）由外面的人對學校進行完整且詳細的檢測。
   教師評鑑（教學、研究、服務課程設計、實際進行教學、進行教學的評量以及輔導...etc）
   教學評鑑-->更趨向於價值判斷

數位學習的順序？

1. 數位學習的一開始：發展數位教材（教材開發，<-教學設計）
2. 實施：同步或非同步
3. 測驗與評量：線上測驗、學習歷程檔案

回家作業欸

1. 回家重新建構一次對這幾個名詞的印象與概念。
   
   • 知識 knowledge
     知識是一種流動性質的綜合體；其中包括結構化的經驗、價值、以及經過文字化的資訊。此外，也包含專家獨特的見解，為新經驗的評估、整合與資訊等提供架構。知識起源於智者的思想。在組織中，知識不僅存在文件與儲存系統中，也蘊涵在日常例行工作、過程、執行與規範當中。
     
     
   • 認知 coqnition
     認知或認識（Cognition）在心理學中是指通過形成概念、知覺、判斷或想像等心理活動來獲取知識的過程，即個體思維進行信息處理（information processing）的心理功能。認知過程可以是自然的或人造的、有意識或無意識；因此，麻醉學、神經科學、心理學、哲學、系統學（Systemics）以及計算機科學在分析認知時，其分析的聚焦點以及脈絡是不同的。
     
     
   • 瞭解 understanding
     瞭解經常是指對於一個較小問題之相關的較大問題的瞭解。
     
     
2. 是非題是測驗學生什麼樣子的能力？
   
   • 是非、配合題：知識層次
   • 選擇題：知識、理解、應用、分析、綜合、評鑑
   • 填充、簡答、問答、申論題：理解、應用、分析

---

【參考資料】
教育測驗與評量
知識管理
人可能進化的心理學

0112 小筆記

鍾蔚文教授
希望大家自己可以建立一個自我評鑑機制，在論文寫完之後可以自我檢核。

第五章，往往結論的地方跟摘要是很像的，
結論的東西不要多，或者有時候變成是研究發現，

結論是透過反思以後才寫出來的推論現象，『主要的原因在於～』
「根據發現來推論其原因」的東西就是結論。

摘要也是有格式的，摘要越短越好，一頁半就太多，500的字以內就好。

1. 說明目的「本研究的主要目的在於探討～」。
2. 說明研究方法「本研究運用xxxx教學法、xxxx研究法，針對樣本xxx學生」。
3. 說明研究的時間軸。
4.  說明研究的樣本。
5. 說明研究主要發現「研究發現～」，一節寫一點。「本研究根據研究發現～」or「研究結論提出～」or「研究結論認定xxxx學生研究xx與xx具有相關性」。
6. 說明研究結論。
7. 說明研究建議「研究結果可建議」。

homework
找幾篇這七點都有的摘要。
找出題目的關鍵字。

上課的內容，透過分享、互動，在評量內會有一個項目「學習檔案歷程評量portfolio」，使用這學期的部落格來建構下學期學習歷程評量的一種。

0105 小筆記

研究發現
比較實驗組與對照組的「顯著差異significant different」

統計分析的意義

• 相關性
• 差異性工具
  
  1. 卡方檢定chi ：機率相等分配分組。
  2. T-test（做平均數分析）：使用信度的概念。 
  3. ANOVA：通常差異有到5%，就代表有差異性。

• 信度：重複性repeatable，一個測驗的信度很重要
• 效度：有效的檢驗能力
  例如創造力：威廉斯創意量表

今日主題：

1. reflective thinking（第五章總結）
   
   • 針對已經發生的事情
   • 用最多的時候：老師從事教學的時候。
   • 使用這個研究的時候，你會知道你做的研究到底有沒有價值。
   • 分析→判斷→行為：人類的學習歷程。針對已經發生的事進行思考並做價值判斷，透過質性研究的資料，發現一些事實，接著再做研究。這個「再做研究」的過程，就是reflective thinking。
2. Critical thinking （未來的研究建議）
   
   • 用不同的觀點來看已經發生的事情or沒有發生的事情
   • 牽涉到第四章與第五章。

多練習「回想一件事情」。更正確的要「描述一件事情，從描述內去尋找出價值判斷的東西」。例如：一個很棒的老師←價值判斷。可以根據這句話再發現其他問題。

下週會看：國科會人文處2005年的文章。

第五章是學生覺得最簡單，但是口試時最容易被噹的「為什麼結論寫的像研究發現？」
總結跟結論是不一樣的東西。（請想想哪裡不一樣）

1230 作業

作業

1. 找一個雙因子研究設計的論文寫出自變項和依變項，對照論文標題。
   
• 論文題目：資訊科技融入創造性問題解決教學對國小學童科學創造力學習之研究（2010）。
  國立東華大學科學教育研究所，吳俊明碩士論文。
• 自變項：資訊科技融入CPS（網路平台）訓練與教學。
• 依變項：學習成效（科學創造力開放性問題）、學習滿意度（學習反應與學習歷程）。
2. 數位原生和數位移民是什麼？
   • 數位移民 Digital Immigrants：使用email及電話，使用文字溝通、喜歡人群，雖然也使用網路，但大部分接觸的都還是實體。
   • 數位原生 Digital Natives：一出生就活在有電腦、有網路的環境中，他們有新的思維及行為模式，成為新一代的「人種」，跟屬於「數位移民」的老師和父母，有著不一樣的價值觀和道德觀。

---

【參考資料】

數位學習e-learning101
數位教學3.0
教育行政筆記與生活記事