Lý thuyết ứng đáp câu hỏi

Lý thuyết Ứng đáp Câu hỏi (Item Response Theory - IRT) là một lý thuyết của khoa học về đo lường trong giáo dục, ra đời từ nửa sau của thế kỷ 20 và phát triển mạnh mẽ cho đến nay. Trước đó, Lý thuyết Trắc nghiệm cổ điển (Clasical Test Theory – CTT), ra đời từ khoảng cuối thế kỷ 19 và hoàn thiện vào khoảng thập niên 1970, đã có nhiều đóng góp quan trọng cho hoạt động đánh giá trong giáo dục, nhưng cũng thể hiện một số hạn chế. Các nhà tâm trắc học (psychometricians) cố gắng xây dựng một lý thuyết hiện đại sao cho khắc phục được các hạn chế đó. Lý thuyết trắc nghiệm hiện đại được xây dựng dựa trên mô hình toán học, đòi hỏi nhiều tính toán, nhưng nhờ sự tiến bộ vượt bậc của công nghệ tính toán bằng máy tính điện tử vào cuối thế kỷ 20 – đầu thế kỷ 21 nên nó đã phát triển nhanh chóng và đạt được những thành tựu quan trọng.

Để đánh giá đối tượng nào đó CTT tiếp cận ở cấp độ một đề kiểm tra, còn lý thuyết trắc nghiệm hiện đại tiếp cận ở cấp độ từng câu hỏi, do đó lý thuyết này thường được gọi là Lý thuyết Ứng đáp Câu hỏi. Trong số các nhà nghiên cứu có nhiều đóng góp ban đầu cho IRT có thể kể các tên Lord, F.M.; Rasch, G., Wright, B.D..v.v..

Việc ứng đáp câu hỏi nhị phân đối với mô hình đơn chiều

Chúng ta sẽ quy ước gọi một con người có thuộc tính cần đo lường là thí sinh (person -TS) và một đơn vị của công cụ để đo lường (test) là câu hỏi (item –CH). Để đơn giản hóa cho mô hình nghiên cứu xuất phát có thể đưa ra các giả thiết sau đây:

- Năng lực tiềm ẩn (latent trait) cần đo chỉ có một chiều (unidimensionality), hoặc ta chỉ đo một chiều của năng lực đó.

- Các CH là độc lập địa phương (local independence), tức là việc trả lời một CH không ảnh hưởng đến các CH khác.

Khi thỏa mãn hai giả thiết nêu trên thì không gian năng lực tiềm ẩn đầy đủ chỉ chứa một năng lực. Khi ấy, người ta giả định là có một hàm đặc trưng câu hỏi (Hàm ĐTCH - Item Characteristic Function) phản ánh mối quan hệ giữa các biến không quan sát được (năng lực của TS) và các biến quan sát được (việc trả lời CH). Đồ thị biểu diễn hàm đó được gọi là đường cong đặc trưng câu hỏi (Đường cong ĐTCH - Item Characteristic Curve).

Đối với các cặp TS – CH, cần xây dựng một cái thang chung để biểu diễn các mối tương tác giữa chúng. Trước hết giả sử ta có thể biểu diễn năng lực tiềm ẩn của các TS bằng một biến liên tục θ dọc theo một trục, từ –∞ đến +∞. Khi xét phân bố năng lực của một tập hợp TS nào đó, ta gán giá trị trung bình của phân bố năng lực của tập hợp TS đó bằng không (0), làm gốc của thang đo năng lực, và độ lệch tiêu chuẩn của phân bố năng lực bằng 1. Tiếp đến, chọn một thuộc tính của CH để đối sánh với năng lực: tham số biểu diễn thuộc tính quan trọng nhất đó là độ khó b của CH (cần lưu ý là đại lượng độ khó ở đây sẽ được xác định khác với trong CTT). Cũng theo cách tương tự có thể biểu diễn độ khó của các CH bằng một biến liên tục dọc theo một trục, từ –∞ đến +∞. Khi xét phân bố độ khó của một tập hợp CH nào đó, ta chọn giá trị trung bình của phân bố độ khó đó bằng không (0), làm gốc của thang đo độ khó, và độ lệch tiêu chuẩn của phân bố độ khó CH bằng 1.

Chúng ta sẽ bắt đầu bằng cách xây dựng một hàm đáp ứng CH cho một CH nhị phân, tức là CH mà câu trả lời chỉ có 2 mức: 0 (sai) và 1 (đúng). Giả thiết cơ bản sau đây của George Rasch, nhà toán học Đan Mạch, được đưa ra làm cơ sở để xây dựng mô hình hàm đáp ứng CH một tham số:

Một người có năng lực cao hơn một người khác thì xác suất để người đó trả lời đúng một câu hỏi bất kì phải lớn hơn xác suất của người sau; cũng tương tự như vậy, một câu hỏi khó hơn một câu hỏi khác có nghĩa là xác suất để một người bất kì trả lời đúng câu hỏi đó phải bé hơn xác suất để trả lời đúng câu hỏi sau (Rasch, 1960, tr. 117) ^[2].

Với giả thiết nêu trên, có thể thấy xác suất để một TS trả lời đúng một CH nào đó phụ thuộc vào tương quan giữa năng lực của TS và độ khó của CH. Chọn Θ để biểu diễn năng lực của TS, và β để biểu diễn độ khó của CH. Gọi P là xác suất trả lời đúng CH, xác suất đó sẽ phụ thuộc vào tương quan giữa Θ và β theo một cách nào đó, do vậy ta có thể biểu diễn:

$f(P)={\frac {\Theta }{\beta }}$ $\qquad (1)$

trong đó f là một hàm nào đó của xác suất trả lời đúng.

Lấy logarit tự nhiên của (1):

$\ln {f(P)}=\ln({\frac {\Theta }{\beta }})=\ln {\Theta }-\ln {\beta }={(\theta -b)}$ $\qquad (2)$

Tiếp đến, để đơn giản, khi xét mô hình trắc nghiệm nhị phân, Rasch chọn hàm f chính là mức được thua (odds) O, hoặc khả năng thực hiện đúng (likelyhood ratio), tức $O={\frac {P}{(1-P)}}$, biểu diễn tỉ số của khả năng trả lời đúng và khả năng trả lời sai.

Như vậy:

$\ln {\frac {P}{(1-P)}}={\theta -b}$ $\qquad (3)$,

$\ln {\frac {P}{(1-P)}}$ được gọi là logit (log odds unit).

Từ đó:

${\frac {P}{(1-P)}}=e^{(\theta -b)}$

và:

$P(\theta )={\frac {e^{(\theta -b)}}{1+e^{(\theta -b)}}}$ $\qquad (4)$

Biểu thức (4) chính là hàm đặc trưng của mô hình ứng đáp CH 1 tham số, hay còn gọi là mô hình Rasch, có thể biểu diễn bằng đồ thị dưới đây (khi cho b = 0):

Hình 1. Đường cong ĐTCH một tham số

Tuy nhiên, như đã biết, trong CTT, người ta còn sử dụng một tham số quan trọng thứ hai đặc trưng cho CH là độ phân biệt, từ đó nhiều nhà nghiên cứu mong muốn đưa đặc trưng đó vào mô hình đường cong ĐTCH. Muốn vậy, có thể đưa thêm tham số a liên quan đến đặc trưng phân biệt của CH vào hệ số ở số mũ của hàm e, kết quả sẽ có biểu thức:

$P(\theta )={\frac {e^{a(\theta -b)}}{1+e^{a(\theta -b)}}}$ $\qquad (5)$

(5) chính là hàm ĐTCH 2 tham số. Hệ số a biểu diễn độ dốc của đường cong ĐTCH tại điểm có hoành độ θ= b và tung độ P(θ) = 0,5.

Hàm ĐTCH 2 tham số trình bày trên đây và hàm ĐTCH 1 tham số theo mô hình Rasch có cùng dạng thức, chỉ khác nhau ở giá trị tham số a (đối với mô hình 1 tham số a = 1). Hình 2 biểu diễn các đường cong ĐTCH theo mô hình 2 tham số với b=0, và a lần lượt bằng 0,5; 1,0; 1,5; 2,0; 3,0 nên độ dốc của các đường cong ở đoạn giữa tăng dần.

Hình 2. Các đường cong ĐTCH hai tham số với các giá trị a khác nhau (b = 0)

Có thể thấy rằng tung độ tiệm cận trái của các đường cong ĐTCH 1 và 2 tham số đều có giá trị bằng 0, điều đó có nghĩa là nếu TS có năng lực rất thấp, tức là Θ → 0 và θ = ln Θ → -∞, thì xác suất P(θ) trả lời đúng CH cũng bằng 0. Tuy nhiên, trong thực tế triển khai trắc nghiệm, chúng ta đều biết có khi năng lực của TS rất thấp nhưng do đoán mò hoặc trả lời hú hoạ một CH nên TS vẫn có một khả năng nào đó trả lời đúng CH. Trong trường hợp đã nêu thì tung độ tiệm cận trái của đường cong không phải bằng 0 mà bằng một giá trị xác định c nào đó, với 0 < c < 1. Từ thực tế nêu trên, người ta có thể đưa thêm tham số c phản ánh hiện tượng đoán mò vào hàm ứng đáp CH để tung độ tiệm cận trái của đường cong khác 0. Kết quả sẽ thu được biểu thức:

$P(\theta )=c+(1-c){\frac {e^{a(\theta -b)}}{1+e^{a(\theta -b)}}}$ $\qquad (6)$

(6) chính là hàm ĐTCH 3 tham số. Rõ ràng khi θ → -∞, hàm P(θ)→ c. Trong trường hợp hàm ĐTCH 3 tham số khi θ = b sẽ có P(θ) = (1+c)/2.

Hình 3 biểu diễn các đường cong ĐTCH theo mô hình 3 tham số với a = 2 và các tham số c có giá trị bằng 0,1 và 0,2.

Hình 3: Các đường cong ĐTCH 3 tham số với a = 2, c = 0,1 và 0,2.

Mô hình đường cong ĐTCH 2 và 3 tham số do Allan Birnbaum đề xuất đầu tiên , nên đôi khi được gọi là các mô hình Birnbaum.

Về mô hình Rasch và vai trò của nó

Chúng ta đã chọn mô hình một tham số, mô hình Rasch, làm mô hình trình bày đầu tiên trong các mô hình đường cong ĐTCH vì mô hình này đơn giản nhất và phản ánh tường minh nhất mối quan hệ giữa TS và CH. Tuy nhiên, như đã nói trên đây, trong tiến trình lịch sử hình thành IRT, không phải mô hình Rasch xuất hiện trước các mô hình khác. Nhà toán học và tâm lý học người Đan Mạch, George Rasch, đã có ý tưởng xây dựng "một mô hình cấu trúc cho các CH trong một đề trắc nghiệm" từ thập niên 1950, đề xuất mô hình xác suất logistic đó từ 1953, nhưng ở Mỹ, người ta biết đến công trình của ông từ khi ông công bố chính thức trong một cuốn sách xuất bản năm 1960 ^[2]. Động cơ của Rasch muốn thể hiện qua mô hình của mình là hạn chế việc dựa vào tổng thể TS khi phân tích các đề trắc nghiệm (ĐTN). Theo ông, phân tích trắc nghiệm chỉ đáng giá khi dựa vào từng cá nhân TS, với các thuộc tính của TS và CH được tách riêng. Để biện minh cho quan điểm của mình, ông thường dẫn lời nhà tâm lý học Skinner, người rất ghét việc căn cứ vào thống kê dựa trên tổng thể để kết luận và thường triển khai nghiên cứu thực nghiệm trên từng cá thể. Quan điểm của Rasch đã đánh dấu sự chuyển tiếp từ CTT, dựa trên tổng thể với việc nhấn mạnh đến biện pháp tiêu chuẩn hoá và ngẫu nhiên hoá, sang IRT với mô hình xác suất tương tác giữa một TS và một CH. Sự tồn tại của các số liệu thống kê đầy đủ của các tham số của CH trong mô hình Rasch có thể được sử dụng vào việc điều chỉnh ước lượng các tham số năng lực theo một cách thức đặc biệt.

Cùng trong khoảng thời gian công bố công trình của mình, Rasch được mời sang cộng tác nghiên cứu 3 tháng tại Viện Đại học Chicago. Tại đây, B. Wright đã có rất nhiều đóng góp để nâng cao và phát triển mô hình Rasch. Theo Wright, ý tưởng của Rasch về việc chọn mô hình logistic với chỉ một tham số là độ khó đã giải phóng được bế tắc của việc phát triển IRT trong nhiều thập niên, vì nhiều nhà tâm trắc học từ các nghiên cứu của mình đã khẳng định rằng chỉ có độ khó là có thể ước lượng được một cách ổn định và đầy đủ qua số liệu quan sát đối với loại CH trắc nghiệm nhị phân. Do đó, hiện nay, tuy là mô hình ĐTCH đơn giản nhất trong các mô hình IRT, và có lẽ cũng chính vì tính đơn giản nhưng đầy đủ của nó, mô hình Rasch đã được sử dụng nhiều nhất trong các nghiên cứu tâm lý và giáo dục. Cũng theo Wright, mô hình Rasch là mô hình duy nhất thoả mãn các yêu cầu để xây dựng các phép đo lường khách quan trong khoa học xã hội nói chung, và Wright có ý kiến khá cực đoan rằng không nên sử dụng các mô hình khác trong các phép đo lường khách quan.

Một trong những ưu điểm lớn của mô hình Rasch là tách biệt được năng lực của TS và đặc trưng của CH (độ khó) trong phép đo lường. Thật vậy, nếu có hai TS có năng lực θ1 và θ2 cùng ứng đáp một CH thì từ biểu thức (3) có thể thu được ln (O₁/O₂) = (θ₁ – θ₂), tức là có thể xác định các năng lực của TS không phụ thuộc độ khó CH. Vì tính đối xứng của biểu thức, cũng dễ thấy rằng, ngược lại, có thể xác định các độ khó của CH không phụ thuộc năng lực TS. Chính vì tính chất cơ bản này nên có thể đặt năng lực của các TS và độ khó của các CH trên cùng một thang đo để so sánh chúng với nhau.

Tuy nhiên, một số nhà nghiên cứu khác cho rằng về lý thuyết thì dạng toán học của mô hình Rasch có nhiều lợi thế, nhưng khi nói đến mô hình toán học, tức là nói đến một sự giả định, tiêu chuẩn để đánh giá hiệu quả của mô hình là sự phù hợp của chúng với số liệu thực nghiệm chứ không chỉ thuần túy ở dạng toán học. Người ta thường gọi quan điểm của Wright là quan điểm "dựa trên mô hình" (model–based), còn quan điểm ngược lại là quan điểm "dựa trên dữ liệu" (data–based).

Điểm thực và đường cong đặc trưng đề trắc nghiệm

Trong các phép đo lường, để xác định chính xác giá trị được đo và sai số của một phép đo người ta thường thực hiện phép đo đó nhiều lần. Trong trắc nghiệm, thực tế không làm được như vậy, nhưng có thể quy ước định nghĩa về điểm trung bình của một TS qua hàng loạt phép đo bằng một ĐTN. Điểm quan sát X của một ĐTN qua hàng loạt phép đo được xem là một biến ngẫu nhiên với một phân bố tần suất nào đó thường là không biết. Giá trị trung bình (kì vọng toán học) của phân bố đó được gọi là điểm thực τ của TS, có quan hệ như sau với các điểm quan sát X và sai số ε:

ε = X – τ. $\qquad (7)$

Trong CTT, điểm thực được định nghĩa trên đây là một sự trừu tượng toán học, không có quy trình nào để xác định. Cũng do đó, sai số của phép đo ε là một đại lượng có tính chất trung bình đối với toàn bộ dải năng lực của TS. Tuy nhiên trong IRT, có thể chứng minh được rằng điểm thực được xác định bởi một ĐTN gồm n CH có thể tính theo biểu thức sau đây:

${\tau }=\sum _{j=1}^{n}{P(\theta _{j})}$ $\qquad (8)$

Tức là: điểm thực của một TS có năng lực θ là tổng của các xác suất trả lời đúng của mọi CH của ĐTN tại giá trị θ. Như vậy, đối với mọi giá trị θ, nếu chúng ta tiến hành cộng tất cả mọi đường cong ĐTCH trong ĐTN, sẽ thu được đường cong đặc trưng của ĐTN, hoặc cũng gọi là đường cong điểm thực. Đường cong đặc trưng của ĐTN là quan hệ hàm số giữa điểm thực và thang năng lực: cho trước một mức năng lực bất kì có thể tìm điểm thực tương ứng qua đường cong đặc trưng ĐTN.

Minh họa trên Hình 4 cho thấy một đường cong đặc trưng ĐTN thu được bằng cách cộng 5 đường cong ĐTCH. Vì là chồng chất của các đường cong ĐTCH nên đường cong đặc trưng ĐTN cũng có dạng một hàm đồng biến. Tiệm cận phải của đường cong khi θ → +∞ bằng điểm thực tối đa, n, tức là bằng tổng số CH trong ĐTN. Tung độ tiệm cận trái của đường cong khi θ tiến đến θ → -∞ bằng 0 đối với các mô hình 1 và 2 tham số, và bằng giá trị tổng cộng các tham số đoán mò Σc_j của toàn bộ n CH trong ĐTN đối với mô hình 3 tham số. Độ nghiêng của phần giữa đường cong đặc trưng ĐTN liên quan đến độ phân biệt của ĐTN. Mức năng lực ứng với trung điểm của thang điểm thực (n/2) xác định vị trí của ĐTN trên thang năng lực. Hoành độ của điểm đó xác định độ khó của ĐTN. Hai yếu tố độ dốc và mức năng lực ở trung điểm thang điểm thực mô tả khá rõ đặc tính của một ĐTN.

Hình 4. Đường cong đặc trưng của ĐTN gồm 5 CH và 5 đường cong ĐTCH tương ứng.

Một điều khá lý thú là, khi biết năng lực θ của một TS, nhờ đường cong điểm thực của một ĐTN cụ thể có thể xác định được điểm thực của TS thu được từ ĐTN đó mà TS không cần phải làm ĐTN. Từ đó có thể tiên đoán điểm thực của TS hoặc tình trạng TS đạt hay không đạt điểm cần thiết đối với một ĐTN mới.

Hàm thông tin của câu hỏi và của đề trắc nghiệm

Mỗi một CH trắc nghiệm cung cấp một lượng thông tin nào đó về năng lực cần đo của các TS. Birnbaum A. đã đề xuất biểu thức hàm hàm thông tin của CH (item information function) được biểu diễn như sau:

${I_{i}(\theta )}={\frac {[P'_{i}({\theta })]^{2}}{P_{i}({\theta })Q_{i}({\theta })}}$ $\qquad (9)$

trong đó I_i(θ) là thông tin cung cấp bởi CH thứ i ở mức năng lực θ, Q_i(θ)=1- P_i(θ), P'_i(θ)là đạo hàm của P_i(θ) theo θ.

Từ biểu thức (9) có thể suy ra các biểu thức hàm thông tin tương ứng với các mô hình ứng đáp CH khác nhau. Đối với mô hình tổng quát 3 tham số, ta có:

$I_{i}(\theta )=a_{i}^{2}{\frac {(P_{i}(\theta )-c_{i})^{2}}{(1-c_{i})^{2}}}{\frac {Q_{i}(\theta )}{P_{i}(\theta )}}$ $\qquad (10)$

Vì tính độc lập địa phương của các CH trắc nghiệm, 'hàm thông tin của ĐTN' (Test information Function) là tổng các hàm thông tin của các CH có trong ĐTN:

$I(\theta )=\sum _{i=1}^{n}{I_{i}(\theta )}$ $\qquad (11)$

Ở Hình 5, đường cong nét đậm biểu diễn hàm thông tin của ĐTN, còn các đường cong nét nhạt là các hàm thông tin của các CH trắc nghiệm. Mức thông tin chung của ĐTN cao hơn nhiều so với mức thông tin của từng CH riêng rẽ, tức là một ĐTN sẽ đo năng lực chính xác hơn nhiều so với chỉ một CH trắc nghiệm. Từ định nghĩa hàm thông tin theo công thức (11) có thể thấy rõ: ĐTN càng có nhiều CH thì giá trị của hàm thông tin càng cao, tức là một ĐTN dài thường đo năng lực chính xác hơn một ĐTN ngắn.

Hình 5: Các đồ thị hàm thông tin của 5 CH trắc nghiệm và của ĐTN do 5 CH đó hợp thành

Tùy theo tính chất của các CH tạo nên ĐTN mà hàm thông tin sẽ có giá trị lớn (tức là đo chính xác) ở các khoảng năng lực xác định nào đó và giá trị bé (tức là đo kém chính xác) ở các khoảng năng lực khác. Do những đặc điểm nêu trên, hàm thông tin là một công cụ cực kì quan trọng của IRT, nó giúp thiết kế các ĐTN cho các phép đo theo các mục tiêu xác định. Hàm thông tin lý tưởng của một ĐTN là một đường nằm ngang, tức là phép đo có độ chính xác như nhau ở mọi khoảng năng lực. Tuy nhiên, một ĐTN như vậy có thể không phải là tốt nhất đối với các mục tiêu cụ thể. Chẳng hạn, nếu muốn thiết kế một ĐTN để cấp học bổng, cần một ĐTN đo rất chính xác trong một khoảng hẹp ở mức năng lực là ranh giới giữa những TS được và không được học bổng, tức là hàm thông tin có đỉnh cực đại ở điểm cắt (cut–off score), vì rằng một sai số lớn trong phép đo ở khoảng năng lực này có thể chuyển một TS từ loại được sang loại không được học bổng hoặc ngược lại.

Sai số tiêu chuẩn của ĐTN

Sai số tiêu chuẩn của việc ước lượng năng lực ở vị trí θ bằng:

$\sigma (\theta )={\frac {1}{\sqrt {I(\theta )}}}.$$\qquad (12)$

Biểu thức (12) cho thấy hai đường cong hàm thông tin và sai số tiêu chuẩn của một ĐTN có hình dạng gần như đối xứng với nhau qua một đường nằm ngang. Sự phụ thuộc của sai số tiêu chuẩn Ϭ vào năng lực θ có một ý nghĩa quan trọng, chỉ rõ một trong những khác biệt giữa CTT và IRT. Biểu thức (7) cho thấy trong CTT sai số ε của phép đo là một đại lượng không đổi chung cho ĐTN đối với mọi TS có năng lực khác nhau. Trong khi đó, đối với IRT, sai số của phép đo bằng ĐTN thay đổi theo các mức năng lực. Đây cũng là một biểu hiện của việc "cá thể hoá" phép đo lường của IRT mà chúng ta đã đề cập khi bàn về mô hình Rasch trên đây.

Sai số tiêu chuẩn Ϭ(θ) của việc ước lượng năng lực θ là độ lệch tiêu chuẩn của phân bố gần chuẩn khi ước lượng giá trị năng lực theo biến cố hợp lý cực đại ở một giá trị năng lực θ nào đó. Phân bố sẽ tiến đến dạng chuẩn khi ĐTN đủ dài. Tuy nhiên, nhiều nghiên cứu cho thấy rằng thậm chí các ĐTN ngắn cỡ 10 – 20 CH, sự phân bố gần chuẩn cũng thoả mãn đối với một số mục đích.

Biên độ của hàm sai số tiêu chuẩn nói chung phụ thuộc vào: 1) số CH trong ĐTN (số CH càng lớn sai số tiêu chuẩn càng bé); 2) chất lượng các CH của ĐTN (nói chung các CH càng có độ phân biệt cao và khả năng đoán mò thấp sẽ tạo sai số tiêu chuẩn bé); 3) độ khó CH gần với giá trị năng lực được đo (tức là ĐTN không quá khó và không quá dễ). Việc tăng số CH trong ĐTN hoặc chọn các CH với giá trị hàm thông tin lớn sẽ làm tăng giá trị thông tin của ĐTN và giảm sai số tiêu chuẩn; tuy nhiên khi hàm thông tin vượt quá một giá trị nào đó thì sai số tiêu chuẩn sẽ trở nên ổn định và sự tăng tiếp tục của hàm thông tin sẽ có tác động không lớn lên giá trị của sai số tiêu chuẩn.

Áp dụng hàm thông tin vào việc khảo sát và thiết kế ĐTN

Hàm thông tin của ĐTN có một số ứng dụng quan trọng. Trước hết, qua hàm thông tin có thể biết mức độ chính xác của phép đo bằng ĐTN: Giá trị hàm thông tin càng lớn ở khoảng năng lực nào thì độ chính xác của phép đo ở khoảng năng lực đó càng cao, và ngược lại. Một ứng dụng khác rất quan trọng của hàm thông tin là giúp thiết kế các ĐTN có mức tương đương cao. Theo IRT, các ĐTN tương đương phải thoả mãn hai điều kiện: 1) điều kiện về nội dung và mục tiêu, thể hiện ở sự trùng hợp của các ma trận đặc trưng ĐTN (số lượng câu hỏi trong các ô ứng với nội dung và mục tiêu học tập cụ thể phải trùng nhau); 2) điều kiện về thống kê: các đường cong hàm thông tin của các ĐTN phải trùng khớp nhau trong một phạm vi sai số chấp nhận nào đó.

Về việc ước lượng năng lực thí sinh và tham số câu hỏi

Như đã biết, các mô hình IRT xét mối tương tác của một TS có năng lực θ với một CH có các tham số a, b, c. Tuy nhiên, trong hoạt động đánh giá thực tế, cái mà chúng ta có thể thu được trực tiếp từ số liệu kiểm tra là việc trả lời các CH của các TS qua bài trắc nghiệm. Từ các số liệu thu được trực tiếp đó làm sao xác định các tham số a, b, c' của các CH và năng lực θ của các TS? Đó là bài toán cơ bản và quan trọng nhất của IRT, vì năng lực của TS là cái cuối cùng mà ta muốn biết, còn các tham số của CH là cần thiết để chúng ta có thể sử dụng các CH nhằm thiết kế các công cụ thích hợp để đo lường chính xác năng lực của TS. Bài toán quan trọng đó được giải quyết bằng các thuật toán ước lượng năng lực TS và tham số CH, việc tìm ra các thuật toán tốt nhất để giải bài toán này là một trong các mục tiêu quan trọng của IRT, và có thể nói quyết định thành công của việc áp dụng IRT vào thực tế hoạt động đánh giá. Tuy nhiên, muốn trình bày đầy đủ thuật toán đã nêu cần nhiều kiến thức về toán học và thống kê học. Bạn đọc muốn đi sâu vào những vấn đề đó có thể tìm hiểu sơ bộ ở , và đầy đủ hơn trong . Ở đây chỉ xin giới thiệu khái quát bản chất của các thuật toán ước lượng nói trên, và để dễ hiểu, phải hy sinh một phần tính chính xác khi trình bày.

Giả sử chúng ta cần dùng một ĐTN gồm 100 CH để xác định năng lực tiếng Anh của 200 TS. Khi cho 200 TS làm ĐTN, chúng ta sẽ thu được các bài làm chứa ứng đáp của mọi TS đối với mọi CH, kết quả đó được gọi là số liệu thực nghiệm. Giả sử là các ứng đáp của TS tuân theo quy luật được xác định bởi mô hình Rasch, biểu hiện ở công thức (5). Các giá trị năng lực θ_ν của mỗi TS và độ khó b_i của mỗi CH trong (5) là cái mà chúng ta muốn ước lượng. Đầu tiên chúng ta chưa biết chúng, nhưng bằng đoán nhận, hãy gán cho chúng các giá trị nào đó gọi là giá trị tiên nghiệm (a priori), và tính 100x200=20.000 giá trị xác suất P theo công thức (5); tập hợp các xác suất đó được gọi là số liệu lý thuyết. Bằng các cách thức trong giải tích phiếm hàm, người ta tìm một con số đại diện cho số liệu thực nghiệm và một con số tương ứng đại diện cho số liệu lý thuyết để so sánh các con số này với nhau. Với các giá trị được gán đầu tiên cho số liệu lý thuyết, độ chênh giữa (con số đại diện cho) số liệu lý thuyết và (con số đại diện cho) số liệu thực nghiệm thường rất lớn. Thuật toán sẽ chỉ ra phương hướng điều chỉnh các giá trị θ_ν và b_i trong (5) sao cho sau lần tính lặp độ chênh giữa số liệu lý thuyết và số liệu thực nghiệm bé hơn. Nếu độ chênh còn lớn, người ta lại điều chỉnh các giá trị θ_ν và b_i trong (5) và tính lặp lần thứ hai. Có thể quy ước xem số liệu lý thuyết là trùng hợp với số liệu thực nghiệm khi độ chênh giữa chúng bé hơn một giới hạn nào đó, chẳng hạn bé hơn một phần nghìn giá trị của chúng. Khi độ chênh chưa bé hơn giới hạn đó, người ta tiếp tục quá trình tính lặp. Việc tính lặp có thể thực hiện lần thứ ba, thứ tư,... cho đến lần thứ hàng trăm, hàng nghìn sao cho đạt được giới hạn quy định. Khi đạt được giới hạn quy định về độ chênh, chương trình sẽ ra lệnh dừng tính, và các giá trị θ_ν và b_i thu được ở lần tính lặp cuối cùng chính là giá trị lý thuyết trùng hợp với giá trị thực nghiệm theo mô hình Rasch.

Với các mô hình IRT 2 và 3 tham số, quá trình ước lượng cũng được thực hiện theo nguyên tắc tương tự như đã mô tả trên đây, tuy số tham số tính toán nhiều hơn. Một trong các thuật toán thường được sử dụng cho quy trình ước lượng nói trên là thuật toán biến cố hợp lý cực đại và nhiều thuật toán khác được trình bày trong ^[6].

Vì việc thực hiện bài toán ước lượng giá trị năng lực của TS và các tham số của CH khá phức tạp nên đa số bạn đọc thông thường không cần phải bận tâm nhiều đến các thuật toán cụ thể, bởi vì ngày nay đã có nhiều phần mềm chuyên dụng được các chuyên gia tâm trắc học xây dựng phục vụ các bài toán ước lượng đó. Chẳng hạn sau đây là một số phần mềm được sử dụng tương đối phổ biến hiện nay: CONQUEST của Úc và WINSTEPS của Mỹ cho mô hình Rasch (một tham số) nhị phân và đa phân, BILOG–MG3 của Mỹ cho mô hình 1, 2, 3 tham số nhị phân, PARSCALS, MULTILOG cho mô hình đa phân,... Ở Việt Nam phần mềm đầu tiên phục vụ cho bài toán này là VITESTA, cho các mô hình 1, 2, 3 tham số nhị phân và đa phân, được công ty EDTECH–VN xây dựng từ năm 2007 .

Tính bất biến của năng lực thí sinh và tham số câu hỏi

Một trong các nhược điểm của CTT là có sự phụ thuộc của tham số CH vào mẫu TS được sử dụng để xác định chúng, cũng như sự phụ thuộc của năng lực đo được của TS vào các CH, tức là vào ĐTN cụ thể được sử dụng để đo lường năng lực ấy. Một minh họa rõ ràng nhất là nếu đưa cùng một CH trắc nghiệm cho hai nhóm TS làm, một nhóm có nhiều TS giỏi hơn nhóm kia, thì độ khó của CH xác định theo Lý thuyết trắc nghiệm cổ điển (tỷ số TS làm đúng trên tổng số TS tham gia) tất yếu sẽ khác nhau, tức là giá trị độ khó phụ thuộc vào mẫu TS được dựa vào để xác định độ khó. Nhược điểm này của Lý thuyết Trắc nghiệm cổ điển gây khó khăn cho việc thiết kế các ĐTN theo ý muốn, đặc biệt là thiết kế các ĐTN tương đương. Với IRT, có thể chứng minh từ lý thuyết và kiểm chứng qua thực nghiệm rằng nhược điểm đó được khắc phục, có nghĩa là không có sự phụ thuộc của tham số CH vào mẫu TS được dùng để xác định chúng (sample–free) cũng như không có sự phụ thuộc của năng lực xác định được của TS vào ĐTN cụ thể được dùng để đo năng lực ấy (item–free). Tổng quát hơn, người ta có thể nói rằng các tham số của CH và giá trị năng lực của TS là các bất biến (invariant).

Cần hiểu rõ tính bất biến ở đây là bất biến đối với các phép đo để xác định các tham số đó. Có thể nêu một ví dụ đơn giản để minh họa: dùng một thước đo dài 1 mét (1 mét là thuộc tính của thước đo) để đo một cái bàn dài 6 mét (6 mét là thuộc tính của cái bàn). Thuộc tính của thước đo và thuộc tính của cái bàn là các bất biến của chúng, không được thay đổi khi thực hiện phép đo, tức là khi áp cái thước vào để đo cái bàn.

Hiển nhiên là năng lực của TS sẽ thay đổi qua một quá trình học tập; hiện tượng đó không liên quan đến tính bất biến được khẳng định trên đây.

Cũng cần lưu ý rằng tính bất biến nói trên chỉ được tuân thủ khi có sự phù hợp giữa số liệu thực nghiệm và mô hình; muốn vậy, các điều kiện được đề ra khi xây dựng mô hình cũng phải được thoả mãn (chẳng hạn, tính đơn chiều của năng lực, tính độc lập địa phương của các CH). Khi sự phù hợp giữa số liệu thực nghiệm và mô hình bị vi phạm thì tính bất biến đó cũng không còn. Hơn nữa, tính bất biến là đặc điểm của mô hình trên cả tổng thể được nghiên cứu (bởi vì nó có liên quan đến phép hồi quy thống kê trên toàn bộ tổng thể chứ không phải trên từng mẫu thử (có thể tìm hiểu ở ^[5]), do đó trên các mẫu thử khác nhau, tính bất biến có thể bị vi phạm ở các mức độ khác nhau.

So bằng và kết nối các đề trắc nghiệm

Theo IRT, về nguyên tắc, các tham số CH xác định được không phụ thuộc vào mẫu TS, và năng lực TS đo được không phụ thuộc vào ĐTN cụ thể. Tuy nhiên đó là các tính chất lý tưởng, chỉ tuyệt đối đúng trong cả tổng thể khảo sát khi số liệu thực tế hoàn toàn phù hợp với mô hình giả định, và các giả thiết khác về mô hình được tuân thủ. Khi các điều kiện đã nói phần nào bị vi phạm thì sẽ không có sự bất biến tuyệt đối của năng lực TS và tham số CH nữa, do đó người ta phải có thao tác đưa các giá trị tham số CH cũng như năng lực TS về một thang đo chung để có thể so sánh chúng với nhau. Thao tác đưa tham số của các CH cũng như năng lực TS về thang đo chung gọi là so bằng (equating).

So bằng là yêu cầu rất quan trọng trong thực tiễn đánh giá. Chẳng hạn, có hai mẫu TS khác nhau được đánh giá bằng hai ĐTN khác nhau, năng lực của mỗi mẫu TS được một ĐTN đo lường và thu được một bộ điểm. Muốn hai bộ điểm của hai mẫu TS thu được từ hai ĐTN có thể so sánh được với nhau, người ta phải chuyển chúng về một thang đo chung, tức là so bằng. Sau khi so bằng, năng lực của mọi TS của hai mẫu được đặt trên cùng một thang đo nên có thể so sánh được với nhau, và từ các giá trị năng lực đó có thể chuyển thành điểm trên một thang điểm chung mong muốn nào đó.

Cũng vậy, nếu hai ĐTN được triển khai trên hai nhóm TS khác nhau để định cỡ (calibration) các CH trắc nghiệm, tức xác định các tham số của chúng, từ mỗi ĐTN sẽ thu được một bộ tham số của các CH. Muốn tham số của các CH của ĐTN thu được từ hai mẫu TS có thể so sánh được với nhau người ta cũng phải dùng thủ thuật so bằng nhằm chuyển các tham số của CH về một thang đo chung. Sau khi so bằng, mỗi giá trị tham số của CH từ hai ĐTN được đặt trên cùng một thang đo nên có thể so sánh với nhau, chẳng hạn để lựa chọn CH có tham số thích hợp nhằm thiết kế một ĐTN theo yêu cầu xác định.

Có nhiều thủ tục so bằng khác nhau. Bạn đọc muốn tìm hiểu có thể tham khảo trong ^[5], hoặc tỉ mỉ hơn trong

Về trắc nghiệm đa phân và trắc nghiệm đa chiều

Khi đặt vấn đề xây dựng mô hình toán phản ánh sự ứng đáp CH ở phần đầu bài viết, để đơn giản cho mô hình, chúng ta đã giả thiết là việc ứng đáp kiểu nhị phân (0,1). Hơn nữa, đối với TS ta cũng giả thiết là năng lực có tính đơn chiều (hoặc chỉ xét một chiều năng lực của TS). Tuy nhiên, trong thực tế đánh giá người ta còn sử dụng loại CH với kiểu ứng đáp đa phân (polytomous) hoặc đánh giá một năng lực đa chiều (multidimentionality) hay đánh giá đồng thời nhiều chiều của năng lực. Dưới đây sẽ giới thiệu khái quát về trắc nghiệm đa phân và đa chiều.

Về mô hình trắc nghiệm đa phân

Ngoài các loại trắc nghiệm nhiều lựa chọn mà trả lời theo hai trạng thái nhị phân (0,1), người ta còn sử dụng các loại bảng hỏi (questionaire) với kiểu trả lời theo thang Likert: ‘’rất không đồng ý, không đồng ý, đồng ý, rất đồng ý’’ trong các điều tra giáo dục hoặc xã hội học nói chung, hoặc các câu hỏi tự luận bao gồm nhiều phần, mỗi phần được định các mức điểm khác nhau, có thể gọi chung là các câu hỏi với ứng đáp đa phân (polytomous).

Trong thập niên 1970, các nghiên cứu về trắc nghiệm chủ yếu tập trung vào việc triển khai ứng dụng mô hình nhị phân, các số liệu liên quan đến tính đa phân được nhị phân hoá để phân tích. Tuy nhiên, một số nhà nghiên cứu cũng đã lưu ý đến mô hình trắc nghiệm đa phân từ cuối thập niên 1960 và tập trung mạnh mẽ từ đầu thập niên 1980. Nhà nghiên cứu quan tâm đến mô hình đa phân sớm nhất có lẽ là Samejima F., người đã đưa vào mô hình ứng đáp đa cấp (graded response model) . Sau đó có hàng loạt mô hình được đề xuất, nhưng tổng quát nhất có lẽ là mô hình định giá từng phần (Partial Credit Model – PCM) của Master, G.N.. Các mô hình này cho phép thu được nhiều thông tin hơn về năng lực của TS từ một CH so với mô hình nhị phân.

Vì PCM được ứng dụng nhiều nhất trong thực tế, và một số mô hình khác chỉ là trường hợp riêng của PCM nên ở đây chỉ giới thiệu sơ lược về PCM. Để thiết lập PCM, Masters xét một CH có nhiều hạng (category) điểm để TS đạt được, và giả định rằng xác suất để TS đạt hai hạng điểm kế tiếp nhau tuân theo quy luật của mô hình Rasch nhị phân. Dựa vào giả định nêu trên, khi CH thứ i là đa phân với các hạng điểm 0, 1, 2,..., m_i thì Masters thu được xác suất để TS n đạt điểm x của CH thứ i sẽ là:

$Pr(X_{ni}=x)={\frac {exp\sum _{k=0}^{x}({\theta _{n}}-{\delta _{ik}})}{\sum _{h=0}^{m_{i}}exp\sum _{k=0}^{h}({\theta _{n}}-{\delta _{ik}})}}$ $\qquad (12)$

trong đó, để tiện trong việc ký hiệu, chúng ta quy định $exp\sum _{k=0}^{0}({\theta _{n}}-{\delta _{ik}})=1$.

Lưu ý rằng trong biểu thức (13), δ_ik đóng vai trò như b trong mô hình Rasch nhị phân. Với quan niệm của Masters, chúng ta có thể mô tả diễn biến của xác suất trả lời đúng CH (đạt hạng điểm 1) theo năng lực θ của mô hình Rasch nhị phân ứng bởi biểu thức (4) bằng đường cong P(X = 1) và xác suất trả lời sai CH (đạt hạng điểm 0) bằng đường cong P(X = 0) trên cùng một đồ thị ở Hình 6.

Hình 6. Các đường cong ĐTCH trắc nghiệm nhị phân ứng với xác suất trả lời sai P(X = 0) và xác suất trả lời đúng P(X = 1)

Tương tự, trong trường hợp CH có 3 hạng điểm 0, 1 và 2 các đường biểu diễn ứng với 3 hạng điểm có dạng như Hình 7.

Hình 7. Các đường cong ĐTCH của một CH PCM có 3 hạng điểm (với δ₁<δ₂.

Về mô hình trắc nghiệm đa chiều

Khi xây dựng các mô hình ứng đáp CH, để đơn giản hoá, chúng ta đã đặt điều kiện về tính đơn chiều (unidimentionality) của CH, tức là CH chỉ đo một thứ năng lực tiềm ẩn, hoặc ta chỉ đo một chiều (dimension) của năng lực tiềm ẩn đa chiều (multidimentionality). Tuy nhiên, trong thực tế, để thực hiện một ứng đáp nào đó, TS thường phải có các chiều khác nhau của năng lực, chẳng hạn để giải một bài toán, TS cần cả kĩ năng đọc hiểu đề toán và các kĩ năng toán học. Do đó cần xây dựng mô hình trắc nghiệm với đa chiều năng lực. Ở đây chúng ta chỉ làm quen với một cách mở rộng trắc nghiệm đơn chiều thành đa chiều đơn giản nhất. Reskase, M.D. đã dựa vào trắc nghiệm nhị phân (0,1) đơn chiều mở rộng ra mô hình trắc nghiệm nhị phân đa chiều. Với trường hợp TS có hai chiều năng lực θ₁ và θ₂, có thể vẽ được mặt cong đặc trưng CH như ở Hình 8.

Hình 8. Mặt ĐTCH với 2 chiều năng lực θ₁,θ₂

Về cách biểu hiện tính đa chiều, nhiều nhà nghiên cứu đưa vào khái niệm tính đa chiều giữa các CH và trong từng CH. Một bài trắc nghiệm là đa chiều giữa các CH nếu nó bao gồm nhiều bài trắc nghiệm con đơn chiều. Một bài trắc nghiệm là đa chiều trong từng CH nếu mỗi CH đòi hỏi nhiều chiều năng lực tiềm ẩn để trả lời. Hai kiểu đa chiều của bài trắc nghiệm được minh hoạ ở Hình 9. Ở nửa bên trái Hình 9 mô tả bài trắc nghiệm 3 chiều gồm 9 CH theo kiểu đa chiều giữa các CH, mỗi chiều được đánh giá riêng biệt bởi 3 CH. Nửa bên phải của Hình 9 mô tả bài trắc nghiệm 3 chiều gồm 9 CH với cả hai kiểu đa chiều giữa các CH và đa chiều trong từng CH, trong đó 4 CH 1, 5, 8, 9 chỉ đo một chiều năng lực, còn các CH khác đo đồng thời 2 hoặc 3 chiều năng lực.

Hình 9. Hai kiểu biểu hiện tính đa chiều của các câu hỏi trắc nghiệm.

Bạn đọc có thể tìm hiểu sâu hơn về Lý thuyết Ứng đáp Câu hỏi trong các sách giáo khoa ^[1], ^[5], và sách tổng hợp .