O que torna válidos os exames do GTS?

    Lista clicável desta página

Clique em uma das links abaixo para ir diretamente à seção que lhe interessa:

  1. Como sabemos que os exames do GTS são bem elaborados?
  2. Johann Gauss, gráficos e histogramas relativos à distribuição normal.
  3. Representação tridimensional de uma curva gaussiana.
  4. Informação matemática relativa à distribuição normal ou gaussiana.
  5. O que esperamos dos exames do GTS em termos de discribuição de notas.
  6. Mais informações sobre a curva do sino.
  7. A curva do sino e os exames do GTS.
  8. Distribuição de notas nos exames do GTS.
  9. Evidência empírica de distribuição gaussiana nos exames do GTS.

    Como sabemos que os exames do GTS são bem elaborados?

Resposta: Para certificar-nos que os nossos exames não são, por um lado, nem fáceis demais nem, por outro, impossíveis, permitindo apenas aos candidatos com conhecimento quase nativo da língua estrangeira de serem aprovados, empregamos uma ferramenta comumente usada na matemática, na estatística e nas ciências sociais. Assim, todos os exames do GTS são elaborados de acordo com o conceito da bell curve ("curva do sino," devido ao seu formato semelhante ao de um sino), também conhecida como "curva de Gauss" (em referência ao matemático alemão Johann Carl Friedrich Gauss, 1777-1855), como "distribuição gaussiana de probabilidade" ou como "curva normal" ou "curva de distribuição normal." Após serem aplicados, os nossos exames são checados para averiguar e corroborar este tipo distribuição e para, principalmente, estabelecer a validade dos testes.

    Johann Gauss, gráficos e histogramas relativos à distribuição normal

Como é descrito no projeto especial "Demonstrador da Distribuição de Gauss" do Departamento de Física da Universidade Federal do Ceará, processos aleatórios independentes igualmente prováveis costumam se agrupar de modo a seguir uma distribuição chamada de "normal" (curva na forma de sino) que foi descrita e estudada no final do século dezoito pelo matemático alemão Johann Carl Friedrich Gauss. A distribuição de Gauss originalmente serve para mostrar como se distribuem os erros em uma medida experimental. Porém, pode também mostrar como se distribuem os dados em várias situações originadas de eventos mutuamente independentes. A distribuição de Gauss aparece com muita freqüência especialmente nas estatísticas. Como em muitos outros eventos, tanto aqueles da natureza como os da sociedade humana, acredita-se que as notas dos alunos em um dado exame tendem a se distribuir gaussianamente em torno da nota média.

Matematicamente, essa distribuição pode ser descrita da seguinte forma: F(x) = H e-h2(x-m)2

Veja a figura acima. A curva correspondente a essa fórmula tem uma forma de sino com um valor máximo H que ocorre quando a variável x é igual a m, isto é, a média e o máximo coincidem. A largura da curva é controlada pelo valor de h. Quanto maior h, mais estreita é a curva.

    Representação tridimensional de uma curva gaussiana



Representação tridimensional de uma curva gaussiana

    Informação matemática relativa à distribuição normal ou gaussiana

Para os interessados nos aspectos estritamente matemáticos do modelo de distribuição gaussiana, sugerimos os seguintes websites (em inglês):

  1. Gaussian Distribution Function
  2. Gaussian or Normal Distribution
  3. The Gaussian Distribution
  4. Properties of the Gaussian Distribution
  5. Gaussian Function
  6. Normal Distribution
  7. Distributions
  8. Distribution of Measurements
  9. Branches of Mathematics (Probability and Statistics)

    O que esperamos dos exames do GTS em termos de discribuição de notas

Para os profissionais do GTS, é de grande utilidade poder visualizar, na forma de gráficos de barras (histogramas) e das curvas superpostas resultantes desses gráficos, a freqüência com que certos eventos ocorrem (distribuição de freqüência) nas atividades do nosso centro. Por esta razão, usamos histogramas e o conceito da bell curve ("curva do sino") para monitorar o nosso trabalho. Um histograma consiste na representação gráfica de uma distribuição de freqüência em que as freqüências de classes são representadas pelas áreas de retângulos contíguos e verticais, com as bases colineares e proporcionais aos intervalos das classes. Com base nesses dados um gráfico como o mostrado à esquerda pode ser traçado, fornecendo assim dados muitos importantes sobre as nossas atividades na área de exames.

O gráfico à esquerda mostra uma distribuição normal ou gaussiana de notas obtidas pelos candidatos em um exame típico do GTS. É importante usarmos gráficos deste tipo para analisar e monitorar a nossa operação nas áreas de elaboração, aplicação e correção de exames em línguas estrangeiras pois sabemos que todos os eventos repetitivos que meçam ou estejam relacionados a características variáveis de uma população ou amostragem heterogênea tendem a produzir resultados que variam com o tempo e é preciso estar atento para essas variações e procurar saber as possíveis causas das mesmas. Um acompanhamento com base em histogramas revela o grau de variação que existe em praticamente qualquer processo.

Observe a curva superposta ao tradicional gráfico de barras. Esta é uma curva de distribuição normal ou gaussiana, na qual a maioria das medidas concentra-se em torno da medida central (i.e., a média) e, grosso modo, um igual número de medidas situa-se de cada lado deste ponto. Várias amostras aleatórias de dados sob controle estatístico seguem este modelo.

    Mais informações sobre a curva do sino

Como explica o Professor John Hebron do Departamento de Matemática e Estatística da Universidade Simon Fraser (Canadá):


Graph 1
  

A "bell curve" is the common name of a Gaussian Probability Distribution, because it is shaped like a bell. In a large class with a fair exam, the marks will roughly follow a Gaussian Probability Distribution. An example is shown to the left, for a class of 100 students and an exam marked out of 10. The average mark is 7 out of 10.

A "curva do sino" é o nome popular de uma Distribuição gaussiana de Probabilidade, porque tem o formato de um sino. Numa classe grande, com um exame imparcial, as notas seguirão, em linhas gerais, uma Distribuição gaussiana de Probabilidade. Um exemplo é fornecido à esquerda, para uma classe de 100 alunos e um exame com base numa escala de 0 a 10. A nota média é 7 numa escala de 0 a 10.


Graph 2
  

When a professor crafts an exam, the objective is to have a fair distribution of marks which is roughly Gaussian. However, it doesn't always work out that way. If the exam is too hard, the mark distribution might look more like this example shown to the left. The average mark is only 3 out of 10.

Quando um professor confecciona um exame, o objetivo é ter uma distribuição equitativa de notas que seja, em linhas gerais, gaussiana. Porém, não funciona sempre desta forma. Se o exame for difícil demais, a distribuição das notas pode se assemelhar ao gráfico mostrado à esquerda. A nota média é apenas 3 numa escala de 0 a 10.


Graph 3
  

Sometimes a professor makes an exam too easy. In this case the mark distribution might look like this example shown to the left. The distribution is no longer even Gaussian. These problems are compensated for by what is commonly referred to as "curving the marks."

Algumas vezes um professor confecciona um exame que é fácil demais. Neste caso, a distribuição das notas pode se assemelhar ao gráfico mostrado à esquerda. A distribuição nem chega a ser gaussiana. Esses problemas são compensandos com um reajuste de cálculo popularmente conhecido como "curvar as notas" (ou "aferir as notas numa curva").

    A curva do sino e os exames do GTS

A presença da curva do sino nos resultados dos exames do GTS é de fundamental importância para nós examinadores pois é uma indicação clara e inequívoca que os nossos exames foram bem elaborados e refletem resultados realísticos e legítimos com relação à população de candidatos testados. Isto é, a presença de uma curva de distribuição normal prova que os exames não foram, por um lado, nem fáceis demais nem, por outro, impossíveis, permitindo apenas aos candidatos com conhecimento quase nativo da língua estrangeira de serem aprovados.

Da matemática e da estatística, sabemos que a distribuição normal é uma distribuição de probabilidade comumente usada para dar expressão gráfica e visualizar modelos nas mais diversas disciplinas e campos de conhecimento, tanto na área de ciências exatas como nas humanidades e nas ciências sociais. Caracteriza-se por atribuir probabilidades elevadas aos intervalos numéricos em torno de sua média, evidenciando que experimentos aleatórios regidos por sua lei geram observações extremas com pouco freqüência. Sua tratabilidade analítica, evidenciada por ser perfeitamente descrita por apenas dois parâmetros, respectivamente, sua média e variância, ou desvio padrão, somada à variedade de fenômenos naturais que se comportam segundo sua lei, são fatores determinantes do seu largo emprego em praticamente todos os campos do conhecimento humano.

De acordo com o Professor Marcelo Menezes Reis, do Departamento de Informática e Estatística da Universidade Federal de Santa Catarina, a distribuição normal é importante porque em muitos casos ela se aproxima bem da função de significância estatística. A distribuição de muitas estatísticas de teste é normal ou segue alguma forma que pode ser derivada da distribuição normal. Neste sentido, filosoficamente, a distribuição normal ou gaussiana representa uma das elementares "verdades acerca da natureza geral da realidade," verificada empiricamente, e seu status pode ser comparado a uma das leis fundamentais das ciências naturais. A forma exata da distribuição normal (a característica "curva do sino") é definida por uma função que tem apenas dois parâmetros: média e desvio padrão. Uma propriedade característica da distribuição normal é que 68% de todas as suas observações caem dentro de um intervalo de 1 desvio padrão da média, um intervalo de 2 desvios padrões inclui 95% dos valores, e 99% das observações caem dentro de um intervalo de 3 desvios padrões da média. Em outras palavras, em uma distribuição normal as observações que tem um valor padronizado de menos do que -2 ou mais do que +2 tem uma freqüência relativa de 5% ou menos (valor padronizado significa que um valor é expresso em termos de sua diferença em relação à média, dividida pelo desvio padrão).

A matemática e a estatística nos ensinam que se um relacionamento entre variáveis (notas em um exame por exemplo) é pequeno, então não há meio de identificar tal relação em um estudo a não ser que a amostra seja correspondentemente grande. Mesmo que a amostra seja de fato "perfeitamente representativa" da população de candidatos que prestaram exames, o efeito não será estatisticamente significante se a amostra for pequena. Analogamente, se a relação em questão é muito grande nessa população, então poderá ser constatada como significante, mesmo em um estudo baseado em uma pequena amostra.

O Professor Marcelo Menezes Reis nos fornece um exemplo prático e de fácil compreensão para ilustrar este conceito:

Se uma moeda é ligeiramente viciada, de tal forma que quando lançada é ligeiramente mais provável que ocorram caras do que coroas (por exemplo uma proporção 60% para 40%). Então dez lançamentos não seriam suficientes para convencer alguém de que a moeda é viciada, mesmo que o resultado obtido (6 caras e 4 coroas) seja perfeitamente representativo do viesamento da moeda. Entretanto, dez lançamentos não são suficientes para provar nada? Não, se o efeito em questão for grande o bastante, os dez lançamentos serão suficientes. Por exemplo, imagine-se que a moeda seja tão viciada que não importe como venha a ser lançada o resultado será cara. Se tal moeda fosse lançada dez vezes, e cada lançamento produzisse caras, muitas pessoas considerariam isso prova suficiente de que há "algo errado" com a moeda. Em outras palavras, seria considerada prova convincente de que a população teórica de um número infinito de lançamentos desta moeda teria mais caras do que coroas. Assim, se a relação é grande, então poderá ser considerada significante mesmo em uma pequena amostra.

    Distribuição de notas nos exames do GTS


Gráfico A
  

Com base no modelo descrito acima, um exame típico do GTS geralmente apresenta os seguintes resultados (aproximadamente):

  1. Candidatos que obtiveram uma pontuação entre 9,0 e 10,0: 10%
  2. Candidatos que obtiveram uma pontuação entre 8,0 e 8,9: 20%
  3. Candidatos que obtiveram uma pontuação entre 7,0 e 7,9: 40%
  4. Candidatos que obtiveram uma pontuação entre 6,0 e 6,9: 20%
  5. Candidatos que obtiveram uma pontuação entre 0,0 e 5,9: 10%

No gráfico à esquerda, o eixo X representa as notas que os candidatos obtiveram nos exames do GTS, com base numa escala de 0 a 10. O eixo Y indica o número de candidatos, representado em porcentagens. A média neste caso é 7.

Entretanto, como a atividade de elaborar exames é mais uma arte do que uma ciência, e como não podemos ter a priori absoluta certeza da distribuição dos resultados de cada exame que confeccionamos, pode haver variações para cima ou para baixo (na média) entre um exame e outro, dependendo de um número quase ilimitado de variáveis, por exemplo: a formação acadêmica, nível e qualidade de preparação, experiência de vida (viagens e vivência no exterior, por exemplo) e habilidade dos candidatos; o grau de dificuldade e os tópicos de cada exame; o estado físico (saúde), mental e emocional dos candidatos, entre outros fatores. Nesses casos a média dos exames – e conseqüentemente o posicionamento da curva do sino no gráfico – muda de acordo com o nível de desempenho dos candidatos.


Gráfico B
  

Como o gráfico à esquerda demonstra, a curva do sino pode se mover ligeiramente para a direita, aumentando assim a média do exame e dando os seguintes resultados (aproximadamente):

  1. Candidatos que obtiveram uma pontuação entre 9,6 e 10,0: 10%
  2. Candidatos que obtiveram uma pontuação entre 9,0 e 9,5: 20%
  3. Candidatos que obtiveram uma pontuação entre 8,0 e 8,9: 40%
  4. Candidatos que obtiveram uma pontuação entre 7,0 e 7,9: 20%
  5. Candidatos que obtiveram uma pontuação entre 0,0 e 6,9: 10%

No gráfico à esquerda, o eixo X representa as notas que os candidatos obtiveram nos exames do GTS, com base numa escala de 0 a 10. O eixo Y indica o número de candidatos, representado em porcentagens. A média neste caso é 8.


Gráfico C
  

O gráfico à esquerda demonstra uma curva do sino que se deslocou ligeiramente para a esquerda, devido ao nível de desempenho por parte dos candidatos que foi mais baixo do que nos exemplos acima. A média diminiu e foram obtidos os seguintes resultados (aproximadamente):

  1. Candidatos que obtiveram uma pontuação entre 9,0 e 10,0: 0%
  2. Candidatos que obtiveram uma pontuação entre 8,0 e 8,9: 10%
  3. Candidatos que obtiveram uma pontuação entre 7,0 e 7,9: 20%
  4. Candidatos que obtiveram uma pontuação entre 6,0 e 6,9: 40%
  5. Candidatos que obtiveram uma pontuação entre 5,0 e 5,9: 20%
  6. Candidatos que obtiveram uma pontuação entre 0,0 e 4,9: 10%

No gráfico à esquerda, o eixo X representa as notas que os candidatos obtiveram nos exames do GTS, com base numa escala de 0 a 10. O eixo Y indica o número de candidatos, representado em porcentagens. A média neste caso é 6.

    Evidência empírica de distribuição gaussiana nos exames do GTS

Como corroboração do modelo descrito acima, fornecemos a seguir os resultados de alguns exames do GTS realizados no Brasil, onde se pode detectar a presença de uma curva de distribuição normal ou gaussiana. A presença deste tipo de curva dá-se mais freqüentemente em exames que contam com um grande número de candidatos. Com número pequenos, devido ao fato de não termos um amostragem representativa (representative sampling), algumas vezes esse tipo de distribuição não aparece. Portanto, ao analisar os resultados dos exames do GTS com relação à presença de uma curva de distribuição gaussiana, é importante que levemos em conta o número de candidatos testados e que consideremos na nossa análise principalmente aqueles exames que tiveram um número expressivo de participantes, tais como os exames do Programa de Pós-Graduação em Nutrição da Universidade Federal de Pernambuco.

    Resultados dos exames do dia 15 de agosto de 2004. Nível: Mestrado, Língua: Inglês, Área: Nutrição, Total: 35 candidatos

  1. Candidatos que obtiveram uma pontuação perfeita (10,00): 05 ou 14,29% (Fecharam o exame)
  2. Candidatos que obtiveram uma pontuação entre 9,0 e 9,5: 07 ou 20,00%
  3. Candidatos que obtiveram uma pontuação entre 8,0 e 8,5: 11 ou 31,42%
  4. Candidatos que obtiveram uma pontuação entre 7,0 e 7,5: 07 ou 20,00%
  5. Candidatos que obtiveram uma pontuação entre 0,0 e 6,5: 05 ou 14,29% (Reprovados)

    Resultados dos exames do dia 17 de outubro de 2004. Nível: Mestrado, Língua: Inglês, Área: Nutrição, Total: 54 candidatos

  1. Candidatos que obtiveram uma pontuação quase perfeita (9,5): 05 ou 9,26% (Quase fecharam o exame)
  2. Candidatos que obtiveram uma pontuação entre 9,0 e 9,4: 10 ou 18,52%
  3. Candidatos que obtiveram uma pontuação entre 8,0 e 8,5: 23 ou 42,59%
  4. Candidatos que obtiveram uma pontuação entre 7,0 e 7,5: 11 ou 20,37%
  5. Candidatos que obtiveram uma pontuação entre 0,0 e 6,5: 05 ou 9,26% (Reprovados)