YDS AS A BENCHMARK IN TURKEY - THE DIFFICULTY LEVELS OF READING COMPREHENSION QUESTIONS - Exam analysis

Aug 29, 2026

Upload by Ivy

YDS is presented as Turkey’s foreign-language proficiency benchmark, yet its scoring relies predominantly on reading questions. The study examines eleven YDS tests from the last five years, totaling 220 reading-comprehension questions, and uses the Coleman-Liau Index to estimate the difficulty of each test. The paper investigates whether reading questions maintain a consistent difficulty level and evaluates implications for test reliability. Findings indicate a wide difficulty range and a lack of a stable difficulty trajectory across the analyzed exams. This variability may reduce the dependability of YDS as a benchmark for English proficiency.

LanguageEnglish

CategoryExam

FormatPDF

Pages18

Reading Time45 min

AccessFree to download

Abstract

Introduction

Methodology and data set

Coleman-Liau index for difficulty estimation

Results and findings

Difficulty variability in reading questions

Implications for test reliability

EKEVAKADEMİ DERGİSİ • Yıl: 23 Sayı: 80 (Güz 2019) Makalenin geliş tarihi: 4.11.2019 1. Hakem rapor tarihi: 12.12.2019 2. Hakem rapor tarihi: 14.12.2019 3. Hakem rapor tarihi: 15.12.2019 Kabul tarihi: 16.12.2019 95 YDS AS A BENCHMARK IN TURKEY: THE DIFFICULTY LEVELS OF READING COMPREHENSION QUESTIONS Cüneyt DEMİR (*) Abstract The ability to speak a language covers all skills, namely reading, writing, speaking, and listening, together with a reasonable degree of performance and competence knowledge. Specializing over a single skill by overlooking the others may hinder speaker proficiency. In other words, all skills equally weigh; hence, the tests that aim to measure language proficiency should be able to gauge all skills in a good balance. In spite of that reality, YDS (Foreign Language Exam) in Turkey scores test-takers only through reading questions, and accordingly, this test may not be a good benchmark for Turkey because reading questions do not seem to have a stable difficulty level. The exam is composed of different kinds of questions which are vocabulary, grammar, comprehension, dialogue, and reading. The reading questions take up the biggest portion in the exam-20 out of 80 questions-; therefore, they highly determine the test-takers’scores. This study investigated eleven YDS tests held in the last 5 years. In total eleven YDS tests (220 reading questions) were analysed. Coleman-Liau Index was used to measure how difficult each test is. This study aims to reveal whether reading questions of YDS have a similar difficulty level by calculating the Coleman-Liau Index. This study is of great importance because YDS is a crucial benchmark test in Turkey that determines the English proficiency level of those who take it, and any discrepancy in difficulty levels may negatively affect the reliability of the test. The results showed that the reading questions are in a large range of difficulty, and do not follow a stable track of difficulty. Keywords: YDS, Benchmark, Difficulty, Reading, Coleman. *) Dr. Öğr. Üyesi, Yabancı Diller Yüksekokulu Mütercim Tercümanlık (İngilizce) (e-posta: [cuneytdemir@siirt.edu.tr](cuneytdemir@siirt.edu.tr)) ORCID ID: [https://orcid.org/0000-0003-2588-372X](https://orcid.org/0000-0003-2588-372X) 96 / Dr. Cüneyt DEMİR~~ ~~EKEV~~ ~~AKA~~DEMİ ~~DERGİSİ Türkiye’de Yabancı Dil Becerisini Ölçme Sınavı Olarak YDS: Okuduğunu Anlama Sorularının Zorluk Düzeylerinin İncelenmesi Öz Bir dili kullanabilme, onun okuma, yazma, konuşma ve dinleme gibi bütünbecerileriyle kullanabilmeyi gerektirmektedir. Bir beceri üzerinde gelişirken bir diğerinin zayıf bırakılması dili öğrenen kişinin tam akıcı olması önünde bir engeldir. Diğer birifadeyle, bir dili ölçerken bütün becerileriyle ölçmek gereklidir. Bu gerçeğe rağmen Türkiye’de uygulanan YDS sadece okuma becerisi üzerinden puanlama yapmaktadır. Fakat ne yazık ki bu test standart bir zorluk seviyesine sahip olmadığı için iyi bir ölçmesınavı olmayabilir. Bu sınav kelime bilgisi, dil bilgisi, okuduğunu anlama, diyalog ve okuma sorularından oluşmaktadır. Seksen sorunun yirmisini oluşturan okuma soruları sınavda en fazla ağırlığı olan soru türüdür ve bundan dolayı puanlamada esas teşkileder. Bu çalışma YDS’de son 5 yıl içerisinde sorulan toplam on bir sınavın okuduğunu anlama sorularını analiz etti. Toplamda 220 okuduğunu anlama sorusu analiz edildi. Her testin hangi zorluk düzeyinde olduğunu bulmak için Coleman-Liau analiz tekniğini kullandı . Bu çalışma Coleman-Liau tekniğiyle YDS sınavında okuduğunu anlamasorularının aynı zorluk düzeyinde olup olmadıklarını araştırmayı amaçlamaktadır. YDSTürkiye’de yabancı dil becerisini ölçen en önemli sınav olduğu için, bu çalışma testingüvenirliliği konusunda bir fikir edinmede büyük bir önem arz etmektedir ve sorularınzorluk düzeylerinde ki büyük değişiklikler sınav güvenirliliğini etkileyecektir. Sonuçlar okuma parçalarının zorluk düzeyleri arasında farklılıkların olduğunu ve standart bir zorluk düzeyine s

FAQs

What makes YDS a key benchmark in Turkey, and why is it questioned here?

YDS is used to determine English proficiency levels in Turkey. The study questions its benchmark quality because performance is largely based on reading questions that may not have a stable difficulty level.

How many YDS tests and reading questions were analyzed?

The study analyzed eleven YDS tests from the previous five years, totaling 220 reading-comprehension questions.

How is question difficulty measured in this study?

Difficulty is measured using the Coleman-Liau Index to estimate how difficult each test is.

What were the main results regarding the difficulty level of reading questions?

Reading questions show a broad range of difficulty and do not follow a stable pattern across the examined YDS tests.

Aug 29, 2026

Upload by Ivy