EuroEval

https://euroeval.com/
Admin
EuroEval is a language model benchmarking framework that supports evaluating all types of language...
Tokens:307,116
Snippets:1,846
Trust Score:6.3
Update:3 months ago
Show doc for...
Tokens:
Raw
### IFEval-it Data Examples

Source: https://euroeval.com/datasets/italian

Examples of JSON-formatted prompts and their corresponding instruction constraints from the IFEval-it test split.

```json
{
    "text": "Indica esattamente 3 nomi per un cane bianco e nero usando punti elenco come:\n* Punto elenco 1",
    "target_text": {
        "instruction_id_list": [
            "detectable_format:number_bullet_lists"
        ],
        "kwargs": [
            {
                "num_bullets": 3
            }
        ]
    }
}
```

```json
{
    "text": "Cosa significa per te il termine \"atleta stereotipico\"? Si prega di fornire una risposta in due parti, separate da 3 asterischi '***'. Inoltre, si prega di rispondere senza utilizzare il termine \"atleta stereotipico\" nella risposta.",
    "target_text": {
        "instruction_id_list": [
            "keywords:forbidden_words",
            "length_constraints:number_paragraphs"
        ],
        "kwargs": [
            {
                "forbidden_words": [
                    "atleta"
                ],
            },
            {
                "num_paragraphs": 2
            }
        ]
    }
}
```

```json
{
    "text": "Nella frase \"Non è chiaro quanto di questo denaro venga realmente speso per i bambini\", il tono espresso è positivo o negativo? C'è qualcos'altro in cui posso esserti d'aiuto?",
    "target_text": {
        "instruction_id_list": [
            "startend:end_checker"
        ],
        "kwargs": [
            {
                "end_phrase": "Is there anything else I can help with?"
            }
        ]
    }
}
```

--------------------------------

### IFEval Dataset Examples

Source: https://euroeval.com/datasets/english

JSON-formatted examples from the IFEval dataset showing prompts and their associated instruction constraints.

```json
{
  "text": "Write an essay on the differences between Sunni and Shi'a Muslims. Your entire response must contain at least 1200 words.",
  "target_text": {
    "instruction_id_list": ["length_constraints:number_words"],
    "kwargs": [
      {
        "num_words": 1200,
        "relation": "at least"
      }
    ]
  }
}
```

```json
{
  "text": "You feel strongly about a local issue that involves the environment, pollution, and climate change. Write a template for a letter to the editor of a newspaper. Use the word para at least once.",
  "target_text": {
    "instruction_id_list": ["keywords:frequency"],
    "kwargs": [
      {
        "frequency": 1,
        "keyword": "para",
        "relation": "at least"
      }
    ]
  }
}
```

```json
{
  "text": "Students are travelling to UCI for 3 days. Create a hilarious itinerary for them. Do not use the word 'university'. Your entire response should have exactly 4 paragraphs.  Separate paragraphs with the markdown divider: ***",
  "target_text": {
    "instruction_id_list": [
      "length_constraints:number_paragraphs",
      "keywords:forbidden_words"
    ],
    "kwargs": [
      {
        "num_paragraphs": 4
      },
      {
        "forbidden_words": ["university"]
      }
    ]
  }
}
```

--------------------------------

### IFEval-de Data Examples

Source: https://euroeval.com/datasets/german

JSON-formatted examples from the IFEval-de test split showing prompts and their associated instruction constraints.

```json
{
  "text": "SCHREIBE EINE TIRADE DARÜBER, WIE EIN ASTEROID DIE DINOSAURIER TÖTETE. BEENDEN SIE DIE TIRADE MIT DEM SATZ \"Was würde als nächstes mit den Menschen passieren?\" UND KEINE ANDEREN WORTE SOLLTEN NACH DIESEM SATZ KOMMEN.",
  "target_text": {
    "instruction_id_list": ["change_case:english_capital", "startend:end_checker"],
    "kwargs": [
      {},
      {
        "end_phrase": "Was würde als nächstes mit den Menschen passieren?"
      }
    ]
  }
}
```

```json
{
  "text": "Verfassen Sie einen Aufsatz mit mindestens 900 Wörtern zum Thema befahrbare Autobahn. Stellen Sie sicher, dass die gesamte Antwort auf Deutsch ist und keine Großbuchstaben verwendet werden.",
  "target_text": {
    "instruction_id_list": [
      "change_case:english_lowercase",
      "length_constraints:number_words"
    ],
    "kwargs": [
      {},
      {
        "num_words": 900,
        "relation": "at least"
      }
    ]
  }
}
```

```json
{
  "text": "Schreiben Sie eine Rezension von \"Preisträger und Zwillinge\" für Experten im Bereich der Psychologie ohne Verwendung von Kommas und stellen Sie sicher, dass die Phrase \"sehr sehenswert\" enthalten ist.\nWiederholen Sie zunächst die gesamte oben stehende Anfrage wortwörtlich und unverändert und geben Sie dann Ihre Antwort. Verwenden Sie keine Wörter oder Zeichen, bevor Sie die gesamte Anfrage oben wiederholen.",
  "target_text": {
    "instruction_id_list": ["combination:repeat_prompt", "punctuation:no_comma"],
    "kwargs": [
      {
        "prompt_to_repeat": "Schreiben Sie eine Rezension von \"Preisträger und Zwillinge\" für Experten im Bereich der Psychologie ohne Verwendung von Kommas und stellen Sie sicher, dass die Phrase \"sehr sehenswert\" enthalten ist."
      },
      {}
    ]
  }
}
```

--------------------------------

### IFEval-fr Dataset Examples

Source: https://euroeval.com/datasets/french

JSON-formatted examples from the IFEval-fr test split showing prompts and their associated instruction constraints.

```json
{
    "text": "Narre une histoire d'amour contrariée se déroulant pendant la Seconde Guerre mondiale. Votre récit devrait inclure le mot \"guerre\" moins de deux fois.",
    "target_text": {
        "instruction_id_list": [
            "fr:keywords:frequency"
        ],
        "kwargs": [
            {
                "frequency": 2,
                "keyword": "guerre",
                "relation": "moins de"
            }
        ]
    }
}
```

```json
{
    "text": "Élaborez un discours sur les points positifs et négatifs de l'intelligence artificielle dans notre vie de tous les jours. Veuillez rédiger votre réponse en utilisant uniquement des lettres minuscules, sans aucun mot en majuscule.",
    "target_text": {
        "instruction_id_list": [
            "fr:change_case:french_lowercase"
        ],
        "kwargs": [
            {}
        ]
    }
}
```

```json
{
    "text": "Rédigez une lettre adressée à votre vous-même dans une décennie. Assurez-vous d'inclure les termes ['gouvernance', 'palais'] dans votre lettre.",
    "target_text": {
        "instruction_id_list": [
            "fr:keywords:existence"
        ],
        "kwargs": [
            {
                "keywords": [
                    "gouvernance",
                    "palais"
                ]
            }
        ]
    }
}
```

--------------------------------

### IFEval-sv Dataset Examples

Source: https://euroeval.com/datasets/swedish

Example JSON objects representing prompts and their associated instruction constraints from the IFEval-sv test split.

```json
{
  "text": "Förklara för mig hur man cyklar som om jag vore ett barn. Inkludera inte heller nyckelorden \"långsam\", \"som\" och \"barn\".",
  "target_text": {
    "instruction_id_list": ["keywords:forbidden_words", "language:response_language"],
    "kwargs": [
      {
        "forbidden_words": ["långsam", "som", "barn"]
      },
      {
        "language": "sv"
      }
    ]
  }
}
```

```json
{
  "text": "Vilka är fördelarna och nackdelarna med att ha övernaturliga krafter? Gör det kort. Packa in hela utdata i JSON-format. Du kan använda markdown-ticks som ```.",
  "target_text": {
    "instruction_id_list": [
      "detectable_format:json_format",
      "language:response_language"
    ],
    "kwargs": [
      {},
      {
        "language": "sv"
      }
    ]
  }
}
```

```json
{
  "text": "Skriv en gåta om Camilla utan att använda kommatecken.",
  "target_text": {
    "instruction_id_list": ["punctuation:no_comma", "language:response_language"],
    "kwargs": [
      {},
      {
        "language": "sv"
      }
    ]
  }
}
```

--------------------------------

### View HellaSwag-fi training examples

Source: https://euroeval.com/datasets/finnish

Example JSON objects representing the structure of the HellaSwag-fi training data.

```json
{
  "text": "[Otsikko ] Tiikkihuonekalujen tahraus [vaihe] Pyyhi lika, pöly ja roskat pois. [vaihe] Voit harjata lian pois kuivalla paperipyyhkeellä tai liinalla. Jos puhdistettavia kohtia on sitkeämpiä, voit hieroa ne puhtaaksi kostealla rievulla.\nVastausvaihtoehdot:\na. [vaihe] Poista tahrat tiikistä pyyhkimällä ne kuivalla talouspaperilla. [vaihe] Noudata samoja puhdistustoimenpiteitä, joita käytit tahran kanssa.\nb. Aja niiden yli puhdistusaineella, kunnes tahra on poissa. [vaihe] Kokeile puupetsin ja öljyn yhdistelmää.\nc. [välivaiheet] Älä käytä puhdistusaineita. Saatat vahingoittaa puuta, mutta vaikeutat varmasti värjäysprosessia.\nd. Poista mahdollisimman paljon likaa levittämällä tahra kevyelle, pörröiselle liinalle tai kädelle ja pyyhkimällä se pois. [vaihe] Käytä hankaamiseen valkaisuainetta ja vettä.",
  "label": "c",
}
```

```json
{
  "text": "Pieni ryhmä ihmisiä nähdään uimassa altaan ympärillä ja johtaa useisiin laukauksiin, joissa uimari heittää pallon verkkoon. Maalivahti torjuu muutaman laukauksen ja vaihtaa sitten toisen joukkuetoverinsa kanssa yleisön hurraten. ihmisiä\nVastausvaihtoehdot:\na. cheer vielä kerran ja palaa uimaan uima-altaan ympärille.\nb. vaihda jatkuvasti pois ja johtaa siihen, että yksi joukkue voittaa ja juhlii kaikki yhdessä vedessä.\nc. Curra ja hyppää vuorotellen ylös ja eteenpäin pelaamalla biljardia.\nd. ensimmäinen video, jossa muut joukkuetoverit sukeltavat altaaseen ja hyppäävät ylös ja alas ponnahduslaudalla.",
  "label": "b",
}
```

```json
{
  "text": "Kahden ihmisen nähdään kävelevän pöytäjalkapallopöydän ympärillä pelaamassa. ihmisiä\nVastausvaihtoehdot:\na. pitäkää kupit ylös ja alakaa pelata peliä ja lyödä toisianne.\nb. Tartu sauvoista ja lyö palloa pöydän ympärillä.\nc. Jatka kävelemistä ja yksi henkilö lyö pallon verkon yli.\nd. siirrä ympäri pöytää heittäen palloa ympäriinsä, kun ihmiset katselevat sivuilla.",
  "label": "b",
}
```

--------------------------------

### HellaSwag-sv Training Data Example

Source: https://euroeval.com/datasets/swedish

Example of a training sample from the HellaSwag-sv dataset containing text, options, and the correct label.

```json
{
  "text": "[header] Hur man hittar de perfekta brudtärneklänningarna [title] Internet är en underbar resurs för att hitta brudtärneklänningar. [step] Vi rekommenderar också att bläddra genom populära bröllopstidningar, såsom brudens och moderna brudtärnets tidningar. Rekommenderat är att bruden går och handlar med en eller två av sina brudtärnor och ser vilka stilar de gillar.\nSvarsalternativ:\na. När du har begränsat urvalet kan du sedan få input från dina andra brudtärnor om du önskar det. [title] Vilka är de senaste trenderna i brudtärneklänningar? [title] A-linje klänningar som ser bra ut på alla olika kroppsformer och storlekar är mycket populära.\nb. Tyvärr kan du inte handla lika ofta som om du letade efter matchade brudtärnor. [title] När du väljer din brud, välj tre olika stilar: [step] Klipp längd, klipp tjocklek och från de flesta \"för-skjutna\" stilarna till de grundläggande.\nc. Medan varje brud är annorlunda, alla är både olika och har olika smaker. [title] Se om bruden har en favoritlook för sin bröllopsklänning.\nd. [title] Börja söka efter idéer eller allmänna åsikter om särskilda bröllopsklänningar. [step] Försök att inte bli för stel och sök bara efter några klänningar som du tror kan fungera bra tillsammans.",
  "label": "a"
}
```

```json
{
  "text": "[header] Hur man gör en pedikyr [title] Ta bort all befintlig färg med nagellacksborttagare. [step] Täck toppen på din nagellacksborttagare med en bomullstuss, vänd snabbt upp och ner den och omedelbart upp och ner igen för att applicera lite av produkten. Gnugga sedan nagellacksborttagaren över dina tånaglar för att ta bort färgen.\nSvarsalternativ:\na. [title] Låt dina tånaglar blötläggas i vatten i 10 till 20 minuter. [step] Vatten kan göra dina naglar vitare genom att lösa upp andra föreningar, särskilt syror.\nb. [substeps] Flytta bomullstussen i små, cirkulära rörelser om du har svårt att ta bort färgen. [title] Fyll en fotspa eller en balja med varmt vatten.\nc. [substeps] Om du inte har nagellacksborttagare kan du överväga att använda den vita nagellacksborttagaren från föregående steg för en enklare applikation. [title] Täck dina händer med bandage eller tejp med canvas-lining.\nd. [title] Använd aceton på dina tånaglar. [step] Aceton kan verkligen hjälpa till att ta bort gammalt nagellack från dina naglar.",
  "label": "b"
}
```

```json
{
  "text": "Han fortsätter att klippa gräset. Kameran fokuserar på det rinnande vattnet igen. Den går tillbaka till mannen som klipper gräset. sedan\nSvarsalternativ:\na. den går tillbaka till filmen av mannen som klipper jord.\nb. återvänder till honom och dem som pratar igen.\nc. växlar tillbaka till det rinnande vattnet.\nd. mörk himmel igen.",
  "label": "c"
}
```

--------------------------------

### MMLU-nl training sample examples

Source: https://euroeval.com/datasets/dutch

JSON-formatted examples from the MMLU-nl training split showing text questions and their corresponding labels.

```json
{
  "text": "Polarisatie is een eigenschap van\nAntwoordopties:\na. transversale golven.\nb. longitudinale golven.\nc. alle golven.\nd. Geen van deze.",
  "label": "a"
}
```

```json
{
  "text": "Welk internetbedrijf gaat onder de afkorting AOL?\nAntwoordopties:\na. Amerika Over Lijnen\nb. Amerika Online\nc. Amerikanen op Links\nd. Amerikanen op LOR",
  "label": "b"
}
```

```json
{
  "text": "Deze vraag verwijst naar de volgende informatie. Lees het volgende fragment. Nooit waren talenten van het hoogste genie van de meest verheven soort overvloediger geschonken aan een mens. Het genie van Napoleon is verbazingwekkend. Alle takken van menselijke kennis leken even vertrouwd voor zijn gigantische geest. Zijn conversaties op St. Helena, verspreid over de talloze en omvangrijke herdenkingsstukken van degenen die ze verzamelden, zijn gevuld met de grootste interesse. Tijdens de lange doodsstrijd van zijn gevangenschap en zijn dood, sprak hij met volledige vrijheid over de gebeurtenissen van zijn wonderbaarlijke carrière, en over al die onderwerpen van moralen, politiek en religie, die het meest diep de welvaart van ons ras betreffen. Er is geen geest die niet zal worden versterkt door bekendheid met deze diepzinnige gedachten, uitgedrukt met zoveel gloed van gevoel en energie van dictie. — John S. C. Abbott, historicus, Napoleon op St. Helena, 1855 Napoleon hielp de Franse Revolutie tot een internationale beweging te maken in de gebieden die hij veroverde.\nAntwoordopties:\na. Door een universele valuta op basis van de Franse frank op te leggen\nb. Door de brute onderdrukking van guerrilla-verzet\nc. Door het afschaffen van feodalisme en herenboerderijen\nd. Door het aanmoedigen van het gebruik van Frans als universele taal",
  "label": "c"
}
```

--------------------------------

### BeleBele-de Training Examples

Source: https://euroeval.com/datasets/german

JSON-formatted examples from the BeleBele-de training split containing reading comprehension passages, questions, and labels.

```json
{
  "text": "Text: Es gibt viele Dinge, die Sie vor und während einer Reise berücksichtigen müssen. Erwarten Sie nicht, dass die Dinge beim Reisen genau so sind wie „zuhause“. Umgangsformen, Gesetze, Essen, Verkehr, Unterkünfte, Standards, Spache und so weiter werden zu einem gewissen Grad anders sein als dort, wo Sie leben. Dies ist etwas, was man immer im Hinterkopf behalten sollte, um Enttäuschung oder gar Abneigung über lokale Vorgehensweisen zu vermeiden.\nFragen: Was kann Reisenden dem Abschnitt nach helfen, Enttäuschung beim Besuch neuer Orte zu vermeiden?\nAntwortmöglichkeiten:\na. Ähnliche Standards wie zuhause erwarten\nb. Essen probieren, das ungewohnt ist\nc. Die gleichen Gesetze wie zuhause einhalten\nd. Nicht vorher nach Unterkünften recherchieren",
  "label": "b"
}
```

```json
{
  "text": "Text: Genehmigungen müssen im Voraus bestellt werden. Sie benötigen eine Genehmigung, um in La Sirena zu übernachten. Sirena ist die einzige Rangerstation, die neben Zelten auch Übernachtung im Schlafsaal und warme Mahlzeiten anbietet. La Leona, San Pedrillo und Los Patos bieten nur Camping ohne Verpflegung an. Es ist möglich, eine Parklizenz direkt bei der Rangerstation in Puerto Jiménez zu bekommen, aber sie akzeptieren keine Kreditkarten Die Parkverwaltung (MINAE) stellt Genehmigungen  für den Park nicht früher als einen Monat vor der geplanten Ankunft aus. CafeNet El Sol bietet einen Reservierungsservice gegen eine Gebühr von 30 US-Dollar bzw. 10 US-Dollar für Tageskarten an. Einzelheiten dazu findet man auf deren Corcovado-Seite.\nFragen: Welche der folgenden Rangerstationen bietet zwei Übernachtungsmöglichkeiten an?\nAntwortmöglichkeiten:\na. Sirena\nb. Los Patos\nc. La Leona\nd. San Pedrillo",
  "label": "a"
}
```

```json
{
  "text": "Text: Naturnaher Tourismus zieht Leute an, die daran interessiert sind, Naturgebiete zu besuchen, um die Landschaft zu genießen, einschließlich der wilden Pflanzen und Tiere. Beispiele für Aktivitäten vor Ort sind Jagen, Angeln, Fotografie, Vogelbeobachtung, der Besuch von Parks und das Lernen von Informationen über das Ökosystem. Ein Beispiel dafür ist der Besuch, das Fotografieren und das Studieren von Orangutangs in Borneo.\nFragen: Welche der folgenden Aktivitäten ist kein Beispiel für naturnahen Tourismus?\nAntwortmöglichkeiten:\na. Wandern zu einem Wasserfall\nb. Fotografieren von Wildblumen\nc. Besuch eines Wissenschaftsmuseum\nd. Fliegenfischen",
  "label": "c"
}
```

--------------------------------

### IFEval-uk Data Format Examples

Source: https://euroeval.com/datasets/ukrainian

Examples of JSON objects representing prompts and their associated instruction constraints in the IFEval-uk dataset.

```json
{
    "text": "Напишіть казку про принцесу і дракона, переконавшись, що слова 'відповіла' з'являється щонайменше двічі.",
    "target_text": {
        "instruction_id_list": [
            "keywords:frequency"
        ],
        "kwargs": [
            {
                "frequency": 2,
                "keyword": "відповіла",
                "relation": "at least"
            }
        ]
    }
}
```

```json
{
    "text": "Чи можете ви надати переклад для \"今天天气很好\" німецькою мовою? Не використовуйте слово \"heute\". Будь ласка, використовуйте інше слово.",
    "target_text": {
        "instruction_id_list": [
            "keywords:forbidden_words"
        ],
        "kwargs": [
            {
                "forbidden_words": [
                    "heute"
                ],
            }
        ]
    }
}
```

```json
{
    "text": "Напишіть лимерик про написання лимерика. Не використовуйте жодної коми у всій своїй відповіді.",
    "target_text": {
        "instruction_id_list": [
            "punctuation:no_comma"
        ],
        "kwargs": [
            {}
        ]
    }
}
```

--------------------------------

### IFEval-fi Data Structure Examples

Source: https://euroeval.com/datasets/finnish

Examples of JSON objects representing prompts and their associated instruction constraints in the IFEval-fi dataset.

```json
{
    "text": "Työskentelen markkinointiosastolla ja tarvitsen apuasi. Tarvitsen mallin uuden tuotteen, kannettavan kameran, mainosta varten. Kirjoita mallissa muutama sana isolla alkukirjaimella pääkohtien korostamiseksi. Rajoita isoilla kirjaimilla kirjoitettujen sanojen määrä alle neljään. Vastauksesi tulisi sisältää vähintään kymmenen lausetta.",
    "target_text": {
        "instruction_id_list": [
            "change_case:capital_word_frequency",
            "length_constraints:number_sentences",
            "language:response_language"
        ],
        "kwargs": [
            {
                "capital_frequency": 4,
                "capital_relation": "less than"
            },
            {
                "num_sentences": 10,
                "relation": "at least"
            },
            {
                "language": "fi"
            }
        ]
    }
}
```

```json
{
    "text": "Luo mainoskopio laajentamalla \"Kulje 100 kilometriä litralla moottoritiellä\" QA:n muotoon oudolla tyylillä. Vastauksesi tulisi sisältää alle 8 lausetta. Älä sisällä vastauksessasi avainsanoja \"kilometrimäärä\" tai \"polttoaine\".",
    "target_text": {
        "instruction_id_list": [
            "length_constraints:number_sentences",
            "keywords:forbidden_words",
            "language:response_language"
        ],
        "kwargs": [
            {
                "num_sentences": 8,
                "relation": "less than"
            },
            {
                "forbidden_words": [
                    "kilometrimäärä",
                    "polttoaine"
                ],
            },
            {
                "language": "fi"
            }
        ]
    }
}
```

```json
{
    "text": "Mitkä ovat hyviä ideoita aloittaville yrityksille? Kirjoita suomenkielinen runo tästä. Käytä vastauksessasi vain suomea, muita kieliä ei sallita.",
    "target_text": {
        "instruction_id_list": [
            "language:response_language"
        ],
        "kwargs": [
            {
                "language": "fi"
            }
        ]
    }
}
```

--------------------------------

### IFEval-pt Data Format Examples

Source: https://euroeval.com/datasets/portuguese

Examples of JSON objects representing prompts and their associated instruction constraints in the IFEval-pt dataset.

```json
{
    "text": "Traduza a seguinte frase para alemão e depois critique-a: Werner era um bom amigo meu, mas não muito inteligente. Evite a palavra \"esperto\" em toda a sua resposta.",
    "target_text": {
        "instruction_id_list": [
            "keywords:forbidden_words"
        ],
        "kwargs": [
            {
                "forbidden_words": [
                    "esperto"
                ]
            }
        ]
    }
}
```

```json
{
    "text": "Escreva cartas de apresentação para uma candidatura a emprego. É para uma posição de professor assistente. Forneça exatamente duas versões e separe-as com seis símbolos de asterisco:\n\nVersão da carta de apresentação 1\n******\nVersão da carta de apresentação 2\n\nAlém disso, evite usar vírgulas na sua resposta.",
    "target_text": {
        "instruction_id_list": [
            "combination:two_responses",
            "punctuation:no_comma"
        ],
        "kwargs": [
            {},
            {}
        ]
    }
}
```

```json
{
    "text": "Escreva um limerique sobre um cara chamado Dave que seja engraçado para mães. O limerique deve terminar com a frase \"Sim mãe, eu sou o Dave.\" Não diga nada após o limerique.",
    "target_text": {
        "instruction_id_list": [
            "startend:end_checker"
        ],
        "kwargs": [
            {
                "end_phrase": "Sim mãe, eu sou o Dave."
            }
        ]
    }
}
```

--------------------------------

### IFEval-es Data Structure Examples

Source: https://euroeval.com/datasets/spanish

Examples of JSON objects from the IFEval-es test split, showing prompt text and associated instruction constraints.

```json
{
    "text": "He intentado que me devuelvan el dinero de un producto que compré por Internet, pero la empresa se niega a reembolsármelo. ¿Puedes ayudarme a escribirles una carta? Quiero que la carta incluya las palabras confianza, marca, cliente, ley, política e inutilizable.",
    "target_text": {
        "instruction_id_list": [
            "es:keywords:existence"
        ],
        "kwargs": [
            {
                "keywords": [
                    "confianza",
                    "marca",
                    "cliente",
                    "ley",
                    "política",
                    "inutilizable"
                ]
            }
        ]
    }
}
```

```json
{
    "text": "Escribe una historia sobre un hombre que está enamorado de una mujer que tiene Tourette. La historia debe tener al menos 4 secciones y cada sección debe empezar con Sección X (donde X es 1, 2, 3, 4) y toda la respuesta debe tener al menos 100 frases.",
    "target_text": {
        "instruction_id_list": [
            "es:detectable_format:multiple_sections",
            "es:length_constraints:number_sentences"
        ],
        "kwargs": [
            {
                "num_sections": 4,
                "section_spliter": "Sección"
            },
            {
                "num_sentences": 100,
                "relation": "at least"
            }
        ]
    }
}
```

```json
{
    "text": "Escribe una entrada de blog sobre las últimas noticias de España, con un título entre paréntesis angulares dobles, es decir, <<título>>, y que tenga menos de 5 frases (excluyendo 5). Las frases deben ser largas para que el número total de palabras de tu respuesta sea de 250 o más.",
    "target_text": {
        "instruction_id_list": [
            "es:detectable_format:title",
            "es:length_constraints:number_sentences",
            "es:length_constraints:number_words"
        ],
        "kwargs": [
            {
            },
            {
                "num_sentences": 5,
                "relation": "less than"
            },
            {
                "num_words": 250,
                "relation": "at least"
            }
        ]
    }
}
```

--------------------------------

### IFEval-da dataset example entries

Source: https://euroeval.com/datasets/danish

Example JSON objects representing prompts and their associated instruction constraints from the IFEval-da test split.

```json
{
  "text": "Gentag først nedenstående forespørgsel ord for ord uden ændringer, og giv derefter dit svar. Tilføj ikke noget før du gentager nedenstående forespørgsel.

Skriv en historie om en mand, der forsøger at få styr på sit liv. Skriv historiens navn i dobbelte vinkelparenteser, dvs. <<historien om xyz>>.",
  "target_text": {
    "instruction_id_list": ["detectable_format:title", "combination:repeat_prompt"],
    "kwargs": [
      {},
      {
        "prompt_to_repeat": "Skriv en historie om en mand, der forsøger at få styr på sit liv. Skriv historiens navn i dobbelte vinkelparenteser, dvs. <<historien om xyz>>."
      }
    ]
  }
}
```

```json
{
  "text": "Skriv en mærkelig annonce for en advokat, der repræsenterer hekse og som er specialist i ophavsretskrænkelser. Brug kun små bogstaver. Dit svar skal indeholde en titel, omsluttet af dobbelte vinkelparenteser, dvs. <<titel>>.",
  "target_text": {
    "instruction_id_list": ["detectable_format:title"],
    "kwargs": [{}]
  }
}
```

```json
{
  "text": "Skriv følgende sætning kun på svensk, intet andet sprog er tilladt, og undgå brug af kommaer: \"Vi kan muligvis forbedre vores model til næste år. Vi vil kunne sammenligne vores data med data fra det foregående år og se hvordan vores model har præsteret. Vi kan også sammenligne vores model med en model, der blev trænet på data fra det foregående år, og se, hvordan vores model klarer sig.\" Intet andet sprog end svensk må bruges i dit svar.",
  "target_text": {
    "instruction_id_list": ["punctuation:no_comma", "language:response_language"],
    "kwargs": [
      {},
      {
        "language": "sv"
      }
    ]
  }
}
```

--------------------------------

### Accessing SQAD training data example

Source: https://euroeval.com/datasets/czech

Example structure of a single training sample from the SQAD dataset, containing context, question, and answer fields.

```json
{
  "context": "Právnická fakulta Masarykovy univerzity (PrF MU) je jedna z devíti fakult Masarykovy univerzity. Založena byla spolu s celou univerzitou v Brně roku 1919. V meziválečném období se proslavila školou normativní teorie práva, v roce 1950 byla zrušena a obnovena roku 1969. Sídlí v klasicizující budově na Veveří, nabízí vysokoškolské právní vzdělání na bakalářské (Bc.), magisterské (Mgr. a JUDr.) i doktorské (Ph.D.) úrovni a ve srovnání všech čtyř českých veřejných právnických fakult je pravidelně hodnocena jako nejlepší z nich. Související informace naleznete také v článku Seznam děkanů Právnické fakulty Masarykovy univerzity. Tradice univerzitní výuky práva na Moravě pochází z konce 17. století, v Brně se ale právo přednášelo jen v krátkém období 1778–1782, kdy sem byla přeložena olomoucká univerzita. Po zrušení její právnické fakulty v roce 1855 vznikla citelná potřeba existence nejen právnických studií, veškeré snahy o zřízení druhé české univerzity, která by byla situována do moravského hlavního města Brna a samozřejmě měla svou právnickou fakultu, v nichž se mj. angažoval tehdejší profesor a pozdější československý prezident T. G. Masaryk, však vyšly naprázdno. Bylo tomu tak zejména kvůli odporu Němců, kteří chtěli zachovat převážně německý charakter města, pouze některé právní obory byly vyučovány na české technice. Až po vzniku československé republiky mohla být tato myšlenka uskutečněna, roku 1919 vznikla Masarykova univerzita se sídlem v Brně a její právnická fakulta spolu s lékařskou zahájily výuku ještě ve školním roce 1919/1920.",
  "question": "Kolik fakult má Masarykova univerzita?",
  "answers": {
    "answer_start": array([60], dtype=int32),
    "text": array(["devíti"], dtype=object)
  }
}
```

--------------------------------

### Sample Dataset Questions

Source: https://euroeval.com/datasets/norwegian

Examples of JSON-formatted questions from the ValEU-no dataset.

```json
{
  "question_id": "A078",
  "text": "Her er en liste over frivillige organisasjoner. Kan du fortelle meg om du er medlem i noen av disse?\nForbrukerorganisasjon\nSvaralternativer:\na. Nei\nb. Ja"
}
```

```json
{
  "question_id": "G005",
  "text": "Er du norsk statsborger?\nSvaralternativer:\na. Nei\nb. Ja"
}
```

```json
{
  "question_id": "F025",
  "text": "Tilhører du en religion eller et bestemt trossamfunn?\nSvaralternativer:\na. Er ikke tilknyttet et kirkesamfunn.\nb. Romersk-katolsk\nc. Protestantisk\nd. Ortodoks (russisk/gresk/osv.)\ne. Jøde\nf. Muslimer\ng. Hindu\nh. Buddhistisk\ni. Andre kristne (evangeliske/pinsevenner/frikirke/osv.)\nj. Annet"
}
```

--------------------------------

### Sample Dataset Questions

Source: https://euroeval.com/datasets/italian

Examples of JSON-formatted questions from the ValEU-it dataset.

```json
{
  "question_id": "E114",
  "text": "Le descrivo ora vari modi di governare. Per ciascuno di essi mi dica quanto lo ritiene buono o cattivo per governare l'Italia.\nAvere un capo forte che non debba tener conto di parlamento ed elezioni\nScelte:\na. Molto buono\nb. Abbastanza buono\nc. Abbastanza  cattivo\nd. Molto cattivo"
}
```

```json
{
  "question_id": "A124_09",
  "text": "Su questo cartellino sono elencati diversi tipi di persone. Può indicarmi se c'è qualcuno fra questi che non vorrebbe avere come vicini di casa?\nOmosessuali\nScelte:\na. No\nb. Sì"
}
```

```json
{
  "question_id": "E265_08",
  "text": "Secondo Lei, nelle elezioni in Italia quanto spesso si verificano queste situazioni?\nGli elettori sono minacciati con la violenza ai seggi\nScelte:\na. Molto spesso\nb. Abbastanza spesso\nc. Non spesso\nd. Per niente spesso"
}
```

--------------------------------

### BeleBele-no Training Examples

Source: https://euroeval.com/datasets/norwegian

JSON-formatted reading comprehension examples from the BeleBele-no training split.

```json
{
  "text": "Tekst: Det kinesiske nyhetsbyrået Xinhua meldte tidligere fra om at et fly var kapret. Det ble senere rapportert at flyet fikk en bombetrussel og ble veiledet mot retur til Afghanistan med landing i Kandahar. Ifølge de første rapportene ble flyet dirigert tilbake til Afghanistan etter å ha blitt nektet nødlanding i Ürümqi.\nSpørsmål: Hva ble ikke sagt i den nyeste rapporten fra nyhetsbyrået Xinhua?\nSvaralternativer:\na. Flyet fikk en bombetrussel\nb. Flyet landet i Ürümqi\nc. Flyet ble dirigert til Afghanistan\nd. Flyet landet i Kandahar",
  "label": "b"
}
```

```json
{
  "text": "Tekst: Tyskland begynte å gjøre seg klare til å invadere Storbritannia da kampen om Frankrike var over. Tyskland gav angrepet kodenavnet «operasjon sjøløve». Mesteparten av den britiske hærens tunge våpen og forsyninger hadde gått tapt da den flyktet fra Dunkirk, så de var svært sårbar. Den britiske marinen var imidlertid fremdeles mye kraftigere enn den tyske («Kriegsmarine») og kunne ha ødelagt en eventuell invasjonsflåte sendt over den engelske kanal. Det var likevel svært få skip fra Royal Navy som ble stasjonert nær de sannsynlige invasjonsrutene siden admiralene var engstelige for at de kom til å bli senket av tyske luftangrep.\nSpørsmål: Hva kalte Tyskland angrepet på Storbritannia?\nSvaralternativer:\na. Dunkirk\nb. Operasjon sjøløve\nc. Kriegsmarine\nd. Royal Navy",
  "label": "b"
}
```

```json
{
  "text": "Tekst: Det italienske og det tyske landslaget er de nest beste lagene i verden og var FIFA World Cup-mestere i 2006. Fotball, basketball, volleyball, vannpolo, fekting, rugby, sykling, ishockey, rullehockey og Formel-1 bilsport er godt likte sportsgrener. Vintersport er mest populært i nordlige områder, der italienere deltar i internasjonale konkurranser og OL-arrangementer.\nSpørsmål: Hvilke av følgende sporter vant et verdensmesterskap for Italia, basert på informasjonen i avsnittet?\nSvaralternativer:\na. Fotball\nb. Vannpolo\nc. Basketball\nd. Sykling",
  "label": "a"
}
```
Tokens:
Raw