Mozilla Readability
A extração de artigos usa Mozilla Readability, Copyright (c) 2010 Arc90 Inc. Distribuído sob a Apache License 2.0.
Dados de frequência de palavras do wordfreq
O LingoReader usa dados modificados de frequência de palavras do wordfreq, de Robyn Speer. Os dados combinam várias fontes com atribuição, incluindo Wikipedia, Google Books, ParaCrawl, OpenSubtitles, SUBTLEX, notícias, web e dados agregados de frequência de redes sociais. Os dados derivados são licenciados sob a Creative Commons Attribution-ShareAlike 4.0 International.
Os agradecimentos e as referências completos das fontes são mantidos no aviso original do wordfreq. Em particular, os autores do SUBTLEX, incluindo Marc Brysbaert e colaboradores, recebem atribuição, e o SUBTLEX continua identificado como dados disponíveis gratuitamente. Os dados do OpenSubtitles são atribuídos ao OpenSubtitles.org e citam P. Lison e J. Tiedemann (2016), OpenSubtitles2016: Extracting Large Parallel Corpora from Movie and TV Subtitles, Proceedings of LREC 2016.
Alterações feitas pelo LingoReader
O LingoReader exporta todas as entradas com valor Zipf do wordfreq de pelo menos 1,80 das listas large selecionadas do wordfreq 3.1.1. Converte frequências normalizadas em ocorrências por bilhão, guarda valores Zipf como centésimos inteiros, normaliza chaves de consulta com Unicode NFC e conversão para minúsculas, associa idiomas de origem aos códigos de idioma do aplicativo e exclui tokens classificados como não lexicais pelo importador.
Atualizado em 14 de outubro de 2026