LIMA
Libre Multilingual Analyzer — C++ API
Loading...
Searching...
No Matches
qtSgmlEntities.cpp
Go to the documentation of this file.
1// Copyright (C) 2016 The Qt Company Ltd.
2// SPDX-FileCopyrightText: 2022 CEA LIST <gael.de-chalendar@cea.fr>
3//
4// SPDX-License-Identifier: MIT
5
6#include "qtSgmlEntities.h"
7
8static const ushort windowsLatin1ExtendedCharacters[0xA0 - 0x80] = {
9 0x20ac, // 0x80
10 0x0081, // 0x81 direct mapping
11 0x201a, // 0x82
12 0x0192, // 0x83
13 0x201e, // 0x84
14 0x2026, // 0x85
15 0x2020, // 0x86
16 0x2021, // 0x87
17 0x02C6, // 0x88
18 0x2030, // 0x89
19 0x0160, // 0x8A
20 0x2039, // 0x8B
21 0x0152, // 0x8C
22 0x008D, // 0x8D direct mapping
23 0x017D, // 0x8E
24 0x008F, // 0x8F directmapping
25 0x0090, // 0x90 directmapping
26 0x2018, // 0x91
27 0x2019, // 0x92
28 0x201C, // 0x93
29 0X201D, // 0x94
30 0x2022, // 0x95
31 0x2013, // 0x96
32 0x2014, // 0x97
33 0x02DC, // 0x98
34 0x2122, // 0x99
35 0x0161, // 0x9A
36 0x203A, // 0x9B
37 0x0153, // 0x9C
38 0x009D, // 0x9D direct mapping
39 0x017E, // 0x9E
40 0x0178 // 0x9F
41};
42
43// see also tst_qtextdocumentfragment.cpp
44#define MAX_ENTITY 258
45static const struct TextHtmlEntity { const char name[9]; quint16 code; } entities[]= {
46 { "AElig", 0x00c6 },
47 { "AMP", 38 },
48 { "Aacute", 0x00c1 },
49 { "Acirc", 0x00c2 },
50 { "Agrave", 0x00c0 },
51 { "Alpha", 0x0391 },
52 { "Aring", 0x00c5 },
53 { "Atilde", 0x00c3 },
54 { "Auml", 0x00c4 },
55 { "Beta", 0x0392 },
56 { "Ccedil", 0x00c7 },
57 { "Chi", 0x03a7 },
58 { "Dagger", 0x2021 },
59 { "Delta", 0x0394 },
60 { "ETH", 0x00d0 },
61 { "Eacute", 0x00c9 },
62 { "Ecirc", 0x00ca },
63 { "Egrave", 0x00c8 },
64 { "Epsilon", 0x0395 },
65 { "Eta", 0x0397 },
66 { "Euml", 0x00cb },
67 { "GT", 62 },
68 { "Gamma", 0x0393 },
69 { "Iacute", 0x00cd },
70 { "Icirc", 0x00ce },
71 { "Igrave", 0x00cc },
72 { "Iota", 0x0399 },
73 { "Iuml", 0x00cf },
74 { "Kappa", 0x039a },
75 { "LT", 60 },
76 { "Lambda", 0x039b },
77 { "Mu", 0x039c },
78 { "Ntilde", 0x00d1 },
79 { "Nu", 0x039d },
80 { "OElig", 0x0152 },
81 { "Oacute", 0x00d3 },
82 { "Ocirc", 0x00d4 },
83 { "Ograve", 0x00d2 },
84 { "Omega", 0x03a9 },
85 { "Omicron", 0x039f },
86 { "Oslash", 0x00d8 },
87 { "Otilde", 0x00d5 },
88 { "Ouml", 0x00d6 },
89 { "Phi", 0x03a6 },
90 { "Pi", 0x03a0 },
91 { "Prime", 0x2033 },
92 { "Psi", 0x03a8 },
93 { "QUOT", 34 },
94 { "Rho", 0x03a1 },
95 { "Scaron", 0x0160 },
96 { "Sigma", 0x03a3 },
97 { "THORN", 0x00de },
98 { "Tau", 0x03a4 },
99 { "Theta", 0x0398 },
100 { "Uacute", 0x00da },
101 { "Ucirc", 0x00db },
102 { "Ugrave", 0x00d9 },
103 { "Upsilon", 0x03a5 },
104 { "Uuml", 0x00dc },
105 { "Xi", 0x039e },
106 { "Yacute", 0x00dd },
107 { "Yuml", 0x0178 },
108 { "Zeta", 0x0396 },
109 { "aacute", 0x00e1 },
110 { "acirc", 0x00e2 },
111 { "acute", 0x00b4 },
112 { "aelig", 0x00e6 },
113 { "agrave", 0x00e0 },
114 { "alefsym", 0x2135 },
115 { "alpha", 0x03b1 },
116 { "amp", 38 },
117 { "and", 0x22a5 },
118 { "ang", 0x2220 },
119 { "apos", 0x0027 },
120 { "aring", 0x00e5 },
121 { "asymp", 0x2248 },
122 { "atilde", 0x00e3 },
123 { "auml", 0x00e4 },
124 { "bdquo", 0x201e },
125 { "beta", 0x03b2 },
126 { "brvbar", 0x00a6 },
127 { "bull", 0x2022 },
128 { "cap", 0x2229 },
129 { "ccedil", 0x00e7 },
130 { "cedil", 0x00b8 },
131 { "cent", 0x00a2 },
132 { "chi", 0x03c7 },
133 { "circ", 0x02c6 },
134 { "clubs", 0x2663 },
135 { "cong", 0x2245 },
136 { "copy", 0x00a9 },
137 { "crarr", 0x21b5 },
138 { "cup", 0x222a },
139 { "curren", 0x00a4 },
140 { "dArr", 0x21d3 },
141 { "dagger", 0x2020 },
142 { "darr", 0x2193 },
143 { "deg", 0x00b0 },
144 { "delta", 0x03b4 },
145 { "diams", 0x2666 },
146 { "divide", 0x00f7 },
147 { "eacute", 0x00e9 },
148 { "ecirc", 0x00ea },
149 { "egrave", 0x00e8 },
150 { "empty", 0x2205 },
151 { "emsp", 0x2003 },
152 { "ensp", 0x2002 },
153 { "epsilon", 0x03b5 },
154 { "equiv", 0x2261 },
155 { "eta", 0x03b7 },
156 { "eth", 0x00f0 },
157 { "euml", 0x00eb },
158 { "euro", 0x20ac },
159 { "exist", 0x2203 },
160 { "fnof", 0x0192 },
161 { "forall", 0x2200 },
162 { "frac12", 0x00bd },
163 { "frac14", 0x00bc },
164 { "frac34", 0x00be },
165 { "frasl", 0x2044 },
166 { "gamma", 0x03b3 },
167 { "ge", 0x2265 },
168 { "gt", 62 },
169 { "hArr", 0x21d4 },
170 { "harr", 0x2194 },
171 { "hearts", 0x2665 },
172 { "hellip", 0x2026 },
173 { "iacute", 0x00ed },
174 { "icirc", 0x00ee },
175 { "iexcl", 0x00a1 },
176 { "igrave", 0x00ec },
177 { "image", 0x2111 },
178 { "infin", 0x221e },
179 { "int", 0x222b },
180 { "iota", 0x03b9 },
181 { "iquest", 0x00bf },
182 { "isin", 0x2208 },
183 { "iuml", 0x00ef },
184 { "kappa", 0x03ba },
185 { "lArr", 0x21d0 },
186 { "lambda", 0x03bb },
187 { "lang", 0x2329 },
188 { "laquo", 0x00ab },
189 { "larr", 0x2190 },
190 { "lceil", 0x2308 },
191 { "ldquo", 0x201c },
192 { "le", 0x2264 },
193 { "lfloor", 0x230a },
194 { "lowast", 0x2217 },
195 { "loz", 0x25ca },
196 { "lrm", 0x200e },
197 { "lsaquo", 0x2039 },
198 { "lsquo", 0x2018 },
199 { "lt", 60 },
200 { "macr", 0x00af },
201 { "mdash", 0x2014 },
202 { "micro", 0x00b5 },
203 { "middot", 0x00b7 },
204 { "minus", 0x2212 },
205 { "mu", 0x03bc },
206 { "nabla", 0x2207 },
207 { "nbsp", 0x00a0 },
208 { "ndash", 0x2013 },
209 { "ne", 0x2260 },
210 { "ni", 0x220b },
211 { "not", 0x00ac },
212 { "notin", 0x2209 },
213 { "nsub", 0x2284 },
214 { "ntilde", 0x00f1 },
215 { "nu", 0x03bd },
216 { "oacute", 0x00f3 },
217 { "ocirc", 0x00f4 },
218 { "oelig", 0x0153 },
219 { "ograve", 0x00f2 },
220 { "oline", 0x203e },
221 { "omega", 0x03c9 },
222 { "omicron", 0x03bf },
223 { "oplus", 0x2295 },
224 { "or", 0x22a6 },
225 { "ordf", 0x00aa },
226 { "ordm", 0x00ba },
227 { "oslash", 0x00f8 },
228 { "otilde", 0x00f5 },
229 { "otimes", 0x2297 },
230 { "ouml", 0x00f6 },
231 { "para", 0x00b6 },
232 { "part", 0x2202 },
233 { "percnt", 0x0025 },
234 { "permil", 0x2030 },
235 { "perp", 0x22a5 },
236 { "phi", 0x03c6 },
237 { "pi", 0x03c0 },
238 { "piv", 0x03d6 },
239 { "plusmn", 0x00b1 },
240 { "pound", 0x00a3 },
241 { "prime", 0x2032 },
242 { "prod", 0x220f },
243 { "prop", 0x221d },
244 { "psi", 0x03c8 },
245 { "quot", 34 },
246 { "rArr", 0x21d2 },
247 { "radic", 0x221a },
248 { "rang", 0x232a },
249 { "raquo", 0x00bb },
250 { "rarr", 0x2192 },
251 { "rceil", 0x2309 },
252 { "rdquo", 0x201d },
253 { "real", 0x211c },
254 { "reg", 0x00ae },
255 { "rfloor", 0x230b },
256 { "rho", 0x03c1 },
257 { "rlm", 0x200f },
258 { "rsaquo", 0x203a },
259 { "rsquo", 0x2019 },
260 { "sbquo", 0x201a },
261 { "scaron", 0x0161 },
262 { "sdot", 0x22c5 },
263 { "sect", 0x00a7 },
264 { "shy", 0x00ad },
265 { "sigma", 0x03c3 },
266 { "sigmaf", 0x03c2 },
267 { "sim", 0x223c },
268 { "spades", 0x2660 },
269 { "sub", 0x2282 },
270 { "sube", 0x2286 },
271 { "sum", 0x2211 },
272 { "sup", 0x2283 },
273 { "sup1", 0x00b9 },
274 { "sup2", 0x00b2 },
275 { "sup3", 0x00b3 },
276 { "supe", 0x2287 },
277 { "szlig", 0x00df },
278 { "tau", 0x03c4 },
279 { "there4", 0x2234 },
280 { "theta", 0x03b8 },
281 { "thetasym", 0x03d1 },
282 { "thinsp", 0x2009 },
283 { "thorn", 0x00fe },
284 { "tilde", 0x02dc },
285 { "times", 0x00d7 },
286 { "trade", 0x2122 },
287 { "uArr", 0x21d1 },
288 { "uacute", 0x00fa },
289 { "uarr", 0x2191 },
290 { "ucirc", 0x00fb },
291 { "ugrave", 0x00f9 },
292 { "uml", 0x00a8 },
293 { "upsih", 0x03d2 },
294 { "upsilon", 0x03c5 },
295 { "uuml", 0x00fc },
296 { "weierp", 0x2118 },
297 { "xi", 0x03be },
298 { "yacute", 0x00fd },
299 { "yen", 0x00a5 },
300 { "yuml", 0x00ff },
301 { "zeta", 0x03b6 },
302 { "zwj", 0x200d },
303 { "zwnj", 0x200c }
306
307static bool operator<(const QStringView &entityStr, const TextHtmlEntity &entity)
308{
309 return entityStr < QLatin1String(entity.name);
310}
311static bool operator<(const TextHtmlEntity &entity, const QStringView &entityStr)
312{
313 return QLatin1String(entity.name) < entityStr;
314}
315
316static QChar resolveEntity(const QStringView &entity)
317{
318 const TextHtmlEntity *start = &entities[0];
319 const TextHtmlEntity *end = &entities[MAX_ENTITY];
320 const TextHtmlEntity *e = std::lower_bound(start, end, entity);
321 if (e == end || (entity < *e))
322 return QChar();
323 return e->code;
324}
325
326// parses an entity after "&", and returns it
327QString parseEntity(QStringView entity)
328{
329 int entityLen = entity.size();
330 if (entityLen) {
331 QChar resolved = resolveEntity(entity);
332 if (!resolved.isNull())
333 return QString(resolved);
334 if (entityLen > 1 && entity.at(0) == QLatin1Char('#')) {
335 entity = entity.mid(1); // removing leading #
336 int base = 10;
337 bool ok = false;
338 if (entity.at(0).toLower() == QLatin1Char('x')) { // hex entity?
339 entity = entity.mid(1);
340 base = 16;
341 }
342 uint uc = entity.toString().toUInt(&ok, base);
343 if (ok) {
344 if (uc >= 0x80 && uc < 0x80 + (sizeof(windowsLatin1ExtendedCharacters)/sizeof(windowsLatin1ExtendedCharacters[0])))
345 uc = windowsLatin1ExtendedCharacters[uc - 0x80];
346 QString str;
347 if (QChar::requiresSurrogates(uc)) {
348 str += QChar(QChar::highSurrogate(uc));
349 str += QChar(QChar::lowSurrogate(uc));
350 } else {
351 str = QChar(uc);
352 }
353 return str;
354 }
355 }
356 }
357 return QString(entity.toString());
358}
359
static QChar resolveEntity(const QStringView &entity)
static bool operator<(const QStringView &entityStr, const TextHtmlEntity &entity)
static const struct TextHtmlEntity entities[]
Q_STATIC_ASSERT(MAX_ENTITY==sizeof entities/sizeof *entities)
QString parseEntity(QStringView entity)
static const ushort windowsLatin1ExtendedCharacters[0xA0 - 0x80]
#define MAX_ENTITY
const char name[9]