Flex & utf8

«Давным давно, кажется, в прошлую пятницу», мне потребовался лексический анализатор, умеющий работать с юникодными данными.

Построителем лексического анализатора хотелось иметь Flex, и это оказалось целой проблемой.
Сам по себе Flex не умеет работать с юникодными данными т.к. при построении автомата исходит из того, что символы 7 или 8 битные.

Встретился было flex-2.5.4a-unicode-patch, но только для 16-битных символов и конкретной версии со всеми вытекающими.

Меж тем есть простое и вполне работоспособное решение, не требующее лезть немытыми руками в святая святых пересборки инструментов.

Объявляем

%option 8bit
%option c++
...
alpha   [A-Za-z]
U1      [\x80-\xbf]
U2      [\xc2-\xdf]
U3      [\xe0-\xef]
U4      [\xf0-\xf4]
ualpha  {alpha}|{U2}{U1}|{U3}{U1}{U1}|{U4}{U1}{U1}{U1}
uname   ({ualpha}|\_)*
...

и voilà… можно пользоваться.

%%
...
{uname} {
  ...
  yylval.str_ = std::string(yytext);
  return XyzParser::ttName;
}