Nos ultimos dias eu estive trabalhando em uma forma de suportar caracteres utf-8 no bitsheet. Ontem eu resolvi usar a iconv para fazer este trabalho de conversão de wchar_t para UTF-8 e vice-versa. Resolvi postar aqui a solução que usei.
<Teoria chata>
O tipo wchar_t foi introduzido para que houvesse suporte a wide characters, mas a codificação de uma array de wchar_t (ou wide string) é dependente da locale do sistema (LC_TYPE/LC_ALL/LC_LANG) e do compilador. O padrão C não especifica um tamanho exato para o tipo wchar_t, largando esta tarefa aos compiladores, então o valor deste tipo geralmente varia entre 8 e 32 bits. No caso da implementação do wchar_t do gcc, o tamanho é 32 bits, portanto o mesmo comporta caracteres que consumam até 4bytes (como alguns caracteres Unicode).
UTF-8 (8-bit Unicode Transformation Format) é uma das primeiras codificações que implementam suporte a Unicode characters, ele foi criado por Ken Thompson (o cara que criou a linguagem B e que ja recebeu até premio turing junto com o Denis Ritchie) e Rob Pike (junto com Ken Thompson criou o sistema operacional Plan 9) num restaurante de New Jersey (pode acreditar!) em setembro de 1992. Os caras resolveram fazer isso porque odiaram o suporte a caracteres 16bit do UTF original e do ISO 10646. O formato foi feito para ser compatível com o padrão ASCII e utiliza um numero variado de bytes para representar os caracteres (caracteres ASCII usam 1 caracteres, e letras acentuadas geralmente utilizam 2 caracteres).
Nem todas as implementações do tipo wchar_t comportam todas as possibilidades da codificação UTF-8, o wchar_t do compilador c++ da microsoft é de 16bits e portanto não comporta os casos em que os caracteres utf-8 são maiores que 16bits (É UMA CILADA BINO!). Mas aí existem umas manhas pra resolver este problema.
</Teoria chata>
A biblioteca iconv é uma biblioteca comum em sistemas UNIX, ela faz a conversão entre diferentes codificações de caracteres inclusive de uma codificação como o utf-8 para a codificação interna do wchar_t. Chega de enrolação, la vai o code.
(a linguagem é C++)
// lembre se desses headers:
#include <cwchar>
#include <iconv.h>
#include <langinfo.h>
// UTF-8 multibyte string para wide char string
wchar_t * utf8mbstowcs (const char *str) {
iconv_t cd;
size_t inleft, outleft;
wchar_t *wbuf;
wbuf = new wchar_t[strlen(str)+1];
memset(wbuf, 0, strlen(str)+1);
cd = iconv_open("WCHAR_T", "UTF8");
iconv(cd, NULL, NULL, NULL, NULL);
inleft = strlen(str) + 1;
outleft = strlen(str) * sizeof(wchar_t)+1;
char *in = (char*)str;
char *out = reinterpret_cast<char *>(wbuf);
if (iconv(cd, &in, &inleft, &out, &outleft) < 0) {
delete wbuf;
wbuf = NULL;
}
iconv_close(cd);
return wbuf;
}
// wide char string para UTF-8 multibyte string
char *wcstoutf8mbs (const wchar_t *wstr) {
iconv_t cd;
size_t inleft, outleft;
char *buf;
char str[wcstombs(NULL, wstr, 0)+1];
inleft = wcstombs(NULL, wstr, 0)+1;
outleft = (inleft -1)* sizeof(wchar_t)+1;
memset(str, 0, inleft);
// melhor converter, vai que a endianess fez alguma besteira ;)
wcstombs(str, wstr, inleft);
buf = new char[outleft];
memset(buf, 0, outleft);
cd = iconv_open("UTF8", nl_langinfo(CODESET));
iconv(cd, NULL, NULL, NULL, NULL);
char *in = reinterpret_cast<char *>((wchar_t*)str);
char *out = (char*) buf;
if (iconv(cd, &in, &inleft, &out, &outleft) < 0) {
delete buf;
buf = NULL;
}
iconv_close(cd);
return buf;
}
Referencias:
http://www.cl.cam.ac.uk/~mgk25/ucs/utf-8-history.txt
http://opengroup.org/onlinepubs/007908799/xsh/wchar.h.html
http://icu-project.org/docs/papers/unicode_wchar_t.html
Enygmata 