- 01
- 02
- 03
- 04
- 05
- 06
- 07
- 08
- 09
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
private String nextUTF8Character() throws IOException, CharacterCodingException
{
int iCodePoint = 0;
int byte1, byte2, byte3, byte4;
byte1 = is.read();
if (byte1 == -1)
return null;
// проверяем является ли первый бит нулевым
if ((byte1 & 0x80) == 0)
{
// один байт
iCodePoint = byte1 & 0x7F;
return new String(Character.toChars(iCodePoint));
}
byte2 = is.read();
if (byte2 == -1)
return null;
if ((byte1 & 0xE0) == 0xC0 && (byte2 & 0xC0) == 0x80)
{
// два байта
iCodePoint = ((byte1 & 0x1F) << 6) | (byte2 & 0x3F);
if (iCodePoint > 0x7F)
return new String(Character.toChars(iCodePoint));
else
throw new CharacterCodingException();
}
byte3 = is.read();
if (byte3 == -1)
return null;
if ((byte1 & 0xF0) == 0xE0 && (byte2 & 0xC0) == 0x80 && (byte3 & 0xC0) == 0x80)
{
// три байта
iCodePoint = ((byte1 & 0x0F) << 12) | ((byte2 & 0x3F) << 6) | (byte3 & 0x3F);
if (iCodePoint > 0x7FF)
return new String(Character.toChars(iCodePoint));
else
throw new CharacterCodingException();
}
byte4 = is.read();
if (byte4 == -1)
return null;
if ((byte1 & 0xF8) == 0xF0 && (byte2 & 0xC0) == 0x80 &&
(byte3 & 0xC0) == 0x80 && (byte4 & 0xC0) == 0x80)
{
// четыре байта
iCodePoint = ((byte1 & 0x07) << 18) | ((byte2 & 0x3F) << 12) |
((byte3 & 0x3F) << 6) | (byte4 & 0x3F);
if (iCodePoint > 0x0FFFF)
return new String(Character.toChars(iCodePoint));
else
throw new CharacterCodingException();
}
throw new CharacterCodingException();
}
Follow us!
но меня больше порадовал тот факт что оно посимвольно читает из потока - и посимвольно делает "new String(Character.toChars(iCodePoint));"
не верю что в Жабе нет какого штатного конвертора utf-8 <-> ucs2.
http://java.sun.com/j2se/1.4.2/docs/api/java/nio/charset/Charset.html
А вообще у меня было бы так:
vbttemp = new byte[len];
is.read(vbttemp);
Charset cs = Charset.forName("UTF-8");
String s = cs.decode(ByteBuffer.wrap(vbttemp)).toSt ring();
*без комментариев*
это уже не говно-код - это говно-днк.
Может, еще предложишь использовать Base64 ? Или, может, BinaryXML, как в матрешке?
XML по определению для структурированых данных.
И смысла в XML все пихать нет, если XML перестает быть совместимым со всеми остальным (тот же XSLT к примеру).
Если нужны блобы, сливай их в отдельный файл а в XML только делай на них ссылку. И парсить руками не надо, и лишний раз ничего конвертировать не надо.
N.B. Блин, даже SQL сервера блобы отдельно держать - потому что неструктурированые данные есть evil, даже если и "necessary evil".
Ну или в крайнем случае - да, какой Base64. Или чего угодно что быстро конвертиться и не портит XML.
Вся это шняга передаеццо по сети, и мне каждый байт дорог :)
Что уже говорить про конвертации бинари - текст, где на треть увеличивается длина блоба. Конечно, можно использовать алгоритм хаффмана, у меня даже есть где-то его говнокодная реализация :)
Блобы отделяются от XML, потом все складывается в самопальный контейнер (не имеющий никакого отношения к XML, если хочется универсальности можно покурить rfc2387 для вдохновения), который уже и проходит через сеть.
Это и есть самопальный контейнер!
>> этот говнокод делался для кастомного XML-анализатора
Я к тому что зачем использовать для передачи данных изнасилованный-XML-с-блобами (и плодить говно-анализаторы), когда можно сделать простейший контейнер (который на порядки проще XML) и уже в него вкладывать блобы (как они есть) и настоящий XML.
<data bin длина_данных>
пошел_массив_байтов
</data>
Это даже чем-то похоже на bencode
Это решение - полное говно: оно подразумевает создание собственного варианта XML, причем отличающегося на самом базовом уровне.
И все для задачи, элементарно решаемой оберткой НАД xml'ом
с таким кодом, с такой производительностью, тебе наверное 32+ ядер/потоков понадобится что бы гигабит эзернет канал забить.
сделай по тупому - сконвертни все в текст - и проверь насколько канал заполнен. мне слабо верится что ты и до половины ширины гигабитного канала доходишь.
Но вот это "каждый байт дорог", как правило, бывает преувеличено.
Тут не язык нужно менять, а алгоритм нормальный написать, а лучше вообще использовать старые проверенные средства.
Блин, у тебя НА КАЖДОМ символе выделяется память в куче. + отрабатывает тяжеленный конструктор.
if ("<".equals(кодовая_точка))
...
Хотя, возможно, если как-то переконвертить "<" в кодовую точку, например Character.toCodePoint(char high, char low), а потом сравнить...
Там же дальше у меня в коде идет метод типа charAt(0).
P.S. А шо ты хатев? Ето ш гамнокодъ!
Все бинарные данные в xml должны быть в BASE32/64 или чем-нибудь таком.
Тогда ты сможешь пользоваться Charset.
Ну и на сладкое - строить строку в твоем случае надо StringBuilder'ом. А не string new = old + nextUTF8Character();
Говнокод - это как поход к психологу. Если человек рассказал о своём говне, то ему станет легче. Не нужно его за это укорять или искать причину, а то вследующий раз не придёт причастится на говнокод и будет тихо говнякать.
Че бы не помочь человеку?
Может говнокода меньше станет :)
посмотрим на твой децкий лепет
так что не страшно