1. Си / Говнокод #26780

    +2

    1. 1
    2. 2
    3. 3
    4. 4
    5. 5
    6. 6
    7. 7
    8. 8
    The count is coded into a one-octet number using the following
formula:

   #define EXPBIAS 6
       count = ((Int32)16 + (c & 15)) << ((c >> 4) + EXPBIAS);

The above formula is in C, where "Int32" is a type for a 32-bit
integer, and the variable "c" is the coded count, Octet 10.

    Стандарт PHGP, набайтоёблено где не ждали. Казалось бы, в чем сложность отвести один октет на базу, а другой на сдвиг? Но сишнику проще даже не объяснить происходящее в стандарте, а просто кинуть код, типа, и так понятно же.

    https://tools.ietf.org/html/rfc4880#page-12

    Запостил: Fike, 30 Июня 2020

    Комментарии (17) RSS

    • ava bormand 30.06.2020 11:36 # +2

      Если флоат - плавающий питух, то это - плавающий цыплёнок с 4 битами мантиссы и экспоненты.
      Ответить

      • ava nemyx 30.06.2020 13:50 # 0

        В «Вике» есть статья про плавающего цыплёнка (правда, у него 10 битов мантиссы):
        https://ru.wikipedia.org/wiki/Число_половинной_точности
        https://en.wikipedia.org/wiki/Half-precision_floating-point_format

        Я не знаю, что им можно считать. Там же погрешность набегает шопипец.

        Это говно даже в «IEEE 754» внесли. Хорошо, что в 8087 его реализовывать не стали.
        Ответить

        • ava bormand 30.06.2020 13:52 # +2

          В видеокартах вроде поддерживается этот полуфлоат.
          Ответить

          • ava nemyx 30.06.2020 15:56 # +1

            Цыплят, оказывается, ещё несколько:
            https://en.wikipedia.org/wiki/Bfloat16_floating-point_format

            Есть «IEEE half-precision 16-bit float» с 10-битной мантиссой, есть «bfloat16» с семибитной мантиссой.

            Помимо этого есть 18-битный «NVidia's TensorFloat» с 10-битной мантиссой, есть кодек «G.711» с 8-битным цыплёнком с четырёхбитной мантиссой, есть «Khronos» с 11-битным цыплёнком с 6-битной мантиссой и с 10-битным цыплёнком с 5-битной мантиссой...

            Вот тут ещё немного питушни:
            http://www.mrob.com/pub/math/floatformats.html
            Ответить

        • ava gost 30.06.2020 13:55 # +1

          В мышином обучении, ЕМНИП, юзается. Там всё равно всем похуй на точность, а скорость у этого цыплёнка высокая.
          Ответить

          • ava nemyx 30.06.2020 14:13 # +2

            Кстати, в системах с обратной связью высокая точность не требуется. Например, у зенитно-ракетных комплексов разрешающая способность канала связи между станцией наведения и ракетой очень низкая. Однако, там все ошибки корректируются «на следующей итерации»: если ракета полетела немного не туда, ей прилетает команда коррекции направления, чтобы уменьшить ошибку. Высокая разрешающая способность канала никаких преимуществ не даст: всё равно через какие-то промежутки времени траекторию нужно корректировать, потому что окружающая обстановка меняется непредсказуемо.

            В мышином обучении что-то подобное?
            Ответить

            • ava bormand 30.06.2020 14:19 # +2

              У дельта-сигма модулятора вообще однобитный поток. А результат не хуже чем у полноценных ЦАП/АЦП.
              Ответить

            • ava gost 30.06.2020 14:53 # +2

              В мышином обучении просто не нужна особая точность, плюс обычно все параметры нормируются в [0; 1]. К тому же, урезание плавающих петухов в два раза позволяет делать (и умещать в оперативку видеокарты) ИНС с в два раза бо́льшим количеством нейронов/синапсов.
              Ответить

              • ava bormand 30.06.2020 14:55 # 0

                > все параметры нормируются в [0; 1]

                А зачем тогда флоаты?
                Ответить

                • ava gost 30.06.2020 14:58 # 0

                  Это диапазон из ℝ.
                  UPD: А, понял тебя. Плавающие питухи там для весов, их-то нормировать не получится. Причём скатывание весов в NaN/Inf — распространённая проблема.
                  Ответить

                  • ava bormand 30.06.2020 15:06 # 0

                    Да я понимаю, что из R. Вопрос скорее о том, почему флоаты с их нелинейной плотностью а не фикседы с равномерной. Для нейронок так важны сигналы слабее 0.000015?

                    UPD: Понятно.
                    Ответить

                    • ava gost 30.06.2020 15:13 # 0

                      Из-за нативной поддержки, наверное. Эмуляция фиксированных питухов будет слишком медленной, а нативно она разве что в каких-нибудь специализированных ASCII-ах есть.
                      Ну и бульмень стабильная относительная погрешность тоже наверняка играет роль, веса могут вылезать далеко-высоко.
                      Ответить

                      • ava bormand 30.06.2020 15:18 # 0

                        Вот и настал тот день, когда флоаты работают быстрее царских интов...
                        Ответить

                        • ava Fike 30.06.2020 18:35 # 0

                          не работают

                          fixed that for you
                          Ответить

                        • ava 3.14159265 03.07.2020 18:54 # 0

                          Та ладно вам хоронить инты и поклоняться плавающему питуху.

                          Кроме FP16, там есть INT8 и даже INT4.

                          > Each T4 comes with 16GB of GPU memory, offers the widest precision support (FP32, FP16, INT8 and INT4), includes NVIDIA Tensor Core and RT

                          > когда флоаты работают быстрее царских интов...
                          А вот и хуй.

                          260 TOPs INT4 performance, 130 TOPs INT8, 65 TFLOPS FP16, 8.1 TFLOPS FP32

                          https://cloud.google.com/blog/products/ai-machine-learning/nvidia-tesla-t4-gpus-now-available-in-beta
                          Ответить

                          • ava bormand 03.07.2020 19:53 # 0

                            > 260 для 4 бит
                            > 130 для 8 бит
                            > 65 для 16 бит

                            Хм, т.е. они все с одинаковой скоростью работают. Просто мелких чисел больше обрабатывается за раз.
                            Ответить

                • ava guest8 30.06.2020 22:25 # −999

                  показать все, что скрытоvanished
                  Ответить

    Добавить комментарий