1. Python / Говнокод #18917

    −11

    1. 1
    array.array(itertools.repeat(0, 1024*1024*1024))

    Toooo sloooow...

    Неужели в питоне нету быстрого способа набить в array пачку ноликов?

    Запостил: bormand, 26 Октября 2015

    Комментарии (31) RSS

    • ava bormand 26.10.2015 20:08 # 0

      SEO comment
      Ответить

    • ava bormand 26.10.2015 20:18 # +1

      Вот такое говнецо пришло в голову:
      def make_byte_array(size):
    if size == 0:
        return array.array('B', [])
    a = make_byte_array(size // 2)
    a.extend(a)
    if size % 2:
        a.append(0)
    return a
      Работает на порядки быстрее решения из топика ;)

      2.2 секунды на 4 гига.
      Ответить

      • ava Dummy00001 27.10.2015 11:52 # +1

        на перле на эти же грабли в прошлом наступал (делал стресс-тест для памяти) - и решение было подобным. (я просто в лоб с оператором повторения из 1КБ делал 1МБ, и из него делал 1ГБ - работало на порядок быстрее чем `'x' x (1024*1024*1024)`).

        сейчас под рукой системы нету на новых версиях выделение 4ГБ протестировать.
        если кто хочет: time perl -e '$a="a"x(4*1024*1024*1024)'
        Ответить

    • ava 3_14dar 26.10.2015 20:22 # 0

      Не в питоне а в numpy.
      в цикле extend( [0] * 1024 * 1024)
      Ответить

      • ava bormand 26.10.2015 20:25 # 0

        > а в numpy
        В шапке я юзал штатный питоний array, не numpy.
        Ответить

      • ava bormand 26.10.2015 20:32 # 0

        Такой экстенд тоже дико медленный... Разве что закешированный array на метр конкатенировать, а не список.
        Ответить

      • ava bormand 26.10.2015 20:33 # 0

        Вот как-то так, походу, надо: 
        mem = array.array('B', [0]) * size
        Тоже за 2.2 секунды 4 гига забивает.
        Ответить

        • ava kegdan 26.10.2015 22:41 # +4

          >> array.array

          вояяяж вояж на нара на на
          Ответить

        • ava Elvenfighter 26.10.2015 23:33 # 0

          Как насчет стильных, модных, молодёжных генераторов?
          devzero = [ 0 for x in xrange(0, 1 << 20) ]


          Кстати да: а в питоне можно писать в файл значения из генератора (yield)?
          Ответить

          • ava 3_14dar 27.10.2015 00:11 # 0

            Ты не понял. Любая работа с высокоуровневой поеботой будет медленной. mem = array.array('B', [0]) * size же равносильно mem = array.array('B', [0]).__mul__(size), дергается метод array. И чем то что ты написал отличается от [0] * 1 << 20?

            >Кстати да: а в питоне можно писать в файл значения из генератора (yield)?
            В цикле for
            Ответить

            • ava Elvenfighter 27.10.2015 01:30 # 0

              > И чем то что ты написал отличается от [0] * 1 << 20?
              Мне вообще про Python известно только то, что знакомый расказывал (ну тот, что с парашютом прыгал)

              >> Кстати да: а в питоне можно писать в файл значения из генератора (yield)?
              > В цикле for
              Я тут подумал: херню сморозил.
              Ответить

        • ava Stallman 27.10.2015 12:27 # 0

          Вполне ожидаемо на самом деле. Конструктор array принимает любой итератор, что делает неизбежными парсинг, валидацию нового элемента и реаллок содержимого самого массива на каждый элемент. array.repeat() и array.extend() реализованы уже с учетом того, что аргументом будет другой массив с элементами уже известного типа.
          Так что и тут за универсальность интерфейса пришлось заплатить пирфомансом.
          Ответить

          • ava bormand 27.10.2015 17:38 # +2

            > реаллок содержимого самого массива на каждый элемент
            Ну вот это не факт. Там, скорее всего, capacity и size отдельные и реаллочит он всё-таки реже.
            Ответить

            • ava TarasB 28.10.2015 11:42 # 0

              При наличии нормального аллокатора не надо отдельно хранить капасити и сайз.
              Ответить

              • ava bormand 28.10.2015 17:15 # 0

                Ну суть же не меняется, просто capacity спрашиваешь у аллокатора, а не хранишь сам.
                Ответить

          • ava 3_14dar 28.10.2015 08:15 # 0

            >реаллок содержимого самого массива на каждый элемент.
            Ну может там как в жавке в списке - экспоненциальное выделение памяти.
            Ответить

    • ava Her 26.10.2015 20:57 # 0 

      gcc -o zeros zeros.c
os.system( 'zeros' )
      Ответить

      • ava bormand 26.10.2015 20:57 # +1

        Так мне их не вывести надо было :) Если бы мне просто файл с ноликами нужен был бы - я бы тупо dd'шнул их из /dev/zero.
        Ответить

    • ava 3_dar 26.10.2015 21:08 # +4

      1ГБ ноликов?
      А питон не сдохнет от такого?
      Ответить

    • ava roman-kashitsyn 26.10.2015 21:14 # +1 

      python -c 'print "array=", [0] * (1 << 20)' > zeros.py
python
>>> import zeros
>>> zeros.array[0:5]
[0, 0, 0, 0, 0]
      Ответить

      • ava 3_14dar 26.10.2015 21:35 # 0

        А 1<<30 слабо?
        Ответить

        • ava 1024-- 26.10.2015 21:55 # +5

          Как сообщает газета "Байт", сегодня, 27 октября, основной сервер Яндекса дал сбой. От Одноклассников и Вконтактика были отрезаны сотни миллионов российских пользователей, пренебрегающих адресной строкой. По словам очевидцев, в полночь остановился поиск, через десять минут отказал хостинг, а ещё через пару минут все сервисы Яндекса перестали отвечать. Ведётся независимое расследование.
          Утром нам позвонил анонимный немецкий господин и сообщил "Яндекс. Кашицын. 1<<35 нулей хватит всем. Русня, ищите кампютеры, я нашёл". Таинственное сообщение расшифровать не удалось. На всякий случай мы рекомендуем не прислоняться к дверям и носить с собой зонтик.
          Ответить

    • ava guest 26.10.2015 23:52 # 0

      https://pypi.python.org/pypi/cymem
      Ответить

    Добавить комментарий