1. Python / Говнокод #27075

    0

    1. 001
    2. 002
    3. 003
    4. 004
    5. 005
    6. 006
    7. 007
    8. 008
    9. 009
    10. 010
    11. 011
    12. 012
    13. 013
    14. 014
    15. 015
    16. 016
    17. 017
    18. 018
    19. 019
    20. 020
    21. 021
    22. 022
    23. 023
    24. 024
    25. 025
    26. 026
    27. 027
    28. 028
    29. 029
    30. 030
    31. 031
    32. 032
    33. 033
    34. 034
    35. 035
    36. 036
    37. 037
    38. 038
    39. 039
    40. 040
    41. 041
    42. 042
    43. 043
    44. 044
    45. 045
    46. 046
    47. 047
    48. 048
    49. 049
    50. 050
    51. 051
    52. 052
    53. 053
    54. 054
    55. 055
    56. 056
    57. 057
    58. 058
    59. 059
    60. 060
    61. 061
    62. 062
    63. 063
    64. 064
    65. 065
    66. 066
    67. 067
    68. 068
    69. 069
    70. 070
    71. 071
    72. 072
    73. 073
    74. 074
    75. 075
    76. 076
    77. 077
    78. 078
    79. 079
    80. 080
    81. 081
    82. 082
    83. 083
    84. 084
    85. 085
    86. 086
    87. 087
    88. 088
    89. 089
    90. 090
    91. 091
    92. 092
    93. 093
    94. 094
    95. 095
    96. 096
    97. 097
    98. 098
    99. 099
    100. 100
    for course_id in COURSES: #конфиги для слабаков, реальные пацаны хардкодят константы
        participants = {}
        print(f'Downloading course {course_id}...')
        assignments = M.get_modules(course_id, 'assign')
        captions = {item['instance'] : item['name'] for item in assignments}
        rawsubs_per_assignment = M.get_submissions(captions.keys())
        files = []
        print('\tParsing assignments... ',end='')
        for i,assign in ProgressBar.each(rawsubs_per_assignment, length=50, donefmt='[OK]\n', errorfmt='[FAIL]\n'):
            #самописный прогресс-бар. В скрипте, который 90% времени запускается как демон.
            assign_id = assign['assignmentid']
            if assign_id not in participants:
                lst = M.list_participants(assign_id)
                participants[assign_id] = {i['id'] : i['fullname'] for i in lst}
            for rs in assign['submissions']:
                subfiles = M.get_submission_files(rs)
                for sf in subfiles:
                    f = StoredFile( #самописный псевдо-ORM
                        id = None,
                        url = sf['fileurl'],
                        filename = sf['filename'],
                        downloaded = False,
                        size = sf['filesize'],
                        mimetype = sf['mimetype'],
                        timestamp = sf['timemodified'],
                        course = course_id,
                        instance = assign_id,
                        submission = rs['id'],
                        userid = rs['userid'],
                        username = participants[assign_id][rs['userid']])
                    files.append(f)
        print('\tTotal of {0} assignments and {1} files.'.format(len(participants), len(files)))
        print('\tUpdating database... ', end='')
        with DB:
            for i,f in ProgressBar.each(files, captionfunc = (lambda f:f.filename),
                length=25, valuefmt='{ratio:.0%} ', donefmt='[OK]\n', errorfmt='[FAIL]\n'):
                DB.update_file(f) #execute_many()? зачем? И так сойдёт.
    files_to_download = list(DB.get_nonready_files())
    if not files_to_download:
        print('All files are up to date.')
    else:
        ok_count = 0
        error_count = 0
        print('Downloading missing files... ',end='')
        for i,f in ProgressBar.each(files_to_download,
            captionfunc = (lambda f: f'[{error_count} errors] {f.filename}'),
            length=25, valuefmt='{ratio:4.0%} ', donefmt='[OK]\n', errorfmt='[FAIL]\n'):
            #исчо один прогрессбар
            path = localpath(f)
            dir = os.path.dirname(path)
            os.makedirs(dir, exist_ok = True)
            if not verify(f):
                try:
                    with open(path, "wb") as dest:
                        #зачем проверять размер скачиваемого файла или наличие контента?
                        source = M.get_download_fileobj(f.url) 
                        shutil.copyfileobj(source, dest)
                    DB.mark_downloaded(f)
                except:
                    error_count += 1
                else:
                    ok_count += 1
            else:
                ok_count += 1
        if error_count > 0:
            print(f'{error_count} files failed to download!')
    comparisons = list(DB.get_files_to_match())
    if comparisons:
        print('Matching non-compared files... ',end='')
        log = open('errors.txt', 'wt', encoding='utf-8') #logging для слабаков
        for i,(f1,f2) in ProgressBar.each(comparisons, length=25, valuefmt='{pos}/{max}', donefmt='[OK]\n', errorfmt='[FAIL]\n'):
            #оптимизировать цикл, чтобы не читать один и тот же файл по 50 раз? Нафиг, работает же.
            path1, path2 = localpath(f1), localpath(f2)
            ok = True
            if not verify(f1):
                ok = False
                DB.mark_downloaded(f1, False)
            if not verify(f2):
                ok = False
                DB.mark_downloaded(f2, False)
            if ok:
                content1, content2 = None, None
                try:
                    content1 = extract_content(path1)
                    content2 = extract_content(path2)
                    similarity = compare_content(content1, content2)
                except Exception as E:
                    if content1 is None:
                        log.write(path1+'\n')
                    elif content2 is None:
                        log.write(path1+'\n')
                    else:
                        log.write('Comparison error!\n')
                    log.write(str(E)+'\n')
                else:
                    DB.save_diff(f1, f2, similarity)
                finally: #пусть сборщик мусора порадуется
                    del content1
                    del content2
        log.close()

    Написал тут скрипт, самому стыдно.
    Но работает.

    Запостил: Vindicar, 02 Ноября 2020

    Комментарии (15) RSS

    • ava Saehrimnir 02.11.2020 16:43 # 0

      Добрый вечер!
      Ответить

    • ava MAPTbIwKA 02.11.2020 16:47 # 0

      > del content1
      ручное управление?
      Ответить

      • ava bormand 02.11.2020 20:32 # 0

        Не, просто локалку удаляет. С тем же успехом можно content1 = None.
        Ответить

        • ava MAPTbIwKA 02.11.2020 20:33 # 0

          зачем? зачем? чтобы скоп почистить?

          они и так из вобласти видимости выйдут
          Ответить

          • ava bormand 02.11.2020 20:36 # 0

            Ну может быть он до закрытия лога хотел их вывести из скопа.
            Ответить

            • ava MAPTbIwKA 02.11.2020 20:37 # 0

              а они разве нет? они же декларированы на 082
              это не значит, что к выходу из блока ok они удалятся?
              да они и так удалятся

              не понимаю
              Ответить

              • ava bormand 02.11.2020 20:38 # 0

                У питона один скоп на всю функцию же. Отступы ничего не меняют.
                Ответить

                • ava MAPTbIwKA 02.11.2020 20:39 # 0

                  а, бля
                  фу, говно
                  фу нахуй
                  ну, похуй

                  всё равно не понятно зачем
                  ну убрал ты переменную из скоупа, и что? зачем ее убирать? и причем там сборщик мусора?
                  Ответить

                  • ava bormand 02.11.2020 20:39 # 0

                    Ну может у неё там деструктор и ты хочешь чтобы он залогировался... Хер знает.
                    Ответить

                    • ava MAPTbIwKA 02.11.2020 20:40 # 0

                      то есть автор считает, что её вот стопудово приберет RC, детерминированно и прямо в этом месте?
                      Ответить

                      • ava bormand 02.11.2020 20:42 # 0

                        Ну если ты никуда больше не прикопал ссылку - уберёт. Хотя это вроде деталь реализации цыпитона, в других реализациях может оказаться реальный гц.
                        Ответить

                        • ava MAPTbIwKA 02.11.2020 20:44 # 0

                          Да, GC запускается только для циклических ссылок, так что скорее всего приберет.

                          Но это крайне пидорское решение, вот прямо совсем никогда не нужно так делать, в смысле завязываться на такие вещи кмк.

                          Хотя вот судя по комменту автор думает, что "del" запускает GC кмк.

                          какой даже не знаю что ))
                          Ответить

    • ava Vindicar 02.11.2020 20:57 # 0

      Честно, я сам хз зачем я сделал delete.
      Ответить

    Добавить комментарий