Алхимия запись 2

pycharm remote interpreter: cannot find declaration

Феномен:

Отладка приносит массу неудобств.

решать:

1. существуетproject interpreterИзмените путь в:/bin/python3---> /bin/python, Мелкие детали отстой.

2. Перезагрузитьpycharm, Загрузите код удаленной среды, время зависит от сетевой среды и количества.Поскольку это удаленная среда, сеть плохая, и для обмана требуется около 30 минут, вам нужно терпение и так далее:

evalue coco dataset error

Traceback (most recent call last):
  File "/root/dxq/question-split-mask-rcnn/doc/evaluater.py", line 15, in <module>
    from pycocotools.coco import COCO
  File "/root/anaconda3/lib/python3.7/site-packages/pycocotools-2.0-py3.7-linux-x86_64.egg/pycocotools/coco.py", line 55, in <module>
    from . import mask as maskUtils
  File "/root/anaconda3/lib/python3.7/site-packages/pycocotools-2.0-py3.7-linux-x86_64.egg/pycocotools/mask.py", line 3, in <module>
    import pycocotools._mask as _mask
  File "__init__.pxd", line 918, in init pycocotools._mask
ValueError: numpy.ufunc size changed, may indicate binary incompatibility. Expected 216 from C header, got 192 from PyObject

Неверные настройки среды...

pip uninstall numpy
pip install numpy==1.16.2

pycocotoolsиnumpyПроблемы совместимости. Это такая жалкая штука, к тому же там еще много ям, а я на нее наступил... Если плохо разбираться в формате coco, то это действительно не так просто.

pycocotools оценивают интерпретацию данных.

cocoDataSet.org/#detection-…

Average Precision (AP):
AP% AP at IoU=.50:.05:.95 (primary challenge metric)
APIoU=.50% AP at IoU=.50 (PASCAL VOC metric) 
APIoU=.75% AP at IoU=.75 (strict metric)

AP Across Scales:
AP small% AP for small objects: area < 32**2 
AP medium% AP for medium objects: 32**2  < area < 96**2 
AP large% AP for large objects: area > 96**2 

Average Recall (AR):
AR max=1% AR given 1 detection per image 
AR max=10% AR given 10 detections per image 
AR max=100% AR given 100 detections per image

AR Across Scales:
AR small% AR for small objects: area < 32**2 
AR medium% AR for medium objects: 32**2  < area < 96**2 
AR large% AR for large objects: area > 96**2 
 
-----------------------------------------------------------------------------------
-----------------------------------------------------------------------------------

DETECTION_MIN_CONFIDENCE = 0.5
-----------------------------------------------------------------------------------
20200522T1052_0601.h5
100%|█████████████████████████████████████| 2346/2346 [3:12:10<00:00,  4.57s/it]

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.384
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.626
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.420
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.148
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.291
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.386
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.184
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.436
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.452
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.183
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.364
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.449
Prediction time: 3965.8749873638153. Average 1.6904837968302708/image
Total time:  11549.180015802383
-----------------------------------------------------------------------------------

20200522T1052_0656.h5
100%|█████████████████████████████████████| 2346/2346 [3:34:07<00:00,  5.06s/it]

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.381
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.621
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.415
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.154
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.290
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.382
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.183
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.432
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.448
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.187
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.368
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.443
Prediction time: 4758.105183124542. Average 2.028177827418816/image

-----------------------------------------------------------------------------------
20200211T1100_0789.h5

100%|██████████| 2346/2346 [3:58:21<00:00,  6.23s/it]
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.288
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.494
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.302
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.132
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.215
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.288
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.144
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.351
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.364
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.149
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.284
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.361
Prediction time: 5515.610037565231. Average 2.351069922235819/image
Total time:  14321.094527959824

-----------------------------------------------------------------------------------
-----------------------------------------------------------------------------------

DETECTION_MIN_CONFIDENCE = 0
-----------------------------------------------------------------------------------
20200522T1052_0601.h5
100%|██████████| 2346/2346 [4:04:43<00:00,  5.23s/it]
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.397
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.653
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.430
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.156
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.302
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.399
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.191
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.454
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.471
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.192
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.381
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.468
Prediction time: 5827.201899766922. Average 2.4838882778205122/image
Total time:  14703.1005589962

-----------------------------------------------------------------------------------
20200211T1100_0789.h5

 100%|██████████| 2346/2346 [3:50:37<00:00,  5.99s/it]
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.303
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.525
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.313
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.146
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.226
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.304
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.155
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.376
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.389
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.168
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.304
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.387
Prediction time: 4823.234839677811. Average 2.0559398293596804/image

• Оцените последнюю модель, на этот раз обученную модель.Выберите онлайн-модель.Критерии выбора: потери в поезде, потери в валу, AP, AP50, AP75 ---> визуальный осмотр.
• доверие = 0,5 случай: 601, 565, последние 789
• Достоверность = 0 случай: 601, 789. (В основном используется для сравнения различных сетевых архитектур в будущем. Этот стандарт более унифицирован)
• Сравните различную достоверность, точку доступа той же модели и т. д.
  • confidence = 0 > confidence= 0.5
• Сравнивая производительность разных моделей с одинаковой уверенностью, лучше ли эта производительность предыдущей модели.
  • достоверность = 0,5.601 > 656 > 789 с последнего обучения.
• Потери поезда более значимы, чем потери val.Лучше всего сохранить потери поездов для следующего обучения.

ошибка экспорта модели

~/anaconda3/envs/dl/lib/python3.6/site-packages/keras/engine/saving.py in load_weights_from_hdf5_group_by_name(f, layers, skip_mismatch, reshape)
   1147                                          ' has shape {}'.format(symbolic_shape) +
   1148                                          ', but the saved weight has shape ' +
-> 1149                                          str(weight_values[i].shape) + '.')
   1150                 else:
   1151                     weight_value_tuples.append((symbolic_weights[i],

ValueError: Layer #391 (named "mrcnn_bbox_fc"), weight <tf.Variable 'mrcnn_bbox_fc/kernel:0' shape=(1024, 48) dtype=float32_ref> has shape (1024, 48), but the saved weight has shape (1024, 68).

причина: Категория вывода задана неправильно, 48/4=12 категорий, а категория вывода в модели 68/4=17 категорий, просто измените параметры.

обучение на Детектороне 2 прервано

Феномен:

Traceback (most recent call last):
  File "train.py", line 46, in <module>
    trainer.train()
  File "/root/dxq/detectron2/detectron2/engine/defaults.py", line 401, in train
    super().train(self.start_iter, self.max_iter)
  File "/root/dxq/detectron2/detectron2/engine/train_loop.py", line 132, in train
    self.run_step()
  File "/root/dxq/detectron2/detectron2/engine/train_loop.py", line 209, in run_step
    data = next(self._data_loader_iter)
  File "/root/dxq/detectron2/detectron2/data/common.py", line 142, in __iter__
    for d in self.dataset:
  File "/root/anaconda3/envs/pytorch/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 345, in __next__
    data = self._next_data()
  File "/root/anaconda3/envs/pytorch/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 838, in _next_data
    return self._process_data(data)
  File "/root/anaconda3/envs/pytorch/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 881, in _process_data
    data.reraise()
  File "/root/anaconda3/envs/pytorch/lib/python3.6/site-packages/torch/_utils.py", line 395, in reraise
    raise self.exc_type(msg)
OSError: Caught OSError in DataLoader worker process 0.
Original Traceback (most recent call last):
  File "/root/anaconda3/envs/pytorch/lib/python3.6/site-packages/torch/utils/data/_utils/worker.py", line 178, in _worker_loop
    data = fetcher.fetch(index)
  File "/root/anaconda3/envs/pytorch/lib/python3.6/site-packages/torch/utils/data/_utils/fetch.py", line 44, in fetch
    data = [self.dataset[idx] for idx in possibly_batched_index]
  File "/root/anaconda3/envs/pytorch/lib/python3.6/site-packages/torch/utils/data/_utils/fetch.py", line 44, in <listcomp>
    data = [self.dataset[idx] for idx in possibly_batched_index]
  File "/root/dxq/detectron2/detectron2/data/common.py", line 41, in __getitem__
    data = self._map_func(self._dataset[cur_idx])
  File "/root/dxq/detectron2/detectron2/utils/serialize.py", line 23, in __call__
    return self._obj(*args, **kwargs)
  File "/root/dxq/detectron2/detectron2/data/dataset_mapper.py", line 77, in __call__
    image = utils.read_image(dataset_dict["file_name"], format=self.img_format)
  File "/root/dxq/detectron2/detectron2/data/detection_utils.py", line 120, in read_image
    return convert_PIL_to_numpy(image, format)
  File "/root/dxq/detectron2/detectron2/data/detection_utils.py", line 57, in convert_PIL_to_numpy
    image = image.convert(conversion_format)
  File "/root/anaconda3/envs/pytorch/lib/python3.6/site-packages/PIL/Image.py", line 860, in convert
    self.load()
  File "/root/anaconda3/envs/pytorch/lib/python3.6/site-packages/PIL/ImageFile.py", line 231, in load
    "(%d bytes not processed)" % len(b))
OSError: image file is truncated (4 bytes not processed)

иметь дело с:

существуетdetection_utils.pyДобавьте в него следующий код.

from PIL import ImageFile
ImageFile.LOAD_TRUNCATED_IMAGES = True

Эффект обнаружения для определенной категории очень плохой.

Феномен:

1. Другие категории эффектов обнаружения, кажется, в порядке
2. Эффект обнаружения определенной категории очень плохой, и многие из них не обнаруживаются.
3. отlossБыло очень спокойно.
4. Понизьте достоверность до 0 и обнаружите, что перекрытие bbox в этой категории очень серьезное.

Спекуляция:

1. Во-первых, я подозреваю, что обучение еще не сошлось, особенности этого типа действительно более сложны и требуют дальнейшего обучения.
2. В данных есть эффекты из других категорий.

Процесс:

1. продолжай тренироваться,iterationsУвеличен с 30000 до 100000.
2. Удалите некоторые менее важные категории, устраните помехи и переобучите.

проверять:

Выясняется, что тренировка не на месте, а чудо может совершаться энергично, а тренировка может быть более продолжительной. Странно, очевидноlossМало что изменилось, так зачем тренироваться немного дольше.

Предположение: возможно только0.01ЕдиницыlossВоздействие также довольно велико.