#Bird recognition in the city of Peacetopia (case study)
викторина, 15 вопросов
1
Problem Statement
This example is adapted from a real production application, but with details disguised to protect confidentiality.
You are a famous researcher in the City of Peacetopia. The people of Peacetopia have a common characteristic: they are afraid of birds. To save them, you have to build an algorithm that will detect any bird flying over Peacetopia and alert the population.
Городской совет предоставляет вам набор данных из 10 000 000 изображений неба над Миротопией, снятых с городских камер видеонаблюдения.
y = 0: There is no bird on the image
y = 1: There is a bird on the image
Your goal is to build an algorithm able to classify new images taken by security cameras from Peacetopia.
There are a lot of decisions to make:
What is the evaluation metric?
How do you structure your data into train/dev/test sets?
Metric of success
The City Council tells you the following that they want an algorithm that
Has high accuracy
Runs quickly and takes only a short time to classify a new image.
Can fit in a small amount of memory, so that it can run in a small processor that the city will attach to many different security cameras.
Note: Having three evaluation metrics makes it harder for you to quickly choose between two different algorithms, and will slow down the speed with which your team can iterate. True/False?
True
правильный
False
2
After further discussions, the city narrows down its criteria to:
"We need an algorithm that can let us know a bird is flying over Peacetopia as accurately as possible."
«Мы хотим, чтобы обученная модель классифицировала новое изображение не более чем за 10 секунд».
«Мы хотим, чтобы модель помещалась в 10 МБ памяти».
If you had the three following models, which one would you choose?
3
Основываясь на запросах городских властей, что из следующего вы бы назвали правдой?
Accuracy is an optimizing metric; running time and memory size are a satisficing metrics.
Accuracy is a satisficing metric; running time and memory size are an optimizing metric.
Ответ для этого варианта неверный
Accuracy, running time and memory size are all optimizing metrics because you want to do well on all three.
Accuracy, running time and memory size are all satisficing metrics because you have to do sufficiently well on all three for your system to be acceptable.
4
Structuring your data
Before implementing your algorithm, you need to split your data into train/dev/test sets. Which of these do you think is the best choice?
5
После настройки вашего поезда/разработчика/тестовых наборов городской совет находит еще 1 000 000 изображений, называемых «данными граждан».По всей видимости, жители Миротопии так боятся птиц, что вызвались сфотографировать небо и пометить их. , тем самым внося эти дополнительные 1 000 000 изображений. Эти изображения отличаются от распределения изображений, которое изначально предоставил вам городской совет, но вы думаете, что это может помочь вашему алгоритму.
Вы не должны добавлять данные о гражданах в тренировочный набор, потому что это приведет к тому, что распределения тренировочного набора и набора для разработки/тестирования станут разными, что повредит производительности набора для разработки и тестирования.
True
False
правильный
6
Один член городского совета немного разбирается в машинном обучении и считает, что вам следует добавить изображения данных 1 000 000 жителей в тестовый набор.Вы возражаете, потому что:
A bigger test set will slow down the speed of iterating because of the computational expense of evaluating models on the test set.
Не выбрано правильно
Это приведет к тому, что дистрибутивы набора для разработки и тестирования станут разными.Это плохая идея, потому что вы не целитесь туда, куда хотите попасть.
правильный
Изображения данных 1 000 000 жителей не имеют последовательного отображения x->y, как остальные данные (аналогично примеру цен на жилье в Нью-Йорке/Детройте из лекции).
Не выбрано правильно
The test set no longer reflects the distribution of data (security cameras) you most care about.
правильный
7
You train a system, and its errors are as follows (error = 100%-Accuracy):
| Training set error | 4.0% |
|---|---|
| Dev set error | 4.5% |
This suggests that one good avenue for improving performance is to train a bigger network so as to drive down the 4.0% training error. Do you agree?
Yes, because having 4.0% training error shows you have high bias.
Yes, because this shows your bias is higher than your variance.
No, because this shows your variance is higher than your bias.
No, because there is insufficient information to tell.
правильный
8
You ask a few people to label the dataset so as to find out what is human-level performance. You find the following levels of accuracy:
| Bird watching expert #1 | 0.3% error |
|---|---|
| Bird watching expert #2 | 0.5% error |
| Normal person #1 (not a bird watching expert) | 1.0% error |
| Normal person #2 (not a bird watching expert) | 1.2% error |
Если ваша цель состоит в том, чтобы «производительность на человеческом уровне» была прокси (или оценкой) байесовской ошибки, как бы вы определили «производительность на человеческом уровне»?
0.0% (because it is impossible to do better than this)
0.3% (accuracy of expert #1)
правильный
0.4% (average of 0.3 and 0.5)
0.75% (average of all four numbers above)
9
Which of the following statements do you agree with?
Производительность алгоритма обучения может быть лучше, чем производительность на уровне человека, но она никогда не может быть лучше, чем ошибка Байеса.
правильный
Производительность алгоритма обучения никогда не может быть лучше, чем производительность на уровне человека, но она может быть лучше, чем ошибка Байеса.
Производительность алгоритма обучения никогда не может быть лучше, чем производительность на уровне человека, или лучше, чем ошибка Байеса.
Производительность алгоритма обучения может быть лучше, чем производительность на уровне человека, и лучше, чем ошибка Байеса.
10
.
Вы обнаружите, что команда орнитологов, обсуждающих и обсуждающих изображение, получает даже лучшую производительность 0,1%, поэтому вы определяете это как «производительность на уровне человека».
| Human-level performance | 0.1% |
|---|---|
| Training set error | 2.0% |
| Dev set error | 2.1% |
Based on the evidence you have, which two of the following four options seem the most promising to try? (Check two options.)
Try decreasing regularization.
правильный
Try increasing regularization.
Не выбрано правильно
Train a bigger model to try to do better on the training set.
правильный
Get a bigger training set to reduce variance.
Не выбрано правильно
11
You also evaluate your model on the test set, and find the following:
| Human-level performance | 0.1% |
|---|---|
| Training set error | 2.0% |
| Dev set error | 2.1% |
| Test set error | 7.0% |
What does this mean? (Check the two best options.)
You should try to get a bigger dev set.
правильный
You have underfit to the dev set.
Не выбрано правильно
You should get a bigger test set.
Не выбрано правильно
12
After working on this project for a year, you finally achieve:
| Human-level performance | 0.10% |
|---|---|
| Training set error | 0.05% |
| Dev set error | 0.05% |
What can you conclude? (Check all that apply.)
With only 0.09% further progress to make, you should quickly be able to close the remaining gap to 0%
Не выбрано правильно
This is a statistical anomaly (or must be the result of statistical noise) since it should not be possible to surpass human-level performance.
Не выбрано правильно
It is now harder to measure avoidable bias, thus progress will be slower going forward.
правильный
Если тестовый набор достаточно велик для того, чтобы оценка ошибки 0,05% была точной, это означает, что ошибка Байеса составляет ≤0,05.
правильный
You have overfit to the dev set.
правильный
13
Оказывается, Peacetopia наняла одного из ваших конкурентов для создания системы. И ваша система, и ваш конкурент поставляют системы с примерно одинаковым временем работы и объемом памяти. Однако ваша система имеет более высокую точность! Однако, когда Peacetopia опробует вашу и системы вашего конкурента, они приходят к выводу, что система вашего конкурента им нравится больше, потому что, хотя ваша общая точность выше, у вас больше ложных срабатываний (неспособность поднять тревогу, когда птица находится в воздухе).Что вам следует делать?
Посмотрите на все модели, которые вы разработали в процессе разработки, и найдите ту, у которой наименьший процент ложноотрицательных ошибок.
Ask your team to take into account both accuracy and false negative rate during development.
Rethink the appropriate metric for this task, and ask your team to tune to the new metric.
правильный
Pick false negative rate as the new metric, and use this new metric to drive all further development.
14
Вы ловко победили своего конкурента, и теперь ваша система развернута в Миротопии и защищает жителей от птиц!Но за последние несколько месяцев в этот район медленно мигрирует новый вид птиц, поэтому производительность вашей системы медленно ухудшается, потому что ваши данные тестируются на новом типе данных.
You have only 1,000 images of the new species of bird. The city expects a better system from you within the next 3 months. Which of these should you do first?
Use the data you have to define a new evaluation metric (using a new dev/test set) taking into account the new species, and use that to drive further progress for your team.
правильный
Put the 1,000 images into the training set so as to try to do better on these birds.
Try data augmentation/data synthesis to get more images of the new type of bird.
Add the 1,000 images into your dataset and reshuffle into a new train/dev/test split.
15
Городской совет считает, что наличие большего количества кошек в городе поможет отпугнуть птиц.Они настолько довольны вашей работой над детектором птиц, что также наняли вас для создания детектора кошек. они.) Из-за многих лет работы над детекторами кошек у вас есть такой огромный набор данных из 100 000 000 изображений кошек, что обучение на этих данных занимает около двух недель. С каким из утверждений вы согласны? (Отметьте все, что соответствует.)
Покупка более быстрых компьютеров может увеличить скорость итераций ваших команд и, следовательно, производительность вашей команды.
правильный
Если 100 000 000 примеров достаточно для создания достаточно хорошего детектора кошек, вам может быть лучше тренироваться всего на 10 000 000 примеров, чтобы получить ≈10-кратное улучшение скорости проведения экспериментов, даже если каждая модель работает немного хуже, потому что она обучена на меньшем количестве. данные.
правильный
Having built a good Bird detector, you should be able to take the same model and hyperparameters and just apply it to the Cat dataset, so there is no need to iterate.
Не выбрано правильно
Needing two weeks to train will limit the speed at which you can iterate.
правильный