Autonomous driving (case study)
1
Чтобы помочь вам попрактиковаться в стратегиях машинного обучения, на этой неделе мы представим еще один сценарий и спросим, как бы вы поступили. Мы думаем, что этот «симулятор» работы в проекте машинного обучения даст задание о том, что может ведение проекта машинного обучения. быть будто!
You are employed by a startup building self-driving cars. You are in charge of detecting road signs (stop sign, pedestrian crossing sign, construction ahead sign) and traffic signals (red and green lights) in images. The goal is to recognize which of these objects appear in each image. As an example, the above image contains a pedestrian crossing sign and red traffic lights
Your 100,000 labeled images are taken using the front-facing camera of your car. This is also the distribution of data you care most about doing well on. You think you might be able to get a much larger dataset off the internet, that could be helpful for training even if the distribution of internet data is not the same.
You are just getting started on this project. What is the first thing you do? Assume each of the steps below would take about an equal amount of time (a few days).
Spend a few days training a basic model and see what mistakes it makes.
Spend a few days collecting more data using the front-facing camera of your car, to better understand how much data per unit time you can collect.
Spend a few days checking what is human-level performance for these tasks so that you can get an accurate estimate of Bayes error.
Spend a few days getting the internet data, so that you understand better what data is available.
Ответ для этого варианта неверный
2
Your goal is to detect road signs (stop sign, pedestrian crossing sign, construction ahead sign) and traffic signals (red and green lights) in images. The goal is to recognize which of these objects appear in each image. You plan to use a deep neural network with ReLU units in the hidden layers.
For the output layer, a softmax activation would be a good choice for the output layer because this is a multi-task learning problem. True/False?
True
False
правильный
3
You are carrying out error analysis and counting up what errors the algorithm makes. Which of these datasets do you think you should manually go through and carefully examine, one image at a time?
10,000 randomly chosen images
500 images on which the algorithm made a mistake
правильный
10,000 images on which the algorithm made a mistake
500 randomly chosen images
4
After working on the data for several weeks, your team ends up with the following data:
100,000 labeled images taken using the front-facing camera of your car.
900,000 labeled images of roads downloaded from the internet.
Метки каждого изображения точно указывают на наличие каких-либо конкретных дорожных знаков и светофоров или их комбинаций.Например, y(i) = ⎡⎣⎢⎢⎢⎢10010⎤⎦⎥⎥⎥⎥ означает, что изображение содержит знак остановки и красный светофор.
Поскольку это многозадачная задача обучения, вам нужно, чтобы все ваши векторы y (i) были полностью помечены.Если один пример равен ⎡⎣⎢⎢⎢⎢0?11?⎤⎦⎥⎥⎥⎥, тогда алгоритм обучения не сможет использовать этот пример True/False?
True
False
правильный
5
Распределение данных, которое вас интересует, содержит изображения с передней камеры вашего автомобиля, которые поступают из другого распределения, чем изображения, которые вы смогли найти и загрузить из Интернета. ?
Выберите тренировочный набор из 900 000 изображений из Интернета и 80 000 изображений с передней камеры автомобиля. Оставшиеся 20 000 изображений будут поровну разделены на наборы для разработки и тестирования.
правильный
Mix all the 100,000 images with the 900,000 images you found online. Shuffle everything. Split the 1,000,000 images dataset into 600,000 for the training set, 200,000 for the dev set and 200,000 for the test set.
Выберите обучающий набор из 900 000 изображений из Интернета и 20 000 изображений с передней камеры автомобиля. Оставшиеся 80 000 изображений будут поровну разделены на наборы для разработки и тестирования.
Mix all the 100,000 images with the 900,000 images you found online. Shuffle everything. Split the 1,000,000 images dataset into 980,000 for the training set, 10,000 for the dev set and 10,000 for the test set.
6
Предположим, вы, наконец, выбрали следующее разделение данных:
| Dataset: | Contains: | Error of the algorithm: |
|---|---|---|
| Training | 940 000 изображений, выбранных случайным образом (900 000 изображений в Интернете + 60 000 изображений с передней камеры автомобиля) | 8.8% |
| Training-Dev | 20 000 изображений, выбранных случайным образом (900 000 изображений в Интернете + 60 000 изображений с передней камеры автомобиля) | 9.1% |
| Dev | 20 000 изображений с фронтальной камеры вашего автомобиля | 14.3% |
| Test | 20 000 изображений с фронтальной камеры автомобиля | 14.8% |
You also know that human-level error on the road sign and traffic signals classification task is around 0.5%. Which of the following are True? (Check all that apply).
You have a large variance problem because your model is not generalizing well to data from the same training distribution but that it has never seen before.
Не выбрано правильно
You have a large variance problem because your training error is quite higher than the human-level error.
Не выбрано правильно
You have a large data-mismatch problem because your model does a lot better on the training-dev set than on the dev set
правильный
You have a large avoidable-bias problem because your training error is quite a bit higher than the human-level error.
правильный
Your algorithm overfits the dev set because the error of the dev and test sets are very close.
Не выбрано правильно
7
Based on table from the previous question, a friend thinks that the training data distribution is much easier than the dev/test distribution. What do you think?
Your friend is right. (I.e., Bayes error for the training data distribution is probably lower than for the dev/test distribution.)
Your friend is wrong. (I.e., Bayes error for the training data distribution is probably higher than for the dev/test distribution.)
Недостаточно информации, чтобы сказать, прав ваш друг или нет.
правильный
8
You decide to focus on the dev set and check by hand what are the errors due to. Here is a table summarizing your discoveries:
| Overall dev set error | 14.3% |
|---|---|
| Errors due to incorrectly labeled data | 4.1% |
| Errors due to foggy pictures | 8.0% |
| Ошибки из-за застревания капель дождя на передней камере вашего автомобиля | 2.2% |
| Errors due to other causes | 1.0% |
in this table, 4.1%, 8.0%, etc.are a fraction of the total dev set (not just examples your algorithm mislabeled). I.e. about 8.0/14.3 = 56% of your errors are due to foggy pictures.
Результаты этого анализа подразумевают, что наивысший приоритет команды должен состоять в том, чтобы добавить больше туманных картинок в обучающую выборку, чтобы устранить 8,0% ошибок в этой категории.
Верно, потому что это самая большая категория ошибок.Как обсуждалось в лекции, мы должны отдавать приоритет самой большой категории ошибок, чтобы не тратить время команды.
True because it is greater than the other error categories added together (8.0 > 4.1+2.2+1.0).
Неверно, потому что это будет зависеть от того, насколько легко добавить эти данные и насколько, по вашему мнению, ваша команда поможет.
правильный
False because data augmentation (synthesizing foggy images by clean/non-foggy images) is more efficient.
9
You can buy a specially designed windshield wiper that help wipe off some of the raindrops on the front-facing camera. Based on the table from the previous question, which of the following statements do you agree with?
2.2% would be a reasonable estimate of the maximum amount this windshield wiper could improve performance.
правильный
2.2% would be a reasonable estimate of the minimum amount this windshield wiper could improve performance.
2.2% would be a reasonable estimate of how much this windshield wiper will improve performance.
2.2% would be a reasonable estimate of how much this windshield wiper could worsen performance in the worst case.
10
Вы решаете использовать дополнение данных для работы с туманными изображениями.Вы находите 1000 изображений тумана в Интернете и «добавляете» их к чистым изображениям, чтобы синтезировать туманные дни, например:
Which of the following statements do you agree with?
Добавление синтезированных изображений, которые выглядят как настоящие изображения тумана, сделанные с фронтальной камеры вашего автомобиля, в обучающий набор данных не поможет улучшить модель, потому что это приведет к предотвратимому смещению.
Пока синтезированный туман выглядит реалистично для человеческого глаза, вы можете быть уверены, что синтезированные данные точно отражают распределение реальных изображений тумана, поскольку человеческое зрение очень точно подходит для решаемой вами задачи.
There is little risk of overfitting to the 1,000 pictures of fog so long as you are combing it with a much larger (>>1,000) of clean/non-foggy images.
11
После дальнейшей работы над проблемой вы решили исправить неправильно помеченные данные в наборе для разработки. С каким из этих утверждений вы согласны? (Отметьте все подходящие варианты).
You should also correct the incorrectly labeled data in the test set, so that the dev and test sets continue to come from the same distribution
правильный
You should correct incorrectly labeled data in the training set as well so as to avoid your training set now being even more different from your dev set.
Не выбрано правильно
You should not correct the incorrectly labeled data in the test set, so that the dev and test sets continue to come from the same distribution
Не выбрано правильно
You should not correct incorrectly labeled data in the training set as well so as to avoid your training set now being even more different from your dev set.
правильный
12
Пока ваш алгоритм распознает только красный и зеленый сигналы светофора. Один из ваших коллег по стартапу начинает работать над распознаванием желтого сигнала светофора (в некоторых странах он называется оранжевым, а не желтым; мы будем использовать США). принято называть его желтым.) Изображения, содержащие желтые огни, довольно редки, и у нее недостаточно данных для построения хорошей модели. Она надеется, что вы поможете ей с помощью трансферного обучения.
What do you tell your colleague?
She should try using weights pre-trained on your dataset, and fine-tuning further with the yellow-light dataset.
правильный
Если у нее есть (скажем) 10 000 изображений желтых огней, случайным образом выберите 10 000 изображений из вашего набора данных и соедините свои и ее данные вместе, Это предотвратит «заболачивание» вашего набора данных набором данных желтых огней.
You cannot help her because the distribution of data you have is different from hers, and is also lacking the yellow label.
Recommend that she try multi-task learning instead of transfer learning using all the data.
13
Другой коллега хочет использовать микрофоны, расположенные снаружи автомобиля, чтобы лучше слышать, есть ли вокруг вас другие транспортные средства. Например, если позади вас едет полицейская машина, вы сможете услышать их сирену. много тренировать эту аудиосистему.Чем вы можете помочь?
Transfer learning from your vision dataset could help your colleague get going faster. Multi-task learning seems significantly less promising.
Multi-task learning from your vision dataset could help your colleague get going faster. Transfer learning seems significantly less promising.
Ответ для этого варианта неверный
Either transfer learning or multi-task learning could help our colleague get going faster.
Neither transfer learning nor multi-task learning seems promising.
14
To recognize red and green lights, you have been using this approach:
(A) Введите изображение (x) в нейронную сеть и заставьте ее напрямую изучить сопоставление, чтобы сделать прогноз относительно того, есть ли красный свет и/или зеленый свет (y).
A teammate proposes a different, two-step approach:
(B) In this two-step approach, you would first (i) detect the traffic light in the image (if any), then (ii) determine the color of the illuminated lamp in the traffic light.
Between these two, Approach B is more of an end-to-end approach because it has distinct steps for the input end and the output end. True/False?
True
False
правильный
15
.
Approach A (in the question above) tends to be more promising than approach B if you have a __ (fill in the blank).
Large training set
правильный
Multi-task learning problem.
Large bias problem.
Problem with a high Bayes error.