За кулісами: роздуті статистики Tesla та демонстрації компетентності ШІ

Друга з двох частин
Частина перша

Поки співробітники Tesla переглядали відео з помилками FSD, рада директорів компанії та генеральний директор посилювали заяви про безпеку технології та її готовність до повної автономії. Протягом більшої частини минулого року керівники Tesla просували твердження про десятикратну перевагу в безпеці.

«Автомобіль з FSD, який у 10 разів безпечніший», сприятиме продажам, заявив фінансовий директор Tesla Тане джа під час дзвінка про прибутки в липні. «Навіть за 99 доларів на місяць — це ніби ви отримуєте особистого шофера приблизно за 3,33 долара на день».

Ключова проблема методології Tesla полягає в одній помилці порівняння, яка завищила задекларований рівень безпеки втричі. Виробник автомобілів підраховував аварії Tesla з розгортанням подушок безпеки та порівнював їх із федеральними даними про всі аварії, в яких транспортний засіб евакуювала вантажівка-евакуатор, — набагато менш жорсткий критерій. Аварії, що потребують евакуатора, часто недостатньо серйозні, щоб спрацювали подушки безпеки.

Tesla застосувала цей підхід порівняння непорівнянного, хоча для порівняння були доступні аналогічні дані: федеральні дані, якими вона користувалась, включали аварії з розгортанням подушок безпеки. Ця хибна методологія дала результат, що Tesla, яка використовує FSD або Autopilot, долає відстань між аваріями в 10 разів більшу, ніж середній водій-людина.

Більш коректне порівняння — з використанням аварій із задіяними подушками безпеки для Tesla та всіх інших автомобілів — показує, що Tesla з системами допомоги водієві долає приблизно втричі більшу відстань між аваріями з розгортанням подушок безпеки, згідно з аналізом, проведеним для Reuters Марко Бенедетті, молодшим науковим співробітником Науково-дослідного інституту транспорту Мічиганського університету та колишнім статистиком NHTSA. Двоє інших дослідників у сфері безпеки дорожнього руху перевірили розрахунки Бенедетті та погодились із висновками.

Але це не означає, що FSD насправді втричі безпечніший за середнього водія, зазначив Бенедетті, через кілька інших недоліків у методології Tesla.

У листопаді Tesla скоригувала свій підхід, включивши лише дані про транспортні засоби з FSD та виключивши ті, що мають Autopilot. Включення Autopilot збільшило задекларований Tesla пробіг між аваріями, оскільки це менш складна система, призначена лише для автострад, — де автомобілі накопичують пробіг і потрапляють в аварії значно рідше, ніж на міських вулицях. Проте компанія продовжує використовувати хибне порівняння аварій із подушками безпеки на своєму веб-сайті, стверджуючи, що FSD у сім разів безпечніший за середнього водія-людини, або приблизно на 85% безпечніший у відсотковому вираженні.

Reuters виявило, що кілька інших хибних вимірювань, які застосовує Tesla, ставлять під сумнів, чи є FSD взагалі безпечнішим.

Наприклад, виробник не враховує вік транспортного засобу при порівнянні рівня аварійності своїх автомобілів із загальнонаціональним показником. Tesla порівнює свої автомобілі — середній вік яких становить лише 4,1 року згідно з даними S&P Global Mobility — з усіма транспортними засобами США, середній вік яких складає 12,8 року. Це спотворює результати, як повідомили Reuters 10 дослідників у сфері безпеки, адже майже всі виробники автомобілів нещодавно почали пропонувати революційні функції безпеки, зокрема моніторинг сліпих зон та автоматичне аварійне гальмування, у всьому своєму модельному ряду.

Tesla також занижує кількість аварій, враховуючи лише ті, що сталися або при увімкненому FSD, або протягом п'яти секунд після вимкнення функції. Уряд США, навпаки, вимагає від виробників автомобілів звітувати про аварії, що трапились протягом 30 секунд після деактивації розширеної системи допомоги водієві.

Tesla стверджує, що FSD може щороку рятувати понад 32 000 життів і запобігати понад 1,9 мільйона травм. Деякі дослідники у сфері безпеки дорожнього руху назвали ці цифри беззмістовними, оскільки вони ґрунтуються на нереалістичному припущенні, що кожен транспортний засіб у США, включаючи вантажівки та схильні до аварій мотоцикли, буде замінений автомобілем Tesla з увімкненим FSD, — і що кожен автомобіль Tesla насправді щонайменше у сім разів безпечніший за той, який він замінює.

Більш суворий підхід Waymo

Передумови статистики безпеки Tesla також хибні, оскільки FSD не є справді автономною системою, зазначили 10 дослідників у сфері безпеки дорожнього руху. Tesla порівнює не свою технологію з водіями-людьми, як кажуть керівники. Натомість виробник порівнює середнього водія-людину з іншою пересічною людиною — тією, що керує Tesla з увімкненим FSD. Tesla також не враховує, що ці водії можуть вмикати та вимикати FSD, — а дослідження показують, що водії часто уникають використання розширених систем допомоги водієві в складних дорожніх ситуаціях, де технологія здається їм небезпечною. Власні дані Tesla свідчать, що FSD використовується переважно на автострадах.

Waymo від Alphabet, навпаки, порівнює свої повністю безпілотні роботаксі, які зараз розгорнуті в 11 міських агломераціях США, з автомобілями під керуванням людей у подібних умовах.

Waymo застосовує більш суворий підхід, ніж Tesla: аналізує дані про аварії на ринках, де працює компанія, та коригує їх з урахуванням типів доріг і районів, якими курсують її роботаксі. Waymo зосереджується на конкретних показниках аварійності — наприклад, аваріях із розгортанням подушок безпеки або серйозними травмами — як для своїх автомобілів, так і для автомобілів під керуванням людей на тих самих ринках.

«Нам треба бути дуже обережними з формулюваннями», — сказав Джон Сканлон, дослідник безпеки Waymo. «Потрібні дуже конкретні дослідницькі питання та дуже конкретні висновки».

Waymo також вказує на недоліки у своїх даних і співпрацює із зовнішніми дослідниками для публікації статистики безпеки у рецензованих журналах. Tesla, навпаки, не вдається до рецензування та публікує лише загальні статистичні твердження щодо безпеки, зберігаючи в таємниці базові дані про аварії автомобілів Tesla.

Відео, на яких Tesla збиває собак, котів і оленів

Усередині Tesla розмітники даних мають неприкрашений погляд на безпеку FSD. Троє колишніх співробітників описали кілька відео, де Tesla не розпізнає тварин і збиває їх на швидкості — без гальмування.

П'ятеро колишніх співробітників розповіли, що окремі команди зосереджувалися на проблемах FSD із розпізнаванням шкільних автобусів. Це занепокоєння підняла організація з технологічної безпеки Dawn Project, яка транслювала рекламу під час Супербоулів 2023 і 2024 років із відео, на яких Tesla з увімкненим FSD не зупинялася перед автобусами зі знаками зупинки та миготливими вогнями.

Двоє колишніх співробітників сказали, що бачили схожі відеокліпи всередині Tesla.

П'ятеро колишніх розмітників даних описали поспішне, розрізнене робоче середовище, де пріоритети змінювалися залежно від вказівок Маска та інженерів FSD. Підрозділ розмітки даних страждав від хронічної плинності кадрів через монотонну роботу та загалом низьку оплату праці, розповіли вони.

Керівництво Tesla часто запускало нові проєкти у відповідь на новинні репортажі або публікації в соціальних мережах, що показували помилки FSD, розповіли четверо колишніх співробітників. Один описав зусилля щодо вирішення проблеми, як сонячне світло може закривати зовнішні камери автомобілів. Поштовхом стало відео в соціальних мережах, що показувало, як світло, відбите від годинника пасажира, засліплювало одну з камер, вимикаючи FSD. Інші зусилля щодо залізничних переїздів були ініційовані після новинних репортажів про Tesla під керуванням FSD, що не зупинялася перед ними.

Кліпи FSD також регулярно демонстрували перевищення швидкості, сказали п'ятеро співробітників, що інженери та інші вищі за рангом сприймали як проблему низького пріоритету.

Один співробітник розповів, що розмітники бачили, як Tesla регулярно перевищує обмеження швидкості на 20–30 миль на годину після того, як виробник представив режим FSD «Mad Max», що дозволяє більш агресивне водіння. Інший розмітник повідомив, що бачив транспортний засіб під керуванням FSD, який рухався зі швидкістю 60 миль на годину в зоні з обмеженням 25 миль на годину.

Публічні демонстрації роботаксі

Поки співробітники Tesla намагалися навчити FSD, Маск у жовтні 2024 року рекламував можливості Tesla для самостійного керування під час помпезної презентації роботаксі на території студії Warner Bros. поблизу Лос-Анджелеса. Запрошена публіка аплодувала, коли Маск жестикулював у бік приблизно 20 прототипів двомісного «Cybercab» без керма та педалей, що повільно роз'їжджали по студії.

«Машини просто їдуть, без людей», — сказав він.

Маск стверджував, що програмне забезпечення Tesla розроблено для роботи будь-де, орієнтуючись у незнайомій місцевості в режимі реального часу. Але за кілька тижнів до заходу Cybercab персонал щоночі з 18:00 до світанку тестував прототипи, збираючи відео маршруту, яким автомобілі мали їхати під час презентації, згідно з розповідями двох колишніх співробітників із розмітки даних. Розмітники витратили сотні годин на анотацію бордюрів і дорожньої розмітки на відео, щоб запобігти незручним інцидентам, розповіли співробітники.

Waymo виконує таке картографування у великому масштабі перед запуском у конкретних містах — підхід, який Маск неодноразово відкидав як занадто витратний і повільний. У 2024 році Маск висміяв «дуже локалізовані рішення» Waymo як «досить крихкі».

Після заходу Warner Bros. Маск під час дзвінка про прибутки в січні 2025 року оголосив, що Tesla запустить роботаксі в Остіні у червні 2025 року. Він рекламував технологію як «узагальнене рішення ШІ», яке не вимагає «високоточних карт місцевості».

Проте за кілька місяців до запуску в Остіні Tesla активно знімала об'єкти в обмеженій зоні роботаксі для картографування цього району, фіксуючи світлофори, дорожні знаки та інші об'єкти. Розмітники даних анотували це відео, щоб переконатися, що програмне забезпечення може впоратися зі складними сценаріями, включаючи посадку пасажирів і реагування на машини екстрених служб, згідно з розповідями двох співробітників, які безпосередньо знають про це.

За словами трьох співробітників, персонал із розмітки даних в Юті за півроку до запуску в Остіні подвоївся і становив близько 300 працівників. Відділ, за їхніми словами, працював переважно над проєктами, щоб ретельно контрольований тест в Остіні пройшов без проблем.

Поки розмітники даних Tesla готувалися до запуску, програмне забезпечення все ще було нестабільним, розповіли двоє співробітників. З кожним оновленням FSD одні характеристики водіння покращувалися. Інші погіршувалися. В офісі в Юті два великі екрани відображали статистику пробігу між втручаннями водія для FSD — ключовий показник безпеки автономного водіння.

«Воно йшло вгору-вниз, як фондовий ринок», без жодного стабільного покращення, — сказав один із колишніх співробітників.

Транспортні засоби виїхали на вулиці з двома групами людей-спостерігачів за безпекою, готових перехопити управління: одні сиділи на передньому пасажирському сидінні, інші спостерігали дистанційно. В Юті розмітники могли бачити на відео, коли дистанційні спостерігачі брали управління транспортними засобами на себе. Один колишній співробітник розповів, що маршрути в Остіні були розроблені для обмеженої зони, щоб програмне забезпечення автомобілів можна було ретельно навчити конкретним маневрам на певних вулицях.

«Це було схоже на: «Добре, ми навчили автомобіль» працювати в обмеженій зоні», — сказала ця людина. «За межами цього ви не можете виявити творчість».

Четверо джерел зазначили, що безпечне масштабування може зайняти роки. У липні, через місяць після запуску роботаксі в Остіні, Маск прогнозував, що сервіс розшириться, щоб охопити половину населення США до кінця 2025 року.

У січні Маск хибно заявив, що Tesla керує 500 «транспортними засобами-роботаксі» в Остіні та районі затоки Сан-Франциско, додавши, що очікує, що ця кількість буде «подвоюватися щомісяця» за «експоненційною кривою». Маск стверджував, що Tesla керує «сервісом роботаксі» в районі затоки, тоді як насправді вона лише керує сервісом виклику автомобіля за державним дозволом, який зазвичай використовують шофери і який вимагає водія-людини.

Насправді, майже через рік після запуску в Остіні, Tesla все ще керує лише близько 50 роботаксі там, згідно з нещодавньою презентацією слайдів міськими чиновниками. Транспортні засоби курсують в обмеженій і ретельно картографованій зоні, розповіли троє джерел. Деякі все ще мають людей-спостерігачів за безпекою на передньому пасажирському сидінні, виходячи з нещодавніх спостережень репортера Reuters.

У квітні Tesla заявила, що розгортає роботаксі в Далласі та Х'юстоні, разом із картами зон обслуговування.

Репортери Reuters, які нещодавно тестували сервіс в обох містах, виявили тривалий час очікування та нестабільну доступність. У трьох випадках, коли репортеру вдавалося отримати поїздку в Далласі, роботаксі не доставляло його до місця призначення в центрі міста в межах рекламованої зони обслуговування Tesla.

Щоразу воно висаджувало його приблизно за 15 хвилин ходьби. – Rappler.com