Вчера познакомился в Ведущим Data Architect на Тесла. ( Oleksiy Illyashov) – да – это самый крутой Data Scientist на Тесла – парень из СНГ.
Рассказывал много интересного.
Объем ежедневной телеметрии, поступающей с каждого проданного автомобиля в их аналитический центр во Фримонте (30 минут езды от моего дома.) – 40 МБ.
Это примерно 8 Tбайт КАЖДЫЙ ДЕНЬ, который они обрабатывают в реальном времени. Это не только состояние машины, но и обмен данными между машиной и приложением на телефонах владельцев. Показывал как с телефона можно управлять отдельными функциями автомобиля.
В течении 3-5 лет такой объем телеметрии будет поступать от КАЖДОГО нового автомобиля на планете. Ну и потом уже интернет вещей, когда телеметрию будет генерировать Ваш унитаз, холодильник, кондиционер, настольная лампа, одежда и все такое.
Все это надо будет в реальном времени обрабатывать, анализировать, делать предсказания, а потом отсылать обратно, перенастраивая устройства в реальном времени. А чтобы осмысленно обрабатывать такие массивы данных, нужен очень гибкий и мощный искуственный интеллект. И он будет, потому, что корпорации имеют такой запрос. А еще есть вопросы безопасности.
На эту тему вчера же познакомился с Program Manager из корпорации Dell, которая много чего делает, но в том числе встроенные решения по оптимизации места на дисках, устранению дублирования, когда вместо хаотических копий они хранят дескрипторы и ссылки.
Вроде пустяк задача, но объемы данных их клиентов исчисляются уже тысячами ПЕТАбайт, и есть стоимость хранения и обслуживания каждого байта. Поэтому при таких объемах даже такие, казалось бы совсем малипусенькие задачи приводят к экономии, которая в сотни раз превышает затраты на содержание инженеров, разрабатывающих таких решения.
Интересный кейс автомобильный пограничный пункт между Китаем и Вьетнамом. Сколько машины в очереди с……… ->>>Что будет дальше?
-.>>……………..->>