Apple metal: Metal Sample Code — Apple Developer

Технология Apple Metal многократно повышает игровые возможности чипа A7

Image Processing через Apple Metal Framework

21 августа, 202022 августа, 2020 ~ Denis Svinarchuk ~ Оставить комментарий

Иногда лучше потратить немножко времени, чтобы потом его сберечь.
(Евгений Шварц)

OFX, он же OpenFX, он же  OFX Image Processing API — открытый стандарт создания визуальных 2D эффектов и композинга видео. А выдано нам все это в виде plugin-подобного паттерна разработки приложений. Т.е. у нас есть как минимум Host — приложение предоставляющее набор методов, и Plug-in приложение или модуль реализующее этот набор, что как-бы позволяет бесконечно расширять функционал хостового приложения. 

И тут я начал было определять, что такое plugin-ы в целом. Как хостовая система может реализовывать методы взаимодействия с внешними модулями или программами. Что такое точки входа. Почему есть плагины и плагины. И даже хотел подробно написать почему OFX в целом морально устаревший подход, а XPC сервисы — модно, круто и почти не больно. Но потом подумал, что если вы вообще добрались до этого текста, и прочитали первый абзац, то вся эта возня с терминами и уточнениями должна быть никчёмной тратой времени читателя. В общем OpenFX — это про модули и стало быть вы можете забыть про небрежность и срезание углов, если ваша задача чуть более чем сложна. Неловкое движение и… вы уложили хост в краш вместе с данными пользователя. Поэтому далее будет больше не про что можно сделать с помощью Metal, а про как.

Итак, чтобы продолжить чтение убедитесь, что вам это нужно. Вы отчетливо понимаете почему так случилось, что не самый удобный и надежный способ расширения больших систем таки развивается и вполне даже успешно.  Осознаете многое про системы монтажа, редактирования и создания визуальных эффектов, которые за последние несколько лет разрослись настолько, что позволяют себя расширять сторонним разработчикам (доверяют видать окаянным…). А в этом посте поговорим про то, как нам приделать Metal в одну из таких систем, хотя возможно даже не одну. По итогу у вас в руках будет, по сути, длинный снипет из кода, который можно будет взять за основу для создания практически любого, самого лютого способа трансформации видеопотока в одной из самых продвинутых систем редактирования видео. Причем, можно заметить, в ней монтируется и красится добрая половина голивудских блокбастеров, не говоря уже о сериалах от Netflix (но это не точно). Энжой!

Читать далее →

Ваша оценка:

Понравилось это:

Нравится Загрузка…

1 июля, 20181 июля, 2018 ~ Denis Svinarchuk ~ Оставить комментарий

— Меньше оваций, больше ассигнаций!
(из фильма «O Brother, Where Art Thou?»)

Несколько, буквально пару, последних постов были посвящены тривиально-нежным, рассчитанных на розовощекие, еще не склонные переносить ужосы  умы, темам. А еще за несколько лет до этого, мы разбирали как с помощью нехитрой математики и параллельных вычислений можно, достаточно шустро, преодолевать ограничения по производительности при деформации больших изображений.

Сегодня предлагаю отдохнуть от чисто программистского трюкачества и заняться настоящими хардкорным факин-балавством, но уже не в терминах простых и понятных объектов, а будем искривлять и портить то, что так любим: пространства.   Цветовые. Например, так:

Читать далее →

Ваша оценка:

Понравилось это:

Нравится Загрузка…

3 июня, 20183 июня, 2018 ~ Denis Svinarchuk ~ 1 комментарий

Джулс: Знаешь почему так? 
Брэд: Метрическая система?
Джулс: Гляди как наш Бред мозговит!
Смышленый сукин сын, это точно — всё просек.
(из фильма «Криминальное чтиво»)

Дорогие слушатели нашей радиостанции, если вы переодически следите за нашими выпусками, то в целом в курсе наших новейших исследований цвета в нашей высоко-профессиональной любительской лаборатории. И уже имеете представление о том как цвет влияет на общее восприятие изображения. Очень важной фишкой в таких исследованиях являются цветовые пространства, в которых, обычно, можно производить манипуляции с пикселами картинки, системно её «ухудшая». Так удачно сложилось, что почти все такие пространства 3-х компонентные. А это означает, что мы можем попытаться визуализировать то как наши дурные наклонности могут его деформировать относительно исходного состояния в 3D сцену.

В многообразии фреймворков Apple есть очень мощный SDK SceneKit.  Сегодня мы распотрошим сразу двух кроликов: изучим как нам нарисовать произвольную 3D-фигуру с помощью инструментов SceneKit. А так же научимся добавлять очень большое количество дополнительных объектов в 3D-сцену, быстро её  деформировать, модифицировать и манипулировать свойствами всех добавленных объектов с помощью Metal.

Читать далее →

Ваша оценка:

Понравилось это:

Нравится Загрузка…

19 мая, 201823 мая, 2018 ~ Denis Svinarchuk ~ 1 комментарий

Друзья, наш уютный ламповый бложик про современные цифровые технологии одной яблочной компании возобновляет работу.

В последнее время я наблюдаю некоторый рост интереса к Metal со стороны разработчиков: переодически получаю отзывы и благодарности от вас, и даже ссылочки на приложения в AppStore, при разработке которых помогли посты этого ресурса. Это приятно, чоуж.

С другой стороны, Apple таки приближается к Swift 5, замораживает синтаксис и объявляет совместимость по ABI. И хотя Objc или C++ реализации приложений на Metal все еще субъективно шустрее чем Swift, а код не нужно переписывать от версии к версии практически с нуля, Swift начинает выглядеть как штука, на которой уже можно писать примеры для важных постов без вопросов к версии  XCode для сборки.

А еще мне хочется проверить работу шорткода [Gist] вместо кривого и дурацкого  [Code]. Ну вы поняли.

Читать далее →

Ваша оценка:

Понравилось это:

Нравится Загрузка…

22 июня, 201623 июня, 2016 ~ Denis Svinarchuk ~ 1 комментарий

В Photoshop CC есть такой очень важный и полезный инструмент, называется Free Transform (и еще несколько вариантов на туже тему). Очень нужная штука, но работает почти никогда.

Вот если загрузить PNG или вектор — то запросто. А обычный JPEG вызывает у редактора отторжение. И пока не создашь выделение или слой с выделением — меню трансформации остается неактивным. А еще мне порядком, поднадоела вот эта тестовая картинка (та что за меню торчит), точнее не сама картинка, а то как камера iPhone с её широко-угольным объективом портит пропорции лица. Конечно, в PS есть Lens Correction, исправляющий дисторсии и прочие недостатки оптических систем (хотя на картинке не недостаток, а фича), но во-первых: он тормозной, во-вторых: не всегда хочется исправить просто «бочку» или «подушку».

Попробуем устранить это недоразумение и потренируемся сегодня на кроликах Bezier-кривых — позволяющих подкрутить ручками практических любые, самые запущенные нелинейные дефекты геометрии. Или наоборот: накрутить самые безумные искажения в «художественных» целях.

Читать далее →

Ваша оценка:

Понравилось это:

Нравится Загрузка. ..

19 июня, 20163 июня, 2018 ~ Denis Svinarchuk ~ 2 комментария

Идеальные фигуры встречаются только в геометрии.
(Кто-то пошутил)

Не сильно ошибусь, если предположу, что у подавляющего большинства человечества, использующего фото-редакторы, самой востребованной фичей является функция коррекции линейных искажений. Хотя некоторые идут еще дальше: Фотосессия длиной в 4 года. А некоторые, совсем наоборот, утверждают, что желание исправлять геометрию рисунка — это в чистом виде технодрочерство и никакого отношения к фотографии не имеет. Мне же представляется, что все инструменты известные в природе на сегодняшний день для решения этой задачи, не совсем удобные и иногда избыточные с точки зрения возможностей (хотя, все не так, да), если говорить не о технологически точных фото-задачах, а о простом повседневном использовании: ну, там поехал в отпуск, фоткнул красивые руины, дома посмотрел, а там все криво — открыл свою любимую программку (которую сегодня напишем), поправил — мир стал лучше.

Поэтому сегодня пост, о том как самостоятельно изготовить быстрый, легкий и в меру незагруженный тулкит. Будем решать частный, но самый распространенный случай коррекций: исправление искажений проекции: ровно тот случай, что описал Антон, когда плоскость проекции изображения фотографии в момент фиксации не соответствует «правильной» (плоскости объекта съемки и фокальная плоскость не параллельны).

Читать далее →

Ваша оценка:

Понравилось это:

Нравится Загрузка…

10 июня, 201612 июня, 2016 ~ Denis Svinarchuk ~ 1 комментарий

Параллельные прямые не пересекаются, если вы не наклоняете одну из них или обе.
И да, никогда не пейте перед дифференцированием!
(Народная мудрость)

Мне, как неопытному блогеру, все еще представляется, что для публикации любого поста нужно иметь какой-то повод. Но, на днях, т. е. совсем недавно, комрад Дима Новак,  его подкинул: пристыдил нас за отсутствие в нашем концептуальном движке обработки фотографий возможности работать с геометрией картинки. А это, надо сказать, справедливый упрек — даже аналоговая темная комната имеет такие инструменты по умолчанию, а уж в эпоху повсеместного распространения суперкомпьютеров среди пользователей не иметь такого тулкита в арсенале — что-то вроде винтажного пижонства.

Читать далее →

Ваша оценка:

Понравилось это:

Нравится Загрузка…

26 февраля, 201630 августа, 2017 ~ Denis Svinarchuk ~ Оставить комментарий

«Вовсе не обязательно, что бы всюду был смысл: смешно — ну и ладно.»  
(Пол Маккартни)

А займемся-ка мы сегодня изучением такого важного параметра как энтропия информации и её производного: энтропии изображения и всем тем, что к ней приводит. И главное, осознаем чем она нам может быть интересна. К примеру, почему бы нам не придумать какой-то численный индикатор эстетики в изображении, и попробовать в этом контексте энтропию в плане измерения «эстетичности» изображения, выяснив предварительно, что можно под этим термином понимать.

Читать далее →

Ваша оценка:

Понравилось это:

Нравится Загрузка…

18 февраля, 201610 июня, 2016 ~ Denis Svinarchuk ~ Оставить комментарий

Меня как-то спросили, страдаю ли я от похмелий.
Для того, чтобы были похмелья, нужно перестать пить.
Так что данная проблема просто не возникает.
(Приписывают Л. Килмистеру)

Попробуйте задать гуглу вопрос вроде: How to calculate the dominant color of an image? Или что-то вроде того же спросите у stackoverflow, для большей релевантности. В случае с гуглом вы получите результат примерно из более чем 30 миллионов поисковых ответов. 30 миллионов! 30, Клара!

В общем я подумал недолго и понял: маловато. Надо бы добавить еще одну строчку. Тем более что вопрос не праздный, а вполне себе имеет практический смысл, в отличие, скажем, от поиска доминантных цветов из предыдущего поста. Решение этой задачи дает возможность проделать несколько простых манипуляций над фотографическим изображением. Например, исказить исходное соотношение цветов, т.е. «ухудшить» его технические характеристики и значит несколько улучшить перцептуальные свойства. А как вы уже заметили, наша теплая компания совершенно помешана на деструктивных способах обработки фотографических изображений, и значит нам условно полезно иметь этот инструмент в собственном исполнении. И целью сегодняшнего упражнения будет видоизменить общий баланс цветов исходной никчемной цифровой картинки до состояния нейтралей, чтобы получить возможность разбавить, в итоге, исходные цвета до приемлемо гармоничных. А для этого нам в первую очередь понадобится вычислить этот самый доминантный цвет.

Читать далее →

Ваша оценка:

Понравилось это:

Нравится Загрузка…

3 января, 20168 августа, 2016 ~ Denis Svinarchuk ~ 32 комментария

При… использовании цвета в цветовом оформлении, например, архитектуры, очень существенным является учет не только стен, потолка и пола, но и всех архитектурных деталей и всего оборудования помещения…
(Матюшин М.В.)

Пока земляне старательно бухали отмечали наступление Нового Года и провожали Рождество, я решил тоже побухать отдохнуть и развлечься. В качестве упражнения Дима Климкин подкинул одну бессмысленную для нашего проекта, но весьма любопытную в целом задачу: а не можем ли мы получить из картинки её палитру для определения гармонической целесообразности этого изображения. А еще точнее её доминантные цвета. Да не вопрос, подумал я, и между блинами к новогоднему столу и рибаем для перекуса, накидал первую версию анализатора палитры изображения. Посмотрел на результат и понял: что-то не то. Потом накидал второй вариант и оставил оба. Поэтому праздничный пост будет происходить вокруг исследования того как правильно определять палитру изображения в ограниченом цветовом пространстве, как найти доминантные цвета изображения и в чем разница между палитрой и доминантными цветами.

Читать далее →

Ваша оценка:

Понравилось это:

Нравится Загрузка…

Поиск:

Адрес электронной почты:

Присоединиться к ещё 21 подписчику

• Будущее наступило. Как просто разработать на Apple Metal свой OFX plugin и добавить его в DaVinci Resolve
  21 августа, 2020
• Деформация цветовых пространств методом Moving Least Squares
  1 июля, 2018
• Как из SCNSphere сделать что угодно с помощью Metal. Например, 3D RGB-Cube
  3 июня, 2018
• Доступ к пикселям текстуры в Metal
  19 мая, 2018
• Коррекция нелинейных геометрических искажений
  22 июня, 2016
• Коррекция геометрических искажений
  19 июня, 2016
• Геометрические фильтры: «игрушечные» шейдеры Metal. Анимация процессинга.
  10 июня, 2016
• Чем измерить эстетичность. Энтропия и вариативность гармонизированного изображения
  26 февраля, 2016
• Вычисление доминантного цвета изображения. Нормализация цветового баланса против баланса белого
  18 февраля, 2016
• Палитра и доминантные цвета изображения
  3 января, 2016

• Август 2020
• Июль 2018
• Июнь 2018
• Май 2018
• Июнь 2016
• Февраль 2016
• Январь 2016
• Декабрь 2015
• Ноябрь 2015
• Октябрь 2015

• CLUT
• Convolution
• Cube Histogram
• DPCore3
• DSP
• Geometry Filters
• Histogram
• Image Filter
• Image Processing
• IMProcessing Framework
• Metal
• OpenFX
• Optimization
• Photo Processing
• Uncategorized

• Регистрация
• Войти
• Лента записей
• Лента комментариев
• WordPress. com

Для чего он используется?

Резюме: В этой статье рассказывается все об Apple Metal. В нем рассказывается, для чего используется Apple Metal и как проверить, есть ли он на вашем Mac. Кроме того, ответьте на распространенные вопросы об Apple Metal API. — От iBoysoft

Металл играет жизненно важную роль в ускорении графики на устройствах Apple. Если вы хотите узнать больше о структуре Apple, внимательно следуйте этому полному введению о Apple Metal .

Содержание Apple Metal:

• 1. Для чего используется Apple Metal?
• 2. Apple Metal хорош?
• 3. Как узнать, есть ли на вашем Mac Metal?
• 4. Металл лучше Вулкана?
• 5. Часто задаваемые вопросы об Apple Metal

Для чего используется Apple Metal?

Разработанный Apple, Metal представляет собой API с низкими накладными расходами (интерфейс прикладного программирования), который работает для поддержки графики с аппаратным ускорением в iOS, iPadOS, macOS и tvOS. Он предназначен для ускорения графики, предлагая программам прямой или низкоуровневый доступ к графическому процессору устройства, позволяя приложениям использовать графический процессор для быстрого рендеринга сложных сцен и одновременно выполнять вычислительные задачи.

С помощью Metal операционная система может отображать приложения и игры с графикой высокого разрешения за меньшее время и быстрее загружать переплетенные ресурсы, обеспечивая лучший визуальный эффект и более быструю работу.

Примечательно, что Apple Metal не работает сам по себе. Он интегрируется с другими платформами Metal, которые дополняют его функции, такими как MetalFX, MetalKit, Metal Performance Shaders и т. д.

Поделитесь, чтобы больше людей узнали об Apple Metal.

Apple Metal хорош?

Apple Metal изначально был выпущен в iOS 8 и сочетал в себе функции, аналогичные OpenGL и OpenCL, для создания беспрецедентного API. Мощный фреймворк Metal реализует низкоуровневый доступ к графическому процессору устройства для программ, а затем был применен к другим платформам Apple.

Специально для пользователей, которые часто работают с приложениями с высоким разрешением, такими как игры, они могут найти улучшенную производительность, которую Apple Metal обеспечивает при загрузке ресурсов и рендеринге сложных сцен.

Кроме того, благодаря положительному ответу Apple Metal, Apple добавила Metal 2 и Metal 3, чтобы они соответствовали новой операционной системе и устройствам Apple. Так что трудно сказать, что Apple Metal плох.

Как узнать, есть ли на вашем Mac Metal?

Metal доступен в macOS с 2015 года для компьютеров Mac (модели 2012 года или новее) под управлением OS X El Capitan. А Metal 2 (вторая версия Metal) поддерживает macOS High Sierra и более поздние версии с 2017 года. Что касается Metal 3, Apple заявляет, что поддерживает кремниевые компьютеры Apple Mac и macOS Ventura или более поздние версии.

Или вы можете просто открыть меню Apple > «Об этом Mac». В разделе Обзор нажмите Системный отчет. В разделе «Оборудование» выберите «Графика/дисплеи». Затем на правой панели вы можете увидеть Metal GPU или аналогичное описание рядом с тегом Metal Family.

Металл лучше Вулкана?

Хотя и Metal, и Vulkan являются API (интерфейсом прикладного программирования), они работают по-разному и показывают разные характеристики. Вот подробности о Apple Metal против Vulkan .

Вы должны контролировать Vulkan, в то время как Metal автоматически делает больше, чтобы помочь вам справиться с закулисным управлением. В этом смысле Vulkan, кажется, дает вам более высокий потенциал производительности, чем Metal.

По сравнению с Vulkan, Apple Metal является более повседневным API, поскольку он выполняет больше автоматических задач, помогая вам справиться с внутренним управлением при ускорении графики и повышении производительности. Но Vulkan — это более явный API, который в значительной степени требует вашего контроля. Так что, вообще говоря, Metal более удобен в использовании и управлении.

Говоря о функциях, Metal содержит и усиливает основные преимущества Vulkan с помощью некоторых расширений, таких как пакетное обновление привязок, разреженные ресурсы, повторное использование командного буфера и т. д. И самое главное, Apple Metal поглощает преимущества Vulkan без ущерба для удобства эксплуатации.

И Vulkan лучше, чем Metal, для людей, которым нужно играть в высококачественные игры на своих устройствах, поскольку приложениям требуется явное управление. Но платформы Apple не поставляются с мощными графическими процессорами, поэтому Metal лучше для обычных пользователей по сравнению с неработающим Vulkan.

В целом, Metal лучше, чем Vulkan, потому что он имеет те же функции и преимущества, что и Vulkan, а также проще в использовании.

Расскажите большему количеству людей о различиях между Apple Metal и Vulkan.

Часто задаваемые вопросы о Apple Metal

А

Metal разработан Apple, но не является открытым исходным кодом. Его можно использовать только на платформах Apple, включая iOS, iPadOS, macOS и tvOS.

А

Да, Metal — это своего рода движок для ускорения игры и повышения качества игры. Это связано с тем, что Metal — это API, который позволяет приложениям быстрее использовать графический процессор устройства. И он может работать с 3D-графикой и вычислительными парадигмами параллельно.

А

Нет, Metal может работать только на платформах Apple.

Конни Янг

Конни Янг — ведущий обозреватель компьютерной тематики в iBoysoft. Она с энтузиазмом делится техническими руководствами по восстановлению данных и решению проблем, связанных с операционной системой. За прошедшие годы Конни опубликовала множество руководств и вводных статей, связанных с компьютерами.

Джессика Ши

Джессика Ши — старший технический редактор iBoysoft. За свой 3-летний опыт работы Джессика написала множество информативных и обучающих статей по восстановлению данных, безопасности данных и управлению дисками, чтобы помочь многим читателям защитить свои важные документы и максимально эффективно использовать свои устройства.

Metal на MacRumors

Автор: MacRumors Staff , 18 мая 2022 г.

Платформа машинного обучения PyTorch, включающая обучение с ускорением на графическом процессоре на компьютерах Apple Silicon Mac

Среда, 18 мая 2022 г., 10:06 PyTorch в сотрудничестве с командой инженеров по металлу в Apple объявила сегодня о том, что ее инфраструктура машинного обучения с открытым исходным кодом скоро будет поддерживать обучение моделей с ускорением на графическом процессоре на кремниевых компьютерах Apple Mac с процессорами M1, M1 Pro, M1 Max или M1 Ultra.
До сих пор обучение PyTorch на Mac использовало только ЦП, но следующая версия позволит разработчикам и исследователям воспользоваться преимуществами …

Blender начинает тестирование рендеринга Metal с помощью графического процессора на компьютерах Mac M1

Среда, 15 декабря 2021 г., 5:53 утра по тихоокеанскому стандартному времени, Джо Россиньол Компьютеры Mac под управлением macOS Monterey. Блендер сказал, что поддержка Metal для компьютеров Mac с графическими процессорами Intel и AMD находится в стадии разработки.
Изображение предоставлено: @Jonatan в Твиттере Рендеринг Metal GPU для Cycles можно протестировать в Blender 3.1 Alpha, и это стало возможным благодаря вкладу Apple,…

Инструменты разработчика Metal для Windows открывают новые игровые возможности инструментов разработчика Metal, выпущенных Apple (через Reddit).
В этом году на конференции WWDC Apple незаметно выпустила набор Metal Developer Tools для Windows 10, который позволяет компилировать Metal Shading Language (MSL) в Windows в объекты Metal Library, предназначенные для платформ Apple. Это…

Nvidia об отсутствии драйверов macOS Mojave для новых видеокарт: «Apple должна их одобрить» , веб-драйверы для видеокарт Nvidia, выпущенные в 2014 году и позже, остаются недоступными для последней версии операционной системы, что приводит к проблемам совместимости. Сюда входят видеокарты Nvidia на базе архитектуры Maxwell, Pascal и Turing.

В то время как некоторые клиенты выразили разочарование по поводу Nvidia, представитель компании…

Adobe отказывается от своего обязательства использовать металл в After Effects

Понедельник, 5 октября 2015 г., 8:38 утра по тихоокеанскому времени, автор Joe Rossignol

Новый высокопроизводительный API графического ускорения от Apple в OS X El Capitan. В конце демонстрации он сказал, что Adobe намерена внедрить Metal в несколько приложений Creative Cloud на Mac. «Adobe намерена добавить Metal во все свои Mac OS Creative Cloud…

Apple объявляет о выпуске Metal для OS X El Capitan

Понедельник, 8 июня 2015 г., 10:36 по тихоокеанскому времени, Митчел Бруссард

Сегодня Apple объявила о повышении производительности для пользователей OS X El Capitan в форме Metal, доступной ранее только для iOS. Компания обещает, что включение революционной графической технологии Apple в El Capitan повысит производительность всей системы и время автономной работы, одновременно позволяя играм и приложениям, интенсивно использующим графику, «использовать всю мощь» графики Mac.