Ios 11 распознавание документов: Использование функции «Сканер текста» с помощью камеры iPhone

Как сканировать документы с помощью заметок в iOS 11

Теперь, благодаря iOS 11 и приложению Notes (и небольшой помощи от камеры), вам не нужен сканер документов документов больше.

Возможность сканировать любой документ с помощью мобильного телефона является повседневной потребностью, неоценимой, если вы хотите перейти на безбумажный счет, чтобы сохранить квитанции, проиндексировать визитные карточки или просто сделать быстрые скриншоты обложек книг для записи.

Возможно, на вашем iPhone или iPad установлено приложение для сканирования документов. Выберите, чтобы удалить его в пользу собственной компании Apple. Ниже описано, как сканировать документ или визитную карточку с помощью нового сканера документов из приложения Notes.

1. Откройте приложение Notes и старую или новую заметку. Сканер сейчас является основной функцией.
2. Нажмите символ « + » в нижней части экрана.
3. Выберите опцию « Сканировать документы» во всплывающем меню. Обратите внимание, что есть несколько других функций, таких как « Сделать фото» или « Добавить эскиз» .
4. Камера открывается, и теперь вы можете направить камеру на то, что вы хотите сканировать. Опция сканирования по умолчанию — автоматический режим и цвет.

Есть несколько способов точной настройки сканирования:

• Верхний ряд значков позволяет выбирать для сканирования оттенки серого или черно-белые. Вы можете выбрать один после того, как вы сделаете сканирование.
• Когда документ находится в фокусе, камера срабатывает автоматически. Вы также можете использовать кнопку спуска затвора или кнопки громкости, чтобы сделать сканирование вручную. Сканер позволяет настраивать углы сканирования вручную. Если с углами все в порядке, нажмите Сохранить сканирование .
• Сканер остается в поле зрения камеры после первого сканирования для дальнейших заданий сканирования (например, многостраничный документ).

Когда вы закончите сканирование, нажмите на кнопку Сохранить в нижней части экрана. Сканы можно поместить в заметку, которую вы открыли в начале. Я считаю, что лучше перенести сканирование документа из приложения Notes. Я могу поделиться им или загрузить его в любое другое приложение, такое как Google Drive, отправить в виде вложения в электронное письмо, создать PDF или поделиться через WhatsApp. Просто удерживайте предварительный просмотр сканов и нажмите « Поделиться», когда оно появится.

Вы также можете использовать инструменты разметки в приложении Notes для аннотирования всего документа. Пока еще нет функции распознавания текста, но это тоже может быть не за горами.

Apple Notes быстро превращается в мощный источник производительности. Это довольно далеко от более простых начал. Попробуйте сканер сейчас и ответьте на это в комментариях.

Находится ли сканер документов Apple наравне с другими альтернативами? Если нет, какой ваш выбор для iDevice?

Сканирование документов и распознавание текстов с помощью VisionKit и Vision Framework на iOS / Хабр

Сегодня отсканируем документ и выведем на экран распознанный текст из этого документа. Для этого не нужно устанавливать дополнительные библиотеки: пригодятся VisionKit для сканирования и Vision для распознавания текстов.

Для начала убедитесь что у вас стоит Xcode 11 и iOS 13, потом создайте новый проект с поддержкой Storyboard.

Сканирование совершим с помощью видеокамеры. Значит нам нужно добавить NSCameraUsageDescription в Info.plist, без этого приложения будет аварийно завершаться.

Сканирование

Для сканирования документов мы используем VisionKit Framework. Чтобы открыть экран для сканирования, надо создать новый образец из VNDocumentCameraViewController и вывести:

let scanner = VNDocumentCameraViewController()
scanner.delegate = self
present(scanner, animated: true)

Добавьте VNDocumentCameraViewControllerDelegate во ViewController:

class ViewController: UIViewController, VNDocumentCameraViewControllerDelegate {
. ..

После нажатия «Отмены» или ошибки нужно закрыть открытый экран:

func documentCameraViewControllerDidCancel(_ controller: VNDocumentCameraViewController) {
  controller.dismiss(animated: true)
}
func documentCameraViewController(_ controller: VNDocumentCameraViewController, didFailWithError error: Error) {
  controller.dismiss(animated: true)
}

После сканирования и нажатия на «Сохранить» сработает следующее:

func documentCameraViewController(_ controller: VNDocumentCameraViewController, didFinishWith scan: VNDocumentCameraScan) {
  for i in 0 ..< scan.pageCount {
    let img = scan.imageOfPage(at: i)
    // recognizeText(inImage: img)
  }
  controller.dismiss(animated: true)
}

Каждую страницу можно обработать по отдельности.

Распознавание текстов

Со сканированием разобрались, теперь извлечем текст.

Чтобы все прошло плавно, распознавание проведем в фоновом режиме. Для этого нужно создать DispatchQueue:

lazy var workQueue = {
  return DispatchQueue(label: "workQueue", qos: .userInitiated, attributes: [], autoreleaseFrequency: .workItem)
}()

Для распознавания нам нужен VNImageRequestHandler с картинкой и VNRecognizeTextRequest с опциями recognitionLevel, customWords, recognitionLanguages, а также обработчик завершения, который даст результат в текстовом виде. По завершении собираем лучшие варианты текстов и выводим на экран:

lazy var textRecognitionRequest: VNRecognizeTextRequest = {
    let req = VNRecognizeTextRequest { (request, error) in
        guard let observations = request.results as? [VNRecognizedTextObservation] else { return }
        
        var resultText = ""
        for observation in observations {
            guard let topCandidate = observation.topCandidates(1). first else { return }
            resultText += topCandidate.string
            resultText += "\n"
        }
        
        DispatchQueue.main.async {
            self.txt.text = resultText
        }
    }
    return req
}()

VNImageRequestHandler:

func recognizeText(inImage: UIImage) {
    guard let cgImage = inImage.cgImage else { return }
    
    workQueue.async {
        let requestHandler = VNImageRequestHandler(cgImage: cgImage, options: [:])
        do {
            try requestHandler.perform([self.textRecognitionRequest])
        } catch {
            print(error)
        }
    }
}

Последняя версия

ViewController

import UIKit
import Vision
import VisionKit
class ViewController: UIViewController, VNDocumentCameraViewControllerDelegate {
    @IBOutlet weak var txt: UITextView!
    
    lazy var workQueue = {
        return DispatchQueue(label: "workQueue", qos: .userInitiated, attributes: [], autoreleaseFrequency: . workItem)
    }()
    
    lazy var textRecognitionRequest: VNRecognizeTextRequest = {
        let req = VNRecognizeTextRequest { (request, error) in
            guard let observations = request.results as? [VNRecognizedTextObservation] else { return }
            
            var resultText = ""
            for observation in observations {
                guard let topCandidate = observation.topCandidates(1).first else { return }
                resultText += topCandidate.string
                resultText += "\n"
            }
            
            DispatchQueue.main.async {
                self.txt.text = self.txt.text + "\n" + resultText
            }
        }
        return req
    }()
    @IBAction func startScan(_ sender: Any) {
        txt.text = ""
        
        let scanner = VNDocumentCameraViewController()
        scanner.delegate = self
        present(scanner, animated: true)
    }
    
    func recognizeText(inImage: UIImage) {
        guard let cgImage = inImage.cgImage else { return }
        
        workQueue. async {
            let requestHandler = VNImageRequestHandler(cgImage: cgImage, options: [:])
            do {
                try requestHandler.perform([self.textRecognitionRequest])
            } catch {
                print(error)
            }
        }
    }
    
    // MARK: - Document Camera VC Delegate
    
    func documentCameraViewController(_ controller: VNDocumentCameraViewController, didFinishWith scan: VNDocumentCameraScan) {
        for i in 0 ..< scan.pageCount {
            let img = scan.imageOfPage(at: i)
            recognizeText(inImage: img)
        }
        
        controller.dismiss(animated: true)
    }
    
    func documentCameraViewControllerDidCancel(_ controller: VNDocumentCameraViewController) {
        controller.dismiss(animated: true)
    }
    
    func documentCameraViewController(_ controller: VNDocumentCameraViewController, didFailWithError error: Error) {
        print(error)
        controller.dismiss(animated: true)
    }
    
}

Что дальше?

Документация:
developer. apple.com/documentation/vision
developer.apple.com/documentation/visionkit

WWDC видео о Speech framework:
developer.apple.com/videos/all-videos/?q=Vision

GitHub проект:
github.com/usenbekov/vision-demo

Приложение Notes для iOS 11: принцип работы

Есть ли более универсальное приложение для iOS, чем Notes? Это было одно из первых приложений для iPhone, и с каждым обновлением iOS оно становилось все более подходящим хранилищем для нашего текста, изображений, контрольных списков и всего остального, о чем вы только можете подумать.
iOS 11, что неудивительно, продолжает эту тенденцию с некоторыми замечательными новыми дополнениями, которые используют преимущества камеры iPhone и Apple Pencil.

iOS 11 Примечания: сканирование документов

множество приложений для iOS, которые будут использовать вашу камеру для «сканирования» бумажных документов. Они работают на удивление хорошо — возможно, вам больше никогда не понадобится использовать документ или планшетный сканер, — но, конечно, вы должны знать, что они существуют, а затем купить одно из них в магазине приложений. В iOS 11 Apple добавляет базовые функции сканирования документов в Notes.

Чтобы отсканировать документ, введите примечание и коснитесь кнопки «плюс» внизу экрана (или над клавиатурой), затем выберите «Сканировать документы». Вам будет представлен вид с камеры, и вам будет предложено разместить документ в поле зрения камеры. Затем Notes попытается обнаружить края вашего документа, и вы можете нажать, чтобы захватить документ, или подождать несколько секунд, и приложение сделает снимок для вас. За кулисами приложение использует края документа, чтобы удалить любой намек на перспективу, поэтому конечный результат выглядит плоским, как лист бумаги. (Вы также можете отредактировать точки автоматической обрезки, если считаете, что окончательный документ выглядит слишком перекошенным.)

Вы можете сканировать несколько страниц в одном документе, поэтому, если вам нужно отсканировать пятистраничный документ, вы можете сканировать каждую страницу. Когда вы закончите, нажмите «Сохранить», чтобы сохранить документ в заметку. Оттуда вы можете нажать, чтобы открыть документ в полном размере, сохранить его в формате PDF, поделиться им с кем-то или использовать функцию разметки iOS, чтобы аннотировать его. Да, это означает, что теперь вы можете отсканировать документ, подписать его (пальцем через разметку), а затем поделиться получившимся подписанным PDF-файлом. Это здорово.

Я не считаю, что функции обнаружения границ Apple так же хороши, как в сторонних приложениях для сканирования, но они вполне функциональны. Однако я был разочарован тем, что Notes не предлагает никаких функций оптического распознавания символов, как сторонние приложения. Это означает, что ваши отсканированные документы недоступны для поиска. Ужасно приятно иметь возможность находить текст в отсканированном документе, но Apple решила не поддерживать это.

Notes — отличное приложение, но не все его используют, а функция сканирования документов скрыта за этой кнопкой с плюсом. Я удивлен, что Apple не встроила сканирование документов непосредственно в приложение «Камера». Наверняка найти будет проще.

Новые функции Notes для iPad Pro и Apple Pencil

Большинство других важных новых функций Notes ориентированы на пользователей iPad Pro и Apple Pencil. Лучший из них называется «Мгновенные заметки», который позволяет сразу начать писать заметку от руки на экране iPad, когда вы прикасаетесь к нему Apple Pencil на экране блокировки. Если вы сидите в классе или на совещании и вам нужно что-то записать, больше не нужно разблокировать iPad и запускать нужное приложение. Вместо этого создается новая заметка, и вы сразу же пишете в ней. (Поскольку ваш iPad заблокирован, у вас есть доступ только к этому одному листу — вам нужно разблокировать iPad, чтобы получить полный доступ.)

Как бы мне ни нравилась эта функция, я разочарован тем, что каждый раз, когда вы возвращаетесь к ней, вам приходится начинать с новой страницы. С точки зрения безопасности это имеет смысл, но с практической точки зрения может быть лучше, чтобы самый последний элемент Instant Notes оставался доступным некоторое время дольше, по крайней мере, в качестве опции.

Еще одна новая функция, ориентированная на Pencil, — Instant Markup, которая избавляет от необходимости переходить в режим Markup, когда вы пытаетесь написать в PDF-файле или на снимке экрана с помощью Apple Pencil. Для определенных типов файлов при начале пометок в документе с помощью Apple Pencil происходит переход прямо к разметке, что позволяет сэкономить на шаге. Это имеет смысл.

iOS 11 также представляет встроенное рисование в Notes и Mail, поэтому вы можете взять обычный текстовый документ и просто начать писать под ним, и этот текст будет включен в существующий текстовый документ.

Наконец, хотя Notes не использует OCR для отсканированных документов, он выполняет распознавание рукописного ввода. Это означает, что вы можете искать текст в своих рукописных документах. Эта функция уже давно доступна в приложениях для создания заметок, но раньше она никогда не была доступна в ядре iOS, и это приветствуется. Заметки даже попытаются использовать первую написанную вами строку в качестве заголовка этой заметки, чтобы отобразить ее в списке заметок. (Вы можете отредактировать его позже, если ваш почерк такой же плохой, как у меня.)

Как использовать новые мощные функции Apple Notes в iOS 11

Встроенное приложение Notes на iPhone и iPad стало мощным инструментом организации. В iOS 11 Apple добавляет функции, которые могут помочь ей конкурировать с более популярными приложениями для создания заметок, такими как OneNote и Evernote.

Notes не был переработан, как Центр управления, но он получил свою долю новых полезных функций. Если в прошлом вы мало использовали Notes, возможно, вы захотите начать сейчас.

Сегодня мы рассмотрим некоторые функции iOS 11 и способы их использования.

Улучшено форматирование в Notes

Форматирование текста в предыдущих версиях Notes было довольно ограниченным. Вы можете применить стили Title , Heading или Body с помощью кнопки Formatting . Полужирный , Курсив и Подчеркнутый можно применить, если нажать и удерживать выделенный текст для доступа к всплывающему меню.

Заметки в iOS 11 получают некоторые дополнительные параметры форматирования, такие как Зачеркнутый и Моноширинный . Пунктирные, маркированные и нумерованные списки по-прежнему доступны. Но теперь вы также можете увеличить или уменьшить отступ текста. Отступ внутри списка изменит маркировку элементов списка, предоставляя базовую функцию структурирования в Notes.

Таблицы в заметках

Поддержка таблиц наконец-то добавлена ​​в Notes в iOS 11, что позволяет вам лучше организовать информацию в ваших заметках. Вы можете создавать и редактировать их, а также добавлять и удалять строки и столбцы.

Коснитесь кнопки таблицы, чтобы вставить таблицу два на два рядом с курсором. При касании ячейки рядом со строкой и над столбцом, в котором находится курсор, появляются кнопки меню в виде трех точек. Используйте эти кнопки меню для вставки и удаления строк и столбцов.

Вы можете скопировать или удалить всю таблицу, преобразовать таблицу в текст и даже поделиться своей таблицей с другими приложениями, такими как Mail, Message, Facebook и Twitter.

Встроенные чертежи

Иногда проще что-то записать, чем печатать. В предыдущих версиях Notes вы могли либо печатать, либо рисовать заметки, но не то и другое, поэтому вам приходилось создавать новую заметку, чтобы что-то рисовать.

В iOS 11 вы можете ввести заметку, нарисовать что-то в той же заметке, а затем продолжить печатать, если хотите. Просто коснитесь значка пера в правом нижнем углу и начните рисовать. Коснитесь значка X в том же месте, чтобы вернуться к вводу текста.

Если раньше вы хотели рисовать в Notes, вам нужно было создать новую заметку. В iOS 11 вы можете ввести текст, а затем нарисовать что-то в той же заметке. Это становится еще лучше, если у вас есть iPad Pro с Apple Pencil.

Заметки о выводах в начало списка

Когда вы добавляете новые заметки в свои записные книжки или изменяете существующие в Notes, они добавляются или перемещаются в начало списка. Таким образом, любые важные заметки, на которые вы ссылаетесь, часто продолжают опускаться в списке, пока вы их не измените.

Заметки в iOS 11 теперь позволяют закреплять заметки в верхней части списка. Проведите вправо по заметке и коснитесь значка чертежной кнопки. Появится заголовок Pinned , и все ваши закрепленные заметки останутся вверху списка, даже если вы добавите новые заметки или измените существующие.

Вы можете закрепить несколько заметок. Однако будьте осторожны. Если вы закрепите слишком много заметок, вам будет трудно найти заметки в закрепленном списке.

Проведите пальцем, чтобы заблокировать заметку

Если вы беспокоитесь о защите информации в своих заметках, Notes предоставляет способ шифрования ваших заметок путем их индивидуальной блокировки.

Блокировка заметок в приложении «Заметки» требовала использования общего листа, когда заметка была открыта. Теперь блокировать заметки стало проще. Вам не нужно открывать заметку, чтобы заблокировать ее, просто проведите пальцем по заметке влево в списке, а затем коснитесь Значок блокировки .

Линии и сетки для заметок

Если вам нравится делать рукописные заметки, новая функция Lines & Grids будет очень полезна. К фону заметки можно применить различные узоры с линиями или сеткой, чтобы сделать ее похожей на запись в блокноте с линиями.

Эта функция будет особенно полезна для пользователей iPad Pro, которые также используют Apple Pencil. Вы можете превратить свой iPad Pro в полноразмерный блокнот в линейку. Если у вас нет карандаша, вы можете использовать почти любой другой стилус, чтобы писать на линиях или сетке. Для проверки я использовал стилус Adonit Jot Pro без питания и Bluetooth.

Откройте новую или существующую заметку и коснитесь значка «Поделиться» в верхней части экрана. Затем коснитесь значка Lines & Grid на общем листе. Выберите из линий и сеток разных размеров в диалоговом окне Lines & Grids . Чтобы удалить линии или сетку, коснитесь пустой страницы. Удаление линий или сетки из заметки не удаляет содержимое заметки.

Поиск рукописных заметок

Делаете ли вы рукописные заметки на iPad Pro с помощью Apple Pencil или на iPad Air или Mini с помощью обычного стилуса, возможность поиска в рукописных заметках очень полезна. Заметки в iOS 11 позволяют вам сделать именно это.

В Notes нет функции оптического распознавания символов (OCR), и вы не можете преобразовывать рукописный текст в текст, но можете выполнять поиск в своих рукописных заметках.

Все рукописные заметки индексируются Spotlight. Введите слово или фразу в поле Spotlight на iPhone или iPad, и вы увидите список заметок, содержащих рукописную версию того, что вы набрали в Spotlight.

Рукописные заметки также синхронизируются через iCloud, поэтому любые заметки, написанные от руки на iPad, будут доступны для поиска на iPhone, и наоборот.

Сканируйте документы в заметки с помощью камеры вашего устройства

Если вы хотите сканировать документы, такие как квитанции, на свой iPhone, чтобы держать их под рукой и систематизировать, есть несколько приложений, которые заполняют этот счет. С iOS 11 приложение Apple Notes теперь присоединяется к этой команде.

Создайте новую заметку или откройте существующую, затем коснитесь значка плюса, а затем Сканировать документы . Notes запросит доступ к вашей камере. Сделайте снимок документа и отрегулируйте рамку, отображаемую поверх изображения, чтобы она включала нужную часть изображения. Нажмите Сохранить сканирование и затем Сохранить .

Отсканированный документ вставляется в заметку и помечается как Отсканированные документы .

Разметка документов как PDF

Приложение «Заметки» в iOS 11 теперь позволяет сканировать документ, как мы упоминали выше, а затем размечать его как файл PDF. Эта функция полезна для подписания, комментирования и редактирования PDF-документов.

После того как вы отсканировали документ в заметку, вы можете пометить его как файл PDF. Убедитесь, что записка с отсканированным документом открыта. Нажмите на Значок «Поделиться », а затем коснитесь значка «Создать PDF ».

Откроется файл PDF. Чтобы разметить PDF-документ, коснитесь значка пера в правом верхнем углу экрана, чтобы получить доступ к инструментам рисования. Нажмите Готово , когда вы закончите пометки в отсканированном документе, затем выберите, куда вы хотите сохранить файл.

Вы также можете поделиться заметкой, содержащей отсканированный, размеченный PDF-документ, используя общий лист.

Перетаскивание между заметками

Если вы обнаружили, что отсканировали документ или ввели текст не в ту заметку, вам может помочь функция перетаскивания, добавленная в «Заметки» в iOS 11. Вы можете легко перетаскивать такие элементы, как текст, отсканированные документы, изображения и многое другое, из одной заметки в другую. Это работает как на iPhone, так и на iPad.

Просто нажмите и удерживайте элемент, чтобы выбрать его. Теперь он закреплен под вашим пальцем. Вы можете использовать другую руку, чтобы выбрать дополнительные элементы. Если заметка, в которую вы хотите переместить элемент, находится в другой папке, перейдите в эту папку. Затем отпустите палец над этой нотой.

Перетаскивание между приложениями

Перетаскивание в iOS 11 также работает между приложением Notes и другими приложениями, такими как Safari. Например, вы можете перетащить ссылку из Safari в заметку.

Есть несколько способов сделать это. Вы можете использовать Slide Over или Split View и перетащить элемент из Safari в Notes. Или вы можете долго нажимать на элемент в Safari, другой рукой открывать приложение «Заметки», а затем перетаскивать элемент в заметку.

Делайте заметки с экрана блокировки с помощью мгновенных заметок

Если вы используете iPad Pro, вы можете открыть новую заметку прямо с экрана блокировки. Коснитесь экрана блокировки Apple Pencil, когда iPad заблокирован, чтобы открыть новую заметку.

Ваш iPad по-прежнему заблокирован, и все ваши заметки по-прежнему заблокированы.