管理業務を改善しよう！
AppSheet の OCR 機能を徹底解説

AppSheetとは？

AppSheetは、Googleが提供するスプレッドシートベースのノーコード開発プラットフォームです。AppSheetを使うことで、スプレッドシートのようなデータベースをもとに、簡単にアプリケーションを作成することができます。また、AppSheetは、Webアプリとモバイルアプリの双方に対応しており、ビジネスや個人の用途に応じて多様なアプリケーションを作成することができます。

AppSheet OCR機能とは？

AppSheet OCRとは、AppSheetに搭載された光学文字認識(OCR)機能です。画像や写真から文字情報を読み取り、テキストデータとして抽出することができます。

例えば、領収書の写真から金額や日付を自動で読み取り、経費精算アプリにデータを入力したり、名刺の写真から連絡先情報を抽出して顧客管理アプリに登録したりすることができます。

AppSheet OCR機能を使用すると、画像からフォームへ自動的に入力することができ、データ入力にかかる時間が短縮できます。

AppSheet OCRは、AI技術を活用しており、手書き文字や複雑なレイアウトの文書でも高い精度で読み取ることができます。

例: 名刺をカメラで撮影してテキストを自動入力する

AppSheet OCRが機能する画像の種類

AppSheetのOCR機能は、すべて固定レイアウトの複数のドキュメントをスキャンする必要がある場合に使用できます。印刷された文字だけでなく、手書きの文字を読み取ることができます。

OCR機能の利用に向いているケース

申込書やアンケートをはじめ、注文書や請求書などでも、レイアウトが固定されているものであればOCR機能を利用し、画像を読み込ませて、データとして取り扱うことができます。

例えば、各営業所から本社に送られてくるFAXがあるとします。このFAXのレイアウトは固定されているとしましょう。
このような場合には、FAXがきたらOCR機能を搭載したAppSheetアプリでFAXを読み取り、データに変換することが可能です。

OCR機能の利用に向いていないケース

OCR機能は形式の異なるフォーマットを読み込むことには向いていません。

例えば、縦型と横型の領収書やレシートであったり、形式の異なる契約書は読み込む項目を判断することが難しく、複数のドキュメントを読み取ったとしても入力項目が異なるなどの不整合が起こります。

また、AppSheetのOCR機能はクラウドベースの処理を利用し、インターネット接続が必要になるためインターネットに接続していないアプリではOCR機能を利用することができません。

上記のケースを踏まえて、OCR機能を活用してみましょう。

OCR 機能を使うための関数

OCR機能の設定方法に入る前に、OCR機能で使う関数について紹介します。

OCR機能を使って、撮影した画像やフォルダから指定した画像の情報を文字起こしするためには、OCR機能を利用するための関数が必要です。

OCR機能を利用する関数にはOCRTEXT()関数と、OCR()関数があります。

実はAppSheetのOCR機能には1.機械学習モデルをトレーニングしない方法と2.機械学習モデルをトレーニングする方法の2つがあります。

1. 機械学習モデルをトレーニングしない方法ではOCRTEXT()関数を利用して、入力された画像からテキストを抽出することができます。例えば、名刺の画像を入力すると、画像に写っているテキストすべてを1つの列の値として取り込みます。

2. 機械学習モデルをトレーニングする方法ではOCR()関数を利用します。この方法では、抽出されたテキストを複数の列の値に割り振ることができます。例えば、名刺の画像を入力すると、画像に写っている「氏名」や「メールアドレス」をそれぞれ別の列の値として取り込むことができます。

OCR()関数では、入力画像の他に、利用するモデル名と抽出したい列の値の列名を指定します。
例：OCR(“New OCR Model”, [画像列], “メールアドレス”)

OCRTEXT() 

画像に含まれる文字のすべてをテキストとして抽出します。

画像に含まれる文字をテキストとして返すために、文字を抽出する列のTypeはTextまたは LongTextにしましょう。

OCRTEXT関数はFOMULAまたはINITIAL VALUEで利用します。
FOMULAにOCRTEXT関数を指定した場合には、画像から読み取った文字を編集することができません。読み取った文字を編集したい場合は、INITIAL VALUEにOCRTEXT関数を指定します。

OCR()

画像に含まれる文字の一部をテキストとして抽出し、事前に指定した列の値に割り当てます。

OCR関数は機械学習モデルのトレーニング設定を行うことで、テーブルの対応する列の INITIAL VALUEに自動的に入力されます。

OCR機能の設定方法

機械学習モデルをトレーニングしない方法

それではここから、OCR機能の設定方法について詳しく解説していきます。
AppSheetでアプリを作成したことのない方はこちらの記事を参考にしてください。

アプリが生成されたら、列ごとのType設定を行います。
画像列はImage Type、テキスト列はLongText Typeに変更します。

さらに、テキスト列のINITIAL VALUEに以下の式を入力します。
OCRTEXT()関数を使うことによって画像から文字を抽出します。

OCR 機能を利用するための設定は以上になります。
ここから実際に画像を追加してどのように表示されるのかを見ていきましょう。

カメラのアイコンをクリックして画像を追加します。
画像を追加すると、テキスト列に文字が抽出されます。

今回はすべて正しく読み取ってくれていますが、誤読する場合もあります。
その場合は手修正を行いましょう。

OCR機能の基本解説については以上です。

機械学習モデルをトレーニングする方法

続いて、機械学習を利用したOCR機能について解説します。

AppSheet OCR機能では、機械学習を利用するためにモデルを登録します。
機械学習における「モデル」とは、データから学習したパターンや規則を表現し、新たなデータに対して予測や判断をおこなうものです。

ユーザーがアップロードした画像と、その画像から抽出したい文字列をペアで OCR モデルを事前学習させることで、将来アップロードされる画像データに対しても、学習済みのパターンに基づいて文字列を抽出します。これにより、単に文字列を読み取るだけでなく、読み取った文字列を特定の部分ごとに分割し、それぞれ異なる列のデータとして取り込むことが可能になります。

例えば、請求書画像から「請求日」「請求金額」「請求先」といった特定の情報を別々の列に自動入力するアプリを作成できます。

ただし、OCRモデルを学習させるためには、最低4つのサンプル画像と、それぞれの画像から抽出したい値を用意する必要があります。

サンプル画像 : 入力内容が異なる画像を準備します。
※今回は執筆のため同一画像を登録していますが、実際には違う画像でデータセットを用意しましょう。

抽出する値 : スプレッドシートに直接値を入力するか、AppSheetアプリのフォームから登録します。
これらの情報に基づいてモデルの学習を行い、新しい画像入力に対しても適切な値を抽出するための準備をします。

それではここから機械学習モデルの作成方法について解説します。

まずは、ナビゲーションエリアでIntelligenceを選択します。
OCR MODELS横にある +マークか、画面中央の + Add OCR Modelsをクリックして新規モデルの作成に進みます。

編集画面が表示されます。初期値では紐づいているテーブルの全ての列が表示されているため、抽出したい列のみに変更します。

モデルのトレーニングが完了すると、作成したOCR MODELでOutput Columnsに指定した列のINITIAL VALUEに以下の様な式が挿入されます。

これでOCRモデルの事前学習と、モデルの予測を各列に割り当てる全ての設定が完了しました。

では実際にフォーム画面で新しい画像を追加した場合に、列ごとに別データとして自動入力されるのかを確認してみましょう。

画像をセットします。

各列に画像から読み取った文字列が自動入力されました。
ですが、一部の文字列に文字化けや反映されていないことが分かりました。
このように、誤読や未入力の文字列がある場合は、修正や手入力をおこなってください。

今回は、OCR 機能がどのようなものかを紹介するために、名刺を読み取らせてみました。

名刺の場合は、縦型横型、フォーマットなど考慮すべきところがいくつかあるので、実際に OCR 機能を使ったアプリを利用する場合には、名刺以外の、レイアウトが固定されているもので試されることをおすすめします。

機械学習モデルを利用したOCR機能については以上です。

まとめ

いかがでしたでしょうか。
本記事ではAppSheet OCR機能について解説しました。

AppSheet OCR機能は、名刺や領収書などを画像で読み込み、テキストデータとして自動抽出してくれる強力な機能です。

以前はベータ版としての提供でしたが、現在は正式版として利用可能です。GoogleのAI技術を活用しているため、事前の複雑な学習データ作成は不要で、読み取りたい項目を指定するだけで簡単に導入できます。

※手書き文字や複雑なレイアウトでは一部誤読が発生することもありますが、設定画面で抽出モデルを微調整することで、精度の高いデータ登録が可能です。

請求書管理、名刺管理を始め、手書きのメモなどを読み込ませるなど活用方法は様々です。
ぜひ OCR 機能を活用して業務効率化を進めていただければと思います。

AppSheetをはじめとするGoogle各サービスの最新情報や価格体系をまとめた、「Google Workspace概要資料」をご用意しております。詳細をご希望の方は、こちらから資料をダウンロードしてご覧ください。

Google Workspace概要資料はこちら：