A tecnologia de processamento de formulários e reconhecimento óptico de marcas (OMR) é amplamente utilizada para classificação, roteamento e reconhecimento por modelos de formulários de documentos eletrônicos, como faturas, conhecimentos de embarque, etc.; reconhecimento de marcas ópticas preenchidas em formulários de teste, questionários, cédulas, etc.
VintaSoft Forms Processing .NET Plug-in pode ser usado tanto para reconhecimento de formulários quanto para alinhamento de imagens por modelo. Este artigo descreve como usar códigos de barras em vez de linhas para identificação de imagens e, assim, melhorar a precisão e a confiabilidade do reconhecimento.
O processo de alinhamento de imagem consiste na identificação da imagem por modelo e na obtenção da matriz de transformação, que define o deslocamento, a compressão e a rotação da imagem em relação ao modelo. Em seguida, a matriz de transformação é usada para alinhar a imagem.
Identificação de uma imagem por modelo, que utiliza zonas-chave baseadas em códigos de barras.
A identificação da imagem é realizada usando a classe
TemplateMatchingCommand. O resultado de uma identificação bem-sucedida é uma matriz de transformações, que define os deslocamentos, a compressão e a rotação da imagem em relação ao modelo.
A classe
TemplateMatchingCommand cria uma impressão da imagem de entrada e da imagem do modelo, compara as impressões e determina se as imagens são semelhantes. Por padrão, a classe gera uma impressão de imagem baseada em linhas retas.
Neste artigo, alteraremos o algoritmo que gera a impressão da imagem e utilizaremos códigos de barras 2D compactos Aztec Rune para gerar a impressão da imagem. A runa asteca se encaixa perfeitamente em nossa tarefa, porque:
- o código de barras pode ser encontrado na imagem muito rapidamente
- o centro do código de barras pode ser determinado com alta precisão
- o código de barras é compacto (11x11 células)
- o código de barras é resistente a todos os tipos de distorções
- o código de barras não requer uma zona de silêncio ao seu redor
- o código de barras armazena um byte de informação e isso é mais do que suficiente para codificar um número de pontos, ao qual o código de barras corresponde
Para a identificação da imagem usando zonas-chave baseadas em códigos de barras, precisamos realizar os seguintes passos:
- Criar a classe BarcodeKeyZone, que determina a zona-chave que contém um código de barras (o código-fonte da classe pode ser encontrado abaixo)
- Criar A classe BarcodeKeyZoneRecognizerCommand define o comando que busca zonas-chave contendo um código de barras (o código-fonte da classe pode ser encontrado abaixo).
- Crie uma instância da classe BarcodeKeyZoneRecognizerCommand, que buscará as zonas-chave na imagem.
- Crie uma instância da classe TemplateMatchingCommand, que comparará a imagem de entrada com a imagem do modelo.
- Crie uma instância de A classe ImageImprintGeneratorCommand irá gerar uma impressão de imagem com base em códigos de barras
- Crie uma instância da classe TemplateMatchingCommand, que irá procurar uma imagem de modelo para a imagem de entrada
- Especifique que a instância da classe TemplateMatchingCommand deve usar uma instância de ImageImprintGeneratorCommand para pesquisar modelos usando zonas-chave com base em códigos de barras
- Realize uma busca de modelo para imagem usando uma instância da classe TemplateMatchingCommand
- Se um modelo for encontrado, a instância da classe TemplateMatchingCommand conterá a matriz de transformação, que define o deslocamento, a compressão e a rotação da imagem em relação ao modelo
Alinhe uma imagem por meio de um modelo que utiliza zonas-chave baseadas em códigos de barras.
O alinhamento da imagem é realizado usando a classe
TemplateAligningCommand. A classe utiliza a matriz de transformações obtida durante a identificação da imagem.
Para o alinhamento de imagens usando zonas-chave baseadas em códigos de barras, devemos seguir os seguintes passos:
Exemplo de alinhamento de imagem.
Aqui está uma imagem que usaremos como modelo:
Ela contém 3 códigos de barras não colineares (ou seja, 3 pontos de referência), o número mínimo permitido de pontos de referência necessários para o funcionamento correto do algoritmo. É permitido usar mais códigos de barras caso eles possam estar danificados ou truncados.
Os códigos de barras podem ser colocados em qualquer área da página, mas a melhor precisão na identificação de distorções é alcançada quando os códigos de barras estão localizados nas bordas do documento.
Vamos usar 3 imagens de documentos de teste.
Aqui está uma imagem do documento rotacionada em 90 graus com zonas-chave baseadas em códigos de barras:
Aqui está uma imagem do documento rotacionada e redimensionada em 150 graus com zonas-chave baseadas em códigos de barras:
Aqui está uma imagem do documento rotacionada e redimensionada em 180 graus com zonas-chave baseadas em códigos de barras:
Aqui está um exemplo de aplicativo de console C#, que executa o processo de comparação e alinhamento de imagens:
public static void Test()
{
AlignImages(
new string[] { "BarcodeTemplateMatching_template1.png" },
new string[] {
"BarcodeTemplateMatching_1_rotate90.png",
"BarcodeTemplateMatching_1_scale-rotate150.png",
"BarcodeTemplateMatching_1_scale-rotate180.png"});
}
public static void AlignImages(string[] templates, string[] images)
{
// create barcode key zone recognizer
BarcodeKeyZoneRecognizerCommand barcodeRecognizer = new BarcodeKeyZoneRecognizerCommand();
// set barcode reader settings
barcodeRecognizer.Settings.ScanBarcodeTypes = Vintasoft.Barcode.BarcodeType.Aztec;
barcodeRecognizer.Settings.ScanDirection = Vintasoft.Barcode.ScanDirection.Horizontal | Vintasoft.Barcode.ScanDirection.Vertical;
barcodeRecognizer.Settings.AutomaticRecognition = true;
// specify that image contains 3 barcodes
barcodeRecognizer.Settings.ExpectedBarcodes = 3;
// create an imprint generator, which is based on barcode key zones
Vintasoft.Imaging.FormsProcessing.TemplateMatching.ImageImprintGeneratorCommand barcodeImprintGenerator =
new Vintasoft.Imaging.FormsProcessing.TemplateMatching.ImageImprintGeneratorCommand(barcodeRecognizer);
// create template matching command
Vintasoft.Imaging.FormsProcessing.TemplateMatching.TemplateMatchingCommand templateMatchingCommand =
new Vintasoft.Imaging.FormsProcessing.TemplateMatching.TemplateMatchingCommand();
// specify that the template matching command must use imprint generator, which is based on barcode key zones
templateMatchingCommand.ImageImprintGenerator = barcodeImprintGenerator;
// for each template image file
foreach (string template in templates)
{
// add template image file to the templates of template matching command
templateMatchingCommand.TemplateImages.Add(template);
}
// for each input image file
foreach (string imageFilename in images)
{
// create input image
using (Vintasoft.Imaging.VintasoftImage image = new Vintasoft.Imaging.VintasoftImage(imageFilename))
{
// find a template for the image
templateMatchingCommand.ExecuteInPlace(image);
// get the image compare result
Vintasoft.Imaging.FormsProcessing.TemplateMatching.ImageImprintCompareResult compareResult = templateMatchingCommand.Result.ImageCompareResult;
// print image file name
System.Console.WriteLine(imageFilename);
// print the image comparison result
System.Console.WriteLine(string.Format(" IsReliable ={0}", compareResult.IsReliable));
// if template for image is found
if (compareResult.IsReliable)
{
// print the image comparison confidence
System.Console.WriteLine(string.Format(" Confidence ={0}%", compareResult.Confidence * 100));
// print information about matrix, which defines image transformation relative to the template image
System.Console.WriteLine(string.Format(" TransformMatrix ={0}", compareResult.TransformMatrix));
// create the template aligning command
Vintasoft.Imaging.FormsProcessing.TemplateMatching.TemplateAligningCommand templateAligningCommand =
new Vintasoft.Imaging.FormsProcessing.TemplateMatching.TemplateAligningCommand();
// specify that template aligning command must use matrix, which defines image transformation relative to the template image
templateAligningCommand.CompareResult = compareResult;
// apply the aligning command to the image
templateAligningCommand.ExecuteInPlace(image);
// save aligned image to a file
image.Save(string.Format("{0}_result.png", System.IO.Path.GetFileNameWithoutExtension(imageFilename)));
}
System.Console.WriteLine();
}
}
}
Após a execução do aplicativo, obteremos imagens de documentos que não estão rotacionadas nem redimensionadas.
Aqui está o resultado do reconhecimento de formulário para uma imagem de documento rotacionada em 90 graus com zonas-chave baseadas em códigos de barras:
Aqui está o resultado do reconhecimento de formulário para uma imagem de documento rotacionada e redimensionada em 150 graus com zonas-chave baseadas em códigos de barras:
Aqui está o resultado do reconhecimento de formulário para uma imagem de documento rotacionada e redimensionada em 180 graus com zonas-chave baseadas em códigos de barras:
Códigos-fonte utilizados neste artigo
Aqui está o código C# da classe BarcodeKeyZone, que determina a zona-chave que contém um código de barras:
/// <summary>
/// Represents key zone based on recognized barcode.
/// </summary>
public class BarcodeKeyZone : Vintasoft.Imaging.FormsProcessing.TemplateMatching.KeyZone
{
#region Constructors
/// <summary>
/// Initializes a new instance of the <see cref="BarcodeKeyZone"/> class.
/// </summary>
/// <param name="barcodeInfo">The barcode information.</param>
public BarcodeKeyZone(Vintasoft.Barcode.IBarcodeInfo barcodeInfo)
: base()
{
_barcodeInfo = barcodeInfo;
if (barcodeInfo is Vintasoft.Barcode.BarcodeInfo.AztecInfo)
{
// get the barcode center from barcode info
_location = ((Vintasoft.Barcode.BarcodeInfo.AztecInfo)barcodeInfo).BulleyeCenter;
}
else
{
// calculate the barcode center
_location = System.Drawing.PointF.Empty;
System.Drawing.Point[] points = barcodeInfo.Region.GetPoints();
for (int i = 0; i < points.Length; i++)
{
_location.X += points[i].X;
_location.Y += points[i].Y;
}
_location.X /= points.Length;
_location.Y /= points.Length;
}
}
/// <summary>
/// Initializes a new instance of the <see cref="BarcodeKeyZone"/> class.
/// </summary>
/// <param name="barcodeInfo">The barcode information.</param>
/// <param name="location">The location.</param>
private BarcodeKeyZone(Vintasoft.Barcode.IBarcodeInfo barcodeInfo, System.Drawing.PointF location)
: base()
{
_barcodeInfo = barcodeInfo;
_location = location;
}
#endregion
#region Properties
System.Drawing.PointF _location;
/// <summary>
/// Gets the location of the key zone on the image.
/// </summary>
public override System.Drawing.PointF Location
{
get
{
return _location;
}
}
Vintasoft.Barcode.IBarcodeInfo _barcodeInfo;
/// <summary>
/// Gets the barcode information.
/// </summary>
public Vintasoft.Barcode.IBarcodeInfo BarcodeInfo
{
get
{
return _barcodeInfo;
}
}
#endregion
#region Methods
/// <summary>
/// Applies a transformation to the key zone.
/// </summary>
/// <param name="m">The <see cref="Vintasoft.Imaging.AffineMatrix" />
/// that specifies the transformation to apply.</param>
public override void Transform(Vintasoft.Imaging.AffineMatrix m)
{
if (m == null)
return;
_location = Vintasoft.Imaging.PointFAffineTransform.TransformPoint(m, _location);
}
/// <summary>
/// Returns the similarity of specified <see cref="Vintasoft.Imaging.FormsProcessing.TemplateMatching.KeyZone" /> and the current key zone.
/// </summary>
/// <param name="zone">The <see cref="Vintasoft.Imaging.FormsProcessing.TemplateMatching.KeyZone" /> to compare with.</param>
/// <returns>
/// The similarity of specified keyzone and the current key zone in range from 0 to 1.<br />
/// 0 means that zones are absolutely NOT similar;
/// 1 means that zones are perfectly similar.
/// </returns>
public override double CalculateSimilarity(Vintasoft.Imaging.FormsProcessing.TemplateMatching.KeyZone zone)
{
BarcodeKeyZone barcodeZone = zone as BarcodeKeyZone;
if (barcodeZone == null)
return 0;
if (barcodeZone.BarcodeInfo.Value == BarcodeInfo.Value &&
barcodeZone.BarcodeInfo.BarcodeType == BarcodeInfo.BarcodeType)
return 1;
return 0;
}
/// <summary>
/// Creates a new object that is a copy of the current instance.
/// </summary>
/// <returns>A new object that is a copy of this instance.</returns>
public override object Clone()
{
return new BarcodeKeyZone(BarcodeInfo, Location);
}
#endregion
}
Aqui está o código C# da classe BarcodeKeyZoneRecognizerCommand, que define o comando de busca por zonas-chave que contêm um código de barras:
/// <summary>
/// Recognizes key zones, based on barcodes, on an image.
/// </summary>
public class BarcodeKeyZoneRecognizerCommand : Vintasoft.Imaging.FormsProcessing.TemplateMatching.KeyZoneRecognizerCommand
{
#region Constructors
/// <summary>
/// Initializes a new instance of the <see cref="BarcodeKeyZoneRecognizerCommand"/> class.
/// </summary>
public BarcodeKeyZoneRecognizerCommand()
: base()
{
}
#endregion
#region Properties
static System.Collections.ObjectModel.ReadOnlyCollection<Vintasoft.Imaging.PixelFormat> _supportedNativePixelFormats;
/// <summary>
/// Gets a list of supported pixel formats for this processing command.
/// </summary>
public override System.Collections.ObjectModel.ReadOnlyCollection<Vintasoft.Imaging.PixelFormat> SupportedNativePixelFormats
{
get
{
if (_supportedNativePixelFormats == null)
{
System.Collections.Generic.List<Vintasoft.Imaging.PixelFormat> supportedPixelFormats = new System.Collections.Generic.List<Vintasoft.Imaging.PixelFormat>();
supportedPixelFormats.Add(Vintasoft.Imaging.PixelFormat.BlackWhite);
supportedPixelFormats.Add(Vintasoft.Imaging.PixelFormat.Bgr24);
supportedPixelFormats.Add(Vintasoft.Imaging.PixelFormat.Bgr32);
supportedPixelFormats.Add(Vintasoft.Imaging.PixelFormat.Indexed1);
supportedPixelFormats.Add(Vintasoft.Imaging.PixelFormat.Indexed8);
supportedPixelFormats.Add(Vintasoft.Imaging.PixelFormat.Gray8);
_supportedNativePixelFormats = supportedPixelFormats.AsReadOnly();
}
return _supportedNativePixelFormats;
}
}
Vintasoft.Barcode.ReaderSettings _settings = new Vintasoft.Barcode.ReaderSettings();
/// <summary>
/// Gets or sets the barcode reader settings.
/// </summary>
/// <value>
/// The reader settings.
/// </value>
public Vintasoft.Barcode.ReaderSettings Settings
{
get
{
return _settings;
}
set
{
if (value == null)
throw new System.ArgumentNullException();
_settings = value;
}
}
#endregion
#region Methods
/// <summary>
/// Creates a new <see cref="BarcodeKeyZoneRecognizerCommand"/> that is a copy of the current
/// instance.
/// </summary>
/// <returns>A new <see cref="BarcodeKeyZoneRecognizerCommand"/> that is a copy of this
/// instance.</returns>
public override object Clone()
{
BarcodeKeyZoneRecognizerCommand recognizer = new BarcodeKeyZoneRecognizerCommand();
recognizer.IsNested = IsNested;
recognizer.RegionOfInterest = RegionOfInterest;
recognizer.Settings = Settings.Clone();
return recognizer;
}
/// <summary>
/// Recognizes key zones in the specified rectangle of the specified image.
/// </summary>
/// <param name="image">The image where key zones must be searched.</param>
/// <param name="rect">The region of interest on image.</param>
/// <returns>An array of recognized key zones.</returns>
protected override Vintasoft.Imaging.FormsProcessing.TemplateMatching.KeyZone[] Recognize(Vintasoft.Imaging.VintasoftImage image, System.Drawing.Rectangle rect)
{
Vintasoft.Barcode.BarcodeReader reader = new Vintasoft.Barcode.BarcodeReader();
reader.Settings = Settings.Clone();
reader.Settings.ScanRectangle = rect;
using (System.Drawing.Bitmap bitmap = image.GetAsBitmap())
{
Vintasoft.Barcode.IBarcodeInfo[] infos = reader.ReadBarcodes(bitmap);
Vintasoft.Imaging.FormsProcessing.TemplateMatching.KeyZone[] result = new Vintasoft.Imaging.FormsProcessing.TemplateMatching.KeyZone[infos.Length];
for (int i = 0; i < infos.Length; i++)
result[i] = new BarcodeKeyZone(infos[i]);
return result;
}
}
#endregion
}
