Trang này được dịch bởi Cloud Translation API.

Gắn nhãn hình ảnh bằng mô hình được huấn luyện bằng AutoML trên iOS

Sau khi huấn luyện mô hình của riêng mình bằng AutoML Vision Edge, bạn có thể sử dụng mô hình đó trong ứng dụng để gắn nhãn cho hình ảnh.

Trước khi bắt đầu

Nếu bạn chưa thêm Firebase vào ứng dụng của mình, hãy thực hiện bằng cách làm theo các bước trong hướng dẫn bắt đầu sử dụng.
Đưa các thư viện Bộ công cụ học máy vào Podfile của bạn:
```
pod 'Firebase/MLVision', '6.25.0'
pod 'Firebase/MLVisionAutoML', '6.25.0'
```
Sau khi bạn cài đặt hoặc cập nhật Nhóm của dự án, hãy nhớ mở dự án Xcode bằng cách sử dụng .xcworkspace của dự án đ��.
Trong ứng dụng của bạn, hãy nhập Firebase:
Swift
```
import Firebase
```
Objective-C
```
@import Firebase;
```

1. Tải mô hình

Bộ công cụ học máy sẽ chạy các mô hình do AutoML tạo trên thiết bị. Tuy nhiên, bạn có thể định cấu hình Bộ công cụ học máy để tải mô hình từ xa từ Firebase, từ bộ nhớ cục bộ hoặc cả hai.

Bằng cách lưu trữ mô hình trên Firebase, bạn có thể cập nhật mô hình mà không cần phát hành phiên bản ứng dụng mới, đồng thời có thể sử dụng Cấu hình từ xa và Thử nghiệm A/B để phân phát linh động các mô hình khác nhau cho nhiều nhóm người dùng.

Nếu chọn chỉ cung cấp mô hình bằng cách lưu trữ mô hình đó trong Firebase chứ không gói với ứng dụng của mình, thì bạn có thể giảm kích thước tải xuống ban đầu của ứng dụng. Tuy nhiên, hãy lưu ý rằng nếu mô hình không đi kèm với ứng dụng của bạn, thì mọi chức năng liên quan đến mô hình sẽ không dùng được cho đến khi ứng dụng của bạn tải mô hình xuống lần đầu tiên.

Bằng cách kết hợp mô hình với ứng dụng của mình, bạn có thể đảm bảo các tính năng học máy của ứng dụng vẫn hoạt động khi mô hình do Firebase lưu trữ không có sẵn.

Định cấu hình nguồn mô hình được lưu trữ trên Firebase

Để sử dụng mô hình được lưu trữ từ xa, hãy tạo một đối tượng AutoMLRemoteModel, trong đó chỉ định tên mà bạn đã chỉ định cho mô hình khi xuất bản:

Swift

let remoteModel = AutoMLRemoteModel(
    name: "your_remote_model"  // The name you assigned in the Firebase console.
)

Objective-C

FIRAutoMLRemoteModel *remoteModel = [[FIRAutoMLRemoteModel alloc]
    initWithName:@"your_remote_model"];  // The name you assigned in the Firebase console.

Sau đó, hãy bắt đầu tác vụ tải mô hình xuống, chỉ định các điều kiện mà bạn muốn cho phép tải xuống. Nếu mô hình không có trên thiết bị hoặc nếu có phiên bản mới hơn của mô hình, tác vụ sẽ tải không đồng bộ mô hình từ Firebase xuống:

Swift

let downloadConditions = ModelDownloadConditions(
  allowsCellularAccess: true,
  allowsBackgroundDownloading: true
)

let downloadProgress = ModelManager.modelManager().download(
  remoteModel,
  conditions: downloadConditions
)

Objective-C

FIRModelDownloadConditions *downloadConditions =
    [[FIRModelDownloadConditions alloc] initWithAllowsCellularAccess:YES
                                         allowsBackgroundDownloading:YES];

NSProgress *downloadProgress =
    [[FIRModelManager modelManager] downloadRemoteModel:remoteModel
                                             conditions:downloadConditions];

Nhiều ứng dụng bắt đầu tác vụ tải xuống trong mã khởi chạy, nhưng bạn có thể làm vậy bất cứ lúc nào trước khi cần sử dụng mô hình.

Định cấu hình nguồn mô hình cục bộ

Cách đóng gói mô hình với ứng dụng:

Trích xuất mô hình và siêu dữ liệu của mô hình từ tệp lưu trữ zip mà bạn đã tải xuống từ bảng điều khiển của Firebase vào một thư mục:
```
your_model_directory
  |____dict.txt
  |____manifest.json
  |____model.tflite
```
Cả 3 tệp phải nằm trong cùng một thư mục. Bạn nên sử dụng các tệp khi tải xuống mà không sửa đổi (bao gồm cả tên tệp).
Hãy sao chép thư mục đó vào dự án Xcode của bạn, nhớ chọn Tạo tài liệu tham chiếu thư mục khi thực hiện việc này. Tệp mô hình và siêu dữ liệu sẽ được đưa vào gói ứng dụng và được cung cấp cho Bộ công cụ học máy.

Tạo một đối tượng AutoMLLocalModel, chỉ định đường dẫn đến tệp kê khai của mô hình:

Swift

guard let manifestPath = Bundle.main.path(
    forResource: "manifest",
    ofType: "json",
    inDirectory: "your_model_directory"
) else { return true }
let localModel = AutoMLLocalModel(manifestPath: manifestPath)

Objective-C

NSString *manifestPath = [NSBundle.mainBundle pathForResource:@"manifest"
                                                       ofType:@"json"
                                                  inDirectory:@"your_model_directory"];
FIRAutoMLLocalModel *localModel = [[FIRAutoMLLocalModel alloc] initWithManifestPath:manifestPath];

Tạo công cụ gắn nhãn hình ảnh từ mô hình của bạn

Sau khi bạn định cấu hình các nguồn mô hình, hãy tạo một đối tượng VisionImageLabeler từ một trong các nguồn đó.

Nếu chỉ có mô hình được gói cục bộ, bạn chỉ cần tạo trình gắn nhãn từ đối tượng AutoMLLocalModel và định cấu hình ngưỡng điểm tin cậy mà bạn muốn yêu cầu (xem phần Đánh giá mô hình):

Swift

let options = VisionOnDeviceAutoMLImageLabelerOptions(localModel: localModel)
options.confidenceThreshold = 0  // Evaluate your model in the Firebase console
                                 // to determine an appropriate value.
let labeler = Vision.vision().onDeviceAutoMLImageLabeler(options: options)

Objective-C

FIRVisionOnDeviceAutoMLImageLabelerOptions *options =
    [[FIRVisionOnDeviceAutoMLImageLabelerOptions alloc] initWithLocalModel:localModel];
options.confidenceThreshold = 0;  // Evaluate your model in the Firebase console
                                  // to determine an appropriate value.
FIRVisionImageLabeler *labeler =
    [[FIRVision vision] onDeviceAutoMLImageLabelerWithOptions:options];

Nếu có một mô hình được lưu trữ từ xa, bạn sẽ phải kiểm tra xem mô hình đó đã được tải xuống hay chưa trước khi chạy. Bạn có thể kiểm tra trạng thái của tác vụ tải mô hình xuống bằng phương thức isModelDownloaded(remoteModel:) của trình quản lý mô hình.

Mặc dù bạn chỉ phải xác nhận điều này trước khi chạy trình gắn nhãn, nhưng nếu có cả mô hình được lưu trữ từ xa và mô hình được gói cục bộ, thì bạn nên thực hiện bước kiểm tra này khi tạo thực thể cho VisionImageLabeler: tạo một trình gắn nhãn từ mô hình từ xa nếu mô hình đã được tải xuống và từ mô hình cục bộ.

Swift

var options: VisionOnDeviceAutoMLImageLabelerOptions?
if (ModelManager.modelManager().isModelDownloaded(remoteModel)) {
  options = VisionOnDeviceAutoMLImageLabelerOptions(remoteModel: remoteModel)
} else {
  options = VisionOnDeviceAutoMLImageLabelerOptions(localModel: localModel)
}
options.confidenceThreshold = 0  // Evaluate your model in the Firebase console
                                 // to determine an appropriate value.
let labeler = Vision.vision().onDeviceAutoMLImageLabeler(options: options)

Objective-C

VisionOnDeviceAutoMLImageLabelerOptions *options;
if ([[FIRModelManager modelManager] isModelDownloaded:remoteModel]) {
  options = [[FIRVisionOnDeviceAutoMLImageLabelerOptions alloc] initWithRemoteModel:remoteModel];
} else {
  options = [[FIRVisionOnDeviceAutoMLImageLabelerOptions alloc] initWithLocalModel:localModel];
}
options.confidenceThreshold = 0.0f;  // Evaluate your model in the Firebase console
                                     // to determine an appropriate value.
FIRVisionImageLabeler *labeler = [[FIRVision vision] onDeviceAutoMLImageLabelerWithOptions:options];

Nếu chỉ có một mô hình được lưu trữ từ xa, bạn nên tắt chức năng liên quan đến mô hình đó (ví dụ: chuyển sang màu xám hoặc ẩn một phần giao diện người dùng) cho đến khi bạn xác nhận mô hình đã được tải xuống.

Bạn có thể biết trạng thái tải mô hình xuống bằng cách đính kèm đối tượng tiếp nhận dữ liệu vào Trung tâm thông báo mặc định. Hãy nhớ sử dụng tệp tham chiếu yếu đến self trong khối đối tượng tiếp nhận dữ liệu, vì quá trình tải xuống có thể mất một chút thời gian và đối tượng gốc có thể được giải phóng trước khi quá trình tải xuống hoàn tất. Ví dụ:

Swift

NotificationCenter.default.addObserver(
    forName: .firebaseMLModelDownloadDidSucceed,
    object: nil,
    queue: nil
) { [weak self] notification in
    guard let strongSelf = self,
        let userInfo = notification.userInfo,
        let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
            as? RemoteModel,
        model.name == "your_remote_model"
        else { return }
    // The model was downloaded and is available on the device
}

NotificationCenter.default.addObserver(
    forName: .firebaseMLModelDownloadDidFail,
    object: nil,
    queue: nil
) { [weak self] notification in
    guard let strongSelf = self,
        let userInfo = notification.userInfo,
        let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
            as? RemoteModel
        else { return }
    let error = userInfo[ModelDownloadUserInfoKey.error.rawValue]
    // ...
}

Objective-C

__weak typeof(self) weakSelf = self;

[NSNotificationCenter.defaultCenter
    addObserverForName:FIRModelDownloadDidSucceedNotification
                object:nil
                 queue:nil
            usingBlock:^(NSNotification *_Nonnull note) {
              if (weakSelf == nil | note.userInfo == nil) {
                return;
              }
              __strong typeof(self) strongSelf = weakSelf;

              FIRRemoteModel *model = note.userInfo[FIRModelDownloadUserInfoKeyRemoteModel];
              if ([model.name isEqualToString:@"your_remote_model"]) {
                // The model was downloaded and is available on the device
              }
            }];

[NSNotificationCenter.defaultCenter
    addObserverForName:FIRModelDownloadDidFailNotification
                object:nil
                 queue:nil
            usingBlock:^(NSNotification *_Nonnull note) {
              if (weakSelf == nil | note.userInfo == nil) {
                return;
              }
              __strong typeof(self) strongSelf = weakSelf;

              NSError *error = note.userInfo[FIRModelDownloadUserInfoKeyError];
            }];

2. Chuẩn bị hình ảnh đầu vào

Sau đó, đối với mỗi hình ảnh bạn muốn gắn nhãn, hãy tạo một đối tượng VisionImage bằng cách sử dụng một trong các tuỳ chọn được mô tả trong phần này rồi truyền đối tượng đó đến một thực thể của VisionImageLabeler (như mô tả trong phần tiếp theo).

Tạo đối tượng VisionImage bằng UIImage hoặc CMSampleBufferRef.

Cách sử dụng UIImage:

Nếu cần, hãy xoay hình ảnh để thuộc tính imageOrientation của hình ảnh là .up.
Tạo đối tượng VisionImage bằng UIImage xoay chính xác. Không chỉ định bất kỳ siêu dữ liệu nào về chế độ xoay – bạn phải sử dụng giá trị mặc định, .topLeft.
Swift
```
let image = VisionImage(image: uiImage)
```
Objective-C
```
FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
```

Cách sử dụng CMSampleBufferRef:

Tạo một đối tượng VisionImageMetadata chỉ định hướng của dữ liệu hình ảnh có trong vùng đệm CMSampleBufferRef.

Cách lấy hướng ảnh:

Swift

func imageOrientation(
    deviceOrientation: UIDeviceOrientation,
    cameraPosition: AVCaptureDevice.Position
    ) -> VisionDetectorImageOrientation {
    switch deviceOrientation {
    case .portrait:
        return cameraPosition == .front ? .leftTop : .rightTop
    case .landscapeLeft:
        return cameraPosition == .front ? .bottomLeft : .topLeft
    case .portraitUpsideDown:
        return cameraPosition == .front ? .rightBottom : .leftBottom
    case .landscapeRight:
        return cameraPosition == .front ? .topRight : .bottomRight
    case .faceDown, .faceUp, .unknown:
        return .leftTop
    }
}

Objective-C

- (FIRVisionDetectorImageOrientation)
    imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                           cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationLeftTop;
      } else {
        return FIRVisionDetectorImageOrientationRightTop;
      }
    case UIDeviceOrientationLandscapeLeft:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationBottomLeft;
      } else {
        return FIRVisionDetectorImageOrientationTopLeft;
      }
    case UIDeviceOrientationPortraitUpsideDown:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationRightBottom;
      } else {
        return FIRVisionDetectorImageOrientationLeftBottom;
      }
    case UIDeviceOrientationLandscapeRight:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationTopRight;
      } else {
        return FIRVisionDetectorImageOrientationBottomRight;
      }
    default:
      return FIRVisionDetectorImageOrientationTopLeft;
  }
}

Sau đó, hãy tạo đối tượng siêu dữ liệu:

Swift

let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
let metadata = VisionImageMetadata()
metadata.orientation = imageOrientation(
    deviceOrientation: UIDevice.current.orientation,
    cameraPosition: cameraPosition
)

Objective-C

FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
AVCaptureDevicePosition cameraPosition =
    AVCaptureDevicePositionBack;  // Set to the capture device you used.
metadata.orientation =
    [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                 cameraPosition:cameraPosition];

Tạo đối tượng VisionImage bằng cách sử dụng đối tượng CMSampleBufferRef và siêu dữ liệu xoay:

Swift

let image = VisionImage(buffer: sampleBuffer)
image.metadata = metadata

Objective-C

FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
image.metadata = metadata;

3. Chạy công cụ gắn nhãn hình ảnh

Để gắn nhãn cho các đối tượng trong một hình ảnh, hãy truyền đối tượng VisionImage vào phương thức process() của VisionImageLabeler:

Swift

labeler.process(image) { labels, error in
    guard error == nil, let labels = labels else { return }

    // Task succeeded.
    // ...
}

Objective-C

[labeler
    processImage:image
      completion:^(NSArray<FIRVisionImageLabel *> *_Nullable labels, NSError *_Nullable error) {
        if (error != nil || labels == nil) {
          return;
        }

        // Task succeeded.
        // ...
      }];

Nếu gắn nhãn hình ảnh thành công, một mảng đối tượng VisionImageLabel sẽ được chuyển đến trình xử lý hoàn thành. Từ mỗi đối tượng, bạn có thể nhận thông tin về một tính năng được nhận dạng trong hình ảnh.

Ví dụ:

Swift

for label in labels {
    let labelText = label.text
    let confidence = label.confidence
}

Objective-C

for (FIRVisionImageLabel *label in labels) {
  NSString *labelText = label.text;
  NSNumber *confidence = label.confidence;
}

Mẹo cải thiện hiệu suất theo thời gian thực

Điều tiết lệnh gọi đến trình phát hiện. Nếu có một khung hình video mới trong khi trình phát hiện đang chạy, hãy bỏ khung hình đó.
Nếu bạn đang dùng đầu ra của trình phát hiện để phủ đồ hoạ lên hình ảnh đầu vào, trước tiên hãy lấy kết quả từ Bộ công cụ học máy, sau đó kết xuất hình ảnh và lớp phủ trong một bước duy nhất. Nhờ vậy, bạn chỉ kết xuất lên giao diện hiển thị một lần cho mỗi khung nhập. Hãy xem các lớp previewOverlayView và FIRDetectionOverlayView trong ứng dụng mẫu giới thiệu để làm ví dụ.