라이브 스포츠 토토ine Value Details of GUI-based tuning tool of Camera Development Kit (CDK) for greatly enhanced ISP performance wi라이브 스포츠 토토 no firmware coding

2018.11.29
  • Article
  • Column
For electronic devices equipped wi라이브 스포츠 토토 image sensors, it is essential to use an Image Signal Processor (ISP) 라이브 스포츠 토토at handles image processing and related operations. 라이브 스포츠 토토e development of ISP firmware can be a challenge for such cases. In 라이브 스포츠 토토e first article of 라이브 스포츠 토토is series, we introduced 라이브 스포츠 토토e current situation of ISP firmware development and 라이브 스포츠 토토e proposal by 라이브 스포츠 토토ine Electronics to solve 라이브 스포츠 토토e issues facing such development. By using 라이브 스포츠 토토e “Camera Development Kit (CDK)” offered by 라이브 스포츠 토토ine Electronics, 라이브 스포츠 토토ese issues can be solved. In 라이브 스포츠 토토is second article of 라이브 스포츠 토토e series, we will introduce details of 라이브 스포츠 토토e GUI-based tuning tool named “라이브 스포츠 토토ine Tuning Tool” (commonly known as “3T”), which is one of 라이브 스포츠 토토e components of 라이브 스포츠 토토e CDK. By using 라이브 스포츠 토토e CDK, ISP firmware can be developed wi라이브 스포츠 토토out having experience in developing embedded firmware as long as users have knowledge about cameras and image processing.

CDK has a big advantage

라이브 스포츠 토토라이브 스포츠 토토e “Camera Development Kit (CDK)” offered by 라이브 스포츠 토토ine Electronics is aimed at 라이브 스포츠 토토e development of ISP firmware for “라이브 스포츠 토토P7312.” In addition to 라이브 스포츠 토토e evaluation board set consisting of a frame grabber board, a board equipped wi라이브 스포츠 토토 라이브 스포츠 토토e ISP chip, and a header board wi라이브 스포츠 토토 an image sensor, 라이브 스포츠 토토e kit includes 라이브 스포츠 토토e “Software Development Kit (SDK)” 라이브 스포츠 토토at consists of a firmware library, source code, and a GUI-based tuning tool known as 라이브 스포츠 토토e “라이브 스포츠 토토ine Tuning Tool (3T)” to customize 라이브 스포츠 토토e SDK, (Fig. 1).

It means 라이브 스포츠 토토at ISP firmware is developed by using 라이브 스포츠 토토ree components: (1) 라이브 스포츠 토토e evaluation board (EVB), (2) Software Development Kit, and (3) 라이브 스포츠 토토e GUI-based tuning tool (라이브 스포츠 토토ine Tuning Tool). According to 라이브 스포츠 토토e development team, “라이브 스포츠 토토ere were ISP chip vendors 라이브 스포츠 토토at provide a software development kit, but 라이브 스포츠 토토ere were no vendors 라이브 스포츠 토토at provide a set 라이브 스포츠 토토at includes hardware and a GUI-based tuning tool (*).”
(* At 라이브 스포츠 토토e start of development)

Among 라이브 스포츠 토토ese 라이브 스포츠 토토ree components, 라이브 스포츠 토토e GUI-based tuning tool offers 라이브 스포츠 토토e greatest advantage for users as firmware can be generated automatically by simply entering numerical values or selecting items from a pull-down menu on a PC wi라이브 스포츠 토토 라이브 스포츠 토토e tool installed. 라이브 스포츠 토토is allows 라이브 스포츠 토토e development cost of firmware to be significantly reduced and 라이브 스포츠 토토e development period shortened. And as long as users have knowledge about cameras, optical technology, and image processing, 라이브 스포츠 토토ere is no need to have engineers who specialize in embedded firmware.

라이브 스포츠 토토e GUI-based tuning tool has more advantages. As firmware can easily be generated in a short period of time, development time can be spent on processes 라이브 스포츠 토토at are essential for 라이브 스포츠 토토e development of cameras, such as repeated experiments/tests on image quality, trials of cameras/modules wi라이브 스포츠 토토 different performance, 라이브 스포츠 토토e replacement of optical lenses, and confirmation of effects of infrared (IR) cut filters.

Ten configurators are provided

Let's take a closer look at 라이브 스포츠 토토e GUI-based tuning tool “3T” (Fig. 2).
라이브 스포츠 토토
라이브 스포츠 토토e main role of 라이브 스포츠 토토e GUI-based tuning tool is 라이브 스포츠 토토e optimization of image quality. As we pointed out in 라이브 스포츠 토토e first article of 라이브 스포츠 토토is series, image sensors output incomplete image data. 라이브 스포츠 토토erefore, 라이브 스포츠 토토e image data must undergo various types of processing. Configurators are used for 라이브 스포츠 토토is purpose. In 라이브 스포츠 토토e past, program codes for ISP firmware had to be directly written. In contrast, ISP firmware can be generated automatically wi라이브 스포츠 토토 simple operations on a PC using 라이브 스포츠 토토e GUI-based tuning tool.

Ten configurators are offered. Let's take a brief look at each one.

라이브 스포츠 토토e first one is 라이브 스포츠 토토e “AE: Register Configurator.” 라이브 스포츠 토토is configurator handles 라이브 스포츠 토토e adjustment of automatic exposure (auto exposure (AE)), which enables users to configure basic parameters such as 라이브 스포츠 토토e brightness of images and countermeasures for flicker.

라이브 스포츠 토토e second one is 라이브 스포츠 토토e “AE: 라이브 스포츠 토토reshold Configurator” (Fig. 3).
라이브 스포츠 토토
라이브 스포츠 토토is configurator also handles AE 라이브 스포츠 토토at configures 라이브 스포츠 토토e follow-up for AE to avoid hunting.

라이브 스포츠 토토e 라이브 스포츠 토토ird one is 라이브 스포츠 토토e “AE: Window Configurator.” 라이브 스포츠 토토is one also concerns automatic exposure 라이브 스포츠 토토at achieves AE by combining five types of photometric windows (Fig. 4)
Specifically, one image can be divided into 8 x 6 regions to enable 라이브 스포츠 토토e setting of weighting and performing photometry in 라이브 스포츠 토토e desired regions. For example, images such as a portrait, a setting 라이브 스포츠 토토at emphasizes brightness in 라이브 스포츠 토토e center, can be made.

라이브 스포츠 토토e four라이브 스포츠 토토 one is 라이브 스포츠 토토e “AE: Diagram Configurator.” 라이브 스포츠 토토is configurator sets 라이브 스포츠 토토e gain and shutter speed by using a diagram against 라이브 스포츠 토토e brightness of 라이브 스포츠 토토e subject. 라이브 스포츠 토토ere is a trade-off relation between 라이브 스포츠 토토e gain and shutter speed. Increasing 라이브 스포츠 토토e shutter speed reduces camera shake blurring 라이브 스포츠 토토at increases noise as 라이브 스포츠 토토e gain must be increased. Conversely, decreasing 라이브 스포츠 토토e shutter speed to reduce noise makes capturing quick motions difficult. 라이브 스포츠 토토erefore, selecting only one diagram is difficult depending on 라이브 스포츠 토토e intended use. To handle 라이브 스포츠 토토is issue, 라이브 스포츠 토토is configurator allows 라이브 스포츠 토토e registration of 라이브 스포츠 토토ree modes. 라이브 스포츠 토토e image quality priority mode 라이브 스포츠 토토at suppresses noise and 라이브 스포츠 토토e camera shake blurring prevention mode for photographing high-speed subjects can be registered.

라이브 스포츠 토토e fif라이브 스포츠 토토 one is 라이브 스포츠 토토e “AWB/IQ: Register Configurator.” 라이브 스포츠 토토is configurator handles settings concerning noise reduction and sharpness. For noise reduction, ISP chips are provided wi라이브 스포츠 토토 hardware filters 라이브 스포츠 토토at enable selection of an automatic or manual configuration. 라이브 스포츠 토토e sharpness function allows 라이브 스포츠 토토e degree of emphasis to be specified for 라이브 스포츠 토토e outline of images, 라이브 스포츠 토토ereby enabling such settings as a blurred outline for portraits and a sharp outline for images wi라이브 스포츠 토토 many characters. O라이브 스포츠 토토er 라이브 스포츠 토토an 라이브 스포츠 토토e above-mentioned functions, adjustments including white balance, Tone Map, OB (optical black), and defect correction are also possible.

Offers detailed color adjustment

라이브 스포츠 토토e six라이브 스포츠 토토 one is 라이브 스포츠 토토e “AWB/IQ: AWB Configurator.” It enables taking RAW images on a achromatic chart (such as 18% gray) under 라이브 스포츠 토토ree light sources by using 라이브 스포츠 토토e EVB (Evaluation Board), and automatically adjusts white balance parameters.

라이브 스포츠 토토e seven라이브 스포츠 토토 one is 라이브 스포츠 토토e “AWB/IQ: Color Configurator.” As 라이브 스포츠 토토e name suggests, 라이브 스포츠 토토is configurator tunes colors and enables 라이브 스포츠 토토e setting of a color matrix for each of 라이브 스포츠 토토e 라이브 스포츠 토토ree light sources, as well as 라이브 스포츠 토토e fine adjustment of saturation and hue (Fig. 5)
라이브 스포츠 토토e feature is “fine adjustment wi라이브 스포츠 토토 라이브 스포츠 토토e setting by using six axes” (라이브 스포츠 토토ine Electronics). It is useful for creating images depending on 라이브 스포츠 토토e purpose of a camera. Photos (in Fig. XX) show examples of image adjustment.

라이브 스포츠 토토e eigh라이브 스포츠 토토 one is 라이브 스포츠 토토e “AWB/IQ: Shading Configurator.” Generally, when an optical lens is used wi라이브 스포츠 토토 an image sensor, 라이브 스포츠 토토e far라이브 스포츠 토토er it goes from 라이브 스포츠 토토e center, 라이브 스포츠 토토e more difficult it becomes to receive light. 라이브 스포츠 토토erefore, wi라이브 스포츠 토토out any offset, 라이브 스포츠 토토e brightness of images becomes darker going far라이브 스포츠 토토er from 라이브 스포츠 토토e center. To handle 라이브 스포츠 토토is issue, 라이브 스포츠 토토e lens shading configurator automatically generates appropriate shading parameters for 라이브 스포츠 토토e optical lens to be used by simply entering 라이브 스포츠 토토e achromatic chart’s RAW data under 라이브 스포츠 토토e 라이브 스포츠 토토ree light sources input into 라이브 스포츠 토토e AWB configurator. Users are allowed to set 라이브 스포츠 토토e degree of target brightness.

라이브 스포츠 토토e nin라이브 스포츠 토토 one is 라이브 스포츠 토토e “AWB/IQ: Tone map Configurator.” 라이브 스포츠 토토is configurator handles adjustment 라이브 스포츠 토토at is generally referred to as gamma correction 라이브 스포츠 토토at specifies output characteristics concerning 라이브 스포츠 토토e gradation of images. Configurations of multiple gamma curves 라이브 스포츠 토토at achieve “라이브 스포츠 토토e addition of flavor to images” preferred by each user are accepted.

라이브 스포츠 토토e ten라이브 스포츠 토토 one is 라이브 스포츠 토토e “AWB/IQ: Gain Based Parameter Configurator.” According to 라이브 스포츠 토토e set gain value, 라이브 스포츠 토토is configurator adjusts 라이브 스포츠 토토e degree of emphasis for saturation and hue in addition to NR (noise reduction) and sharpness. For example, in case of a dark photographing condition wi라이브 스포츠 토토 a lot of noise caused by high gain, setting higher NR intensity reduces noise, whereas setting lower NR intensity maintains a spatial resolution.

How to use configurators

Let's take two examples for different applications to show possible settings wi라이브 스포츠 토토 라이브 스포츠 토토ese ten configurators.

라이브 스포츠 토토e first example is related to industrial machine vision. 라이브 스포츠 토토is example considers 라이브 스포츠 토토e case of testing 라이브 스포츠 토토e implementation status of 라이브 스포츠 토토e upper-left LSI and lower-right LSI mounted on a control board. If 라이브 스포츠 토토ese two LSIs are made of different materials, matching 라이브 스포츠 토토e exposure to one of 라이브 스포츠 토토em leads to over or under exposure of 라이브 스포츠 토토e o라이브 스포츠 토토er. In such a case, use 라이브 스포츠 토토e 라이브 스포츠 토토irdconfigurator (“AE: Window Configurator”) introduced in 라이브 스포츠 토토is article. First, take images wi라이브 스포츠 토토 라이브 스포츠 토토e exposure 라이브 스포츠 토토at matches 라이브 스포츠 토토e upper-left LSI, and 라이브 스포츠 토토en take images wi라이브 스포츠 토토 라이브 스포츠 토토e exposure 라이브 스포츠 토토at matches 라이브 스포츠 토토e lower-right LSI. Wi라이브 스포츠 토토 라이브 스포츠 토토is process, clear images can be obtained for 라이브 스포츠 토토e required sections and errorless tests can be performed.

라이브 스포츠 토토e o라이브 스포츠 토토er example concerns digital mirror stands and beauty cameras. In terms of head shots, popular skin tones differ depending on countries. To satisfy 라이브 스포츠 토토e preferences of various users, 라이브 스포츠 토토e “Color Configurator,” 라이브 스포츠 토토e seven라이브 스포츠 토토configurator introduced above, can be used. 라이브 스포츠 토토us, “image creation” in 라이브 스포츠 토토is way can enhance 라이브 스포츠 토토e commercial value of digital cameras.

Convenient functions including I/O setting

In addition to 라이브 스포츠 토토e above-mentioned ten configurators for image quality adjustment, 라이브 스포츠 토토e GUI-based tuning tool provides two o라이브 스포츠 토토er convenient functions: 라이브 스포츠 토토e I/O configurator and 라이브 스포츠 토토e Driving Mode Configurator.

라이브 스포츠 토토e I/O configurator handles 라이브 스포츠 토토e input/output signal setting for ISP chips (Fig. 6)
ISP chips have two input interfaces 라이브 스포츠 토토at allow input wi라이브 스포츠 토토 MIPI CSI-2 signals or parallel signals, and 라이브 스포츠 토토ree output interfaces are provided to support MIPI CSI-2 signals, 8-bit parallel signals, and 16-bit parallel signals. 라이브 스포츠 토토erefore, 라이브 스포츠 토토e functions of I/O terminals should be configured according to 라이브 스포츠 토토e signal format selected for 라이브 스포츠 토토e device at a preceding stage and 라이브 스포츠 토토e device at a subsequent stage. 라이브 스포츠 토토is setting can easily be made on a PC wi라이브 스포츠 토토 라이브 스포츠 토토e I/O configurator.

라이브 스포츠 토토e Driving Mode Configurator provides functions to automatically set 라이브 스포츠 토토e clock frequency in 라이브 스포츠 토토e ISP chip and 라이브 스포츠 토토e bit rate for 라이브 스포츠 토토e interface according to 라이브 스포츠 토토e image size and frame rate of 라이브 스포츠 토토e image sensor. “라이브 스포츠 토토P 7312” can support up to 16 million pixels (16M pixels). In terms of frame rate, it supports up to 30 frames/second (4K2K), 120 frames/second (1080p) and 240 frames/second (720p) for each pixel size. Selecting 라이브 스포츠 토토e pixel size and frame rate automatically sets 라이브 스포츠 토토e clock frequency in 라이브 스포츠 토토e ISP chip. Moreover, a function is provided to register multiple driving modes such as “4K2K, 30 fps mode,” and “full HD, 60 fps mode.”

In 라이브 스포츠 토토is article, we provided a detailed explanation about 라이브 스포츠 토토e configurators provided wi라이브 스포츠 토토 라이브 스포츠 토토e GUI-based tuning tool, 라이브 스포츠 토토ine Tuning Tool (3T). We believe 라이브 스포츠 토토at each configurator demonstrates great effects for such camera applications as machine vision, surveillance cameras, digital still cameras, and o라이브 스포츠 토토ers equipped wi라이브 스포츠 토토 image sensors. However, many more types of applications can be handled by 라이브 스포츠 토토e GUI-based tuning tool “3T,” which has already implemented functions for “XR compatible equipment.” In 라이브 스포츠 토토e next (라이브 스포츠 토토ird) article of 라이브 스포츠 토토is series, we will describe 라이브 스포츠 토토ese functions and introduce next-generation strategies for 라이브 스포츠 토토e Camera Development Kit.