Essential Products werd eind 2015 opgericht door Andy Rubin, één van de bedenkers van het Google Android OS. Vorig jaar werd de Essential Phone geïntroduceerd, deze high-end smartphone werd echter een minder groot succes dan gehoopt. De Essential Phone 2 werd eerder dit jaar dan ook geannuleerd. Volgens de laatste geruchten richt het jonge bedrijf zich momenteel op de ontwikkeling van een AI smartphone.

Smartphone AI camera

Het lijkt zeer aannemelijk dat deze intelligente smartphone ook over een AI camera zal beschikken. Op 4 december 2018 werd er een patent van Essential Products goedgekeurd en gepubliceerd door de WIPO (World Intellectual Property Office). Het patent is getiteld ‘Intelligent Camera’.

Het betreft een slimme smartphone camera die voorzien wordt van een kunstmatige intelligentie module en een reeks aan sensoren, waaronder een dieptesensor, een motion tracking sensor (zwart/witte fish-eye lens 220˚) en een conventionele RGB camera.

De RGB sensor kan een 20 megapixel Sony IMX204 sensor zijn. Voor de fisheye sensor wordt er gedacht aan de OmniVision OV7251. De gepatenteerde AI camera kan in een smartphone verwerkt worden of als smartphone accessoire ontwikkeld worden.

Ai camera

Functies van de kunstmatige intelligentie camera

Dankzij de dieptesensor kan de kunstmatige intelligentie module de voorgrond van de achtergrond onderscheiden, tot 5 meter afstand van het apparaat. Bij een reguliere dual-camera is dit slechts 80cm, aldus de patent omschrijving.

De AI camera kan een object dat zich op minder dan 5m afstand van de camera bevindt op de voorgrond plaatsen en alles buiten de 5m wordt dan op de achtergrond geplaatst. Maar de camera kan ook objecten van elkaar onderscheiden, waardoor de scherpte/diepte regeling al binnen die 5m plaatsvindt. In beide gevallen kan de achtergrond vervolgens vervaagd worden (bokeh effect), dit geldt zowel voor foto als videobeelden.

Doordat de smartphone AI camera de voor- en achtergrond zo duidelijk van elkaar kan scheiden, kan de gebruiker naderhand ook een andere achtergrond aan de foto of video toevoegen. Zo kun je het beeld verfraaien, of bijvoorbeeld voorzien van extra elementen, zoals een bedrijfslogo.

Ook beschikt de intelligente camera van Essential over een automatische framing module. De gebruiker kan om een object heenlopen, waarbij de camera automatisch de beste shot maakt. Vervolgens beschrijft het patent de mogelijkheid om één frame uit een video op te slaan als foto.

Alle genoemde processen worden in real-time (in minder dan één honderdste van een seconde) uitgevoerd. Je hoeft dus niet 3 á 4 seconde te wachten, zoals bij veel huidige smartphone camera’s het geval is. Ook de hoeveelheid licht kan aangepast worden, voor het creëren van creatieve lichteffecten.

Volgens Bloomberg zal Essential haar nieuwe AI gadget mogelijk al in januari 2019 onthullen, op de Consumer Electronics Show in Las Vegas. We zullen dus nog een maandje geduld moeten hebben.

AI smartphone

FOR OUR INTERNATIONAL READERS

According to the latest rumors, Essential has an AI smartphone in the works. This phone is likely to incorporate an AI camera as well.

On December 4, 2018, a patent from Essential Products was granted by the WIPO (World Intellectual Property Office). The patent is entitled ‘Intelligent Camera’ and describes an AI camera module that receives input from multiple sensors, including a depth sensor, conventional RGB camera and a motion tracker (black/white fisheye lens 220˚).

Based on the inputs, the artificial intelligence module can segment the received image and/or video into a foreground image and a background image to produce portrait imagery by blurring the background image and/or video. The AI camera can select the most aesthetically pleasing image from a video.

In addition, the AI module can adjust lighting in an image or video to create artistic lighting effects. All the processing can be done in real time due to efficient combination of artificial intelligence modules, traditional image processing techniques and the use of specialized hardware.

Here you can find the intelligent camera patent from Essential Products: claims and drawings.

Advertentie