Android Studio开发之路(七)CameraX&&Opencv的使用

一、前情提要以及工作目标

工作目标:做一个显示单通道图像的相机,实现预览和拍照。

原本是调用opencv-android里边的JavaCamera2View来实现,这个用起来比较方便,它提供了集成好的相机预览界面,并且提供了帧处理函数。但是问题是用opencv相机获取到的帧图片分辨率不高,达不到目标效果。

而CameraX作为Google发行的相机处理库,可以方便的做分辨率设置、对焦等操作,于是决定使用Camerax+opencv的方式完成工作目标。

二、CameraX基础

CameraX

Camerax(Android developer)

Camerax发布会(谷歌中国)

Camerax入门指南

三、工作几大难点以及解决方案

(1). 开发语言与版本

CameraX主流语言是Kotlin, 网上帖子用的也大多是Kotlin,而我使用的是Java

并且Camerax目前为止发行了不少的版本,还分了alpha,beta版本,不同的版本代码页不完全兼容。Java开发尽可能选择比较新的版本

Android CameraX 1.1.0 Java版本使用教程(Java)

(2). ImageProxy对象转Mat

CameraX将相机应用的主流场景分成三个“用例”,每个用例都可以单独使用:

预览:将相机捕获的画面显示在屏幕上,PreviewView

拍照:拍摄保存图片

分析ImageAnalysis:提供每一帧图像用于处理。

分析用例提供的是 ImageProxy对象,帧图片是YUV类型,但是opencv处理的是Mat,所以需要进行转换,可参考这篇文章:

YUV转Mat

(3).图片处理后的再显示

我需要将每一帧处理后的图像想普通相机那样再显示在界面上,但是CameraX的分析用例没有提供返回,而且要将mat再转回也比较麻烦,所以普遍的方式是在预览界面的上面再叠放一个ImageView,每处理一帧就用ImageView显示出来。(根据我的目标,我只要显示处理之后的帧,所以我干脆没有使用预览用例)。

这里还要注意显示的大小。我的ImageAnalysis分辨率设置的是1280x720, 显示出来是不能占满屏幕的,那么就有两种处理方式:

1.使用ImageView的缩放设置setScaleType

ScaleType缩放设置

2.使用opencv的resize()函数

CameraX的预览用例官方文档中给出了预览时的缩放规则,我仿照这个规则使用resize函数将负片进行缩放,并且ImageView缩放类型设置为Center

CameraX预览用例

 private class MyAnalyzer implements ImageAnalysis.Analyzer { @SuppressLint("UnsafeOptInUsageError")
        @Override
        public void analyze(@NonNull ImageProxy image) { Log.d(TAG, "Image's stamp is " + Objects.requireNonNull(image.getImage()).getTimestamp());
            Image img = image.getImage();
            int rotation = image.getImageInfo().getRotationDegrees();
            //在opencv的JavaCamera2View.java中添加了ImageUtil类,用于YUV类型到mat的图片转换
            ImageUtil imgutil = new ImageUtil(img);
            Mat rgb = imgutil.rgba();
            imgutil.rotation(rotation, rgb);    //图片旋转
            mChannelB = new Mat(rgb.height(), rgb.width(), CvType.CV_8UC1);
            //clahe 用于进行图像边缘增强对比度
            CLAHE clahe = createCLAHE();
            clahe.setClipLimit(8);
            clahe.setTilesGridSize(new Size(8, 8));
            //通道拆分,仅显示单通道图像
            List imgList = new ArrayList();
            Core.split(rgb, imgList);
            clahe.apply(imgList.get(2), mChannelB);
            //获取屏幕尺寸
            DisplayMetrics displayMetrics = getResources().getDisplayMetrics();
            int width = displayMetrics.widthPixels;
            int height = displayMetrics.heightPixels;
            double mu=Math.max(mlay.getWidth()*1.0/mChannelB.width(),mlay.getHeight()*1.0/mChannelB.height());
            Mat reRgb=new Mat();
            resize(mChannelB,reRgb,new Size(0,0),mu,mu,INTER_CUBIC);
            Bitmap bitmap = Bitmap.createBitmap(reRgb.width(), reRgb.height(), Bitmap.Config.ARGB_8888);
            Utils.matToBitmap(reRgb,bitmap);
            //TODO 处理我们要对Mat做的业务计算
            imgutil.release(); //要释放资源哦
            //  Toast.makeText(MainActivity.this,"mChannelB size:"+mChannelB.width()+";"+mChannelB.height(),Toast.LENGTH_SHORT).show();
         /*   String path= Environment.getExternalStorageDirectory()+"/DCIM/Camera/";
            //将拍摄准确时间作为文件名
            SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd_HH-mm-ss");
            String filename = sdf.format(new Date());
            String filePath= path  + filename + ".jpg";
            Imgcodecs.imwrite(filePath, mChannelB);
*/
            image.close();
            runOnUiThread(new Runnable() { @Override
                public void run() { m_imageView.setImageBitmap(bitmap);
                    String size=mlay.getWidth()+"/"+mlay.getHeight()+";"+bitmap.getWidth()+"/"+bitmap.getHeight()+";"+m_imageView.getWidth()+"/"+m_imageView.getHeight()+";"+reRgb.width()+"/"+reRgb.height()+";mu:"+mu;
                    m_textView.setText(size);
                    //  Toast.makeText(MainActivity.this,"imageview size:"+m_imageView.getWidth()+";"+m_imageView.getHeight(),Toast.LENGTH_SHORT).show();
                }
            });
        }
    }