请教:Android正播放视频时的解码输出流如何获取?
============问题描述============
Android播放视频,经过解码器解码 获得数据流 再显示到屏幕上。请问这部分数据(解码器解码后的数据流)通过什么方法可以获取? 请教。。。 先谢谢啦
============解决方案1============
你是想录制视频?
============解决方案2============
那你直接读这个文件流就可以了啊
============解决方案3============
怎么直接读啊?这个数据流没有存成文件,
不是,跟照相机录像机摄像机无关的。
你是想录制视频?
在播放一个视频文件的时候,拿到系统对这个视频文件解码后的数据流,也就是解码器的输出流
那你直接读这个文件流就可以了啊
视频是你自己控制播放呢还是从播放器播放视频的时候截取视频流?
============解决方案4============
最好的应该是从display部分入手,重写一个surfaceview,把这个view传给mediaplayer去播放,这样数据到这个view里面,你先去记录,然后再发出去播放,不过效率上估计有点问题。
============解决方案5============
怎么直接读啊?这个数据流没有存成文件,
不是,跟照相机录像机摄像机无关的。
你是想录制视频?
在播放一个视频文件的时候,拿到系统对这个视频文件解码后的数据流,也就是解码器的输出流
那你直接读这个文件流就可以了啊
视频是你自己控制播放呢还是从播放器播放视频的时候截取视频流?
这个应该是一样的,我自己控制 的话也是调用系统默认的MediaPlayer解码器, 就是“从播放器播放视频的时候截取视频流”要解码后数据流
没用过MediaPlayer,但是调用MediaPlayer的话,直接jni处理视频流并描绘图像了,我想应该是取不到了吧
============解决方案6============
video播放是在graphic层显示的才能抓,有的方案video直接硬件的layer显示的,这种就没辙了。
graphic层可以试下下面两个方法:
1,在native层调用mediaplayer,MediaPlayer::setVideoSurfaceTexture接口是传入一个IGraphicBufferProducer,自己建立一个bufferqueue传进去就可以了。
2,用virtual display试试看,建立一个虚拟的display。然后仿照surfaceview写一个新的view,把window建立在前面建立的virtual display上。这样输出的数据都在virtual display的buffer中。
============解决方案7============
在Android4.2/4.4源码上作业应该不存在什么方案吧。。。native层调用是要引入系统库么,需要单独提出来?
video播放是在graphic层显示的才能抓,有的方案video直接硬件的layer显示的,这种就没辙了。
graphic层可以试下下面两个方法:
1,在native层调用mediaplayer,MediaPlayer::setVideoSurfaceTexture接口是传入一个IGraphicBufferProducer,自己建立一个bufferqueue传进去就可以了。
2,用virtual display试试看,建立一个虚拟的display。然后仿照surfaceview写一个新的view,把window建立在前面建立的virtual display上。这样输出的数据都在virtual display的buffer中。
native调用应该是需要一些系统库,你直接抓一份google代码去编译就是了,就是怕有些权限问题。
第二个case在java都有借口,可以试试。
============解决方案8============
楼主,我也有这样的需求:视频播放过程中获得每一帧图片,将每一帧图片处理后再显示播放,并且需要将处理过后的每一帧重新生成一个视频文件,不知道有没有好的方法???
============解决方案9============
能获取到视频源,一切就都不是问题了
============解决方案10============
video播放是在graphic层显示的才能抓,有的方案video直接硬件的layer显示的,这种就没辙了。
graphic层可以试下下面两个方法:
1,在native层调用mediaplayer,MediaPlayer::setVideoSurfaceTexture接口是传入一个IGraphicBufferProducer,自己建立一个bufferqueue传进去就可以了。
2,用virtual display试试看,建立一个虚拟的display。然后仿照surfaceview写一个新的view,把window建立在前面建立的virtual display上。这样输出的数据都在virtual display的buffer中。public final class VirtualDisplay { private final DisplayManagerGlobal mGlobal; private final Display mDisplay; private IBinder mToken; VirtualDisplay(DisplayManagerGlobal global, Display display, IBinder token) { mGlobal = global; mDisplay = display; mToken = token; } /** * Gets the virtual display. */ public Display getDisplay() { return mDisplay; } /** * Releases the virtual display and destroys its underlying surface. * <p> * All remaining windows on the virtual display will be forcibly removed * as part of releasing the virtual display. * </p> */ public void release() { if (mToken != null) { mGlobal.releaseVirtualDisplay(mToken); mToken = null; } } @Override public String toString() { return "VirtualDisplay{display=" + mDisplay + ", token=" + mToken + "}"; } }这是VirtualDisplay,内容好少啊,能用吗,不知道怎么用诶?
可以先看下virtualdisplaytest.java里面是怎么用的
============解决方案11============
在解码之后 和 往显示设备上送 之间可以截获这块内存。
前者要看framework的解码代码,如果是第2方解码的库,应该有输出的接口。
后者在display部分。
============解决方案12============
……突然发现SurfaceView中没有Surface,这个window怎么搞
video播放是在graphic层显示的才能抓,有的方案video直接硬件的layer显示的,这种就没辙了。
graphic层可以试下下面两个方法:
1,在native层调用mediaplayer,MediaPlayer::setVideoSurfaceTexture接口是传入一个IGraphicBufferProducer,自己建立一个bufferqueue传进去就可以了。
2,用virtual display试试看,建立一个虚拟的display。然后仿照surfaceview写一个新的view,把window建立在前面建立的virtual display上。这样输出的数据都在virtual display的buffer中。public final class VirtualDisplay { private final DisplayManagerGlobal mGlobal; private final Display mDisplay; private IBinder mToken; VirtualDisplay(DisplayManagerGlobal global, Display display, IBinder token) { mGlobal = global; mDisplay = display; mToken = token; } /** * Gets the virtual display. */ public Display getDisplay() { return mDisplay; } /** * Releases the virtual display and destroys its underlying surface. * <p> * All remaining windows on the virtual display will be forcibly removed * as part of releasing the virtual display. * </p> */ public void release() { if (mToken != null) { mGlobal.releaseVirtualDisplay(mToken); mToken = null; } } @Override public String toString() { return "VirtualDisplay{display=" + mDisplay + ", token=" + mToken + "}"; } }这是VirtualDisplay,内容好少啊,能用吗,不知道怎么用诶?
可以先看下virtualdisplaytest.java里面是怎么用的
有的,SurfaceView.getHolder().getSurface()
============解决方案13============
现在出现新问题了,DisplayManager.createVirtualDisplay需要API Lv19,目前一般的都是android4.2才Lv17,这怎么办啊
……突然发现SurfaceView中没有Surface,这个window怎么搞
video播放是在graphic层显示的才能抓,有的方案video直接硬件的layer显示的,这种就没辙了。
graphic层可以试下下面两个方法:
1,在native层调用mediaplayer,MediaPlayer::setVideoSurfaceTexture接口是传入一个IGraphicBufferProducer,自己建立一个bufferqueue传进去就可以了。
2,用virtual display试试看,建立一个虚拟的display。然后仿照surfaceview写一个新的view,把window建立在前面建立的virtual display上。这样输出的数据都在virtual display的buffer中。public final class VirtualDisplay { private final DisplayManagerGlobal mGlobal; private final Display mDisplay; private IBinder mToken; VirtualDisplay(DisplayManagerGlobal global, Display display, IBinder token) { mGlobal = global; mDisplay = display; mToken = token; } /** * Gets the virtual display. */ public Display getDisplay() { return mDisplay; } /** * Releases the virtual display and destroys its underlying surface. * <p> * All remaining windows on the virtual display will be forcibly removed * as part of releasing the virtual display. * </p> */ public void release() { if (mToken != null) { mGlobal.releaseVirtualDisplay(mToken); mToken = null; } } @Override public String toString() { return "VirtualDisplay{display=" + mDisplay + ", token=" + mToken + "}"; } }这是VirtualDisplay,内容好少啊,能用吗,不知道怎么用诶?
可以先看下virtualdisplaytest.java里面是怎么用的
有的,SurfaceView.getHolder().getSurface()
这没招了....,这条路就走不通了
============解决方案14============
顶 做过音频的 好像有个 fft的算法
============解决方案15============
初学者,看看
============解决方案16============
坐等高手解决
============解决方案17============
查了下,貌似用SurfaceTexture从video decode里面获取流是最方便的,先去学学怎么用了,
大神们 求指导~
还没有弄出来,这两天看了一下ffmpeg,但是NDK开发太难了,我对C也不懂,先看一下你说的这个
============解决方案18============
查了下,貌似用SurfaceTexture从video decode里面获取流是最方便的,先去学学怎么用了,
大神们 求指导~
java层的surfacetexture没法获取他的surface,去给meidplayer啊~~~
native才有可能
============解决方案19============
错了错了,弄混乱了有点, 上面那个不是“读取camera图像流的例子”,是另外的一个 SurfaceTexture测试video用的,
createProgram对应的俩个参数就是上面的两个字符串,求大神帮忙解释说明下,应该从哪里着手
是啊,搞到现在一点进度都没有,哎。。。
============解决方案20============
错了错了,弄混乱了有点, 上面那个不是“读取camera图像流的例子”,是另外的一个 SurfaceTexture测试video用的,
createProgram对应的俩个参数就是上面的两个字符串,求大神帮忙解释说明下,应该从哪里着手
camera里面有个api,setPreviewTexture来接收surfacetexture,但是mediaplayer没有这样的api的。
============解决方案21============
能使用SurfaceTexture代替SurfaceView来显示,播放电影应该就可以了吧,能做到吗这样?SurfaceTexture不会用也没有api,google打不开!!
错了错了,弄混乱了有点, 上面那个不是“读取camera图像流的例子”,是另外的一个 SurfaceTexture测试video用的,
createProgram对应的俩个参数就是上面的两个字符串,求大神帮忙解释说明下,应该从哪里着手
camera里面有个api,setPreviewTexture来接收surfacetexture,但是mediaplayer没有这样的api的。
下午看了下Surface的api,有个途径可以试下,写一个类似下面的class
public class LocalHolder implements SurfaceHolder{ SurfaceTexture m_st; Surface m_surface; LocalHolder(SurfaceTexture st){ m_st = st; m_surface = new Suface(m_st); } @Override public Surface getSurface() { return m_surface; } ....//其他接口还需要补全 }
这样,你建立一个SurfaceTexture初始化后传给用这个texture构造一个LocalHolder出来,
然后Mediaplayer.setDisplay就传入LocalHolder对象。
============解决方案22============
能使用SurfaceTexture代替SurfaceView来显示,播放电影应该就可以了吧,能做到吗这样?SurfaceTexture不会用也没有api,google打不开!!
错了错了,弄混乱了有点, 上面那个不是“读取camera图像流的例子”,是另外的一个 SurfaceTexture测试video用的,
createProgram对应的俩个参数就是上面的两个字符串,求大神帮忙解释说明下,应该从哪里着手
camera里面有个api,setPreviewTexture来接收surfacetexture,但是mediaplayer没有这样的api的。
下午看了下Surface的api,有个途径可以试下,写一个类似下面的class
public class LocalHolder implements SurfaceHolder{ SurfaceTexture m_st; Surface m_surface; LocalHolder(SurfaceTexture st){ m_st = st; m_surface = new Suface(m_st); } @Override public Surface getSurface() { return m_surface; } ....//其他接口还需要补全 }
这样,你建立一个SurfaceTexture初始化后传给用这个texture构造一个LocalHolder出来,
然后Mediaplayer.setDisplay就传入LocalHolder对象。
new Surface(m_st);这里需要API14(android4.0)
============解决方案23============
这个API我知道,问题是播放不出来东西
能使用SurfaceTexture代替SurfaceView来显示,播放电影应该就可以了吧,能做到吗这样?SurfaceTexture不会用也没有api,google打不开!!
错了错了,弄混乱了有点, 上面那个不是“读取camera图像流的例子”,是另外的一个 SurfaceTexture测试video用的,
createProgram对应的俩个参数就是上面的两个字符串,求大神帮忙解释说明下,应该从哪里着手
camera里面有个api,setPreviewTexture来接收surfacetexture,但是mediaplayer没有这样的api的。
下午看了下Surface的api,有个途径可以试下,写一个类似下面的class
public class LocalHolder implements SurfaceHolder{ SurfaceTexture m_st; Surface m_surface; LocalHolder(SurfaceTexture st){ m_st = st; m_surface = new Suface(m_st); } @Override public Surface getSurface() { return m_surface; } ....//其他接口还需要补全 }
这样,你建立一个SurfaceTexture初始化后传给用这个texture构造一个LocalHolder出来,
然后Mediaplayer.setDisplay就传入LocalHolder对象。
surfacetexture界面上肯定是看不到东西的,先setOnFrameAvailableListener()设置个listener看看有没有数据上来,要想看到,还要把texture再画出去。
============解决方案24============
不知道你是怎么理解的,onFrameAvailable是回调函数,有新数据来的时候,才会被调用,不是看调用的参数。
============解决方案25============
是不知道怎么用。播放视频的时候数据流是有更新的,它就会一直被调用的,如果要进行数据处理,应该就是在这进行。 视频正播放的时候无画面输出,只有声音。 如果我要取出SurfaceTexture中的数据应该怎么取呢?
不知道你是怎么理解的,onFrameAvailable是回调函数,有新数据来的时候,才会被调用,不是看调用的参数。
到jni层去操作就好做了,surfaceTexture.java里面的mSurfaceTexture分别对应了GLConsumer。
新的frame来的时候,先调用SurfaceTexture.updateTexImage()更新一下buffer,然后GLConsumer.getCurrentBuffer()可以拿到GraphicBuffer了,GraphicBuffer.lock()又可以直接拿到指针了。要注意color format。
============解决方案26============
不理解你这句话“surfaceTexture.java里面的mSurfaceTexture分别对应了GLConsumer”是什么意思?
是不知道怎么用。播放视频的时候数据流是有更新的,它就会一直被调用的,如果要进行数据处理,应该就是在这进行。 视频正播放的时候无画面输出,只有声音。 如果我要取出SurfaceTexture中的数据应该怎么取呢?
不知道你是怎么理解的,onFrameAvailable是回调函数,有新数据来的时候,才会被调用,不是看调用的参数。
到jni层去操作就好做了,surfaceTexture.java里面的mSurfaceTexture分别对应了GLConsumer。
新的frame来的时候,先调用SurfaceTexture.updateTexImage()更新一下buffer,然后GLConsumer.getCurrentBuffer()可以拿到GraphicBuffer了,GraphicBuffer.lock()又可以直接拿到指针了。要注意color format。
ps:这些都是你现学的么?从哪儿学的哇怎么学这么快懂这么多…
写错了,应该是”surfaceTexture.java里面的成员mSurfaceTexture,他是int类型,实际是一个指向native层的GLConsumer对象的指针。“
这些在android代码里面都有的,不要光看api,往下看看实现。
============解决方案27============
mTextureID是int类型的,mSurfaceTexture是SurfaceTexture类型的
写错了,应该是”surfaceTexture.java里面的成员mSurfaceTexture,他是int类型,实际是一个指向native层的GLConsumer对象的指针。“这些在android代码里面都有的,不要光看api,往下看看实现。
你看的哪个文件?我说的是class SurfaceTexture里面。
============解决方案28============
VideoSurfaceView这个是你自己写的吧?
我的意思是要对SurfaceTexture扩展一下,前面说的成员都是class SufaceTexture中的,你要拿的buffer就在class SurfaceTexture中。
============解决方案29============
也不一定必须对SurfaceTexture扩展,Surface surface = new Surface(mSurfaceTexture);mMediaPlayer.setSurface(surface);这样播放的视频就在SurfaceTexture上了。 在SurfaceTexture.java中,定义的mSurfaceTexture并没有使用只是有那么一行注释,没有任何操作…扩展了SurfaceTexture也是没法从它入手的
VideoSurfaceView这个是你自己写的吧?
我的意思是要对SurfaceTexture扩展一下,前面说的成员都是class SufaceTexture中的,你要拿的buffer就在class SurfaceTexture中。
mSurfaceTexture是在jni里面赋值的,java层的确看不到什么东西。从Surface入手,我觉得是不好做的,surface是处于一个生产者的角色,SurfaceTexture才是消费者,你现在是要使用player生产出来的buffer,从SurfaceTexture这边入手更合适。
============解决方案30============
呵呵呵.....
一般android的显示一般有两层(或者两层以上), fb0, 和 fb1, fb1 在 fb0 的下面, fb1 显示软件的界面, fb0 平时一般是透明的, 在播放视频 的时候, 如果视频使用硬件解码, 解码后的 YUV 图像帧 直接 memcpy 到 fb0 的 framebuffer中, 这时候你就可以看到视频了, 中间不经过任何JAVA代码, 如果不是全屏, 那么fb0的只有视频区域的 alpha值 为 255, 其它区域为0, 使得后面的界面可以透上来...
你要抓 解码后的数据, 从GPU的驱动下手, HOOK一个接口出来可能有希望......
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。