TED Talks, descargar videos y subtitulos de las charlas

Actualizacion:
A partir de ahora la descarga del código se hará a través de mi repositorio de bickbucket, para así siempre poder bajarse la última versión actualizada (cambios, corrección errores, ...)
Como introducción, para aquellos que aun no conozcan TED (Technology, Enternaiment, Design) y sus famosas charlas, TED Talks, podría resumirlo como algo así como la versión en vídeo de las revistas de "divulgación científica y tecnológica" (acogiendo bajo esta denominación desde las más banales a las mas prestigiosas) que todos conocemos como Muy Interesante, Investigación y Ciencia, Geo, Quo, National Geographic, Popular Science, Nature, Science, Lancet, etc... con la ventaja de la escasa distorsión del mensaje y lo conciso del mismo. Esto se debe a que no tenemos que pasar por el filtro del periodista (cuando no es un paper), es el propio interesado quien nos relata sus ideas personalmente y que la gran mayoría de las charlas esta sometida a un tiempo limite de 18 minutos, ya que es el tiempo máximo que se ha calculado que podemos estar centrados en un solo asunto sin perder el interés o la atención. Evidentemente no son comparables a un articulo amplio, detallado y bien redactado o a un buen documental, ni tampoco lo pretenden. No se trata de profundizar en los temas, se trata de que el ponente consiga transmitirte sus ideas, su entusiasmo y la trascendencia de las mismas, y en la mayoría de los casos lo consiguen, y algunas de estas charlas son de una calidad y de una trascendencia tales, que deberían tener lugar también en los medios tradicionales (TV). La calidad de estas charlas es tal que es difícil no quedarte impresionado (cuando no deslumbrado) al final de las mismas y contagiado del entusiasmo de los ponentes, la apertura de miras, conocimiento y humildad que te proporcionan (amen de ayudarte a creer un poquito más en la humanidad) no tiene parangón actualmente. Desde la serie Cosmos de Carl Sagan, no he encontrado nada parecido que me invitara tanto a pensar y me abriera tanto la mente. Lo único que se acerca, entre la telebasura reinante, en el mundo audiovisual actual, es el programa Redes de Eduardo Punset.
Para una definición más precisa, un extracto del articulo de la Wikipedia:
TED (Tecnología, Entretenimiento, Diseño, del inglés: Technology, Entertainment, Design) es una organización sin ánimo de lucro dedicada a las "ideas que vale la pena difundir" (del inglés: Ideas worth spreading). TED es ampliamente conocida por su conferencia anual (TED Conference) y sus charlas (TED Talks) que cubren un amplio espectro de temas que incluyen ciencias, arte y diseño, política, educación, cultura, negocios, asuntos globales, tecnología y desarrollo, y entretenimiento. Los conferenciantes han incluido a personas como el ex-Presidente de los Estados Unidos Bill Clinton, los laureados con el Premio Nobel James D. Watson, Murray Gell-Mann, y Al Gore, el co-fundador de Microsoft, Bill Gates, los co-fundadores de Google Sergey Brin y Larry Page, y Billy Graham
Estas charlas se publican en su pagina web actualmente a un ritmo de una por día de semana (esto es, lunes a viernes). Actualmente (julio 2010) hay más de 700 charlas disponibles en su página y se han visionado más de 290.000.000 de veces (julio 2010), para que os hagáis una idea de la repercusión y trascendencia de las mismas.
El caso es que yo las sigo habitualmente, vamos que veo todas las que publican. Al principio me limitaba a enterarme de la publicación de las mismas por mi lector de fuentes RSS, veía el asunto de las mismas y si me parecía interesante, las veía directamente a través de su página web. Luego, cansado de los inconvenientes de verlas a través de un navegador web a pantalla completa, en flash desde linux, dí un paso más y me pase a un programa como Miro, de hecho hay una versión del mismo para TED. Para el que no lo conozca, Miro es un reproductor multimedia open source multiplataforma que cuenta con un agregador de fuentes RSS y torrents para podcasts de audio y vídeo. Así que él automáticamente se baja las charlas a medida que se van publicando y tu solo tienes que visionarlas desde el mismo, decidiendo después si las eliminas o las conservas.

Pero Miro para mi tenia dos grandes problemas, el primero que no descarga los subtitulos, y el segundo que la visualización de estos es bastante pobre (al menos comparado con la configuración que tengo en mi SMPlayer). No es que los subtitulos me sean esenciales (todas las charlas son en ingles) pero si que ayudan mucho para el contexto de aquellas donde uno ni de lejos domina los tecnicismos de algunos campos, o porque no decirlo, cuando el acento o la pronunciación de algunos de los ponentes me hace imposible seguirlos sin los mismos. Siempre veo los subtitulos en el idioma original, inglés, pero siempre descargo también la versión en español porque me es muy útil en algunos momentos, como por ejemplo cuando se refieren a especies animales o vegetales de los que no conozco la traducción al español, y en lugar de tirar de diccionario continuamente, gano tiempo visionandolos en castellano.
Como uno ha de reconocer humildemente, rara es la vez que a uno no se le presente un problema que no se le haya presentado antes a otro y no haya dado con una solución valida. Luego en vez de reinventar la rueda (aunque finalmente es lo que haya acabado haciendo) me dirigí a San Google para encontrar una solución para descargar los subtitulos de las TED Talks, y he aquí, que doy con este script en Python (mi lenguaje de programación favorito). Lo empleé durante unos días (tres para ser exactos), pero no me acaba de convencer y me puse a modificarlo, y cuando estaba en ello, me dije: Que demonios! si al final no te convence Miro para visionar los vídeos con subtitulos, porque no descargar también los mismos y utilizar el SMPlayer para visionarlos? Asi que me puse manos a la obra, y esto es lo que salio y actualmente empleo.
El script hace uso de la fuente RSS de las TED Talks en calidad HD para conocer cuando se publica una nueva charla en la pagina. Comprueba si no esta ya descargado, si no es así, lo descarga y luego comprueba la disponibilidad de los subtitulos (español e ingles) para las charlas ya descargadas que se encuentren en la carpeta. Si encuentra alguno disponible y no descargado anteriormente, lo convierte en un nuevo fichero .srt en la carpeta. Finalmente, si se ha descargado algo (charlas o subs), manda un correo a mi usuario local notificándomelo. Esta script lo tengo automatizado mediante una tarea cron en un pequeño servidor que tengo y que se ejecuta todas las mañanas a eso de las 9:30 y que normalmente me descarga la charla del día anterior y los subtitulos en ingles de la misma y los de español de dos días antes. Esto depende mucho de la velocidad de traducción de los colaboradores, ya que a veces, cuando una charla es muy interesante, es posible que a las pocas horas dispongamos de los subtitulos en los dos idiomas.
El código del script, es el siguiente:
Y un ejemplo de un correo enviado por el mismo quedaría así:
De:
Para:
Asunto: Download TED Talks - Thursday 07/29/10, 17:04:52
Fecha: Thu, 29 Jul 2010 17:04:52 +0200
New TED Talk downloaded!
========================
http://www.ted.com/talks/view/id/927
Laurie Santos: A monkey economy as irrational as ours (00:19:45)
Laurie Santos looks for the roots of human irrationality by watching the way our primate relatives make decisions. A clever series of experiments in "monkeynomics" shows that some of the silly choices we make, monkeys make too.
file:///your/path/to/TEDTalks/LaurieSantos_2010G_480.mp4
240.7 MiBSusanShaw_2010X_480.eng.srt downloaded
Pudiendo acceder al video directamente desde el correo, y si se encontraran los subtitulos para el mismo ya disponibles, visualizarlos automaticamente.
El que el script esté fundamentalmente en ingles (la mayoria de comentarios y los nombres de las variables) es que me siento más comodo de esta manera y ayuda a que un espectro más amplio de personas sea capaz de comprenderlo. Si este script le sirve a alguien más o le inspira para crear el suyo propio, pues habrá valido la pena el publicarlo.
Finalmente como ejemplo, publico una de las charlas más impactantes este año y ganadora del TED Prize, Jamie Oliver: Enseñarle a todos los niños acerca de la comida

16 comentarios
Excelente!
Amigo, he leido con atencion su articulo acerca de los subtitulos. El nivel de automatizacion alcanzado resulta sorprendente, sin embargo, para aquellos que no contamos con el hardware necesario se torna complicada la cosa.
En mi caso, me interesa descargar algunas (no todas) las charlas. De hecho, quisiera unas pocas, cuidadosamente seleccionadas, para presentarlas en el colegio en el cual doy clases a mis alumnos de secundaria.
¿Conoce Ud. de alguna forma de descargar en un formato legible por VLC (.SUB o .SRT, por ejemplo) los subtitulos en español de charlas seleccionadas? He estado tratando de conseguir algunos en forma infructuosa desde hace algun tiempo, aunque he conseguido algunos en formato JSON.
Gracias mil por la ayuda con este tema.
Script para subtitulos de una charla
Bueno, para conseguir eso que me comentas, he modificado el script anterior un poco y he creado este nuevo script.
La forma de utilizarlo es muy sencilla, por ejemplo para bajarse la charla de Jamie Oliver, simplemente en la linea de comandos escribes
Y el te baja tanto los subtitulos como el vídeo. Si quisieras bajarte solo los subtitulos, bastaría con que añadieras la opción -s ó --only_subs, quedaría así:
Como ves es muy sencillo, solo tendrías que sustituir la dirección de la charla de Oliver por la que deseas bajar.
El código del script es el siguiente:
Espero que te sirva.
Saludos
TED
Estimado muy bueno lo que haces, me parecen excelentes los videos y me gustaría contar con ellos. ¿Donde corro el script?¿podrias subirmelos con subtitulos a algun gestor o ftp?
Muchas gracias
Vamos por partes...
Vamos por partes...
Los scripts los ejecutas en tu ordenador, lo único necesario es el lenguaje de programación Python y una conexión a Internet. Si tu maquina corre en linux, el python lo tienes instalado por defecto en casi todas las distribuciones. Si corre en Windows o Mac, lo puedes descargar en Python.org
Para correr los scripts, en la linea de comandos solo necesitas ejecutar estas lineas de comando:
python TEDTalks.py
para el primer script o las lineas de comando ya comentadas anteriormente para el segundo script.
Para descargarlos, puedes o bien copiar y pegar el código tal y como aparece en el articulo, o bien descargarlos:
TEDTalks.py & TEDSubs.py
o bien vas directamente al mi repositorio en bitbucket
Eso si, hay que tener en cuenta que en el caso del primer script, este solo se baja el vídeo del dia anterior en su primera ejecución o bien el más reciente no descargado en caso de ejecuciones sucesivas. Y como la gente de TED parece que se ha tomado un descanso en Agosto (el último vídeo es del 30 de Julio), este no descargara nada, porque de momento no hay nada que descargar. Hasta que no retornen la publicación de nuevas charlas, el primer script no bajara nuevos contenidos, igual que los tradicionales lectores RSS o el mismo Miro.
Saludos
Gracias
Hermano, muchas gracias.. excelente script.. ya te imaginaras lo importante que es que para muchos, poder adquirir estas excelente conferencias. Gracias de nuevo
Funcionan los Subtitulos?
Hola,
muchas gracias por disponibilizar los scripts.
Estoy intentando usar el segundo script (para bajar videos concretos) pero solo me baja el video. Si lo uso con "-s" no me baja nada (tampoco devuelve ningún mensaje de error.
Podría ser que hayan cambiado la manera de bajar los subtítulos?
gracias por adelantado
Xavier
Si, funcionan, pero...
Si, funcionan, pero a veces los subtitulos aún no están disponibles, o peor, el fichero original en formato json es defectuoso. Lo de que el formato json sea defectuoso suele pasar de vez en cuando y generalmente acaban solucionandolo al cabo de unos días. Debe de ser algún defecto en la traducción o al subir el fichero.
De todos modos ya he modificado el script para que te muestre un mensaje de error en caso de que no esté disponible o este defectuoso, e indicado si es el subtitulo en español o ingles. Puedes descargarlo de aquí o del repositiorio. Gracias por informarme del error, se me había escapado el proporcionar esta información.
Y voy a mirar la manera de convertir igualmente el subtitulo de json a srt aunque el json esté malformado siempre que sea posible. No será muy dificil.
Saludos
Actualización: Bueno, he encontrado un fallo, a veces cuando la página termina un cierto tiempo en responder, no cargaba algunos ficheros json de subtitulos completos, y lo interpretaba como un fichero json defectuoso. Ya he corregido el error, substituyendo la función que empleaba para la descarga por otra que siempre descarga el fichero completo.
Bueno, ya estan incorporadas
Bueno, ya estan incorporadas las mejoras también al otro script. En principio no veo necesario el crear el metodo para los jicheros JSON defectuosos, en parte porque sería replicar más o menos lo que ya hace el modulo json y en parte porque los JSON defectuosos provenian del empleo de la libreria de python urllib para descargarlos, lo que a veces por timeouts no conseguia hacerlo del todo. El emplear la libreria urllib2 soluciona este problema puesto que si los descarga al completo.
De todos modos ahora se reportan todos los codigos de error que aparezcan, tanto los que genero yo en el script, como los originales generados por TED (en realida dotSUB, que es el que proporciona los subtitulos para TED) y les haré un seguimiento. Porque puede que si esten cambiando algo, dados los errores que reportan algunos de los últimos vídeos.
Saludos y gracias por reportarme el fallo, Xavier.
Aun tengo algun problemilla
Muchas gracias por tan rápida respuesta. Me he copiad el código para bajar los videos individuales, pero aun tengo problemas. Esta vez parece como si me faltara algun módulo de python, aunque no se ni cual ni como debo actualizarlo. Teng el siguiente error:
Traceback (most recent call last):
File "./TEDVideos.py", line 184, in <module>
main()
File "./TEDVideos.py", line 172, in main
ttalk_webpage).group(1))
AttributeError: 'NoneType' object has no attribute 'group'
(El programa TEDVideos.py es el nombre que le he dado yo a tu código)muchas gracias de antemanoNo, en este caso no te falta
No, en este caso no te falta ningún modulo para ejecutar el script, eso es algo que ya tengo contemplado y es lo primero que compruebo, y lanzo un aviso del modulo que es necesario para ejecutarlo si no se encuentra.
El error que me muestras es porque intento seleccionar uno de entre los resultados de una búsqueda de datos dentro de una página web, y al ser el resultado de la búsqueda vacío arroja ese error. Es un error que tampoco tenía contemplado porque asumía que en un principio las direcciones web introducidas serían correctas, algo que voy a contemplar a partir de ahora, para avisar al usuario.
Ese error te lo da porque no encuentra lo que busca, el identificador único de la charla, en la página web que le proporcionas. Lo raro es que si fuera una dirección web incorrecta, el error tendría que producirse antes, cuando busca la duración de la introducción previa al vídeo. Lo he probado con unas 25 charlas diferentes y no he conseguido reproducir el error. La mejora forma de entender lo que ha pasado es que me proporciones la dirección web que te da el error para comprobar lo que ocurre.
Saludos
Actualización: He añadido mensajes de error para contemplar estas posibilidades, asi será más fácil diagnosticar los fallos.
En efecto, no encuentra la página
Tal y como predices, no parece encontrar la página buscada. Ahora me lanza este error:
Some data not found in this URL:
http://www.ted.com/talks/lang/eng/jamie_oliver.html
Please report this error and provides the URL to check at:
http://code.joedicastro.com/ted-talks-download/issues/new
Thanks for helping to fix errors.
Lo curioso es que estoy probándolo con el ejemplo que tu nos proporcionas:
TEDSubs.py -s http://www.ted.com/talks/lang/eng/jamie_oliver.html
Para asegurarme que tengo conectividad desde mi ordenador he intentado ir a la página web en un browser (sale ok) y he intentado bajarla con wget (baja ok).
No creo que afecte, pero estoy usando osx 10.6
gracias
Xavier
Bueno, teniendo en cuenta los
Bueno, teniendo en cuenta los errores que te da ahora y que al principio si podias bajar el video, el problema está en el cambio que hice de urllib a urllib2, pero si el segundo te da este error, el primero no te bajaba los subtitulos. He mirado googleado un poco y si parece haber algunos problemas con estas librerias y MAC OSX, es algo que no puedo corroborar directamente puesto que no dispongo de este SO para probarlo.
Asi que voy a ir por terreno seguro y aprovechando el feedback que me das, voy a prepararte una versión que emplee la herramienta externa wget para coger los datos de la página, los subtitulos y el video. De este modo nos aseguramos de sortear este problema.
De nada, la pena es no tener un Mac, si no, no te hacia dar tantas vueltas.
Saludos
Ya tienes la nueva versión
Ya tienes la nueva versión con wget, esta no debería darte esos problemas. Ya me dirás el resultado.
Saludos
fantástico!
Ahora ya funciona perfectamente!
muchas gracias por añadir estas funcionalidades y por los scripts. Van a serme de grande utilidad.
un saludo,
Xavier
De nada, gracias a ti por el
De nada, gracias a ti por el feedback, le servirá a futuros usuarios.
Luego modifico también el otro script para emplear wget.
Un saludo
Joe
Nuevas versiones mejoradas de
Nuevas versiones mejoradas de los scripts (versión 1.3) y probadas en las 831 charlas disponbles hasta hoy, contemplando todos los casos diferentes.
Saludos
Enviar un comentario nuevo