Data Engineering
про инжиниринг данных и аналитику
🏢 %company_name% Engineering
AirBnb Engineering
последний пост 2 дня, 6 часов назад
Building an Inclusive Codebase
Building an Inclusive Codebase Building an Inclusive Codebase

Our playbook for driving down non-inclusive terminologyBy: Michael Bachand, Amanda Vawter, Dan Federman, Jake Silver, Julia Wang, Mark TaiCode is our craft. At Airbnb, we view our code and product as a reflection of our values. Each developer imbues their work with a piece of themselves. We want all engineers to be proud of the codebase in which they work and the systems that they use every day.We want to share with you some of the work that we are doing at Airbnb to build an inclusive engineering culture. We hope that sharing our story may energize and bolster similar efforts to eliminate non-inclusive terminology throughout the industry.Bootstrapping ChangeAirbnb’s mission is to create a …

2 дня, 6 часов назад @ medium.com
How Airbnb Standardized Metric Computation at Scale
How Airbnb Standardized Metric Computation at Scale How Airbnb Standardized Metric Computation at Scale

Metric Infrastructure with Minerva @ AirbnbPart II: The six design principles of Minerva compute infrastructureBy: Amit Pahwa, Cristian Figueroa, Donghan Zhang, Haim Grosman, John Bodley, Jonathan Parks, Maggie Zhu, Philip Weiss, Robert Chang, Shao Xie, Sylvia Tomiyama, Xiaohui SunIntroductionAs described in the first post of this series, Airbnb invested significantly in building Minerva, a single source of truth metric platform that standardizes the way business metrics are created, computed, served, and consumed. We spent years iterating toward the right metric infrastructure and designing the right user experience. Because of this multi-year investment, when Airbnb’s business was severel…

2 недели, 2 дня назад @ medium.com
Building a faster web experience with the postTask scheduler
Building a faster web experience with the postTask scheduler Building a faster web experience with the postTask scheduler

Building a Faster Web Experience with the postTask SchedulerWhen was the last time you opened a page on a website and tried to click on something multiple times for it to work? Or the last time you swiped on an image in a carousel and it stuttered and shifted around unnaturally?While this type of experience happens far too often, we can use tools that can help us make better, more responsive experiences for users. Scheduling and prioritizing tasks efficiently can be the difference between a responsive experience and one that feels sluggish.At Airbnb, we’ve been collaborating with the Chrome team on improving performance using a prioritized task scheduler to implement new patterns and improv…

4 недели назад @ medium.com
Airbnb’s Promotions and Communications Platform
Airbnb’s Promotions and Communications Platform Airbnb’s Promotions and Communications Platform

OMNI is an intuitive, homegrown platform that supports message creation, processing, and distribution to engage our guests and hosts at the right time and on the right channels.By Paritosh Aggarwal and Henry WuIntroductionAirbnb is a busy marketplace with millions of active users across the globe. Billions of messages are exchanged each year — both between Airbnb and our users, and between our host and guest communities. To facilitate the scaling of these messages, we invested in building a reliable, scalable, and cost-effective communication platform.The Promotions and Communications Platform (internally called “OMNI”) forms a core pillar of Marketing Technology at Airbnb. Marketing Techno…

1 месяц, 1 неделя назад @ medium.com
How does Airbnb track and measure growth marketing?
How does Airbnb track and measure growth marketing? How does Airbnb track and measure growth marketing?

By: Jing Guo, Henry Wu, Abhrajit Mukherjee, Shike MeiIntroductionAirbnb’s mission is to “Create a world where anyone can belong anywhere.” This message is delivered to people all around the world through marketing, e.g., See What’s Possible When It’s Made Possible by Hosts. It helps Airbnb connect guests and hosts to build a strong community, and undoubtedly contributes to the impressive growth of the company.Figure 1. Airbnb Marketing DomainsMarketing at Airbnb is exciting — it presents challenges on numerous fronts, one of which is accounting for campaign tracking across the different ad platforms (see Figure 1). Tracking enables the Marketing team to have the full capability to analyze t…

1 месяц, 2 недели назад @ medium.com
How Airbnb Achieved Metric Consistency at Scale
How Airbnb Achieved Metric Consistency at Scale How Airbnb Achieved Metric Consistency at Scale

Data is the voice of our users at scale. In the midst of the COVID-19 pandemic, we saw that travel with Airbnb has become hyper-local.Part-I: Introducing Minerva — Airbnb’s Metric PlatformAuthors: Robert Chang, Amit Pahwa, Shao XieIntroductionAt Airbnb, we lean on data to inform our critical decisions. We validate product ideas through randomized controlled experiments, and we track our business performance rigorously to ensure that we maximize values for our stakeholders. To achieve these goals, we needed to build a robust data platform that serves the internal users’ end-to-end needs.While we have previously shared how we ingest data into our data warehouse and how to enable users to cond…

1 месяц, 2 недели назад @ medium.com
Himeji: A Scalable Centralized System for Authorization at Airbnb
Himeji: A Scalable Centralized System for Authorization at Airbnb Himeji: A Scalable Centralized System for Authorization at Airbnb

by Alan Yao, Dipak Pawar, Blair Wu, and Abhishek ParmarThe ProblemOver the last couple of years, Airbnb engineering moved from a monolithic Ruby on Rails architecture to a service oriented architecture. In our Rails architecture, we had an API per resource to access the underlying data. These APIs had authorization checks to protect sensitive data. As there was a single way to access a resource’s data, managing these checks was easy. In the transition to SOA, we moved to a layered architecture where there are data services that wrap databases and presentation services hydrating from multiple data services. The initial approach to moving the permission checks from monolith to SOA was to move…

1 месяц, 4 недели назад @ medium.com
Achieving Insights and Savings with Cost Data
Achieving Insights and Savings with Cost Data Achieving Insights and Savings with Cost Data

The path to cloud efficiency begins with a cost data foundationby Anna Matlin and Tamar EtermanIntroductionBusiness profitability and sustainability are powerful reasons to invest in infrastructure efficiency, but it is easy to feel lost about how to actually reduce costs. A foundation of robust and actionable data is essential for a successful efficiency program. At Airbnb, building this foundation made it possible to prioritize savings opportunities and ushered in a wave of cost reductions, summarized in a previous post.More importantly, cost data has become a lever for long-term control. The team can react quickly before a spike wreaks havoc on the monthly bill and plan ahead when a big …

2 месяца назад @ medium.com
Our Journey Towards Cloud Efficiency
Our Journey Towards Cloud Efficiency Our Journey Towards Cloud Efficiency

by Jen Rice and Anna MatlinIntroductionAirbnb was born in the cloud. In 2008, while many companies were operating data centers, a few clicks on the AWS console brought Airbnb to life. From our first Ruby on Rails app, to our more recent adoption of service-oriented architecture, the ability to instantly spin up compute and storage has enabled our teams to move quickly and meet the growing demands of our business. However, the business value this nimbleness affords can quickly be offset by cloud computing costs, unless the organizational capability to efficiently use these resources is developed.BackgroundIn the early days of Airbnb, our primary goal was growing the business. Technology team…

2 месяца, 1 неделя назад @ medium.com
How We Enable Airbnb Team Members to Code Like a Mobile Engineer
How We Enable Airbnb Team Members to Code Like a Mobile Engineer How We Enable Airbnb Team Members to Code Like a Mobile Engineer

Our peer-to-peer learning program that’s accelerating the growth of mobile engineeringIntroAs part of the TechEd team, our team’s goal is to enable our technical talent through continuous learning programs. One of the most common programs we work on is new employee onboarding for Engineering and Data Science teams. However, we also constantly think about the broader needs of the engineering organization and, at times, create more curated programs addressing these needs. One such program, Code Like a Mobile Engineer, addresses the growing mobile use as it has become our top platform. We need to scale out the native engineering knowledge to enable us to deliver an exceptional user experience …

2 месяца, 2 недели назад @ medium.com
Introducing Epoxy for iOS
Introducing Epoxy for iOS Introducing Epoxy for iOS

A new library from Airbnb for declaratively building iOS appsEpoxy’s story on iOS began in 2016. Swift was still a very new language, and we had recently started to broadly adopt it across our codebase. With the new language, we were still experimenting with how to best build UI.Unfortunately, things weren’t going as well as we had hoped — with our early paradigms for building UI in Swift we were not only experiencing hundreds of thousands of crashes in some of our core features, we also found that our engineers were deeply dissatisfied, giving their development experience a net promoter score of -78 on a scale of -100 to 100.Why was this? One of the key sources of complexity was our API to…

2 месяца, 3 недели назад @ medium.com
Inside Connect: Supporting Apprentices as an Engineering Leader
Inside Connect: Supporting Apprentices as an Engineering Leader Inside Connect: Supporting Apprentices as an Engineering Leader

The third of a three-part blog series on Connect, an apprenticeship opportunity for aspiring Airbnb software engineers.As an engineering leader with 15+ years of industry experience, I am currently head of engineering for the Marketing Technology Platform at Airbnb. Our goal is to build world-class technology systems and tools that power the unique blend of performance and brand marketing strategies at Airbnb.In this post, I’d like to share why fostering talent from the Connect program helps me achieve this vision for my teams. Furthermore, I will share from my experience — with Connect and other apprenticeship programs — what good support looks like. Programs like this don’t happen in a va…

3 месяца назад @ medium.com
Inside Connect: An Apprentice Perspective
Inside Connect: An Apprentice Perspective Inside Connect: An Apprentice Perspective

The second of a three-part blog series on Connect, an apprenticeship opportunity for aspiring Airbnb software engineers.Connect 2020 Apprentices at Airbnb HQHi, I’m Ale. I was a Connect 2020 Apprentice and I’m going to write a bit about my experience with the program, especially for those who are interested in applying. To learn more about the goals and structure of the Connect program, take a look at Part 1 of this blog series.How It StartedI first heard about Connect from a friend in October 2019. She was planning on applying and encouraged me to do the same. We had both just graduated from a coding bootcamp and were starting to venture into the job search. At a glance, Connect presented …

3 месяца, 1 неделя назад @ medium.com
Inside Connect: Airbnb’s Engineering Apprenticeship Program
Inside Connect: Airbnb’s Engineering Apprenticeship Program Inside Connect: Airbnb’s Engineering Apprenticeship Program

The first of a three-part blog series on Connect, an apprenticeship opportunity for aspiring Airbnb software engineers.by Beti Gathegi & Jacqui WattsHello! We’re excited that you’re here to learn more about the Connect program. Before we share details, though, we’d like to introduce ourselves. We’re Beti Gathegi and Jacqui Watts — a team of two whose purpose at Airbnb is to help bring this program to life. We couldn’t be more proud of the apprentices that we’ve gotten to work with to-date, and that’s why we want to share more, so that we can continue to attract even more amazing software engineering talent in the future.In this post, we’ll focus on the goals and structure of the program. Th…

3 месяца, 2 недели назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 неделя, 3 дня назад
How Netflix uses eBPF flow logs at scale for network insight
How Netflix uses eBPF flow logs at scale for network insight How Netflix uses eBPF flow logs at scale for network insight

By Alok Tiagi, Hariharan Ananthakrishnan, Ivan Porto Carrero and Keerti LakshminarayanNetflix has developed a network observability sidecar called Flow Exporter that uses eBPF tracepoints to capture TCP flows at near real time. At much less than 1% of CPU and memory on the instance, this highly performant sidecar provides flow data at scale for network insight.ChallengesThe cloud network infrastructure that Netflix utilizes today consists of AWS services such as VPC, DirectConnect, VPC Peering, Transit Gateways, NAT Gateways, etc and Netflix owned devices. Netflix software infrastructure is a large distributed ecosystem that consists of specialized functional tiers that are operated on the …

1 неделя, 3 дня назад @ netflixtechblog.com
Data Engineers of Netflix — Interview with Dhevi Rajendran
Data Engineers of Netflix — Interview with Dhevi Rajendran Data Engineers of Netflix — Interview with Dhevi Rajendran

Data Engineers of Netflix — Interview with Dhevi RajendranDhevi RajendranThis post is part of our “Data Engineers of Netflix” interview series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Dhevi Rajendran is a Data Engineer on the Growth Data Science and Engineering team. Dhevi joined Netflix in July 2020 and is one of many Data Engineers who have onboarded remotely during the pandemic. In this post, Dhevi talks about her passion for data engineering and taking on a new role during the pandemic.Before Netflix, Dhevi was a software engineer at Two Sigma, where she was most recently on a data engineering team responsible for bringing in datasets fr…

2 недели, 1 день назад @ netflixtechblog.com
Data Engineers of Netflix — Interview with Samuel Setegne
Data Engineers of Netflix — Interview with Samuel Setegne Data Engineers of Netflix — Interview with Samuel Setegne

Data Engineers of Netflix — Interview with Samuel SetegneSamuel SetegneThis post is part of our “Data Engineers of Netflix” interview series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Samuel Setegne is a Senior Software Engineer on the Core Data Science and Engineering team. Samuel and his team build tools and frameworks that support data engineering teams across Netflix. In this post, Samuel talks about his journey from being a clinical researcher to supporting data engineering teams.Samuel comes from West Philadelphia, and he received his Master’s in Biotechnology from Temple University. Before Netflix, Samuel worked at Travelers Insurance i…

2 недели, 1 день назад @ netflixtechblog.com
My (Seemingly) Random Walk to Netflix
My (Seemingly) Random Walk to Netflix My (Seemingly) Random Walk to Netflix

Part of our series on who works in Analytics at Netflix — and what the role entailsBy Sean Barnes, Studio Production Data Science & EngineeringI am going to tell you a story about a person that works for Netflix. That person grew up dreaming of working in the entertainment industry. They attended the University of Southern California, double majored in data science and television & film production, and graduated summa cum laude. Upon graduation, they received an offer from Netflix to become an analytics engineer, and pursue their lifelong dream of orchestrating the beautiful synergy of analytics and entertainment. Pretty straightforward, right?!Such a linear trajectory would make for a comp…

2 недели, 6 дней назад @ netflixtechblog.com
Achieving observability in async workflows
Achieving observability in async workflows Achieving observability in async workflows

Written by Colby Callahan, Megha Manohara, and Mike Azar.Managing and operating asynchronous workflows can be difficult without the proper tools and architecture that puts observability, debugging, and tracing at the forefront.Imagine getting paged outside normal work hours — users are having trouble with the application you’re responsible for, and you start diving into logs. However, they are scattered across multiple systems, and there isn’t an easy way to tie related messages together. Once you finally find useful identifiers, you may begin writing SQL queries against your production database to find out what went wrong. You’re joining tables, resolving status types, cross-referencing da…

1 месяц назад @ netflixtechblog.com
Netflix Drive
Netflix Drive Netflix Drive

A file and folder interface for Netflix Cloud ServicesWritten by Vikram Krishnamurthy, Kishore Kasi, Abhishek Kapatkar, Tejas Chopra, Prudhviraj Karumanchi, Kelsey Francis, Shailesh BirariIn this post, we are introducing Netflix Drive, a Cloud drive for media assets and providing a high level overview of some of its features and interfaces. We intend this to be a first post in a series of posts covering Netflix Drive. In the future posts, we will do an architectural deep dive into the several components of Netflix Drive.Netflix, and particularly Studio applications (and Studio in the Cloud) produce petabytes of data backed by billions of media assets. Several artists and workflows that may …

1 месяц, 1 неделя назад @ netflixtechblog.com
Scaling Revenue & Growth Tooling
Scaling Revenue & Growth Tooling Scaling Revenue & Growth Tooling

Written by Nick Tomlin, Michael Possumato, and Rahul Pilani.This post shares how the Revenue & Growth Tools (RGT) team approaches creating full-stack tools for the teams that are the financial backbone of Netflix. Our primary partners are the teams of Revenue and Growth Engineering (RGE): Growth, Membership, Billing, Payments, and Partner Subscription. Each of these engineering teams — and the operations teams they support — help Netflix acquire, sign up, and manage recurring payments for millions of members every month.To provide a view of some of the unique challenges and opportunities of our domain, we’ll share some of the core strategies we’ve developed, some of the tools we’ve built as…

2 месяца, 3 недели назад @ netflixtechblog.com
Production Media Management: Transforming Media Workflows by leveraging the Cloud
Production Media Management: Transforming Media Workflows by leveraging the Cloud Production Media Management: Transforming Media Workflows by leveraging the Cloud

Written by Anton Margoline, Avinash Dathathri, Devang Shah and Murthy Parthasarathi. Credit to Netflix Studio’s Product, Design, Content Hub Engineering teams along with all of the supporting partner and platform teams.In this post, we will share a behind-the-scenes look at how Netflix delivers technology and infrastructure to help production crews create and exchange media during production and post production stages. We’ll also cover how our Studio Engineering efforts are helping Netflix productions to spend less time on media logistics by utilizing our cloud based services.Lights, Camera, Media! Productions take on media managementIn a typical live action production, after media is offlo…

3 месяца назад @ netflixtechblog.com
ConsoleMe: A Central Control Plane for AWS Permissions and Access
ConsoleMe: A Central Control Plane for AWS Permissions and Access ConsoleMe: A Central Control Plane for AWS Permissions and Access

ConsoleMe: A Central Control Plane for AWS Permissions and AccessBy Curtis Castrapel, Patrick Sanders, and Hee Won KimAt AWS re:Invent 2020, we open sourced two new tools for managing multi-account AWS permissions and access. We’re very excited to bring you ConsoleMe (pronounced: kuhn-soul-mee), and its CLI utility, Weep (pun intended)!If you missed the talk, check it out here.MotivationGrowth in the cloud has exploded, and it is now easier than ever to create infrastructure on the fly. Groups beyond software engineering teams are standing up their own systems and automation. This is an amazing movement providing numerous opportunities for product innovation, but managing this growth has in…

3 месяца, 1 неделя назад @ netflixtechblog.com
Remote Workstations for the Discerning Artists
Remote Workstations for the Discerning Artists Remote Workstations for the Discerning Artists

By Michelle BrennerNetflix is poised to become the world’s most prolific producer of visual effects and original animated content. To meet that demand, we need to attract the world’s best artistic talent. Artists like to work at places where they can create groundbreaking entertainment instead of worrying about getting access to the software or source files they need. To meet this need, the Studio Infrastructure team has created Netflix Workstations.Netflix Workstations are remote workstations that allow content creators to get to work wherever they are. As an engineer, I can work anywhere with a standard laptop as long as I have an IDE and access to Stack Overflow. However, the artists cre…

3 месяца, 1 неделя назад @ netflixtechblog.com
A Day in the Life of an Experimentation and Causal Inference Scientist @ Netflix
A Day in the Life of an Experimentation and Causal Inference Scientist @ Netflix A Day in the Life of an Experimentation and Causal Inference Scientist @ Netflix

Stephanie Lane, Wenjing Zheng, Mihir TendulkarSource credit: NetflixWithin the rapid expansion of data-related roles in the last decade, the title Data Scientist has emerged as an umbrella term for myriad skills and areas of business focus. What does this title mean within a given company, or even within a given industry? It can be hard to know from the outside. At Netflix, our data scientists span many areas of technical specialization, including experimentation, causal inference, machine learning, NLP, modeling, and optimization. Together with data analytics and data engineering, we comprise the larger, centralized Data Science and Engineering group.Learning through data is in Netflix’s D…

3 месяца, 2 недели назад @ netflixtechblog.com
The Netflix Cosmos Platform
The Netflix Cosmos Platform The Netflix Cosmos Platform

Orchestrated Functions as a Microserviceby Frank San Miguel on behalf of the Cosmos teamIntroductionCosmos is a computing platform that combines the best aspects of microservices with asynchronous workflows and serverless functions. Its sweet spot is applications that involve resource-intensive algorithms coordinated via complex, hierarchical workflows that last anywhere from minutes to years. It supports both high throughput services that consume hundreds of thousands of CPUs at a time, and latency-sensitive workloads where humans are waiting for the results of a computation.A Cosmos serviceThis article will explain why we built Cosmos, how it works and share some of the things we have lea…

3 месяца, 2 недели назад @ netflixtechblog.com
Packaging award-winning shows with award-winning technology
Packaging award-winning shows with award-winning technology Packaging award-winning shows with award-winning technology

By Cyril ConcolatoIntroductionIn previous blog posts, our colleagues at Netflix have explained how 4K video streams are optimized, how even legacy video streams are improved and more recently how new audio codecs can provide better aural experiences to our members. In all these cases, prior to being delivered through our content delivery network Open Connect, our award-winning TV shows, movies and documentaries like The Crown need to be packaged to enable crucial features for our members. In this post, we explain these features and how we rely on award-winning standard formats and open source software to enable them.The CrownKey Packaging FeaturesIn typical streaming pipelines, packaging is…

3 месяца, 3 недели назад @ netflixtechblog.com
Beyond REST
Beyond REST Beyond REST

Rapid Development with GraphQL Microservicesby Dane AvillaThe entertainment industry has struggled with COVID-19 restrictions impacting productions around the globe. Since early 2020, Netflix has been iteratively developing systems to provide internal stakeholders and business leaders with up-to-date tools and dashboards with the latest information on the pandemic. These software solutions allow executive leadership to make the most informed decisions possible regarding if and when a given physical production can safely begin creating compelling content across the world. One approach that is gaining mind-share within Netflix Studio Engineering is the concept of GraphQL microservices (GQLMS)…

3 месяца, 3 недели назад @ netflixtechblog.com
Building a Rule-Based Platform to Manage Netflix Membership SKUs at Scale
Building a Rule-Based Platform to Manage Netflix Membership SKUs at Scale Building a Rule-Based Platform to Manage Netflix Membership SKUs at Scale

By Budhaditya Das, Wallace Wang, and Scott YaoAt Netflix, we aspire to entertain the world. From mailing DVDs in the US to a global streaming service with over 200 million subscribers across 190 countries, we have come a long way. For the longest time, Netflix had three plans (basic/standard/premium) with a single 30-day free trial offer at signup. As we expand offerings rapidly across the globe, our ideas and strategies around plans and offers are evolving as well. For example, the mobile plan launch in India and Southeast Asia was a huge success. We are inspired to provide the best offer and plan setup tailored to our customers’ needs to make their choice easier to start a membership.Memb…

4 месяца назад @ netflixtechblog.com
Pinterest Engineering
последний пост 3 часа назад
How We Protect Pinners’ Passwords
How We Protect Pinners’ Passwords How We Protect Pinners’ Passwords

Yuru Shao | Software EngineerAalaa Satti | Security EngineerAmine Kamel | Head of Production SecurityAt Pinterest, one method by which we ensure account security is through protecting Pinners’ passwords. Passwords can be problematic for a variety of reasons, including the fact that people tend to reuse their passwords, choose ones that are easy to remember, and share either the details that make up their passwords or their actual passwords with others. It is therefore no small feat to work against these issues to provide a secure, enjoyable Pinterest experience. In this post, we will dive into a few of the techniques we employ in order to accomplish this.Active Detection of Compromised Cred…

3 часа назад @ medium.com
La evolución de la búsqueda en Pinterest
La evolución de la búsqueda en Pinterest La evolución de la búsqueda en Pinterest

Por Naveen Gavini, Vicepresidente sénior de productosCuando Pinterest se lanzó por primera vez, ofrecía una nueva forma de recopilar y organizar ideas de toda la web. Sin embargo, lo que comenzó como un lugar para guardar, se convirtió rápidamente en un servicio único de descubrimiento en el que los usuarios podían inspirarse unos a otros, a las marcas y a los creadores. En 2014, cuatro años después del lanzamiento de Pinterest.com, un pequeño grupo de ingenieros y diseñadores se preguntaron: “¿Cómo sería un motor de búsqueda si no hubiera una respuesta correcta?”Nos dimos cuenta de que Pinterest podría ser el servicio para guiarte a las ideas cuando aún no estás seguro de lo que quieres y …

6 дней, 5 часов назад @ medium.com
Cómo redujimos el tamaño de la aplicación de Pinterest para iOS en más de un 30% / 50 MB
Cómo redujimos el tamaño de la aplicación de Pinterest para iOS en más de un 30% / 50 MB Cómo redujimos el tamaño de la aplicación de Pinterest para iOS en más de un 30% / 50 MB

Por Liang Ma | Ingeniero de software, App Foundations (Desarrollo de aplicaciones)Todos sabemos que el tamaño de las aplicaciones es importante (el tamaño de descarga[1] y el tamaño de instalación local[2]). Además, existe una correlación entre el tamaño de la aplicación y la interacción de los clientes. Con frecuencia, las personas toman decisiones sobre el uso de software en función del tamaño e incluso pagan el ancho de banda por megabyte. Sin olvidar que las tasas de desinstalación podrían aumentar cuando se incrementa el tamaño de la aplicación y, en consecuencia, los usuarios intentan liberar espacio en el disco de sus dispositivos.Recientemente, hicimos una mejora en la aplicación de…

6 дней, 5 часов назад @ medium.com
El fantástico Fixathon
El fantástico Fixathon El fantástico Fixathon

Por Grey Sköld | Ingeniero de AndroidLos ingenieros de Pinterest siempre están enfocados en hacer lo mejor para el producto, pero trabajar en una base de código limpia, con buen mantenimiento y relativamente libre de errores transforma las tareas de ingeniería de ser “solo trabajo” a oportunidades agradables para flexibilizar nuestras habilidades. También nos enriquecemos como ingenieros, tanto técnicamente como de otras formas, cuando nos tomamos el tiempo para aprender de nuestros compañeros de trabajo. Si bien es posible que tengamos una fiesta ocasional o fuera del sitio, ¡nada combina la construcción de comunidad y la mejora del producto como un Fixathon!¿Qué es un Fixathon?El Fixathon…

6 дней, 5 часов назад @ medium.com
Calidad y pruebas de las métricas publicitarias en dispositivos móviles
Calidad y pruebas de las métricas publicitarias en dispositivos móviles Calidad y pruebas de las métricas publicitarias en dispositivos móviles

Por Maya Reddy | Ingeniera en software, Ad Formats (Formatos de anuncios)En Pinterest, todos los días ayudamos a nuestros socios de publicidad a llegar a los usuarios a través de diferentes formatos de anuncios y les ofrecemos métricas y análisis sobre el rendimiento de sus anuncios. Mantener la confianza de nuestros socios y ofrecerles valor es fundamental, por lo que las métricas que mostramos, que en última instancia se basan en registros que contienen eventos de cliente, deben ser correctas.A principios de 2017, hacíamos lanzamientos móviles cada dos semanas y realizábamos un control de calidad manual para verificar el comportamiento de registro antes de cada lanzamiento. Al poco tiempo…

6 дней, 5 часов назад @ medium.com
Pinterest + ktlint = ❤
Pinterest + ktlint = ❤ Pinterest + ktlint = ❤

Por Sha Sha Chu | Experiencia de Android CoreHa pasado casi un año desde que la base de código Android de Pinterest se convirtió en la prioridad de Kotlin, y aproximadamente dos años desde que adoptamos ktlint para el formato y lint de Kotlin. Hoy, compartimos que Pinterest se ha hecho cargo oficialmente del proyecto.Inicialmente, elegimos ktlint por su simplicidad, comunidad activa, extensibilidad y propietario extremadamente receptivo. También se integró fácilmente con nuestro flujo de trabajo actual basado en Phabricator y, después de agregar aproximadamente 65 líneas de PHP a nuestra biblioteca Arcanist, pudimos aplicar linting y el formato a nuestros archivos Kotlin por diferencias.Cua…

6 дней, 6 часов назад @ medium.com
En Pinterest desarrollamos compilaciones para iOS rápidas y confiables
En Pinterest desarrollamos compilaciones para iOS rápidas y confiables En Pinterest desarrollamos compilaciones para iOS rápidas y confiables

Por Rahul Malik | Líder de tecnología de iOS Platform (Plataforma para iOS)En Pinterest nos enfocamos en ayudar a las personas a descubrir ideas inspiradoras, desde recetas para una cena, hasta productos de estilo y para el hogar que comprar y lugares a los que viajar. Para ello, es fundamental crear los mejores productos para dispositivos móviles, ya que el 80% de los usuarios acceden a Pinterest a través de aplicaciones móviles. En el equipo de iOS en concreto, trabajamos constantemente para mejorar esa experiencia de la manera más eficiente y rápida posible, y ofrecer a nuestro equipo el mejor entorno de desarrollo y pruebas es un paso clave para ello.Recientemente analizamos las formas …

6 дней, 6 часов назад @ medium.com
Administrar videos en Android
Administrar videos en Android Administrar videos en Android

Por Grey Skold | Android Video Product (Productos de video para Android)La función de video se lanzó en la aplicación de Pinterest para Android en 2016 a fin de ofrecer una experiencia de video completamente integrada en la aplicación. Esto incluía la capacidad de admitir varios videos por pantalla y, a la vez, controlar de forma dinámica su estado de reproducción al pausarlos automáticamente cuando desaparecían de la pantalla, o controlar la cantidad de videos que se podían reproducir al mismo tiempo.Pronto nos dimos cuenta de que había muchos desafíos técnicos que debíamos afrontar, entre ellos:● Administrar el estado de reproducción de todos los videos disponibles actualmente.● Conocer e…

6 дней, 6 часов назад @ medium.com
How to Review Code as a Junior Developer
How to Review Code as a Junior Developer How to Review Code as a Junior Developer

Emma Catlin | Software Engineer“Just ask questions.”That was the piece of advice that completely changed my perspective on code reviews.I first started as a Software Engineer at Pinterest on the Shopping Partner Experience team right out of college. I focused on my personal learning by reading documentation and technical design documents to understand my team’s systems and projects, but I lacked the confidence to review my teammates’ code. Why would the senior engineers want to have a junior engineer review their code? What if I said something that was just flat out wrong?My focus on learning was great at the beginning, but at some point in my first year, I realized something critical: I ne…

1 неделя, 1 день назад @ medium.com
What we learned from an iOS app OOMs incident
What we learned from an iOS app OOMs incident What we learned from an iOS app OOMs incident

Liang Ma | Software Engineer, App FoundationsIn early 2020, we started seeing significantly elevated out-of-memory (OOM) crashes in the Pinterest iOS app. That incident resulted in a declined Crash-Free Users Rate (CFUR), from the previous 99% to 96%, which was a steep drop. What was going on?We improved many systems along the journey, but those learnings could be a separate blog post. The primary focus of this blog post is to share with the broader iOS community what we have learned through this iOS specific issue.What’s the issue?For context, in the Pinterest iOS app, we use NSURLSession to talk to Pinterest REST API endpoints. Most endpoints had been on HTTP2 for years, and some endpoint…

2 недели назад @ medium.com
Building a Label-Based Enforcement Pipeline for Trust & Safety
Building a Label-Based Enforcement Pipeline for Trust & Safety Building a Label-Based Enforcement Pipeline for Trust & Safety

Sharon Xie| Software Engineer, Trust & SafetyAs Pinterest grows with increasing numbers of users and businesses, providing a safe and trustworthy experience is one of our top priorities. Every day the platform serves billions of Pins and boards to inspire Pinners. With so many Pins and activity, It can be a challenge to provide timely and consistent decisions for content safety while unlocking high quality content distribution. In this blog post, we will offer a technical deep dive into the problems we faced as well as present how we built a label-based enforcement pipeline to tackle those problems and fight abuse at scale.BackgroundInfra cost of signal product growsIn the early stage of Pi…

3 недели, 6 дней назад @ medium.com
The evolution of search at Pinterest
The evolution of search at Pinterest The evolution of search at Pinterest

By Naveen Gavini, SVP, ProductsWhen Pinterest first launched it provided a new way for people to collect and organize ideas from around the web. What started as a place to save though, quickly became a unique service for discovery where Pinners could draw inspiration from each other, brands and creators. In 2014, four years after Pinterest.com launched, a small group of engineers and designers asked, “what would a search engine look like if there wasn’t one right answer?”.We realized Pinterest could be the service to help guide you to ideas when you aren’t quite yet sure what you want, and when you want to explore questions like, what to cook for dinner tonight? How to style your home? Wher…

4 недели назад @ medium.com
Knit Con through an employee’s eyes
Knit Con through an employee’s eyes Knit Con through an employee’s eyes

Tobi Ogunnaike| Software Engineer, Engineering ProductivityOriginally published on Tobi’s personal blog.It’s not every day I get to spend two days with my coworkers making arepas, practicing Tai chi, learning how to plate dishes, and vibing to six different DJs. Two days immersing myself in the deepest caverns of talent that cut across continents, genres, and domains. All on the company’s dime.Then again, every day is not Knit Con.Knit Con at Pinterest HQ in 2019My first taste of Knit Con was three years ago. I had heard so much about this so-called Knit Con from recruiters and teammates. My recruiter’s face lit up as she described it. You know how someone describes an incredible meal they …

4 недели, 1 день назад @ medium.com
How Pinterest Fights Spam Using Machine Learning
How Pinterest Fights Spam Using Machine Learning How Pinterest Fights Spam Using Machine Learning

Vishwakarma Singh | Trust and Safety Machine Learning LeadHundreds of millions of people regularly visit Pinterest to visually discover inspiring ideas among billions of Pins. Inspiration is a high bar and we must be vigilant in ensuring that Pinners don’t see spam, harmful content or misinformation. To enforce our community policies and maintain an inspiring environment, we use the latest in machine learning technology to build automated systems that swiftly detect and act against both spammy content and spammers.Our anti-spam system consists of both reactive and proactive components to effectively counter adversarial abusers — users who intentionally try to evade the system. Our proactive…

1 месяц назад @ medium.com
Shallow Mirror
Shallow Mirror Shallow Mirror

Enhancement to Kafka MirrorMaker to reduce CPU/memory pressureHenry Cai | Software Engineer, Data EngineeringPinterest uses Kafka as the backbone for data transportation. As a part of our infrastructure, Kafka MirrorMaker v1 is used to replicate traffic among different Kafka clusters spread across multiple regions. Kafka MirrorMaker is a powerful tool to replicate/aggregate data between different Kafka clusters. Figure-1 shows a typical setup to use the MirrorMaker to replicate traffic between two or more regions. Figure-2 shows how one MirrorMaker v1 cluster works in a multi-node setup.While Kafka Mirrormaker satisfied our initial needs, we started seeing several scalability problems.OOM c…

1 месяц, 1 неделя назад @ medium.com
Facebook
последний пост 2 месяца, 1 неделя назад
How Facebook encodes your videos
How Facebook encodes your videos

People upload hundreds of millions of videos to Facebook every day. Making sure every video is delivered at the best quality — with the highest resolution and as little buffering as possible — means optimizing not only when and how our video codecs compress and decompress videos for viewing, but also which codecs are used [...]

Read More...

The post How Facebook encodes your videos appeared first on Facebook Engineering.

2 месяца, 1 неделя назад @ engineering.fb.com
How machine learning powers Facebook’s News Feed ranking algorithm
How machine learning powers Facebook’s News Feed ranking algorithm

Designing a personalized ranking system for more than 2 billion people (all with different interests) and a plethora of content to select from presents significant, complex challenges. This is something we tackle every day with News Feed ranking. Without machine learning (ML), people’s News Feeds could be flooded with content they don’t find as relevant [...]

Read More...

The post How machine learning powers Facebook’s News Feed ranking algorithm appeared first on Facebook Engineering.

4 месяца, 3 недели назад @ engineering.fb.com
How Facebook keeps its large-scale infrastructure hardware up and running
How Facebook keeps its large-scale infrastructure hardware up and running

Facebook’s services rely on fleets of servers in data centers all over the globe — all running applications and delivering the performance our services need. This is why we need to make sure our server hardware is reliable and that we can manage server hardware failures at our scale with as little disruption to our [...]

Read More...

The post How Facebook keeps its large-scale infrastructure hardware up and running appeared first on Facebook Engineering.

6 месяцев, 1 неделя назад @ engineering.fb.com
PPL Bench: Creating a standard for benchmarking probabilistic programming languages
PPL Bench: Creating a standard for benchmarking probabilistic programming languages

[...]

Read More...

The post PPL Bench: Creating a standard for benchmarking probabilistic programming languages appeared first on Facebook Engineering.

7 месяцев, 4 недели назад @ ai.facebook.com
Mark Harman elected Fellow of the Royal Academy of Engineering
Mark Harman elected Fellow of the Royal Academy of Engineering

The U.K.’s Royal Academy of Engineering has elected Facebook Research Scientist Mark Harman as a Fellow for his achievements in academia and industry, including his work on search-based software engineering (SBSE), intelligent software testing tools, and web-enabled simulation (WES) approaches. Election to the Academy is by invitation only, and it is one of the highest [...]

Read More...

The post Mark Harman elected Fellow of the Royal Academy of Engineering appeared first on Facebook Engineering.

8 месяцев, 4 недели назад @ engineering.fb.com
Uber Engineering
последний пост 2 дня, 5 часов назад
Handling Flaky Unit Tests in Java
Handling Flaky Unit Tests in Java

Introduction to Flaky Tests

Unit testing forms the bedrock of any Continuous Integration (CI) system. It warns software engineers of bugs in newly-implemented code and regressions in existing code, before it is merged. This ensures increased software reliability. It also …

The post Handling Flaky Unit Tests in Java appeared first on Uber Engineering Blog.

2 дня, 5 часов назад @ eng.uber.com
Scaling of Uber’s API gateway
Scaling of Uber’s API gateway

As a recap from the last article, Uber’s API Gateway provides an interface and acts as a single point of access for all of our back-end services to expose features and data to Mobile and 3rd party partners. Two …

The post Scaling of Uber’s API gateway appeared first on Uber Engineering Blog.

1 неделя, 2 дня назад @ eng.uber.com
The Architecture of Uber’s API gateway
The Architecture of Uber’s API gateway

API gateways are an integral part of microservices architecture in recent years. An API gateway provides a single point of entry for all our apps and provides an interface to access data, logic, or functionality from back-end microservices. It also …

The post The Architecture of Uber’s API gateway appeared first on Uber Engineering Blog.

4 недели, 1 день назад @ eng.uber.com
Automating Merchant Live Monitoring with Real-Time Analytics: Charon
Automating Merchant Live Monitoring with Real-Time Analytics: Charon

At Uber, live monitoring and automation of Ops is critical to preserve marketplace health, maintain reliability, and gain efficiency in markets. By the virtue of the word “live”, this monitoring needs to show what is happening now, with prompt access …

The post Automating Merchant Live Monitoring with Real-Time Analytics: Charon appeared first on Uber Engineering Blog.

1 месяц, 2 недели назад @ eng.uber.com
Flipr: Making Changes Quickly and Safely at Scale
Flipr: Making Changes Quickly and Safely at Scale

Introduction

Uber’s many software systems require a high volume of changes every day. Because of our systems’ size and complexity, it is a significant challenge to implement these changes without unintended consequences, ultimately slowing down developer productivity. Flipr is a …

The post Flipr: Making Changes Quickly and Safely at Scale appeared first on Uber Engineering Blog.

2 месяца назад @ eng.uber.com
Uber’s Journey Toward Better Data Culture From First Principles
Uber’s Journey Toward Better Data Culture From First Principles

Data powers Uber

Uber has revolutionized how the world moves by powering billions of rides and deliveries connecting millions of riders, businesses, restaurants, drivers, and couriers. At the heart of this massive transportation platform is Big Data and Data Science …

The post Uber’s Journey Toward Better Data Culture From First Principles appeared first on Uber Engineering Blog.

3 месяца назад @ eng.uber.com
How Uber Deals with Large iOS App Size
How Uber Deals with Large iOS App Size

The App Size Problem

Uber’s iOS mobile Apps for Rider, Driver, and Eats are large in size. The choice of Swift as our primary programming language, our fast-paced development environment and feature additions, layered software and its dependencies, and statically …

The post How Uber Deals with Large iOS App Size appeared first on Uber Engineering Blog.

3 месяца, 3 недели назад @ eng.uber.com
Evolving Schemaless into a Distributed SQL Database
Evolving Schemaless into a Distributed SQL Database

Introduction

In 2016 we published blog posts (I, II) about Schemaless – Uber Engineering’s Scalable Datastore. We went over the design of Schemaless as well as explained the reasoning behind developing it. In this post today we …

The post Evolving Schemaless into a Distributed SQL Database appeared first on Uber Engineering Blog.

3 месяца, 3 недели назад @ eng.uber.com
Fast and Reliable Schema-Agnostic Log Analytics Platform
Fast and Reliable Schema-Agnostic Log Analytics Platform

At Uber, we provide a centralized, reliable, and interactive logging platform that empowers engineers to work quickly and confidently at scale. The logs are tagged with a rich set of contextual key value pairs, with which engineers can slice and …

The post Fast and Reliable Schema-Agnostic Log Analytics Platform appeared first on Uber Engineering Blog.

3 месяца, 4 недели назад @ eng.uber.com
Uber’s Real-time Data Intelligence Platform At Scale: Improving Gairos Scalability/Reliability
Uber’s Real-time Data Intelligence Platform At Scale: Improving Gairos Scalability/Reliability

Background

Real-time data (# of ride requests, # of drivers available, weather, game) enables operations teams to make informed decisions like surge pricing, maximum dispatch ETA calculating, and demand/supply forecasting about our services that improve user experiences on the …

The post Uber’s Real-time Data Intelligence Platform At Scale: Improving Gairos Scalability/Reliability appeared first on Uber Engineering Blog.

4 месяца, 4 недели назад @ eng.uber.com
The Journey Towards Metric Standardization
The Journey Towards Metric Standardization

At Uber, business metrics are vital for discovering insights about how we perform, gauging the impact of new products, and optimizing the decision making process. The use cases for metrics can range from an operations member diagnosing a fares issue …

The post The Journey Towards Metric Standardization appeared first on Uber Engineering Blog.

5 месяцев назад @ eng.uber.com
Uber’s Real-Time Push Platform
Uber’s Real-Time Push Platform

Uber builds multi-sided marketplaces handling millions of trips every day across the globe. We strive to build real-time experiences for all our users.

The nature of real time marketplaces make them very lively. Over the course of a trip, there …

The post Uber’s Real-Time Push Platform appeared first on Uber Engineering Blog.

6 месяцев назад @ eng.uber.com
Turning Metadata Into Insights with Databook
Turning Metadata Into Insights with Databook

Every day in over 10,000 cities around the world, millions of people rely on Uber to travel, order food, and ship cargo. Our apps and services are available in over 69 countries and run 24 hours a day. At our …

The post Turning Metadata Into Insights with Databook appeared first on Uber Engineering Blog.

7 месяцев, 1 неделя назад @ eng.uber.com
Meet the 2020 Safety Engineering Interns: COVID Edition
Meet the 2020 Safety Engineering Interns: COVID Edition

About the Safety team & What we do

Uber is dedicated to keeping people safe on the road. The Safety and Insurance Engineering team is at the core of Uber’s business. We work to redefine what it takes to be …

The post Meet the 2020 Safety Engineering Interns: COVID Edition appeared first on Uber Engineering Blog.

7 месяцев, 3 недели назад @ eng.uber.com
Operating Apache Pinot @ Uber Scale
Operating Apache Pinot @ Uber Scale

Introduction

Uber has a complex marketplace consisting of riders, drivers, eaters, restaurants and so on. Operating that marketplace at a global scale requires real-time intelligence and decision making. For instance, identifying delayed Uber Eats orders or abandoned carts helps to …

The post Operating Apache Pinot @ Uber Scale appeared first on Uber Engineering Blog.

8 месяцев назад @ eng.uber.com
Spotify Engineering Spotify Engineering
последний пост 1 неделя, 6 дней назад
Patrick Balestra: Senior Engineer
Patrick Balestra: Senior Engineer Patrick Balestra: Senior Engineer

8:30am I’m at my best after nine hours’ sleep, so I tend to wake up pretty late, shower and dress as though I’m going into the office. Although I’ve been in Stockholm a while now, I’m still not a fan of the Swedish breakfast of bread and cheese or salami – give me Nutella on toast [...]

1 неделя, 6 дней назад @ engineering.atspotify.com
Achieving Team Purpose and Pride with Scrum
Achieving Team Purpose and Pride with Scrum Achieving Team Purpose and Pride with Scrum

Team purpose and pride — my team hit those high marks, but it was a long journey to get there from where we started. At Spotify, we strive for “aligned autonomy” among our teams. Meaning: we align on what it is we set out to do, but preserve flexibility to choose how we’ll achieve those [...]

3 недели назад @ engineering.atspotify.com
A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture
A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture

TLDR; In episode 08 of our podcast series “Spotify: A Product Story”, we share stories and lessons from building and open sourcing Backstage, our homegrown developer portal. Hear why a developer-friendly, market-based platform like Backstage could only have been developed at Spotify (where autonomy is prized, not top-down mandates) and why that ends up making [...]

1 месяц назад @ engineering.atspotify.com
Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It
Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It

There is no excerpt because this is a protected post.

1 месяц, 1 неделя назад @ engineering.atspotify.com
Customization vs. Configuration in Evolving Design Systems
Customization vs. Configuration in Evolving Design Systems Customization vs. Configuration in Evolving Design Systems

When a design system first starts out, the promise of visual consistency glows bright — the ideal product would have only one set of buttons, a unified typography scale, and elements that look the same no matter which designer made the design or which developer programmed them to be real and deployed. As the product [...]

1 месяц, 2 недели назад @ engineering.atspotify.com
Nour Daoud Bösing: Security Engineer
Nour Daoud Bösing: Security Engineer Nour Daoud Bösing: Security Engineer

Nour is a Security Engineer at Spotify New York – juggling her busy day job with completing her Masters in Cyber Security and looking after her 10-month-old daughter, Leya.

1 месяц, 3 недели назад @ engineering.atspotify.com
Rethinking Spotify Search
Rethinking Spotify Search Rethinking Spotify Search

Search @ Spotify Search is a well-established functionality across different industries, devices, and applications. When users come to any kind of search, they already have something in mind, whether they come looking for one thing in particular or are open to becoming inspired. Spotify Search is no exception, helping a vast majority of users find joy [...]

2 месяца назад @ engineering.atspotify.com
Building the Future of Our Desktop Apps
Building the Future of Our Desktop Apps Building the Future of Our Desktop Apps

For the past couple of years, we’ve been on a mission to modernize our Spotify clients by creating one single desktop UI for both the Desktop application and the Web Player. We couldn’t build everything we wanted to for our users with our old setup, so we decided to do something about it. In the [...]

2 месяца, 1 неделя назад @ engineering.atspotify.com
David Riordan: Product Manager
David Riordan: Product Manager David Riordan: Product Manager

5:00 am My days begin with an early morning wake-up call from Zev – he comes through at around 5am and we get a couple of dedicated hours of playtime before the rest of the world gets up. It’s fun – this morning, we baked oatmeal cookies. Then once my wife and I are ready, we [...]

2 месяца, 2 недели назад @ engineering.atspotify.com
Infrastructure
AWS
последний пост 1 час назад
Upgrading Amazon RDS for Oracle database engine with minimal downtime using AWS DMS
Upgrading Amazon RDS for Oracle database engine with minimal downtime using AWS DMS

Amazon Relational Database Service (Amazon RDS) for Oracle is a managed database service that makes it easier to set up, operate, and scale Oracle deployments on AWS. Amazon RDS for Oracle provides newer versions of Oracle Database so you can keep your DB instance up to date. Newer versions can include bug fixes, security enhancements, […]

1 час назад @ aws.amazon.com
Streaming Amazon DynamoDB data into a centralized data lake
Streaming Amazon DynamoDB data into a centralized data lake

For organizations moving towards a serverless microservice approach, Amazon DynamoDB has become a preferred backend database due to its fully managed, multi-Region, multi-active durability with built-in security controls, backup and restore, and in-memory caching for internet-scale application. , which you can then use to derive near-real-time business insights. The data lake provides capabilities to business teams to plug in […]

5 часов назад @ aws.amazon.com
Build XGBoost models with Amazon Redshift ML
Build XGBoost models with Amazon Redshift ML

Amazon Redshift ML allows data analysts, developers, and data scientists to train machine learning (ML) models using SQL. In previous posts, we demonstrated how customers can use the automatic model training capability of Amazon Redshift to train their classification and regression models. Redshift ML provides several capabilities for data scientists. It allows you to create […]

6 часов назад @ aws.amazon.com
Increase Apache Kafka’s resiliency with a multi-Region deployment and MirrorMaker 2
Increase Apache Kafka’s resiliency with a multi-Region deployment and MirrorMaker 2

Customers create business continuity plans and disaster recovery (DR) strategies to maximize resiliency for their applications, because downtime or data loss can result in losing revenue or halting operations. Ultimately, DR planning is all about enabling the business to continue running despite a Regional outage. This post explains how to make Apache Kafka resilient to […]

7 часов назад @ aws.amazon.com
Increase your e-commerce website reliability using chaos engineering and AWS Fault Injection Simulator
Increase your e-commerce website reliability using chaos engineering and AWS Fault Injection Simulator

Customer experience is a key differentiator for retailers, and improving this experience comes through speed and reliability. An e-commerce website is one of the first applications customers use to interact with your brand. For a long time, testing an application has been the only way to battle-test an application before going live. Testing is very […]

1 день назад @ aws.amazon.com
Build a GraphQL API for Amazon DocumentDB (with MongoDB compatibility) using AWS AppSync
Build a GraphQL API for Amazon DocumentDB (with MongoDB compatibility) using AWS AppSync

AWS AppSync is a fully managed service that makes it easy to develop GraphQL APIs by handling the heavy lifting of securely connecting to data sources like Amazon DynamoDB, AWS Lambda, and more. Adding caches to improve performance, subscriptions to support real-time updates, and client-side data stores that keep off-line clients in sync are just […]

1 день, 5 часов назад @ aws.amazon.com
Transform data into knowledge with PoolParty Semantic Suite and Amazon Neptune
Transform data into knowledge with PoolParty Semantic Suite and Amazon Neptune

This is a guest blog post by Ioanna Lytra, Data & Knowledge Engineer, and Albin Ahmeti, Data & Knowledge Engineer, at the Semantic Web Company. According to the International Data Corporation (IDC), more data will be created in the next 3 years than in the prior 30 years combined. In the ideal world, this data […]

1 день, 5 часов назад @ aws.amazon.com
Automate Amazon SageMaker Studio setup using AWS CDK
Automate Amazon SageMaker Studio setup using AWS CDK

Amazon SageMaker Studio is the first fully integrated development environment (IDE) for machine learning (ML). Studio provides a single web-based visual interface where you can perform all ML development steps required to prepare data, as well as build, train, and deploy models. You can quickly upload data, create new notebooks, train and tune models, move […]

1 день, 8 часов назад @ aws.amazon.com
Top 10 Flink SQL queries to try in Amazon Kinesis Data Analytics Studio
Top 10 Flink SQL queries to try in Amazon Kinesis Data Analytics Studio

Amazon Kinesis Data Analytics Studio makes it easy to analyze streaming data in real time and build stream processing applications using standard SQL, Python, and Scala. With a few clicks on the AWS Management Console, you can launch a serverless notebook to query data streams and get results in seconds. Kinesis Data Analytics reduces the […]

1 день, 9 часов назад @ aws.amazon.com
Preprocess logs for anomaly detection in Amazon ES
Preprocess logs for anomaly detection in Amazon ES

Amazon Elasticsearch Service (Amazon ES) supports real-time anomaly detection, which uses machine learning (ML) to proactively detect anomalies in real-time streaming data. When used to analyze application logs, it can detect anomalies such as unusually high error rates or sudden changes in the number of requests. For example, a sudden increase in the number of […]

1 день, 10 часов назад @ aws.amazon.com
Connect to your Amazon CloudWatch data to detect anomalies and diagnose their root cause using Amazon Lookout for Metrics
Connect to your Amazon CloudWatch data to detect anomalies and diagnose their root cause using Amazon Lookout for Metrics

Amazon Lookout for Metrics uses machine learning (ML) to automatically detect and diagnose anomalies (outliers from the norm) without requiring any prior ML experience. Amazon CloudWatch provides you with actionable insights to monitor your applications, respond to system-wide performance changes, optimize resource utilization, and get a unified view of operational health. This post demonstrates how […]

2 дня, 3 часа назад @ aws.amazon.com
Cross-account replication with Amazon DocumentDB (with MongoDB compatibility) and AWS DMS
Cross-account replication with Amazon DocumentDB (with MongoDB compatibility) and AWS DMS

Customers running their database workloads using Amazon DocumentDB (with MongoDB compatibility) might need to replicate data from one AWS account to another. By doing so, you can achieve faster development or QA environment refreshes, which provides a production-like environment to troubleshoot current production issues, and share data with partners. Amazon DocumentDB provides support for copying […]

2 дня, 4 часа назад @ aws.amazon.com
Best practices for converting a Single-AZ Amazon RDS instance to a Multi-AZ instance
Best practices for converting a Single-AZ Amazon RDS instance to a Multi-AZ instance

Many database users spend a considerable amount of time architecting their database for high availability. High availability is critical for business continuity. With the AWS Cloud, you can create highly available databases using Amazon Relational Database Service (Amazon RDS). Amazon RDS is a fully managed database service that makes it easy to set up, operate, […]

3 дня, 2 часа назад @ aws.amazon.com
Event-based fraud detection with direct customer calls using Amazon Connect
Event-based fraud detection with direct customer calls using Amazon Connect

Several recent surveys show that more than 80% of consumers prefer spending with a credit card over cash. Thanks to advances in AI and machine learning (ML), credit card fraud can be detected quickly, which makes credit cards one of the safest and easiest payment methods to use. The challenge with cards, however, is that […]

3 дня, 3 часа назад @ aws.amazon.com
Hackathons with AWS Cloud9: Collaboration simplified for your next big idea
Hackathons with AWS Cloud9: Collaboration simplified for your next big idea

Many organizations host ideation events to innovate and prototype new ideas faster. These events usually run for a short duration and involve collaboration between members of participating teams. By the end of the event, a successful demonstration of a working prototype is expected and the winner or the next steps are determined. Therefore, it’s important […]

5 дней, 22 часа назад @ aws.amazon.com
AWS
последний пост 1 час назад
Automate the archival and deletion of sensitive data using Amazon Macie
Automate the archival and deletion of sensitive data using Amazon Macie

Customers are looking for ways to securely and cost-efficiently manage large volumes of sensitive data archival and deletion in their data lake by following regulations and data protection and privacy laws, such as GDPR, POPIA, and LGPD. This post describes a way to automatically identify sensitive data stored in your data lake within AWS, tag […]

6 дней, 10 часов назад @ aws.amazon.com
Build patient outcome prediction applications using Amazon HealthLake and Amazon SageMaker
Build patient outcome prediction applications using Amazon HealthLake and Amazon SageMaker

Healthcare data can be challenging to work with and AWS customers have been looking for solutions to solve certain business challenges with the help of data and machine learning (ML) techniques. Some of the data is structured, such as birthday, gender, and marital status, but most of the data is unstructured, such as diagnosis codes […]

1 неделя назад @ aws.amazon.com
Build multi-class classification models with Amazon Redshift ML
Build multi-class classification models with Amazon Redshift ML

Amazon Redshift ML simplifies the use of machine learning (ML) by using simple SQL statements to create and train ML models from data in Amazon Redshift. You can use Amazon Redshift ML to solve binary classification, multi-class classification, and regression problems and can use either AutoML or XGBoost directly. This post is part of a […]

1 неделя назад @ aws.amazon.com
DOCOMO empowers business units with self-service knowledge access thanks to agile AWS QuickSight business intelligence
DOCOMO empowers business units with self-service knowledge access thanks to agile AWS QuickSight business intelligence

NTT DOCOMO is the largest telecom company in Japan. It provides innovative, convenient, and secure mobile services that enable customers to realize smarter lives. More than 73 million customers in Japan connect through its advanced wireless networks, including a nationwide LTE network and one of the world’s most progressive LTE Advanced networks. In addition to […]

1 неделя назад @ aws.amazon.com
RedisConf Wrap Up
RedisConf Wrap Up

We had a great time at RedisConf 2021. AWS was proud to participate as a platinum sponsor this year. Thanks to those of you who joined us at the conference—we enjoyed seeing you there virtually! This year, our Amazon ElastiCache experts led five sessions focused on technical deep dives on Redis, best practices for ElastiCache, […]

1 неделя назад @ aws.amazon.com
How to run an AI powered musical challenge: “AWS DeepComposer Got Talent”
How to run an AI powered musical challenge: “AWS DeepComposer Got Talent”

To help you fast track your company’s adoption of machine learning (ML), AWS offers educational solutions for developers to get hands-on experience. We like to think of these programs as a fun way for developers to build their skills using ML technologies in real world scenarios. In this post, we walk you through how to […]

1 неделя назад @ aws.amazon.com
Choosing a CI/CD approach: AWS Services with BigHat Biosciences
Choosing a CI/CD approach: AWS Services with BigHat Biosciences

Founded in 2019, BigHat Biosciences’ mission is to improve human health by reimagining antibody discovery and engineering to create better antibodies faster. Their integrated computational + experimental approach speeds up antibody design and discovery by combining high-speed molecular characterization with machine learning technologies to guide the search for better antibodies. They apply these design capabilities […]

1 неделя назад @ aws.amazon.com
Choosing a Well-Architected CI/CD approach: Open-source software and AWS Services
Choosing a Well-Architected CI/CD approach: Open-source software and AWS Services

Take a Well-Architected approach to make an informed decision when choosing to implement CI/CD using open-source tools on AWS services, using managed AWS services, or a combination of both. We will look at key considerations for evaluating open-source software and AWS Services using the perspectives of a startup company, and a mature company, as examples. These will give you two very different points of view that you can use to compare to your own organization. To make this investigation easier we will use Continuous Integration (CI) and Continuous Delivery (CD) capabilities as the target of our investigation. In our next two blog posts we will follow two AWS customers Iponweb and BigHat Bi…

1 неделя назад @ aws.amazon.com
Build and deploy .NET web applications to ARM-powered AWS Graviton 2 Amazon ECS Clusters using AWS CDK
Build and deploy .NET web applications to ARM-powered AWS Graviton 2 Amazon ECS Clusters using AWS CDK

With .NET providing first-class support for ARM architecture, running .NET applications on an AWS Graviton processor provides you with more choices to help optimize performance and cost. We have already written about .NET 5 with Graviton benchmarks; in this post, we explore how C#/.NET developers can take advantages of Graviton processors and obtain this performance […]

1 неделя назад @ aws.amazon.com
Develop and deploy ML models using Amazon SageMaker Data Wrangler and Amazon SageMaker Autopilot
Develop and deploy ML models using Amazon SageMaker Data Wrangler and Amazon SageMaker Autopilot

Data generates new value to businesses through insights and building predictive models. However, although data is plentiful, available data scientists are far and few. Despite our attempts in recent years to produce data scientists from academia and elsewhere, we still see a huge shortage that will continue into the near future. To accelerate model building, […]

1 неделя, 1 день назад @ aws.amazon.com
Amazon Redshift identity federation with multi-factor authentication
Amazon Redshift identity federation with multi-factor authentication

Password-based access control alone is not considered secure enough, and many organizations are adopting multi-factor authentication (MFA) and single sign-on (SSO) as a de facto standard to prevent unauthorized access to systems and data. SSO frees up time and resources for both administrators and end users from the painful process of password-based credential management. MFA […]

1 неделя, 1 день назад @ aws.amazon.com
Use AWS Systems Manager to improve Microsoft AD stability
Use AWS Systems Manager to improve Microsoft AD stability

Use a distributed Microsoft Active Directory to authenticate workloads on AWS.

1 неделя, 1 день назад @ aws.amazon.com
Save costs by automatically shutting down idle resources within Amazon SageMaker Studio
Save costs by automatically shutting down idle resources within Amazon SageMaker Studio

Amazon SageMaker Studio provides a unified, web-based visual interface where you can perform all machine learning (ML) development steps, making data science teams up to 10 times more productive. Studio gives you complete access, control, and visibility into each step required to build, train, and deploy models. Studio notebooks are collaborative notebooks that you can […]

1 неделя, 1 день назад @ aws.amazon.com
Building an ARM64 Rust development environment using AWS Graviton2 and AWS CDK
Building an ARM64 Rust development environment using AWS Graviton2 and AWS CDK

2020 was the year that ARM chips made the headlines by moving from largely mobile form factors into the cloud thanks to AWS Graviton2, allowing you to have up to 40% better price performance over comparable current generation x86 Amazon Elastic Compute Cloud (Amazon EC2) and Amazon Relational Database Service (Amazon RDS) instances. We speak […]

1 неделя, 2 дня назад @ aws.amazon.com
Deliver personalized customer support experiences with Amazon Connect, Amazon Lex, and Salesforce
Deliver personalized customer support experiences with Amazon Connect, Amazon Lex, and Salesforce

The last year has made delivering high-quality customer contact center support extremely challenging. Consumers have increasingly abandoned brick-and-mortar retail shopping and traditional banking in favor of digitally enabled experiences, which brings unprecedented call volumes to contact centers. In many cases, call center staff are also working remotely, which makes it even more difficult to meet […]

1 неделя, 2 дня назад @ aws.amazon.com
Astronomer Astronomer
последний пост 1 неделя, 3 дня назад
How Zapier Leverages Airflow with Astronomer
How Zapier Leverages Airflow with Astronomer

Discover the story of our cooperation with Zapier that provides seemingly endless options for point-and-click workflow automation.

1 неделя, 3 дня назад @ astronomer.io
Cross-DAG Dependencies
Cross-DAG Dependencies

How to implement dependencies between your Airflow DAGs.

1 неделя, 3 дня назад @ astronomer.io
Testing Airflow DAGs
Testing Airflow DAGs

How to apply test-driven development practices to your Airflow DAGs.

3 недели, 2 дня назад @ astronomer.io
Airflow and Ray: A Data Science Story
Airflow and Ray: A Data Science Story

We're pleased to announce a Ray provider for Apache Airflow that allows users to transform their Airflow DAGs into scalable machine learning pipelines.

1 месяц назад @ astronomer.io
Everything You Need to Know about the Airflow Summit 2021
Everything You Need to Know about the Airflow Summit 2021

Join Airflow Summit 2021 — a free online conference for the worldwide community of developers and users of Apache Airflow.

1 месяц, 1 неделя назад @ astronomer.io
Validate your Apache Airflow Skills with the Astronomer Certification
Validate your Apache Airflow Skills with the Astronomer Certification

Boost your career and learn to run a data pipeline by getting Apache Airflow certified with the Astronomer Certification for Apache Airflow Fundamentals.

1 месяц, 1 неделя назад @ astronomer.io
Using Task Groups in Airflow
Using Task Groups in Airflow

Using Task Groups to build modular workflows in Airflow.

1 месяц, 1 неделя назад @ astronomer.io
The New KubernetesExecutor
The New KubernetesExecutor

We give you a tour of the new features in the KubernetesExecutor 2.0. Spoiler alert — it's faster, more flexible, and easier to understand.

1 месяц, 3 недели назад @ astronomer.io
How Cloud Agronomics Processed 5x More Data with Astronomer
How Cloud Agronomics Processed 5x More Data with Astronomer

Astronomer Platform integration with Microsoft Azure for an AgTech startup confronting climate change one pipeline at a time.

2 месяца назад @ astronomer.io
Custom XCom Backends
Custom XCom Backends

Creating a custom XCom backend with Airflow 2.0.

2 месяца, 1 неделя назад @ astronomer.io
Airflow Providers
Airflow Providers

With the introduction of Airflow 2.0, providers are now delivered as separate but connected Python packages.

2 месяца, 1 неделя назад @ astronomer.io
Announcing the Astronomer Registry
Announcing the Astronomer Registry

Today, we're excited to release our discovery and distribution hub for Apache Airflow integrations.

2 месяца, 2 недели назад @ astronomer.io
TaskFlow API in Airflow 2.0
TaskFlow API in Airflow 2.0

Learn how the TaskFlow API in Airflow 2.0 enables a better DAG authoring experience.

2 месяца, 3 недели назад @ astronomer.io
Passing Data Between Airflow Tasks
Passing Data Between Airflow Tasks

Methods for sharing metadata and information between tasks in your Apache Airflow DAGs.

3 месяца, 1 неделя назад @ astronomer.io
Deploying Kedro Pipelines to Apache Airflow
Deploying Kedro Pipelines to Apache Airflow

How to use the kedro-airflow plugin to change your Kedro pipelines into Apache Airflow DAGs and deploy them to a production environment.

3 месяца, 1 неделя назад @ astronomer.io
DBT — Data Build Tool DBT — Data Build Tool
последний пост 2 недели, 1 день назад
dbt + Materialize: Streaming to a dbt project near you
dbt + Materialize: Streaming to a dbt project near you dbt + Materialize: Streaming to a dbt project near you

Our friends at Materialize, the world’s first SQL-platform for processing streaming data, have officially launched a new dbt adapter, now available in open beta. Together, we’re opening the door for analysts to become first-class creators and users of streaming analytics.

2 недели, 1 день назад @ blog.getdbt.com
Analytics Engineering for Everyone: Databricks in dbt Cloud
Analytics Engineering for Everyone: Databricks in dbt Cloud Analytics Engineering for Everyone: Databricks in dbt Cloud

This SQL-first integration with Databricks means that analysts can build fully automated data pipelines in the same space that data engineers & data scientists work in their preferred frameworks.

1 месяц, 2 недели назад @ blog.getdbt.com
Announcing Staging: dbt Demo Days
Announcing Staging: dbt Demo Days Announcing Staging: dbt Demo Days

Staging is a ✨new✨ quarterly event that brings dbt users (that’s you!) into the product development lifecycle (where I spend my days 😅).

5 месяцев назад @ blog.getdbt.com
The Modern Data Stack: Past, Present, and Future
The Modern Data Stack: Past, Present, and Future The Modern Data Stack: Past, Present, and Future

My thoughts on where our space has been and where it might be going.

6 месяцев, 2 недели назад @ blog.getdbt.com
dbt + Databricks: Bringing analytics engineering to the lakehouse
dbt + Databricks: Bringing analytics engineering to the lakehouse dbt + Databricks: Bringing analytics engineering to the lakehouse

Spark for analytics, for real: now in dbt Cloud

7 месяцев, 1 неделя назад @ blog.getdbt.com
A License to build the future
A License to build the future A License to build the future

Fishtown Analytics has raised $29.5m in a Series B financing. New investor Sequoia Capital led the round with existing investors Andreessen Horowitz and Amplify Partners participating. Matt Miller of Sequoia joined our board.

7 месяцев, 1 неделя назад @ blog.getdbt.com
There is no such thing as a “non-technical” data analyst
There is no such thing as a “non-technical” data analyst There is no such thing as a “non-technical” data analyst

Translating business logic into code is technical knowledge. Building a marketing attribution model, forecasting, or calculating MRR is technical knowledge. Understanding the inner workings of the business is technical knowledge. So...is there such a thing as a non-technical data analyst?

7 месяцев, 3 недели назад @ blog.getdbt.com
Here’s what we learned from reviewing ~100 conference pitches
Here’s what we learned from reviewing ~100 conference pitches Here’s what we learned from reviewing ~100 conference pitches

Our thoughts on what makes a great conference pitch and lessons for future iterations of Coalesce.

7 месяцев, 4 недели назад @ blog.getdbt.com
Slack DMs: George and Tristan discuss the future of Fivetran and dbt
Slack DMs: George and Tristan discuss the future of Fivetran and dbt Slack DMs: George and Tristan discuss the future of Fivetran and dbt

Fivetran's new native integration with dbt seems to be directly competitive with Fishtown Analytics' commercial offering, dbt Cloud, but is it? Here's why we don't see it that way, and why we think this is a great thing for the ecosystem.

8 месяцев назад @ blog.getdbt.com
Welcome to the dbt ecosystem
Welcome to the dbt ecosystem Welcome to the dbt ecosystem

Two amazing companies in the modern data stack–Fivetran and Census–have launched major integrations with dbt. Here's why I'm excited about this.

8 месяцев, 4 недели назад @ blog.getdbt.com
How I set up my conformed dimensional models
How I set up my conformed dimensional models How I set up my conformed dimensional models

A startup's guide to modeling data following Kimball best practices

9 месяцев назад @ blog.getdbt.com
FiveTran FiveTran
последний пост 10 часов назад
Pride Month Spotlight: Travis Hatfield
Pride Month Spotlight: Travis Hatfield

Our teammate Travis shares what Pride means to him and shouts out unsung heroes in the LGBTQ+ community.

10 часов назад @ fivetran.com
Centralizing Your Data With Fivetran and Salesforce Customer 360
Centralizing Your Data With Fivetran and Salesforce Customer 360

Customer 360 allows you to build a comprehensive picture of how customers interact with your company.

1 день, 10 часов назад @ fivetran.com
Paul Hewitt accelerates eCommerce with Fivetran & Databricks
Paul Hewitt accelerates eCommerce with Fivetran & Databricks

The jewellery and accessory brand built an architecture to turn the company into a data-driven business

1 день, 16 часов назад @ fivetran.com
When to Use NoSQL and MongoDB
When to Use NoSQL and MongoDB

What is MongoDB used for? Learn how MongoDB and its Fivetran connector can help you.

3 дня, 10 часов назад @ fivetran.com
SQL vs. NoSQL: Database Differences Explained
SQL vs. NoSQL: Database Differences Explained

What is NoSQL, and what does it bring to the table?

6 дней, 10 часов назад @ fivetran.com
Fivetran: The Secret Sauce Behind Databricks’ Marketing Analytics Growth
Fivetran: The Secret Sauce Behind Databricks’ Marketing Analytics Growth

The team transitioned from siloed warehouse data hell to a modern data lakehouse.

1 неделя назад @ fivetran.com
From Cloud Revolution to the Democratization of Data
From Cloud Revolution to the Democratization of Data

Three thought leaders explore how cloud technology is reshaping data architecture and revolutionizing analytics.

1 неделя назад @ fivetran.com
How to Develop a Data-Driven Marketing Culture
How to Develop a Data-Driven Marketing Culture

Help your team develop the appropriate skills to win in the age of data-driven marketing.

1 неделя назад @ fivetran.com
How to Thrive in Tech and Raise Happy Kids
How to Thrive in Tech and Raise Happy Kids

With the right workplace culture and team support, it’s possible to be ambitious at work and engaged at home.

1 неделя, 1 день назад @ fivetran.com
ETL Platform Alternatives: Fivetran vs. Informatica and More
ETL Platform Alternatives: Fivetran vs. Informatica and More

Some popular data integration tools compared

1 неделя, 2 дня назад @ fivetran.com
Announcing Business Critical Fivetran for Snowflake Customers
Announcing Business Critical Fivetran for Snowflake Customers

Address enterprise security requirements with customer-managed keys, AWS PrivateLink and additional compliance certifications.

1 неделя, 2 дня назад @ fivetran.com
The Modern Data Stack in 2025
The Modern Data Stack in 2025

Fivetran CEO George Fraser contemplates how analytics technology is likely to evolve over the next five years.

1 неделя, 6 дней назад @ fivetran.com
Seven Benefits of Marketing Analytics
Seven Benefits of Marketing Analytics

Marketing analytics enables personalization, but what other benefits does it offer — and how relevant are they to your department?

1 неделя, 6 дней назад @ fivetran.com
What Connectors Does Your ETL Tool Need?
What Connectors Does Your ETL Tool Need?

Make sure your data integration solution can connect to critical data sources

2 недели назад @ fivetran.com
Mental Health Awareness Month Spotlight: Nora Gentry
Mental Health Awareness Month Spotlight: Nora Gentry

Solution Architect Nora Gentry discusses her career path and approach to emotional well-being.

3 недели назад @ fivetran.com
Mix
/r/DataEngineering
последний пост 2 часа назад
How to solve this SQL question
How to solve this SQL question

Saw this question online and wasn't able to wrap my head around how to solve this. Given we have a table employee_name | department | salary Chris | Product Management | $150k Sarah | Product Management | $100k Alex | Engineering | $100k Bob |Marketing | $130k Isacc | Engineering | $100k Mike | Legal | $70k We want to rank the employees in the Product Management department by how many employees in other departments make $30,000 less. OUTPUT: employee_name | count The result for the above table is Chris | 3 (Alex, Isacc, Mike) Sarah | 1 (only mike) submitted by /u/brownstrom [link] [comments]

2 часа назад @ reddit.com
What do we need to know to become good in MDM, DL, and MD?
What do we need to know to become good in MDM, DL, and MD?

Starting on a role in Metadata, MDM, and Data Lineage in a month. How good are these as a career path? What do we need to know to become good in these domains? Any good resources and links would be much appreciated. submitted by /u/nachiketas_ [link] [comments]

2 часа назад @ reddit.com
DMD isn't as flexible as you think... (Koopman operator discussion)
DMD isn't as flexible as you think... (Koopman operator discussion)

submitted by /u/AcademicOverAnalysis [link] [comments]

3 часа назад @ reddit.com
Mature data engineering MSc Student
Mature data engineering MSc Student

Hi All, I'm a mature Data Engineering MSc Student in Edinburgh UK. I'm doing a part time MSc so finish in September next year. I've completed one course - data wrangling with lots of Python and Machine learning, I really enjoyed it and ended up averaging 80% Which absolutely blew my mind and gave me loads of confidence. I'm 36 and have a background in Digital Marketing so I'll be looking to go into the workspace in Scotland as a novice in the field. A bit scary, but I've always been 'that geeky guy in the office' who was really good with analytics and I wanted to take that somewhere. Does anyone have advice on any steps I should be taking while studying to help me when applying for roles? T…

3 часа назад @ reddit.com
Data for social media analytics?
Data for social media analytics?

Hi all, I work as a data engineer at a small startup that is looking to grow through influencers and social media. I want to find ways to be more strategic in this strategy by utilizing data. Perhaps I'd like to be able to look at an influencer's follower count over time, or maybe engagement rates of their posts, or aggregate reach across several influencers. My questions are: is there a smarter way to collect this data other than connecting to social media platform's individual APIs and loading raw data into our data warehouse? Is such data even worth warehousing? More importantly, are there any mature tools in this space that would be less labor intensive to use? Has anyone tackled someth…

4 часа назад @ reddit.com
I wrote a children's book / illustrated guide to Apache Kafka
I wrote a children's book / illustrated guide to Apache Kafka

hi fellow Data Engineers, just wanted to share a beginner-friendly resource that I've been working on for Apache Kafka. I spent 3 months illustrating this digital book, which I'm calling Gently Down the Stream: http://www.gentlydownthe.stream/ I know that normal tech books that span hundreds of pages are often intimidating for beginners (I wrote one of those too, btw: http://kafka-streams-book.com/). So I just wanted to create something a little simpler, more colorful, playful, and fun. Hope you enjoy it! submitted by /u/mitchum_ [link] [comments]

6 часов назад @ reddit.com
Yet another modern data stack
Yet another modern data stack Yet another modern data stack

submitted by /u/databandai [link] [comments]

7 часов назад @ reddit.com
Create a data dictionary for free
Create a data dictionary for free

We just built a way to create a bi-directional data dictionary for free. With the data dictionary, you can create a standardized place for your company's metrics where you can document any details about that metric such as the SQL to calculate, the definition in plain English, and anything else that may be relevant. Once a metric is defined, you can tag it in the definition for a data resource to create a bi-directional relationship. You can read our article about this feature here and we invite you to try it if you're interested: https://www.secoda.co/blog/create-a-data-dictionary submitted by /u/secodaHQ [link] [comments]

8 часов назад @ reddit.com
What are the prerequisites to read this book (Designing Data-Intensive Applications)?
What are the prerequisites to read this book (Designing Data-Intensive Applications)?

I am planning to read this book as I am into data engineering. I have nearly 10 months to learn big data. I have worked as a FE developer for one year and also know python and sql and basic concepts of database design. My question is that ,is it okay for me to read this book now? or there is some prerequisites I should learn to read this book? ​ https://www.amazon.com/Designing-Data-Intensive-Applications-Reliable-Maintainable-ebook/dp/B06XPJML5D#customerReviews submitted by /u/Shyprogrammer1 [link] [comments]

16 часов назад @ reddit.com
Learn to create Data Pipe line for Beginners - Projects Based Learning
Learn to create Data Pipe line for Beginners - Projects Based Learning Learn to create Data Pipe line for Beginners - Projects Based Learning

submitted by /u/Ok-Ball3395 [link] [comments]

18 часов назад @ reddit.com
Has anyone got a membership of "sqlpad.io " and would like to share creds 😜? Need to practice SQL. My free tier is over 🙂
Has anyone got a membership of "sqlpad.io " and would like to share creds 😜? Need to practice SQL. My free tier is over 🙂

PLease PLEAse PLESAEEEE. !!! submitted by /u/toTheMoon1Dollar [link] [comments]

18 часов назад @ reddit.com
Does big data requires advanced programming knowledge?
Does big data requires advanced programming knowledge?

I have read articles where they say that big data requires advanced programming knowledge. What do they mean by that? Do they mean data structures and algorithms or do they mean many languages? or what do they mean exactly? If yes what should I do to develop that skill? submitted by /u/Shyprogrammer1 [link] [comments]

20 часов назад @ reddit.com
Facebook DE On-site (virtual) - Need Guidance
Facebook DE On-site (virtual) - Need Guidance

I am sure the community may be tired of reading the same type of post but hope you will give me a chance.. Hello, I have #facebook #dataengineer on-site interview (virtual) coming up in 2 weeks. I have gone through the preparation guide shared by the recruiter; however, I am unsure about the coding/ETL round expectations. The recruiter explained in lines of following - Streaming / Batch processing UDF Custom reducer step However, as I do not have much experience in streaming/batch processing or building reducer steps, I am not sure how I should start in the first place. I did a keyword search on the internet but there are many tools used in data processing whereas the recruiter has recommen…

20 часов назад @ reddit.com
I wanna know about the entire big data pipe line
I wanna know about the entire big data pipe line

Hey guys. I am a newbie starting to learn big data/data engineering stuff. I know some sql and its database design and very good in python. I wanna keep it motivating. So before jumping straight into the big data tutorials ,I wanna know about the entire big data pipe line like from the start till the end. I know there are some websites I can google to find out. And I have. But I wanna hear it from my fellow redditors here as i feel the answers here are somewhat more appropriate as people here answer more in a practical way and also easy to understand. So can you guys please give me a step by step procedure on how its done and what all are the technologies being used and which is the best(I …

21 час назад @ reddit.com
Getting my First job as a DE
Getting my First job as a DE

Hello everyone, I have a bachelor degree in Computer Science and I've been working as a full stack developer for the last 5 years. I have experience with Python and PostgreSQL and I've worked in a project that used Kafka and Kafka streams for displaying real time data. I also created a DW using Pentaho and Mondrian but I think they are not very popular right now. I would like to work as a data engineer but all the job offers I saw require at least 2 years of experience. What could help in this case? I saw in other posts that having a master degree is not needed and it's best to have experience, but I can't gain it without having a DE work. I also saw that it could be good idea to create a d…

22 часа назад @ reddit.com
Towards Data Science Towards Data Science
последний пост 2 часа назад
Facial Recognition Inference Pipeline for Sentiment Analysis
Facial Recognition Inference Pipeline for Sentiment Analysis Facial Recognition Inference Pipeline for Sentiment Analysis

Automated Classification of Facial Recognition TilesContinue reading on Towards Data Science »

2 часа назад @ towardsdatascience.com
7 Common File System Operations You Can Do With Python
7 Common File System Operations You Can Do With Python 7 Common File System Operations You Can Do With Python

Use the OS and Pathlib modules to automate tasks with Python.Continue reading on Towards Data Science »

2 часа назад @ towardsdatascience.com
Generate Simulated Dataset for Linear Model in R
Generate Simulated Dataset for Linear Model in R Generate Simulated Dataset for Linear Model in R

Photo by CHUTTERSNAP on UnsplashWhen the real dataset is hard to find, simulate it.MotivationIn these recent years, research about Machine Learning (ML) has increased along with the increased computation capability. As a result, there is much development in some of the ML models — if not inventing a new model — that performs better than the traditional model.One of the main problems that the researchers usually encountered when trying to implement the proposed model is the lack of the proper real-world dataset that follows the model’s assumptions. Or in the other case, the real-world dataset exists, but the dataset itself is very expensive and hard to collect.To overcome those problems, the…

3 часа назад @ towardsdatascience.com
Converting Emojis to Text
Converting Emojis to Text Converting Emojis to Text

Using Emot to convert emoticons to text descriptionContinue reading on Towards Data Science »

3 часа назад @ towardsdatascience.com
Experts Debunk (Even More!) Data Science Myths
Experts Debunk (Even More!) Data Science Myths Experts Debunk (Even More!) Data Science Myths

More Alternative Hypotheses from Experts on the Data Science Mixer PodcastPhoto by Sergio Capuzzimati on UnsplashIs machine learning the actual focus of data scientists’ everyday work? Do you need to learn all the things to be a data scientist? And, most importantly: Do data scientists have a sense of humor?On the Data Science Mixer podcast, I always ask our expert guests the same question in our “Alternative Hypothesis” segment: “What’s one thing that people think is true about data science or about being a data scientist that you have found to be incorrect?” (Be sure to check out the first roundup of debunked myths, too.)Amazingly, we always get a fresh response. It seems there are enough…

3 часа назад @ towardsdatascience.com
Transfer Learning with VGG16 and Keras
Transfer Learning with VGG16 and Keras Transfer Learning with VGG16 and Keras

How to use a state-of-the-art trained NN to solve your image classification problemThe main goal of this article is to demonstrate with code and examples how can you use an already trained CNN (convolutional neural network) to solve your specific problem.Convolutional Networks are great for image problems however, they are computationally expensive if you use a big architecture and don’t have a GPU. For that, we have two solutions:GPUsGPUs are much more efficient to train NNs but they are not that common on regular computers. So that is where google colab come to save us. They offer virtual machines with GPUs up to 16 GB of RAM and the best part of it all: It is Free.But even with those upg…

3 часа назад @ towardsdatascience.com
State Of The Art of Speech Synthesis at the End of May 2021
State Of The Art of Speech Synthesis at the End of May 2021 State Of The Art of Speech Synthesis at the End of May 2021

Presentation of the state of the art in speech synthesis research at the end of May 2021 with a focus on deep learning technologies. I…Continue reading on Towards Data Science »

3 часа назад @ towardsdatascience.com
How to delete your saved workspace in R
How to delete your saved workspace in R How to delete your saved workspace in R

Clearing the workspace you just can’t shakeContinue reading on Towards Data Science »

3 часа назад @ towardsdatascience.com
The Beginner’s Guide to the Modern Data Stack
The Beginner’s Guide to the Modern Data Stack The Beginner’s Guide to the Modern Data Stack

A curated list of blogs, books, newsletters, podcasts, and communities for all things modern data stackPhoto by Melanie Deziel on UnsplashRecently, one of our new hires at Atlan asked me, “What are the resources you recommend for me to stay on top of what’s happening in the modern data stack?”The modern data stack is messy and complicated, and it’s changing every day. There’s tons of news about it, and it’s hard to separate the hype and noise from reality.Here’s how our team keeps in touch with the latest news and trends.Modern Data Stack 101The Building Blocks of a Modern Data PlatformMy blog post is a beginner’s guide to defining a modern data platform, the key building blocks of a modern…

4 часа назад @ towardsdatascience.com
Building Reproducible Machine Learning Pipelines
Building Reproducible Machine Learning Pipelines Building Reproducible Machine Learning Pipelines

How to safely deploy machine learning ModelsContinue reading on Towards Data Science »

4 часа назад @ towardsdatascience.com
Get your conda environment to show in Jupyter Notebooks — the “easy way”
Get your conda environment to show in Jupyter Notebooks — the “easy way” Get your conda environment to show in Jupyter Notebooks — the “easy way”

and some other ways……Continue reading on Towards Data Science »

5 часов назад @ towardsdatascience.com
What can Kevin Durant teach about the probability of a probability?
What can Kevin Durant teach about the probability of a probability? What can Kevin Durant teach about the probability of a probability?

What can basketball wiz Kevin Durant teach about the probability of a probability?Let’s use Kevin Durant’s three-point stat line from last Sunday’s game to understand beta distributions.BackgroundLast Sunday, the Milwaukee Bucks pipped the Brooklyn nets by 11 points to tie the eastern conference semi-finals at 2–2. Yet again, Nets star forward Kevin Durant put up splendid numbers but was atypically crummy from the three-point line. Durant’s a phenomenal, extraordinarily efficient scorer, amongst the greatest ever, so it was peculiar to see him make only one of his eight three-point attempts. According to regression to the mean, Durant will plausibly reverse his stat-line to even out things.…

6 часов назад @ towardsdatascience.com
6 Sklearn Mistakes That Silently Tell You Are a Rookie
6 Sklearn Mistakes That Silently Tell You Are a Rookie 6 Sklearn Mistakes That Silently Tell You Are a Rookie

No error messages — that’s what makes them subtle…Continue reading on Towards Data Science »

7 часов назад @ towardsdatascience.com
How to Build a Decentralized Data Platform
How to Build a Decentralized Data Platform How to Build a Decentralized Data Platform

One data engineering team’s approach to balancing the needs for a self-service platform with end-to-end data trust.Image courtesy of Max on Unsplash.Data platforms have made data more accessible and actionable than ever before — assuming you can trust it. Here’s how the Data Engineering team at Auto Trader built a data platform with both decentralized data ownership and reliability in mind.Manchester-based Auto Trader is the largest digital automotive marketplace in the United Kingdom and Ireland. For Auto Trader, connecting millions of buyers with thousands of sellers involves an awful lot of data.The company sees 235 million advertising views and 50 million cross-platform visitors per mon…

8 часов назад @ towardsdatascience.com
11 Dplyr Functions to Start Using Right Now in R
11 Dplyr Functions to Start Using Right Now in R 11 Dplyr Functions to Start Using Right Now in R

Improve your data wrangling efficiency in leaps and boundsContinue reading on Towards Data Science »

8 часов назад @ towardsdatascience.com
DataBricks DataBricks
последний пост 1 день, 5 часов назад
Solution Accelerator: Toxicity Detection in Gaming
Solution Accelerator: Toxicity Detection in Gaming Solution Accelerator: Toxicity Detection in Gaming

Across massively multiplayer online video games (MMOs), multiplayer online battle arena games (MOBAs) and other forms of online gaming, players continuously interact in real time to either coordinate or compete as they move toward a common goal — winning. This interactivity is integral to game play dynamics, but at the same time, it’s a prime...

The post Solution Accelerator: Toxicity Detection in Gaming appeared first on Databricks.

1 день, 5 часов назад @ databricks.com
How to Build a Scalable Wide and Deep Product Recommender
How to Build a Scalable Wide and Deep Product Recommender How to Build a Scalable Wide and Deep Product Recommender

Download the notebooks referenced throughout this article. I have a favorite coffee shop I’ve been visiting for years. When I walk in, the barista knows me by name and asks if I’d like my usual drink. Most of the time, the answer is “yes”, but every now and then, I see they have some seasonal...

The post How to Build a Scalable Wide and Deep Product Recommender appeared first on Databricks.

1 неделя, 1 день назад @ databricks.com
Machine Learning-based Item Matching for Retailers and Brands
Machine Learning-based Item Matching for Retailers and Brands Machine Learning-based Item Matching for Retailers and Brands

Item matching is a core function in online marketplaces. To ensure an optimized customer experience, retailers compare new and updated product information against existing listings to ensure consistency and avoid duplication. Online retailers may also compare their listings with those of their competitors to identify differences in price and inventory. Suppliers making products available across...

The post Machine Learning-based Item Matching for Retailers and Brands appeared first on Databricks.

3 недели, 3 дня назад @ databricks.com
Improving Customer Experience With Transaction Enrichment
Improving Customer Experience With Transaction Enrichment Improving Customer Experience With Transaction Enrichment

The retail banking landscape has dramatically changed over the past five years with the accessibility of open banking applications, mainstream adoption of Neobanks and the recent introduction of tech giants into the financial services industry. According to a recent Forbes article, millennials now represent 75% of the global workforce, and “71% claim they’d “rather go...

The post Improving Customer Experience With Transaction Enrichment appeared first on Databricks.

1 месяц, 1 неделя назад @ databricks.com
Building Forward-Looking Intelligence With External Data
Building Forward-Looking Intelligence With External Data Building Forward-Looking Intelligence With External Data

This post was written in collaboration with the Foursquare data team. We thank co-author Javier Soliz, sales engineer specializing in data engineering and geospatial analysis at Foursquare, for his contribution. “In an interlocked global economy, triggering events can quickly set off a chain reaction,” wrote Boston Consulting Group in early 2020 as the world...

The post Building Forward-Looking Intelligence With External Data appeared first on Databricks.

1 месяц, 1 неделя назад @ databricks.com
Data-driven Software: Towards the Future of Programming in Data Science
Data-driven Software: Towards the Future of Programming in Data Science Data-driven Software: Towards the Future of Programming in Data Science

This is a guest authored post by Tim Hunter, data scientist, and Rocío Ventura Abreu, data scientist, of ABN AMRO Bank N.V. Data science is now placed at the center of business decision making thanks to the tremendous success of data-driven analytics. However, more stringent expectations around data quality control, reproducibility, auditability and ease of...

The post Data-driven Software: Towards the Future of Programming in Data Science appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
What’s New in Apache Spark™ 3.1 Release for Structured Streaming
What’s New in Apache Spark™ 3.1 Release for Structured Streaming What’s New in Apache Spark™ 3.1 Release for Structured Streaming

Along with providing the ability for streaming processing based on Spark Core and SQL API, Structured Streaming is one of the most important components for Apache Spark™. In this blog post, we summarize the notable improvements for Spark Streaming in the latest 3.1 release, including a new streaming table API, support for stream-stream join and...

The post What’s New in Apache Spark™ 3.1 Release for Structured Streaming appeared first on Databricks.

1 месяц, 3 недели назад @ databricks.com
Monte Carlo Data Monte Carlo Data
последний пост 15 часов назад
Monte Carlo and PagerDuty Integration Brings DevOps to Data Pipelines with End-to-End Data Observability
Monte Carlo and PagerDuty Integration Brings DevOps to Data Pipelines with End-to-End Data Observability

Monte Carlo's PagerDuty integration helps data engineering teams achieve greater visibility into the end-to-end health of their data pipelines.

15 часов назад @ montecarlodata.com
Delivering More Reliable Data Pipelines with PagerDuty and Monte Carlo
Delivering More Reliable Data Pipelines with PagerDuty and Monte Carlo

As more companies rely on more data to drive their product development and strategic decision making, it’s never been more important for this data to be trusted and accurate. With Monte Carlo and PagerDuty’s integration, data teams can achieve reliable data through automated lineage, real-time monitoring and alerting, and, ultimately, end-to-end data observability. Over the […]

15 часов назад @ montecarlodata.com
Scaling Data Trust: How Auto Trader Migrated to a Decentralized Data Platform with Monte Carlo
Scaling Data Trust: How Auto Trader Migrated to a Decentralized Data Platform with Monte Carlo

With Data Observability, Auto Trader scaled data trust and ownership across their self-service data platform.

15 часов назад @ montecarlodata.com
How to Meet Your Data Reliability OKRs with Monte Carlo’s Service-Level Indicators (SLIs)
How to Meet Your Data Reliability OKRs with Monte Carlo’s Service-Level Indicators (SLIs)

Set data quality OKRs and achieve greater data trust with Monte Carlo's new SLIs.

1 день, 21 час назад @ montecarlodata.com
Announcing the 2021 Data Platform Trends Report
Announcing the 2021 Data Platform Trends Report

Building a data platform? We've got you covered.

2 недели назад @ montecarlodata.com
Monte Carlo Brings Data Observability to Data Lakes with New Databricks Integration
Monte Carlo Brings Data Observability to Data Lakes with New Databricks Integration

Monte Carlo's new Databricks integration allows data teams to achieve end-to-end observability and automated lineage across their data lake environments.

2 недели назад @ montecarlodata.com
Blinkist Chooses Monte Carlo to Deliver More Reliable Data Pipelines Through Data Observability
Blinkist Chooses Monte Carlo to Deliver More Reliable Data Pipelines Through Data Observability

Blinkist saves 120 hours of engineering time per week with Monte Carlo.

4 недели назад @ montecarlodata.com
Beyond Monitoring: The Rise of Observability
Beyond Monitoring: The Rise of Observability

Here’s how observability differs from traditional monitoring and why it’s necessary for building more trustworthy and reliable data products.

4 недели, 1 день назад @ montecarlodata.com
How AutoTrader builds a more reliable data platform with Monte Carlo
How AutoTrader builds a more reliable data platform with Monte Carlo

Here's how Ed Kent, Principal Developer at Auto Trader UK, is scaling his team's data platform with reliability and trust in mind using Monte Carlo.

1 месяц назад @ montecarlodata.com
How to Extract Data Observability Metrics from Snowflake Using SQL
How to Extract Data Observability Metrics from Snowflake Using SQL

Monitor the health of your Snowflake data pipelines with these simple queries.

1 месяц назад @ montecarlodata.com
Monte Carlo Named a Best Workplace for 2021 By Inc. Magazine
Monte Carlo Named a Best Workplace for 2021 By Inc. Magazine

The Data Observability leader was also named recognized as winner in the On the Rise category of emerging companies

1 месяц назад @ montecarlodata.com
How to Conduct Incident Management for Data Teams
How to Conduct Incident Management for Data Teams

4 steps to identify, root cause, and fix data quality issues at scale

1 месяц, 1 неделя назад @ montecarlodata.com
Delivering End-to-End Data Trust with Snowflake and Monte Carlo
Delivering End-to-End Data Trust with Snowflake and Monte Carlo

With Monte Carlo and Snowflake’s strategic partnership, teams can finally trust their data through end-to-end Data Observability.

1 месяц, 2 недели назад @ montecarlodata.com
Monte Carlo and Snowflake partner to help organizations achieve more trustworthy data
Monte Carlo and Snowflake partner to help organizations achieve more trustworthy data

Monte Carlo’s Data Observability platform gives Snowflake customers added confidence that their data is reliable and trustworthy.

1 месяц, 2 недели назад @ montecarlodata.com
The Right Way to Measure ROI on Data Quality
The Right Way to Measure ROI on Data Quality

Introducing a better approach for measuring the cost of bad data to your business.

1 месяц, 3 недели назад @ montecarlodata.com
BigData Republic BigData Republic
последний пост None
All Things Distributed All Things Distributed
последний пост None
DE Telegram
DataEng DataEng
последний пост 5 часов назад
Сказка про Apache Kafka: https://www.gentlydownthe.stream/
Сказка про Apache Kafka: https://www.gentlydownthe.stream/

Сказка про Apache Kafka: https://www.gentlydownthe.stream/

5 часов назад @ t.me
Прямо сейчас идёт митап по dataeng: https://www.youtube.com/watch?v=KzVFf65owck
Прямо сейчас идёт митап по dataeng: https://www.youtube.com/watch?v=KzVFf65owck

Прямо сейчас идёт митап по dataeng: https://www.youtube.com/watch?v=KzVFf65owck

1 день, 7 часов назад @ t.me
Про новую роль Analytics Engineer: https://youtu.be/C5UcxBwdCEg
Про новую роль Analytics Engineer: https://youtu.be/C5UcxBwdCEg

Про новую роль Analytics Engineer: https://youtu.be/C5UcxBwdCEg

3 дня, 8 часов назад @ t.me
Работаете с данными и аналитикой? 15 июня в OTUS для вас пройдет demo-занятие «Практическое качество данных». Преподаватель Артемий Козырь разберет вопрос актуальности и своевременности данных. Поговорим про тесты схемы и бизнес-логики, получение статусов
Работаете с данными и аналитикой? 15 июня в OTUS для вас пройдет demo-занятие «Практическое качество данных». Преподаватель Артемий Козырь разберет вопрос актуальности и своевременности данных. Поговорим про тесты схемы и бизнес-логики, получение статусов Работаете с данными и аналитикой? 15 июня в OTUS для вас пройдет demo-занятие «Практическое качество данных». Преподаватель Артемий Козырь разберет вопрос актуальности и своевременности данных. Поговорим про тесты схемы и бизнес-логики, получение статусов

Работаете с данными и аналитикой? 15 июня в OTUS для вас пройдет demo-занятие «Практическое качество данных». Преподаватель Артемий Козырь разберет вопрос актуальности и своевременности данных. Поговорим про тесты схемы и бизнес-логики, получение статусов и уведомлений в Slack и многое другое.Еще больше best practice ждет вас на курсе «Data Warehouse Analyst», а demo-урок в рамках курса позволит вам оценить формат обучения. Регистрируйтесь на вебинар и подключайтесь 15 июня, будет интересно и полезно 👉 https://otus.pw/qK4O/

6 дней, 6 часов назад @ t.me
DE or DIE #7Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!Дата и время: 16 июня (среда) 18:00Формат: Онлайн (трансляция на YouTube)Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/Темы:18:00-19:00. Handling late data. How
DE or DIE #7Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!Дата и время: 16 июня (среда) 18:00Формат: Онлайн (трансляция на YouTube)Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/Темы:18:00-19:00. Handling late data. How DE or DIE #7Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!Дата и время: 16 июня (среда) 18:00Формат: Онлайн (трансляция на YouTube)Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/Темы:18:00-19:00. Handling late data. How

DE or DIE #7Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!Дата и время: 16 июня (среда) 18:00Формат: Онлайн (трансляция на YouTube)Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/Темы:18:00-19:00. Handling late data. How to make the right choice? - Дарья Буланова19:15-20:15. Ingestion and historization in the Data Lake? - Илья Тодор20:15-20:45. After Show - организаторы DE or DIE и спикеры(*): Несмотря на англоязычные названия доклады будут на русском языке.Ждем вас в следующую среду. Ссылку на трансляцию опубликуем за час до мероприятия.

1 неделя, 2 дня назад @ t.me
8 июня Иван Трусов - Solution Architect Databricks в Берлине расскажет нам про платформу Databricks и Lakehouse. У нас запланирована целая серия вебинаров с русскоговорящими архитекторами Databricks, stay tuned! Хочу рассказать как со всеми ними познакомил
8 июня Иван Трусов - Solution Architect Databricks в Берлине расскажет нам про платформу Databricks и Lakehouse. У нас запланирована целая серия вебинаров с русскоговорящими архитекторами Databricks, stay tuned! Хочу рассказать как со всеми ними познакомил 8 июня Иван Трусов - Solution Architect Databricks в Берлине расскажет нам про платформу Databricks и Lakehouse. У нас запланирована целая серия вебинаров с русскоговорящими архитекторами Databricks, stay tuned! Хочу рассказать как со всеми ними познакомил

8 июня Иван Трусов - Solution Architect Databricks в Берлине расскажет нам про платформу Databricks и Lakehouse. У нас запланирована целая серия вебинаров с русскоговорящими архитекторами Databricks, stay tuned! Хочу рассказать как со всеми ними познакомился. Так как я внедряю Azure Databricks в Microsoft Gaming/Xbox, то спустя какое-то время я устал париться с поддержкой Azure и ждать неделями их бесполезные ответы, я написал директору Azure Databricks в Microsoft и попросил помочь с CI/CD, в итоге наc соединили с командой архитекторов в Берлине и Амстердаме и я рассказал им про datalearn и попросил выступить. Мир тесен!PS CI/CD pipeline уже работает!

1 неделя, 4 дня назад @ t.me
Интересные, на мой взгляд, доклады PyCON US 2021:— Hacking Dask: Diving Into Dask Internals— Dask-SQL: Empowering Pythonistas for Scalable End-to-End Data Engineering— Event-driven applications: Apache Kafka and Python— Python Performance at Scale - Making
Интересные, на мой взгляд, доклады PyCON US 2021:— Hacking Dask: Diving Into Dask Internals— Dask-SQL: Empowering Pythonistas for Scalable End-to-End Data Engineering— Event-driven applications: Apache Kafka and Python— Python Performance at Scale - Making

Интересные, на мой взгляд, доклады PyCON US 2021:— Hacking Dask: Diving Into Dask Internals— Dask-SQL: Empowering Pythonistas for Scalable End-to-End Data Engineering— Event-driven applications: Apache Kafka and Python— Python Performance at Scale - Making Python Faster at Instagram— Data Processing on Ray— Large Scale Data Validation with Spark and Dask

1 неделя, 5 дней назад @ t.me
У нас готов новый выпуск того самого дайджеста, о котором мало кто слышал:https://digest.deordie.org/04_A_spark_of_the_summer_sun/_____Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues
У нас готов новый выпуск того самого дайджеста, о котором мало кто слышал:https://digest.deordie.org/04_A_spark_of_the_summer_sun/_____Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues У нас готов новый выпуск того самого дайджеста, о котором мало кто слышал:https://digest.deordie.org/04_A_spark_of_the_summer_sun/_____Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues

У нас готов новый выпуск того самого дайджеста, о котором мало кто слышал:https://digest.deordie.org/04_A_spark_of_the_summer_sun/_____Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues

1 неделя, 6 дней назад @ t.me
https://betterprogramming.pub/aws-kinesis-vs-sns-vs-sqs-a-comparison-with-python-examples-6fc688bfd244
https://betterprogramming.pub/aws-kinesis-vs-sns-vs-sqs-a-comparison-with-python-examples-6fc688bfd244

https://betterprogramming.pub/aws-kinesis-vs-sns-vs-sqs-a-comparison-with-python-examples-6fc688bfd244

2 недели назад @ t.me
Онлайн конференция по разработке параллельных и распределенных систем — Hydra 2021Несколько десятков докладов о распределенных базах данных, распределенной обработке потоков, блокчейне, отказоустойчивости распределенных систем, моделях памяти и многом друг
Онлайн конференция по разработке параллельных и распределенных систем — Hydra 2021Несколько десятков докладов о распределенных базах данных, распределенной обработке потоков, блокчейне, отказоустойчивости распределенных систем, моделях памяти и многом друг Онлайн конференция по разработке параллельных и распределенных систем — Hydra 2021Несколько десятков докладов о распределенных базах данных, распределенной обработке потоков, блокчейне, отказоустойчивости распределенных систем, моделях памяти и многом друг

Онлайн конференция по разработке параллельных и распределенных систем — Hydra 2021Несколько десятков докладов о распределенных базах данных, распределенной обработке потоков, блокчейне, отказоустойчивости распределенных систем, моделях памяти и многом другом, что относится к работе с подобными технологиями.Среди докладов:✔️ Маркус Куппе, «Workshop: TLA+»Огромный воркшоп по работе с языком для дизайна распределенных систем под руководством основного разработчика среды TLA+ toolbox.✔️ Энди Павло, «The Official Ten-Year Retrospective of NewSQL Databases»Обзор десятилетней истории NewSQL от зарождения до современного состояния и попробует предсказать, как NewSQL изменится в будущем.✔️ Нейтан Ва…

2 недели, 1 день назад @ t.me
Забавное видео "Welcome to the world of Data Engineers at Netflix"https://youtu.be/N8SJPb5JpOA
Забавное видео "Welcome to the world of Data Engineers at Netflix"https://youtu.be/N8SJPb5JpOA

Забавное видео "Welcome to the world of Data Engineers at Netflix"https://youtu.be/N8SJPb5JpOA

2 недели, 1 день назад @ t.me
Приглашаем на бесплатный закрытый мастер-класс "Быстрый старт в SQL" 3 июня в 19:00 от Онлайн Школы IQBI.Мастер-класс будет полезен тем, кто создает отчетность или работает с анализом данных и статистикой, но все еще не изучил SQL.🎓 SQL - это мощный инстру
Приглашаем на бесплатный закрытый мастер-класс "Быстрый старт в SQL" 3 июня в 19:00 от Онлайн Школы IQBI.Мастер-класс будет полезен тем, кто создает отчетность или работает с анализом данных и статистикой, но все еще не изучил SQL.🎓 SQL - это мощный инстру Приглашаем на бесплатный закрытый мастер-класс "Быстрый старт в SQL" 3 июня в 19:00 от Онлайн Школы IQBI.Мастер-класс будет полезен тем, кто создает отчетность или работает с анализом данных и статистикой, но все еще не изучил SQL.🎓 SQL - это мощный инстру

Приглашаем на бесплатный закрытый мастер-класс "Быстрый старт в SQL" 3 июня в 19:00 от Онлайн Школы IQBI.Мастер-класс будет полезен тем, кто создает отчетность или работает с анализом данных и статистикой, но все еще не изучил SQL.🎓 SQL - это мощный инструмент для анализа и преобразования данных, который позволяет аналитикам, финансистам, биайщикам и даже маркетологам обращаться к различным базам данных.У всех крупных компаний есть собственные базы данных, и чтобы создавать отчеты, дашборды и графики вам нужно правильно формулировать запросы к этим БД на языке SQL.Сертифицированный тренер Microsoft Дмитрий Пилюгин ответит на популярные вопросы, которые возникают в начале изучения SQL: 🔹 Что…

2 недели, 3 дня назад @ t.me
Алибаба заопенсорсила PolarDB для посгреса. PolarDB это распределенная реляционная система управления БД, совместимая с pg, mysql и oracle. Аналог AWS Aurora.https://github.com/alibaba/PolarDB-for-PostgreSQLру версия - https://www.opennet.ru/opennews/art.s
Алибаба заопенсорсила PolarDB для посгреса. PolarDB это распределенная реляционная система управления БД, совместимая с pg, mysql и oracle. Аналог AWS Aurora.https://github.com/alibaba/PolarDB-for-PostgreSQLру версия - https://www.opennet.ru/opennews/art.s

Алибаба заопенсорсила PolarDB для посгреса. PolarDB это распределенная реляционная система управления БД, совместимая с pg, mysql и oracle. Аналог AWS Aurora.https://github.com/alibaba/PolarDB-for-PostgreSQLру версия - https://www.opennet.ru/opennews/art.shtml?num=55233по наводке @oleg_log

2 недели, 4 дня назад @ t.me
Ещё не читал, но решил всё таки поделиться с вами интересной статьёй: https://a16z.com/2021/05/27/cost-of-cloud-paradox-market-cap-cloud-lifecycle-scale-growth-repatriation-optimization/
Ещё не читал, но решил всё таки поделиться с вами интересной статьёй: https://a16z.com/2021/05/27/cost-of-cloud-paradox-market-cap-cloud-lifecycle-scale-growth-repatriation-optimization/

Ещё не читал, но решил всё таки поделиться с вами интересной статьёй: https://a16z.com/2021/05/27/cost-of-cloud-paradox-market-cap-cloud-lifecycle-scale-growth-repatriation-optimization/

2 недели, 6 дней назад @ t.me
https://preset.io/blog/2021-5-25-data-lake-athena/
https://preset.io/blog/2021-5-25-data-lake-athena/

https://preset.io/blog/2021-5-25-data-lake-athena/

3 недели, 1 день назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 42 минуты назад
Это классно. Сидеть дома все время тяжело, каждый день в офис - напряжно, а вот микс, да ещё раз в год удаленно путешествовать самое то! https://www.businessinsider.com/amazon-employees-can-work-remotely-2-days-per-week-2021-6
Это классно. Сидеть дома все время тяжело, каждый день в офис - напряжно, а вот микс, да ещё раз в год удаленно путешествовать самое то! https://www.businessinsider.com/amazon-employees-can-work-remotely-2-days-per-week-2021-6

Это классно. Сидеть дома все время тяжело, каждый день в офис - напряжно, а вот микс, да ещё раз в год удаленно путешествовать самое то! https://www.businessinsider.com/amazon-employees-can-work-remotely-2-days-per-week-2021-6

42 минуты назад @ t.me
Прям "бальзам на душу"))
Прям "бальзам на душу")) Прям "бальзам на душу"))

Прям "бальзам на душу"))

4 часа назад @ t.me
Если все правильно понял, то можно сдать бесплатно экзамен AWS https://pages.awscloud.com/Globa_traincert_Get_AWS_Certified_Developer_Associate.html
Если все правильно понял, то можно сдать бесплатно экзамен AWS https://pages.awscloud.com/Globa_traincert_Get_AWS_Certified_Developer_Associate.html

Если все правильно понял, то можно сдать бесплатно экзамен AWS https://pages.awscloud.com/Globa_traincert_Get_AWS_Certified_Developer_Associate.html

6 часов назад @ t.me
Из комментария. Лишний раз показывает, каждый человек кузнец своего счастья, ставим цель и фигачим)) И я уверен, Mike офигенный специалист, потому что он прошел “огонь и воду”, и теперь ему любая задача поплечу.Еще бы пару фраз Тони Робинса для мотивации))
Из комментария. Лишний раз показывает, каждый человек кузнец своего счастья, ставим цель и фигачим)) И я уверен, Mike офигенный специалист, потому что он прошел “огонь и воду”, и теперь ему любая задача поплечу.Еще бы пару фраз Тони Робинса для мотивации)) Из комментария. Лишний раз показывает, каждый человек кузнец своего счастья, ставим цель и фигачим)) И я уверен, Mike офигенный специалист, потому что он прошел “огонь и воду”, и теперь ему любая задача поплечу.Еще бы пару фраз Тони Робинса для мотивации))

Из комментария. Лишний раз показывает, каждый человек кузнец своего счастья, ставим цель и фигачим)) И я уверен, Mike офигенный специалист, потому что он прошел “огонь и воду”, и теперь ему любая задача поплечу.Еще бы пару фраз Тони Робинса для мотивации)) Лишний раз доказывает, что идея и программа datalearn рабочие. Подход не был придуман, это реально research&development за последние 10 лет, путем проб и ошибок, не плохой вариант изменить жизнь к лучшему. “Вы все еще сомневаетесь? Тогда мы идем к вам!”(с)😎

18 часов назад @ t.me
Хотите писать python код как инженеры и дата саентисты Minecraft, тогда вот вам отличный guide от Palantir, который очень популярен в индустрии.
Хотите писать python код как инженеры и дата саентисты Minecraft, тогда вот вам отличный guide от Palantir, который очень популярен в индустрии.

Хотите писать python код как инженеры и дата саентисты Minecraft, тогда вот вам отличный guide от Palantir, который очень популярен в индустрии.

23 часа назад @ t.me
https://m.habr.com/ru/post/563162/
https://m.habr.com/ru/post/563162/

https://m.habr.com/ru/post/563162/

1 день, 1 час назад @ t.me
В data learn мы максимально хотим помогать людям находить работу, особенно хорошо это работает для тех, кто меняет сферу деятельности или только начал работать. Иногда у нас появляются возможности порекомендовать самых активных студентов на хорошую позицию
В data learn мы максимально хотим помогать людям находить работу, особенно хорошо это работает для тех, кто меняет сферу деятельности или только начал работать. Иногда у нас появляются возможности порекомендовать самых активных студентов на хорошую позицию

В data learn мы максимально хотим помогать людям находить работу, особенно хорошо это работает для тех, кто меняет сферу деятельности или только начал работать. Иногда у нас появляются возможности порекомендовать самых активных студентов на хорошую позицию. Вот и сейчас у нас есть очень классная возможность порекомендовать и менторить активного студента data learn, который выполнил первые 4 модуля и сделал домашку в компанию Работа ру (Сбер) на позицию "Аналитик Данных" на спец. проекты. Там очень классный stack и современные решения (Tableau, Clickhouse, Python, SQL). Желателен уровень мидл или мидл-, но могут рассмотреть уровня джуна с возможностью менторства. Если есть желающие - пишите …

1 день, 6 часов назад @ t.me
Прежде чем строить дом, нам нужно нарисовать архитектуру дома и сделать много других подготовительных работ. Тоже самое и в облаке и ИТ решениях. А если мы еще вспомним про принципы Амазон и их подход к созданию новых продуктов - Working Backwards, то самы
Прежде чем строить дом, нам нужно нарисовать архитектуру дома и сделать много других подготовительных работ. Тоже самое и в облаке и ИТ решениях. А если мы еще вспомним про принципы Амазон и их подход к созданию новых продуктов - Working Backwards, то самы

Прежде чем строить дом, нам нужно нарисовать архитектуру дома и сделать много других подготовительных работ. Тоже самое и в облаке и ИТ решениях. А если мы еще вспомним про принципы Амазон и их подход к созданию новых продуктов - Working Backwards, то самый первый шаг в создании решения мы начнем с потребностей клиента и бизнеса, напишем press releases, ответим на все возможные вопросы в FAQ и создадим visuals, включая диаграмму/архитектуру нашего будущего решения или продукта.Из модуля вы узнаете:📌 Что такое архитектура📌 Amazon Working Backwards и Press Releases📌 Enterprise Architecture Frameworks📌 TOGAF и Zachman frameworks📌 AWS и Azure blueprint решения и шаблоны📌 The 5 Pillars of the AW…

2 дня назад @ t.me
Вы уже должны знать про DBT tool (там самая Т в ELT процессе). С хранилищем все понятно, как использовать этот инструмент. Оказывается его ещё используют для Spark. 17 июня будет вебинар DBT+Databricks on AWS
Вы уже должны знать про DBT tool (там самая Т в ELT процессе). С хранилищем все понятно, как использовать этот инструмент. Оказывается его ещё используют для Spark. 17 июня будет вебинар DBT+Databricks on AWS

Вы уже должны знать про DBT tool (там самая Т в ELT процессе). С хранилищем все понятно, как использовать этот инструмент. Оказывается его ещё используют для Spark. 17 июня будет вебинар DBT+Databricks on AWS

2 дня, 5 часов назад @ t.me
DE or DIE #7Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!Дата и время: 16 июня (среда) 18:00Формат: Онлайн (трансляция на YouTube)Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/Темы:18:00-19:00. Handling late data. How
DE or DIE #7Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!Дата и время: 16 июня (среда) 18:00Формат: Онлайн (трансляция на YouTube)Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/Темы:18:00-19:00. Handling late data. How DE or DIE #7Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!Дата и время: 16 июня (среда) 18:00Формат: Онлайн (трансляция на YouTube)Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/Темы:18:00-19:00. Handling late data. How

DE or DIE #7Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!Дата и время: 16 июня (среда) 18:00Формат: Онлайн (трансляция на YouTube)Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/Темы:18:00-19:00. Handling late data. How to make the right choice? - Дарья Буланова19:15-20:15. Ingestion and historization in the Data Lake? - Илья Тодор20:15-20:45. After Show - организаторы DE or DIE и спикеры(*): Несмотря на англоязычные названия доклады будут на русском языке.Ждем вас в следующую среду. Ссылку на трансляцию опубликуем за час до мероприятия.

2 дня, 8 часов назад @ t.me
Когда я был в Amazon Alexa, я писал про микроволновки с AI, а в Xbox это будут холодильники.
Когда я был в Amazon Alexa, я писал про микроволновки с AI, а в Xbox это будут холодильники.

Когда я был в Amazon Alexa, я писал про микроволновки с AI, а в Xbox это будут холодильники.

3 дня, 4 часа назад @ t.me
Data Base, Data Mart, Data Warehouse, Data Lake, и даже Data Swamp, и вот теперь есть Data Acquarium
Data Base, Data Mart, Data Warehouse, Data Lake, и даже Data Swamp, и вот теперь есть Data Acquarium

Data Base, Data Mart, Data Warehouse, Data Lake, и даже Data Swamp, и вот теперь есть Data Acquarium

3 дня, 19 часов назад @ t.me
Google cloud AI adoption framework
Google cloud AI adoption framework

Google cloud AI adoption framework

4 дня, 3 часа назад @ t.me
Бодрящий, как аромат свежеобжаренных кофейных зёрен ☕️, новый эпизод подкаста Data Coffee уже доступен к прослушиванию 🎧!Тема выпуска сегодня — Облака и Data-Driven Culture.А ещё у нас с вами гость! В гостях у подкаста ‘Data Coffee’ специалист по созданию
Бодрящий, как аромат свежеобжаренных кофейных зёрен ☕️, новый эпизод подкаста Data Coffee уже доступен к прослушиванию 🎧!Тема выпуска сегодня — Облака и Data-Driven Culture.А ещё у нас с вами гость! В гостях у подкаста ‘Data Coffee’ специалист по созданию

Бодрящий, как аромат свежеобжаренных кофейных зёрен ☕️, новый эпизод подкаста Data Coffee уже доступен к прослушиванию 🎧!Тема выпуска сегодня — Облака и Data-Driven Culture.А ещё у нас с вами гость! В гостях у подкаста ‘Data Coffee’ специалист по созданию аналитических решений из Канады - Дмитрий Аношин (Telegram, Linkedin, Хабр)https://anchor.fm/data-coffee/episodes/Data-Driven-Culture-e11b8ai

5 дней, 8 часов назад @ t.me
Хотим провести следующие базовые вебинары:1) Что такое streaming, когда используется, демонстрация (например Apache Kafka). В каких случаях для аналитики это подходи, а в каких нет.2) Про Hadoop - история продукта Big Data и его наследие, и немного про ос
Хотим провести следующие базовые вебинары:1) Что такое streaming, когда используется, демонстрация (например Apache Kafka). В каких случаях для аналитики это подходи, а в каких нет.2) Про Hadoop - история продукта Big Data и его наследие, и немного про ос

Хотим провести следующие базовые вебинары:1) Что такое streaming, когда используется, демонстрация (например Apache Kafka). В каких случаях для аналитики это подходи, а в каких нет.2) Про Hadoop - история продукта Big Data и его наследие, и немного про основы и проекты.3) Про классическое Озеро Данных (в эпоху до Delta Lake)4) Про Power BI - как сделать best practices для self services в Power BI, как организовать data models и всегда ли нужен Dax. 5) Про бизнес специфику - какие метрики и показатели используются, на что смотрит бизнес, какие дашборды и тп (например маркетинг, финансы, логистика, машиностроение, добыча ресурсов и тп)6) Airflow - что это такое простым языком и демонстрация7)…

6 дней, 1 час назад @ t.me
Left Join Left Join
последний пост None
SQLite на практике SQLite на практике
последний пост 1 неделя, 4 дня назад
🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов,
🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов,

🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов, а время на понимание. Поэтому давайте решим без олимпиадного ажиотажа, спокойно и по шагам:https://antonz.ru/sql-groups/

1 неделя, 4 дня назад @ t.me
Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon
Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon

Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon

2 недели, 2 дня назад @ t.me
🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователе
🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователе

🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователей: user_id, attr1, alpha1, beta2, beta2, gamma3, delta3, epsilon4, delta4, zeta5, zeta5, alpha6, iota7, iota7, kappa8, kappa8, lambdaХотим объединить пользователей в группы. При этом действуют правила:— Если пользователи A и B обладают общим свойством → они входят в одну группу.— Если A и B обладают общим свойством P1, B и C обладают общим свойством P2 → A, B, C входят в одну группу.— Идентификатором группы считается минимальный идентифика…

2 недели, 2 дня назад @ t.me
Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скид
Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скид

Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скидка 50%.https://stepik.org/z/95367

2 недели, 3 дня назад @ t.me
Оконные функции: скользящие агрегатыЗаканчиваем разбираться с оконными функциями. В этой части посмотрим, как считать показатели в динамике — скользящее среднее и сумму нарастающим итогом.Это последняя статья серии! Гарантирую, что более понятного введения
Оконные функции: скользящие агрегатыЗаканчиваем разбираться с оконными функциями. В этой части посмотрим, как считать показатели в динамике — скользящее среднее и сумму нарастающим итогом.Это последняя статья серии! Гарантирую, что более понятного введения

Оконные функции: скользящие агрегатыЗаканчиваем разбираться с оконными функциями. В этой части посмотрим, как считать показатели в динамике — скользящее среднее и сумму нарастающим итогом.Это последняя статья серии! Гарантирую, что более понятного введения в «окошки» не найдете во всем интернете 💪https://antonz.ru/window-rolling/

1 месяц назад @ t.me
Добавить или обновить записи одним запросомУчастник курса спрашивает:Есть таблица, хочу ежедневно загружать в неё обновления из csv. Если по id запись уникальная — добавлять, а если запись существует — обновлять поля, которые отличаются, кроме id. Это можн
Добавить или обновить записи одним запросомУчастник курса спрашивает:Есть таблица, хочу ежедневно загружать в неё обновления из csv. Если по id запись уникальная — добавлять, а если запись существует — обновлять поля, которые отличаются, кроме id. Это можн

Добавить или обновить записи одним запросомУчастник курса спрашивает:Есть таблица, хочу ежедневно загружать в неё обновления из csv. Если по id запись уникальная — добавлять, а если запись существует — обновлять поля, которые отличаются, кроме id. Это можно как-то из коробки?Да! Такой подход (добавить или обновить по необходимости) в мире SQL называется «upsert». В SQLite он реализуется через инструкцию on conflict.Допустим, мы хотим добавить/обновить записи в таблице stats. Тогда запрос будет примерно такой:insert into stats(id, last_updated, usage)select ... from ...on conflict(id) do updateset last_updated = excluded.last_updated, usage = usage + excluded.usage;excluded — это та запись, …

1 месяц назад @ t.me
Оконные функции: агрегацияПродолжаем разбираться с «окошками». В этой части посмотрим, как считать суммарные и средние показатели.Пожалуй, самая простая тема в оконных функциях, так что нашлось время заодно разобраться с фильтрацией и спецификацией окна.ht
Оконные функции: агрегацияПродолжаем разбираться с «окошками». В этой части посмотрим, как считать суммарные и средние показатели.Пожалуй, самая простая тема в оконных функциях, так что нашлось время заодно разобраться с фильтрацией и спецификацией окна.ht

Оконные функции: агрегацияПродолжаем разбираться с «окошками». В этой части посмотрим, как считать суммарные и средние показатели.Пожалуй, самая простая тема в оконных функциях, так что нашлось время заодно разобраться с фильтрацией и спецификацией окна.https://antonz.ru/window-aggregate/

1 месяц, 2 недели назад @ t.me
Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте мн
Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте мн Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте мн

Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте много новых фич в один релиз». Хотя звучит довольно очевидно, мы никогда не устаем наступать на эти грабли ツ

1 месяц, 3 недели назад @ t.me
Оконные функции: смещениеПродолжаем разбираться с «окошками». В этой части посмотрим, как сравнивать соседние строки и границы диапазона.Это одна из неочевидных тем, так что пришлось изготовить особенно много картинок и гифок.https://antonz.ru/window-offse
Оконные функции: смещениеПродолжаем разбираться с «окошками». В этой части посмотрим, как сравнивать соседние строки и границы диапазона.Это одна из неочевидных тем, так что пришлось изготовить особенно много картинок и гифок.https://antonz.ru/window-offse

Оконные функции: смещениеПродолжаем разбираться с «окошками». В этой части посмотрим, как сравнивать соседние строки и границы диапазона.Это одна из неочевидных тем, так что пришлось изготовить особенно много картинок и гифок.https://antonz.ru/window-offset/

1 месяц, 4 недели назад @ t.me
Недостающие функции SQLiteSQLite традиционно бедна функциями по сравнению с каким-нибудь постгресом. Но их легко добавить, чем многие и занимаются — каждый кто во что горазд. Получается легкий бардак.Поскольку я люблю все упорядочивать, то решил собрать ра
Недостающие функции SQLiteSQLite традиционно бедна функциями по сравнению с каким-нибудь постгресом. Но их легко добавить, чем многие и занимаются — каждый кто во что горазд. Получается легкий бардак.Поскольку я люблю все упорядочивать, то решил собрать ра

Недостающие функции SQLiteSQLite традиционно бедна функциями по сравнению с каким-нибудь постгресом. Но их легко добавить, чем многие и занимаются — каждый кто во что горазд. Получается легкий бардак.Поскольку я люблю все упорядочивать, то решил собрать разбросанный по интернету код в единый набор библиотек, с разделением по предметной области и автоматической сборкой для всех ОС.В программировании на C я не силен, так что дело продвигается не очень быстро. Но кое-что уже удалось сделать:— математические функции (sqrt, pow, log)— мат. статистика (median, percentile, stddev)— строковые функции (reverse, split_part)— регулярные выражения (like, substr, replace)— поддержка юникода— работа с cs…

2 месяца назад @ t.me
Оконные функции: ранжированиеНачинаем детально разбираться с «окошками». В этой части посмотрим, что такое окно, и как использовать оконные функции для всевозможных рейтингов.https://antonz.ru/window-ranking/
Оконные функции: ранжированиеНачинаем детально разбираться с «окошками». В этой части посмотрим, что такое окно, и как использовать оконные функции для всевозможных рейтингов.https://antonz.ru/window-ranking/

Оконные функции: ранжированиеНачинаем детально разбираться с «окошками». В этой части посмотрим, что такое окно, и как использовать оконные функции для всевозможных рейтингов.https://antonz.ru/window-ranking/

2 месяца, 1 неделя назад @ t.me
SQLite для аналитикиИтак, спустя три месяца курс полностью закончен 🎉В итоге получилось семь модулей:1. Основы SQLite.2. Очистка данных.3. Связи в данных.4. Данные → знания.5. JSON.6. Большие наборы.7. Оконные функции.Самое главное — курс учит получать из
SQLite для аналитикиИтак, спустя три месяца курс полностью закончен 🎉В итоге получилось семь модулей:1. Основы SQLite.2. Очистка данных.3. Связи в данных.4. Данные → знания.5. JSON.6. Большие наборы.7. Оконные функции.Самое главное — курс учит получать из

SQLite для аналитикиИтак, спустя три месяца курс полностью закончен 🎉В итоге получилось семь модулей:1. Основы SQLite.2. Очистка данных.3. Связи в данных.4. Данные → знания.5. JSON.6. Большие наборы.7. Оконные функции.Самое главное — курс учит получать из данных ответы на вопросы. В этом вся суть прикладного анализа данных.47 уроков и 130 практических заданий, сертификат для выпускников.Огромное спасибо бета-тестерам и всем участникам за критику и комментарии! Ваша обратная связь бесценна 🙏https://antonz.ru/sqlite-course/

2 месяца, 2 недели назад @ t.me
Сводный запрос по нескольким базамЕсли вы настраивали кросс-запросы по нескольким базам в PostgreSQL или Oracle, то знаете, какая эта боль. А в SQLite вот так:attach database 'moscow.db' as moscow;attach database 'samara.db' as samara;select * from moscow.
Сводный запрос по нескольким базамЕсли вы настраивали кросс-запросы по нескольким базам в PostgreSQL или Oracle, то знаете, какая эта боль. А в SQLite вот так:attach database 'moscow.db' as moscow;attach database 'samara.db' as samara;select * from moscow.

Сводный запрос по нескольким базамЕсли вы настраивали кросс-запросы по нескольким базам в PostgreSQL или Oracle, то знаете, какая эта боль. А в SQLite вот так:attach database 'moscow.db' as moscow;attach database 'samara.db' as samara;select * from moscow.employeesunion allselect * from samara.employees;Удобно, чтобы не переливать данные в одну базу, если они уже лежат в разных.

2 месяца, 2 недели назад @ t.me
​Окошки на курсеКто-то из великих сказал, что если освоить оконные функции в SQL — жизнь уже никогда не будет прежней. В хорошем смысле ツНадеюсь, со свежим модулем курса вы преодолеете этот важный рубеж. У вас будет много помощников: Дарья, Борис, Елена, К
​Окошки на курсеКто-то из великих сказал, что если освоить оконные функции в SQL — жизнь уже никогда не будет прежней. В хорошем смысле ツНадеюсь, со свежим модулем курса вы преодолеете этот важный рубеж. У вас будет много помощников: Дарья, Борис, Елена, К

​Окошки на курсеКто-то из великих сказал, что если освоить оконные функции в SQL — жизнь уже никогда не будет прежней. В хорошем смысле ツНадеюсь, со свежим модулем курса вы преодолеете этот важный рубеж. У вас будет много помощников: Дарья, Борис, Елена, Ксения, Марина, Леонид, Иван, Вероника, Григорий и Анна. Особенно Марина, конечно.Чтобы узнать, причем тут все эти люди, переходите к седьмому и последнему модулю курса — Оконные функции!P.S. Для тех, кто пройдет все модули, откроется Финал. Он пока еще запекается, но скоро будет готов.

2 месяца, 2 недели назад @ t.me
Зачем нужны оконные функцииКак справедливо заметили в комментариях к опросу — прежде чем пользоваться оконными функциями, неплохо бы понять, что это такое.Я бы даже начал не со «что это», а «зачем оно». Поэтому на конкретных примерах показал, чем могут быт
Зачем нужны оконные функцииКак справедливо заметили в комментариях к опросу — прежде чем пользоваться оконными функциями, неплохо бы понять, что это такое.Я бы даже начал не со «что это», а «зачем оно». Поэтому на конкретных примерах показал, чем могут быт

Зачем нужны оконные функцииКак справедливо заметили в комментариях к опросу — прежде чем пользоваться оконными функциями, неплохо бы понять, что это такое.Я бы даже начал не со «что это», а «зачем оно». Поэтому на конкретных примерах показал, чем могут быть полезны «окошки» в SQL:https://antonz.ru/window-functions/

3 месяца назад @ t.me
Datalytics Datalytics
последний пост 14 часов назад
Планируете развиваться в системном анализе? Приходите на Weekend Offer от X5!План такой:два коротких интервью в один день (техническая секция + знакомство с Product Owner) ➡️ оффер в X5 Group.Шанс есть у всех: X5 сделает оффер всем подходящим специалистам
Планируете развиваться в системном анализе? Приходите на Weekend Offer от X5!План такой:два коротких интервью в один день (техническая секция + знакомство с Product Owner) ➡️ оффер в X5 Group.Шанс есть у всех: X5 сделает оффер всем подходящим специалистам Планируете развиваться в системном анализе? Приходите на Weekend Offer от X5!План такой:два коротких интервью в один день (техническая секция + знакомство с Product Owner) ➡️ оффер в X5 Group.Шанс есть у всех: X5 сделает оффер всем подходящим специалистам

Планируете развиваться в системном анализе? Приходите на Weekend Offer от X5!План такой:два коротких интервью в один день (техническая секция + знакомство с Product Owner) ➡️ оффер в X5 Group.Шанс есть у всех: X5 сделает оффер всем подходящим специалистам с опытом от 1,5 лет. X5 — это 34 продукта, 123 проекта, 324 IT-системы на поддержке: все «Пятерочки», «Перекрестки», «Карусели» и «Чижики» страны. То есть вы будете влиять на опыт миллионов людей!Интересно? Отправьте заявку до 18 июня, а лучше прямо сейчас → https://your.gms.tech/v/lVXzMCxEА еще можно написать напрямую рекрутеру Алексею, чтобы договориться о звонке → t.me/bulygin_alexei

14 часов назад @ t.me
Python — универсальный инструмент далеко не только для тех, кто в IT. Знание его базовых возможностей может дополнить арсенал специалистов из самых разных областей гуманитарных и социальных наук 👩‍💻Если вы давно присматриваетесь к программированию, хотите
Python — универсальный инструмент далеко не только для тех, кто в IT. Знание его базовых возможностей может дополнить арсенал специалистов из самых разных областей гуманитарных и социальных наук 👩‍💻Если вы давно присматриваетесь к программированию, хотите Python — универсальный инструмент далеко не только для тех, кто в IT. Знание его базовых возможностей может дополнить арсенал специалистов из самых разных областей гуманитарных и социальных наук 👩‍💻Если вы давно присматриваетесь к программированию, хотите

Python — универсальный инструмент далеко не только для тех, кто в IT. Знание его базовых возможностей может дополнить арсенал специалистов из самых разных областей гуманитарных и социальных наук 👩‍💻Если вы давно присматриваетесь к программированию, хотите освоить новые инструменты и автоматизировать часть рутинных задач, но не знаете, с чего начать, — приглашаем на летнюю серию воркшопов по основам Python. Её проведут преподаватели из «ПАНДАН» , совместной программы Яндекса и Европейский университет в Санкт-Петербурге.Занятия начнутся 18 июня и будут проходить раз в неделю по пятницам в 19:00 (мск). Слушателей ждут пять онлайн-лекций и пять домашних заданий, основанных на реальных рабочих к…

2 дня, 9 часов назад @ t.me
И немного очевидных мыслей от себяУмение правильно визуализировать данные очень важно для аналитиков, менеджеров, исследователей и всех, кто в графическом виде презентует результаты своей работы: понятная визуализация позволяет более эффективно доносить до
И немного очевидных мыслей от себяУмение правильно визуализировать данные очень важно для аналитиков, менеджеров, исследователей и всех, кто в графическом виде презентует результаты своей работы: понятная визуализация позволяет более эффективно доносить до И немного очевидных мыслей от себяУмение правильно визуализировать данные очень важно для аналитиков, менеджеров, исследователей и всех, кто в графическом виде презентует результаты своей работы: понятная визуализация позволяет более эффективно доносить до

И немного очевидных мыслей от себяУмение правильно визуализировать данные очень важно для аналитиков, менеджеров, исследователей и всех, кто в графическом виде презентует результаты своей работы: понятная визуализация позволяет более эффективно доносить до людей важные аналитические выводы, а значит увеличивает скорость принятия решений. Это тот скилл, про который многие (и я в том числе) часто забывают: данные доходят до стейкхолдеров в виде многострочных тяжелочитаемых таблиц или графиков, которые может и выглядят подробно и/или красиво, но при этом не позволяют сразу считать главную мысль. Я часто вижу это у начинающих аналитиков: они делают великолепные интерактивные графики с помощью P…

6 дней, 9 часов назад @ t.me
Наткнулся на канал datapomodoro от создателей бесплатного онлайн-курса «Заговори на языке данных»В этом канале ребята делятся советами о том как грамотно отображать информацию: как сделать графики или таблицы понятными, подобрать нужный тип диаграммы, как
Наткнулся на канал datapomodoro от создателей бесплатного онлайн-курса «Заговори на языке данных»В этом канале ребята делятся советами о том как грамотно отображать информацию: как сделать графики или таблицы понятными, подобрать нужный тип диаграммы, как Наткнулся на канал datapomodoro от создателей бесплатного онлайн-курса «Заговори на языке данных»В этом канале ребята делятся советами о том как грамотно отображать информацию: как сделать графики или таблицы понятными, подобрать нужный тип диаграммы, как

Наткнулся на канал datapomodoro от создателей бесплатного онлайн-курса «Заговори на языке данных»В этом канале ребята делятся советами о том как грамотно отображать информацию: как сделать графики или таблицы понятными, подобрать нужный тип диаграммы, как не ввести потребителя информации в заблуждение, акцентировать внимание на важном

6 дней, 9 часов назад @ t.me
Всем привет, дорогие подписчики. Сегодня поговорим о такой интересной теме, как собеседования. Итак, что же представляет собой собеседование на аналитика? 1 этап. Созвон с HR - вы редко пропустите этот этап. Чаще всего это собеседование на ‘адекватность’:
Всем привет, дорогие подписчики. Сегодня поговорим о такой интересной теме, как собеседования. Итак, что же представляет собой собеседование на аналитика? 1 этап. Созвон с HR - вы редко пропустите этот этап. Чаще всего это собеседование на ‘адекватность’:

Всем привет, дорогие подписчики. Сегодня поговорим о такой интересной теме, как собеседования. Итак, что же представляет собой собеседование на аналитика? 1 этап. Созвон с HR - вы редко пропустите этот этап. Чаще всего это собеседование на ‘адекватность’: чем вы занимались, какие у вас мотивации в работе, пресловутое ‘кем вы видите себя через Х лет’. Ещё HR расскажет о позиции, компании, послушает остальные ваши вопросы и узнает о ваших зарплатных ожиданиях. 2 этап. Зачастую это техническое собеседование с вашим будущим менеджером и коллегами из команды, где вы будете либо : - писать код на SQL/Python (в зависимости от того, что вы знаете и любите) - отвечать на вопросы, как бы вы решали ту…

1 неделя, 2 дня назад @ t.me
Люто рекомендую почитать клёвую статью «Как стать дата-шрушером aka вкатиться в DS», на которую наткнулся из поста вышеОна очень хорошо описывает:— какие роли бывают в DS (под DS понимается широкое поле специализаций Data Analytics / Machine Learning / Dat
Люто рекомендую почитать клёвую статью «Как стать дата-шрушером aka вкатиться в DS», на которую наткнулся из поста вышеОна очень хорошо описывает:— какие роли бывают в DS (под DS понимается широкое поле специализаций Data Analytics / Machine Learning / Dat

Люто рекомендую почитать клёвую статью «Как стать дата-шрушером aka вкатиться в DS», на которую наткнулся из поста вышеОна очень хорошо описывает:— какие роли бывают в DS (под DS понимается широкое поле специализаций Data Analytics / Machine Learning / Data Engineering)— какие компетенции нужны для того, чтобы соответствовать этим ролям, какие компании нанимают DS-специалистов и как отличаются задачи, зоны ответственности и перспективы разных ролей в зависимости от типа компании— какие существуют траектории, чтобы заскочить в DSНаписано со здоровым сарказмом (особенно повеселило замечание, что если вам нравится перекладывать JSONы с места на место, то вам прямая дорога в дата-инженеры), юмо…

1 неделя, 3 дня назад @ t.me
В статье с Хабра «Все что вы (не) хотели знать о Data Science» обнаружил интересный взгляд на содержание профессии Data Scientist.Стоит посмотреть хотя бы ради описания того, как разные функциональные роли вроде data engineer, analyst, MLOps накладываются
В статье с Хабра «Все что вы (не) хотели знать о Data Science» обнаружил интересный взгляд на содержание профессии Data Scientist.Стоит посмотреть хотя бы ради описания того, как разные функциональные роли вроде data engineer, analyst, MLOps накладываются В статье с Хабра «Все что вы (не) хотели знать о Data Science» обнаружил интересный взгляд на содержание профессии Data Scientist.Стоит посмотреть хотя бы ради описания того, как разные функциональные роли вроде data engineer, analyst, MLOps накладываются

В статье с Хабра «Все что вы (не) хотели знать о Data Science» обнаружил интересный взгляд на содержание профессии Data Scientist.Стоит посмотреть хотя бы ради описания того, как разные функциональные роли вроде data engineer, analyst, MLOps накладываются на 3 ключевых области компетенций:🔹математика и статистика;🔹разработка и администрирование;🔹знание предметной области.Еще есть верхнеуровнево про грейды дата саентистов, подготовку к собеседованиям и специфику Ситимобила.🔗СсылкаP.S. Утаскиваю из комментариев замечательное дополнение: «Как стать дата-шрушером aka вкатиться в DS». Более практичный и подробный взгляд изнутри с нецензурщиной и мемами.#компетенции

1 неделя, 3 дня назад @ t.me
Оказывается у Майкрософт есть своя платформа для зеро-кодинга PowerApps. И недавно они выкатили в ней возможность ввести запрос на английском языке и получить на выходе SQL-запрос (или что-то на него похожее, судя по скриншотам). Реализуется это дело с пом
Оказывается у Майкрософт есть своя платформа для зеро-кодинга PowerApps. И недавно они выкатили в ней возможность ввести запрос на английском языке и получить на выходе SQL-запрос (или что-то на него похожее, судя по скриншотам). Реализуется это дело с пом

Оказывается у Майкрософт есть своя платформа для зеро-кодинга PowerApps. И недавно они выкатили в ней возможность ввести запрос на английском языке и получить на выходе SQL-запрос (или что-то на него похожее, судя по скриншотам). Реализуется это дело с помощью модели естественного языка GPT-3Меня эта тема заинтересовала и путём несложного гуглежа я узнал, что оказывается это прямо-таки отдельная область научного интереса: люди устраивают целые соревнования пытаясь решить задачу семантического парсинга запроса, сформулированного на обычном языке, и перевести его в SQL. Эталонный датасет для таких задачек — это WikiSQL, набор SQL-запросов, вручную аннотированный комментариями на естественном …

1 неделя, 3 дня назад @ t.me
Признаюсь честно, что у меня очень плохо с тем, что некоторые назвали бы «серьёзной математикой»: я плохо читаю сложные формулы, не могу сразу же схватить их физический смысл, путаюсь в разных «значочках и закорючках». Поэтому никогда не хотел стать data s
Признаюсь честно, что у меня очень плохо с тем, что некоторые назвали бы «серьёзной математикой»: я плохо читаю сложные формулы, не могу сразу же схватить их физический смысл, путаюсь в разных «значочках и закорючках». Поэтому никогда не хотел стать data s

Признаюсь честно, что у меня очень плохо с тем, что некоторые назвали бы «серьёзной математикой»: я плохо читаю сложные формулы, не могу сразу же схватить их физический смысл, путаюсь в разных «значочках и закорючках». Поэтому никогда не хотел стать data scientist'ом — казалось, что без знания математики в Data Science делать нечего. Позже я, конечно, узнал что это не так и можно шарить и приносить пользу в определенных разделах DS и без сильного углубления в линейную алгебру или теорию оптимизации (например, NLP)Но что мне всегда помогало понять сложные концепции — это «пощупать» их в виде реальных данных или кода. Кажется, что это «практическое ощущение» математики у меня «проклёвывалось»…

1 неделя, 4 дня назад @ t.me
Неплохой бесплатный курс по по A/B-тестированиям. Без сильного технического фарша и примеров кода, но раскрывающий основные важные моменты:— Чем классические частотные подходы к расчёту вероятности отличаются от байесовских— Как рассчитывается статистическ
Неплохой бесплатный курс по по A/B-тестированиям. Без сильного технического фарша и примеров кода, но раскрывающий основные важные моменты:— Чем классические частотные подходы к расчёту вероятности отличаются от байесовских— Как рассчитывается статистическ

Неплохой бесплатный курс по по A/B-тестированиям. Без сильного технического фарша и примеров кода, но раскрывающий основные важные моменты:— Чем классические частотные подходы к расчёту вероятности отличаются от байесовских— Как рассчитывается статистическая значимость и почему её расчёт важен в ходе оценки результатов A/B-тестирования— Чем отличается статистическая мощность от статистической значимости— Как правильно сделать сплит трафика— Почему важно правильно аттрибуцировать конверсию при маркетинговых экспериментах— Сравнение подходов тестирования на клиенте (client-side) и на сервере (server-side)— Как анализировать и интерпретировать A/B-тестыhttps://www.dynamicyield.com/course/testi…

1 неделя, 5 дней назад @ t.me
В исследованиях рынков есть такой классный тип артефактов - Landscape. В идеале, он должен помогать понять 2 вещи:🔹какие типы процессов или операций есть в отрасли;🔹какие существуют инструменты для их реализации или автоматизации.У такого формата есть суще
В исследованиях рынков есть такой классный тип артефактов - Landscape. В идеале, он должен помогать понять 2 вещи:🔹какие типы процессов или операций есть в отрасли;🔹какие существуют инструменты для их реализации или автоматизации.У такого формата есть суще В исследованиях рынков есть такой классный тип артефактов - Landscape. В идеале, он должен помогать понять 2 вещи:🔹какие типы процессов или операций есть в отрасли;🔹какие существуют инструменты для их реализации или автоматизации.У такого формата есть суще

В исследованиях рынков есть такой классный тип артефактов - Landscape. В идеале, он должен помогать понять 2 вещи:🔹какие типы процессов или операций есть в отрасли;🔹какие существуют инструменты для их реализации или автоматизации.У такого формата есть существенный минус: сходу ничерта не ясно, да и понять что-то без дополнительной аналитики и пояснений непросто (особенно в новой для себя сфере).Поэтому особое внимание к себе привлекают материалы вроде сегодняшнего The 2020 Data & AI Landscape, где есть и ландшафт рынка и понятные выводы.Помимо картинок есть описание основных трендов в развитии инфраструктур для обработки данных, самой аналитики и AI (их довольно много, рекомендую самостояте…

3 недели, 6 дней назад @ t.me
Объяснение Z-статистики и p-value с помощью иллюстраций и кода на Python. Не могу сказать, что я бы рекомендовал эту статью, чтобы начать погружение, потому что всё же она изобилует примерами расчёта значений с помощью кода, а новичкам может быть сложно по
Объяснение Z-статистики и p-value с помощью иллюстраций и кода на Python. Не могу сказать, что я бы рекомендовал эту статью, чтобы начать погружение, потому что всё же она изобилует примерами расчёта значений с помощью кода, а новичкам может быть сложно по

Объяснение Z-статистики и p-value с помощью иллюстраций и кода на Python. Не могу сказать, что я бы рекомендовал эту статью, чтобы начать погружение, потому что всё же она изобилует примерами расчёта значений с помощью кода, а новичкам может быть сложно понять концепции математической статистики, если с кодом ещё не очень. Но для тех, кто уверенно чувствует себя с numpy/pandas, но ещё не очень хорошо разбирается в матстате — самое оноА ещё в статье отличные примеры использования seaborn и matplotlib для построения кастомных визуализацийhttps://habr.com/ru/post/557424/

1 месяц назад @ t.me
⚡Подготовил новый перевод кейса с упражнениями! 🐍Разбираем проект по анализу данных: исследуем средний вес новорожденных (запустить в CoLab):Этот пример демонстрирует важные шаги практически в любом проекте по анализу данных:0⃣ Определение данных, которые
⚡Подготовил новый перевод кейса с упражнениями! 🐍Разбираем проект по анализу данных: исследуем средний вес новорожденных (запустить в CoLab):Этот пример демонстрирует важные шаги практически в любом проекте по анализу данных:0⃣ Определение данных, которые

⚡Подготовил новый перевод кейса с упражнениями! 🐍Разбираем проект по анализу данных: исследуем средний вес новорожденных (запустить в CoLab):Этот пример демонстрирует важные шаги практически в любом проекте по анализу данных:0⃣ Определение данных, которые помогут ответить на вопрос.1⃣ Получение данных и их загрузка в Python.2⃣ Проверка данных и устранение ошибок.3⃣ Выбор соответствующих подмножеств из данных.4⃣ Использование гистограмм для визуализации распределения значений.5⃣ Использование сводной статистики для описания данных таким образом, чтобы наилучшим образом ответить на вопрос.6⃣ Рассмотрение возможных источников ошибок и ограничений в наших выводах.Остальные переводы доступны по …

1 месяц назад @ t.me
Вебинар «Открытое алгоритмическое собеседование»В интернете можно найти множество статей, в которых написано, что нужно делать, чтобы успешно пройти собеседование. Но это всё теория, 12 мая мы проведём самое настоящее, непостановочное алгоритмическое собес
Вебинар «Открытое алгоритмическое собеседование»В интернете можно найти множество статей, в которых написано, что нужно делать, чтобы успешно пройти собеседование. Но это всё теория, 12 мая мы проведём самое настоящее, непостановочное алгоритмическое собес Вебинар «Открытое алгоритмическое собеседование»В интернете можно найти множество статей, в которых написано, что нужно делать, чтобы успешно пройти собеседование. Но это всё теория, 12 мая мы проведём самое настоящее, непостановочное алгоритмическое собес

Вебинар «Открытое алгоритмическое собеседование»В интернете можно найти множество статей, в которых написано, что нужно делать, чтобы успешно пройти собеседование. Но это всё теория, 12 мая мы проведём самое настоящее, непостановочное алгоритмическое собеседование: покажем, как оно проходит на практике, расскажем, почему собеседования проводятся в таком формате, на что интервьюеры обращают внимание и из чего складывается итоговое впечатление о кандидате. После собеседования мы ответим на ваши вопросы.Проведёт собеседование Илья Акользин — автор курса «Алгоритмы для разработчиков» в Яндекс.Практикуме. Собеседоваться будет Илья Архипов — выпускник курса, разработчик DLP системы Falcongaze Sec…

1 месяц, 1 неделя назад @ t.me
Бесплатный онлайн-курс от Xsolla School для аналитиковСтартовал набор на II поток курса для аналитиков Продолжительность курса 9 недельКурс состоит из вводной части и 8 занятий по ключевым скиллам аналитика:— Подходы к сбору требований от стейкхолдеров— Фо
Бесплатный онлайн-курс от Xsolla School для аналитиковСтартовал набор на II поток курса для аналитиков Продолжительность курса 9 недельКурс состоит из вводной части и 8 занятий по ключевым скиллам аналитика:— Подходы к сбору требований от стейкхолдеров— Фо Бесплатный онлайн-курс от Xsolla School для аналитиковСтартовал набор на II поток курса для аналитиков Продолжительность курса 9 недельКурс состоит из вводной части и 8 занятий по ключевым скиллам аналитика:— Подходы к сбору требований от стейкхолдеров— Фо

Бесплатный онлайн-курс от Xsolla School для аналитиковСтартовал набор на II поток курса для аналитиков Продолжительность курса 9 недельКурс состоит из вводной части и 8 занятий по ключевым скиллам аналитика:— Подходы к сбору требований от стейкхолдеров— Формирование требований к IT-продукту — Практики оформления требований Формат: онлайн-лекции и семинарыКурс будет полезен для начинающих аналитиков в продуктовых командах, а также для тех, кто хочет освежить базовые знания.Регистрация: https://clck.ru/Uej4wДедлайн приема заявок: 10 мая 2021 включительно

1 месяц, 1 неделя назад @ t.me
Труба данных Труба данных
последний пост 1 неделя, 1 день назад
#НамДжунаБыJunior аналитик в Х5.
#НамДжунаБыJunior аналитик в Х5. #НамДжунаБыJunior аналитик в Х5.

#НамДжунаБыJunior аналитик в Х5.

1 неделя, 1 день назад @ t.me
#НамДжунаБыJunior DE в Сбербанк
#НамДжунаБыJunior DE в Сбербанк #НамДжунаБыJunior DE в Сбербанк

#НамДжунаБыJunior DE в Сбербанк

2 недели, 3 дня назад @ t.me
В продолжении истории про школы / академии / курсы при большой компании, у МТС сейчас идет набор (и уже заканчивается, сегодня последний день, как я проморгал😭) в МТС Тета “Летний интенсив”.В программе есть Мобильная разработка на Android, Backend разработ
В продолжении истории про школы / академии / курсы при большой компании, у МТС сейчас идет набор (и уже заканчивается, сегодня последний день, как я проморгал😭) в МТС Тета “Летний интенсив”.В программе есть Мобильная разработка на Android, Backend разработ

В продолжении истории про школы / академии / курсы при большой компании, у МТС сейчас идет набор (и уже заканчивается, сегодня последний день, как я проморгал😭) в МТС Тета “Летний интенсив”.В программе есть Мобильная разработка на Android, Backend разработка на Java и Машинное обучение. Последний курс ведут известные и авторитетные люди в сообществе, Эмили Драль и Виктор Кантор.Учеба онлайн и оффлайн в Москве, все как обычно.В общем, если вам интересно, сегодня последний день подачи заявок.

1 месяц назад @ t.me
https://app.livestorm.co/datafold/data-quality-meetupМои друзья из DataFold проводят очередной митап про качество данных. Как говорится, “Г на входе, Г на выходе”, поэтому если не думать про качество данных - можно сильно налажать.По ссылке, кстати, есть з
https://app.livestorm.co/datafold/data-quality-meetupМои друзья из DataFold проводят очередной митап про качество данных. Как говорится, “Г на входе, Г на выходе”, поэтому если не думать про качество данных - можно сильно налажать.По ссылке, кстати, есть з

https://app.livestorm.co/datafold/data-quality-meetupМои друзья из DataFold проводят очередной митап про качество данных. Как говорится, “Г на входе, Г на выходе”, поэтому если не думать про качество данных - можно сильно налажать.По ссылке, кстати, есть записи и дайджесты предыдущих митапов.

1 месяц назад @ t.me
https://www.nytimes.com/2021/04/07/opinion/google-job-harassment.html#Полезные_ссылки Хороший текст с очень важной мыслью, думаю неочевидной для многих начинающих (и не только) разработчиков, которые попадают в топовые IT компании — это просто работа. А зн
https://www.nytimes.com/2021/04/07/opinion/google-job-harassment.html#Полезные_ссылки Хороший текст с очень важной мыслью, думаю неочевидной для многих начинающих (и не только) разработчиков, которые попадают в топовые IT компании — это просто работа. А зн

https://www.nytimes.com/2021/04/07/opinion/google-job-harassment.html#Полезные_ссылки Хороший текст с очень важной мыслью, думаю неочевидной для многих начинающих (и не только) разработчиков, которые попадают в топовые IT компании — это просто работа. А значит можно и нужно позволять себе адекватное количество эгоизма и не делать эту компанию центром своей жизни.

1 месяц, 2 недели назад @ t.me
Настолько прекрасная новость, что закидываю ее без изменений.
Настолько прекрасная новость, что закидываю ее без изменений.

Настолько прекрасная новость, что закидываю ее без изменений.

1 месяц, 3 недели назад @ t.me
Data Engineering DigestКоллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering DigestМы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а.Наш пилотный выпуск можно посмотреть здесь: https://digest.deo
Data Engineering DigestКоллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering DigestМы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а.Наш пилотный выпуск можно посмотреть здесь: https://digest.deo

Data Engineering DigestКоллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering DigestМы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а.Наш пилотный выпуск можно посмотреть здесь: https://digest.deordie.orgВсе мы с вами читаем статьи, смотрим видео с конференций, и находим массу полезного в сети. Однако, не все материалы одинаково полезны. При поддержке сообщества мы решили отбирать самое интересное и публиковать в виде дайджеста.Нам нужна ваша поддержка. Прямо сейчас можно стать контрибьютером.Приходите в наш issue tracker: https://github.com/deordie/deordie-digest/issues и добавляйте статьи, которые вам показались интересными. Обяз…

1 месяц, 3 недели назад @ t.me
https://www.nature.com/articles/d41586-021-00592-0Прекрасное исследование о том, что люди для решения проблемы чаще всего что-то добавляют, а не удаляют, даже если удаление приносит больше бенефитов. Поэтому, когда в следующий раз вам для решения проблемы
https://www.nature.com/articles/d41586-021-00592-0Прекрасное исследование о том, что люди для решения проблемы чаще всего что-то добавляют, а не удаляют, даже если удаление приносит больше бенефитов. Поэтому, когда в следующий раз вам для решения проблемы https://www.nature.com/articles/d41586-021-00592-0Прекрасное исследование о том, что люди для решения проблемы чаще всего что-то добавляют, а не удаляют, даже если удаление приносит больше бенефитов. Поэтому, когда в следующий раз вам для решения проблемы

https://www.nature.com/articles/d41586-021-00592-0Прекрасное исследование о том, что люди для решения проблемы чаще всего что-то добавляют, а не удаляют, даже если удаление приносит больше бенефитов. Поэтому, когда в следующий раз вам для решения проблемы с данными предложат впихнуть Kafka или Redis, подумайте, а нельзя ли решить эту задачу путем удаления абстракции, а не ее добавлением#Полезные_ссылки

1 месяц, 3 недели назад @ t.me
#НамДжунаБыИнтерн/Джун в Huawei.Контакты на скриншоте
#НамДжунаБыИнтерн/Джун в Huawei.Контакты на скриншоте #НамДжунаБыИнтерн/Джун в Huawei.Контакты на скриншоте

#НамДжунаБыИнтерн/Джун в Huawei.Контакты на скриншоте

1 месяц, 4 недели назад @ t.me
#Доклады_и_конференцииhttps://www.youtube.com/watch?v=r1aCFpvtPy0Маленькое объявление - мой этап карьеры в Х5 закончился в эту пятницу. Сдал оборудование, получил документы и “Добби свободен”. Я навсегда запомню эти 2 года, это было классно и замечательно,
#Доклады_и_конференцииhttps://www.youtube.com/watch?v=r1aCFpvtPy0Маленькое объявление - мой этап карьеры в Х5 закончился в эту пятницу. Сдал оборудование, получил документы и “Добби свободен”. Я навсегда запомню эти 2 года, это было классно и замечательно,

#Доклады_и_конференцииhttps://www.youtube.com/watch?v=r1aCFpvtPy0Маленькое объявление - мой этап карьеры в Х5 закончился в эту пятницу. Сдал оборудование, получил документы и “Добби свободен”. Я навсегда запомню эти 2 года, это было классно и замечательно, я многому научился и многое узнал. Пришло время двигаться дальше. Я не стал брать себе недели отпуска между работами и решил не выныривать на поверхность, чтобы подышать. Поэтому начиная с сегодняшнего числа я в команде Amber ребят из SEMrush, делать будем клевую штуку. Канал, конечно же, продолжит свое существование, если что.Так вот, в связи с переходом, наткнулся на интересный (кому-то покажется “капитанский”) доклад про уход из компан…

1 месяц, 4 недели назад @ t.me
#Пятничный_YoutubeВ эту пятницу смотрим хорошее видео про зарплаты: почему одни компании платят меньше других, на какие компромиссы придется пойти для работы в бигтехе, из чего складываются цифры, которые вы видите (или не видите) на сайтах с вакансиями.Ре
#Пятничный_YoutubeВ эту пятницу смотрим хорошее видео про зарплаты: почему одни компании платят меньше других, на какие компромиссы придется пойти для работы в бигтехе, из чего складываются цифры, которые вы видите (или не видите) на сайтах с вакансиями.Ре

#Пятничный_YoutubeВ эту пятницу смотрим хорошее видео про зарплаты: почему одни компании платят меньше других, на какие компромиссы придется пойти для работы в бигтехе, из чего складываются цифры, которые вы видите (или не видите) на сайтах с вакансиями.Реальность Европы очень легко перекладывается и на наш, Российсикй рынок.https://www.youtube.com/watch?v=h8Xpapy6I9E

2 месяца назад @ t.me
#НамДжунаБы Junior DE в Платформа ОФД
#НамДжунаБы Junior DE в  Платформа ОФД #НамДжунаБы Junior DE в Платформа ОФД

#НамДжунаБы Junior DE в Платформа ОФД

2 месяца назад @ t.me
#Полезные_ссылки Очередная интересная статья мне попалась на глаза. В этот раз автор - Julia Evans (та самая, которая рисует эти крутые комиксы). Запись в блоге про то, как повышать свою квалификацию, ковыряясь в деталях при этом не становясь задротом. Иде
#Полезные_ссылки Очередная интересная статья мне попалась на глаза. В этот раз автор - Julia Evans (та самая, которая рисует эти крутые комиксы). Запись в блоге про то, как повышать свою квалификацию, ковыряясь в деталях при этом не становясь задротом. Иде #Полезные_ссылки Очередная интересная статья мне попалась на глаза. В этот раз автор - Julia Evans (та самая, которая рисует эти крутые комиксы). Запись в блоге про то, как повышать свою квалификацию, ковыряясь в деталях при этом не становясь задротом. Иде

#Полезные_ссылки Очередная интересная статья мне попалась на глаза. В этот раз автор - Julia Evans (та самая, которая рисует эти крутые комиксы). Запись в блоге про то, как повышать свою квалификацию, ковыряясь в деталях при этом не становясь задротом. Идеальный баланс!Перевод на Хабр / Оригинал в блоге

2 месяца назад @ t.me
Как вы могли заметить по уведомлению, у канала сменился логотип и название. Мне бы хотелось вещать на чуть большую публицу и прям очень-очень узкая специализация этому мешала.Теперь будет чуть пошире.Я понимаю, что первые дни некоторые из вас отпишутся - и
Как вы могли заметить по уведомлению, у канала сменился логотип и название. Мне бы хотелось вещать на чуть большую публицу и прям очень-очень узкая специализация этому мешала.Теперь будет чуть пошире.Я понимаю, что первые дни некоторые из вас отпишутся - и

Как вы могли заметить по уведомлению, у канала сменился логотип и название. Мне бы хотелось вещать на чуть большую публицу и прям очень-очень узкая специализация этому мешала.Теперь будет чуть пошире.Я понимаю, что первые дни некоторые из вас отпишутся - и это хорошо, у вас меньше нерелевантного в ленте будет.

2 месяца, 1 неделя назад @ t.me
Channel name was changed to «Труба данных»
Channel name was changed to «Труба данных»

Channel name was changed to «Труба данных»

2 месяца, 1 неделя назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост 2 недели, 3 дня назад
Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH ги
Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH ги

Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, мы пришли к неожиданному ответу: выбирать надо не между подходами, а лучшее из двух подходов.🎓 Как мы внедрили свою модель хранения данных — highly Normalized hybrid Model. Доклад Яндекса

2 недели, 3 дня назад @ t.me
Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели
Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели

Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели наступить. Вот какие кейсы рассмотрим.Платформа для A/B-тестирования. Во что вам обойдётся автоматизация экспериментов?Сергей Масленников, аналитик Яндекс Go, расскажет, как мы освободили тысячи аналитико-часов, разработав систему АБТ.Как внедрение дорожного графа в инфраструктуру такси помогло снизить время подачи машиныАртём Бондаренко, team-lead группы аналитики Go, поделится опытом внедрения дорожного графа прямо в сервис — вместо дор…

3 месяца, 1 неделя назад @ t.me
Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за вс
Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за вс

Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за все это отвечает наша служба DMP (Data Management Platfrom).На конференции SmartData ребята из службы DMP подсветили часть интересных нюансов про внутреннее устройство подготовки данных для аналитики всего Yandex.GO. Highly Normilized Hybrid Model Для того, чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методо…

3 месяца, 3 недели назад @ t.me
У меня есть две огненные вакансии про BI и Табло в Яндекс.📈 BI-аналитик в Яндекс GoЭто новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики
У меня есть две огненные вакансии про BI и Табло в Яндекс.📈 BI-аналитик в Яндекс GoЭто новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики

У меня есть две огненные вакансии про BI и Табло в Яндекс.📈 BI-аналитик в Яндекс GoЭто новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики приложений Яндекс Go. Необходимо разрабатывать стратегию развития отчётности, собирать данные и делать классные отчёты. Больше всего задач именно про дашборды, но придется готовить и данные. Вы не будете делать все-все дашборды для подразделения, но будете внутренним центром экспертизы по визуализации и Табло внутри команды продуктовой аналитики. Я же буду помогать вам советами и менторством.Позиция уровня мидл/джун. Нужны классные навыки…

4 месяца, 3 недели назад @ t.me
Новое эссе на GoPractice!“Требования к аналитикам данных на разных уровнях в Яндексе”Женя Козлов, который последние 8 лет строил аналитику в Яндекс.Такси и Яндекс.Маркете, рассказывает о том, как в Яндексе думают про уровни аналитиков данных (специалистов
Новое эссе на GoPractice!“Требования к аналитикам данных на разных уровнях в Яндексе”Женя Козлов, который последние 8 лет строил аналитику в Яндекс.Такси и Яндекс.Маркете, рассказывает о том, как в Яндексе думают про уровни аналитиков данных (специалистов

Новое эссе на GoPractice!“Требования к аналитикам данных на разных уровнях в Яндексе”Женя Козлов, который последние 8 лет строил аналитику в Яндекс.Такси и Яндекс.Маркете, рассказывает о том, как в Яндексе думают про уровни аналитиков данных (специалистов и менеджеров).Данное эссе поможет вам:- Сформулировать четкие требования к аналитикам на разных уровнях.- Структурировать процесс найма и роста аналитиков данных.- Определить уровень своих сотрудников (или свой) и подготовить план для их роста и развития.https://gopractice.ru/data_analysts_levels/ Обсудить прочитанное можно в чате Ask Kevin! https://t.me/askkevinЖеня также делится своими мыслями в канале https://t.me/SecretOfNoodleSoup

7 месяцев назад @ t.me
Вчера «выступил» на DataFest 2020, конференции сообщества Open Data Science. Рассказал и показал на практике, как мы используем в Такси стайлгайд и темплейт-книгу в Tableau.
Вчера «выступил» на DataFest 2020, конференции сообщества Open Data Science. Рассказал и показал на практике, как мы используем в Такси стайлгайд и темплейт-книгу в Tableau.

Вчера «выступил» на DataFest 2020, конференции сообщества Open Data Science. Рассказал и показал на практике, как мы используем в Такси стайлгайд и темплейт-книгу в Tableau.

8 месяцев, 4 недели назад @ t.me
enthusiastech enthusiastech
последний пост 2 дня, 10 часов назад
Слайды сегодняшнего вебинара с кликабельными ссылками: https://docs.google.com/presentation/d/1kLERKIxMAg1PcbMykNRL5juK1tsebUGkkwT709JCYkI/edit?usp=sharingЗапись вебинара: https://youtu.be/pkuKKb4klkY?t=211
Слайды сегодняшнего вебинара с кликабельными ссылками: https://docs.google.com/presentation/d/1kLERKIxMAg1PcbMykNRL5juK1tsebUGkkwT709JCYkI/edit?usp=sharingЗапись вебинара: https://youtu.be/pkuKKb4klkY?t=211

Слайды сегодняшнего вебинара с кликабельными ссылками: https://docs.google.com/presentation/d/1kLERKIxMAg1PcbMykNRL5juK1tsebUGkkwT709JCYkI/edit?usp=sharingЗапись вебинара: https://youtu.be/pkuKKb4klkY?t=211

2 дня, 10 часов назад @ t.me
Привет, начинаем вебинар. Подключайтесь: https://www.youtube.com/watch?v=pkuKKb4klkY
Привет, начинаем вебинар. Подключайтесь: https://www.youtube.com/watch?v=pkuKKb4klkY

Привет, начинаем вебинар. Подключайтесь: https://www.youtube.com/watch?v=pkuKKb4klkY

2 дня, 11 часов назад @ t.me
Завтра 15 июня в 15.00 проведу вебинар.Практическое Качество Данных– Тесты схемы и бизнес-логики– Актуальность и своевременность данных– Получение статусов и уведомлений в Slack– Исправление проблем и Data FixesСсылка на регистрацию: https://otus.ru/lesson
Завтра 15 июня в 15.00 проведу вебинар.Практическое Качество Данных– Тесты схемы и бизнес-логики– Актуальность и своевременность данных– Получение статусов и уведомлений в Slack– Исправление проблем и Data FixesСсылка на регистрацию: https://otus.ru/lesson Завтра 15 июня в 15.00 проведу вебинар.Практическое Качество Данных– Тесты схемы и бизнес-логики– Актуальность и своевременность данных– Получение статусов и уведомлений в Slack– Исправление проблем и Data FixesСсылка на регистрацию: https://otus.ru/lesson

Завтра 15 июня в 15.00 проведу вебинар.Практическое Качество Данных– Тесты схемы и бизнес-логики– Актуальность и своевременность данных– Получение статусов и уведомлений в Slack– Исправление проблем и Data FixesСсылка на регистрацию: https://otus.ru/lessons/dwh/#event-1340Ссылка на youtube-трансляцию будет в канале за 5 минут до начала.

3 дня, 9 часов назад @ t.me
Long time no see, folks!Let us investigate super hot app TikTok from the point of Marketing API integration.There's not much information on this topic available on the net today.For now I see the steps as follows:1. Register as a developer and create an Ap
Long time no see, folks!Let us investigate super hot app TikTok from the point of Marketing API integration.There's not much information on this topic available on the net today.For now I see the steps as follows:1. Register as a developer and create an Ap Long time no see, folks!Let us investigate super hot app TikTok from the point of Marketing API integration.There's not much information on this topic available on the net today.For now I see the steps as follows:1. Register as a developer and create an Ap

Long time no see, folks!Let us investigate super hot app TikTok from the point of Marketing API integration.There's not much information on this topic available on the net today.For now I see the steps as follows:1. Register as a developer and create an App – DONE2. Get access to any business account (who does promotions/advertising) – DONE3. Acquire API token – DONE4. Play with APIBriefly, interesting things one can do via API:– Reporting API- Audience management– Pixel managementThat could be promising and demanded integration.Share what you think about it.And stay tuned.

1 неделя, 1 день назад @ t.me
#expert⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.Поговорили с Артемием про принципы,
#expert⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.Поговорили с Артемием про принципы,

#expert⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.Поговорили с Артемием про принципы, лежащие в основе решений, работающих с Big Data ⬇️***Большие данные, кластерные вычисления, MPP базы данных – всё это может звучать так сложно и загадочно не только для обывателя, но и для ИТ-специалистов.Однако, принципы, лежащие в основе решений, работающих с Big Data, логичны и интуитивно понятны. Они одинаково применимы и к инструментам экосистемы Hadoop (Hive, Spark, HBase, Kafka), и к аналитическим движкам корпоративного уровня (Ter…

3 недели назад @ t.me
An interesting approach on how to solve data modeling problem.Istead of going from source data to target data mart, you write your models backwards, starting from the desired result and then performing actions and steps to achieve it.1. Prototype with GShe
An interesting approach on how to solve data modeling problem.Istead of going from source data to target data mart, you write your models backwards, starting from the desired result and then performing actions and steps to achieve it.1. Prototype with GShe

An interesting approach on how to solve data modeling problem.Istead of going from source data to target data mart, you write your models backwards, starting from the desired result and then performing actions and steps to achieve it.1. Prototype with GSheets2. Mock out the final report you’re trying to build3. Mock the query that would produce this result4. Iterate5. Match this up with source data6. Move the logic into your pipeline orchestration toolFull post from Claire:https://discourse.getdbt.com/t/writing-models-backwards-an-unorthodox-approach-to-data-transformation/2287

3 недели, 1 день назад @ t.me
Сегодня хотел бы поговорить о вопросах конвертирования финансовых показателей в разные валюты. Вопрос достаточно актуальный, так как большое количество компаний имеют мультинациональные зоны присутствия, строят аналитику глобального масштаба, готовят отчет
Сегодня хотел бы поговорить о вопросах конвертирования финансовых показателей в разные валюты. Вопрос достаточно актуальный, так как большое количество компаний имеют мультинациональные зоны присутствия, строят аналитику глобального масштаба, готовят отчет

Сегодня хотел бы поговорить о вопросах конвертирования финансовых показателей в разные валюты. Вопрос достаточно актуальный, так как большое количество компаний имеют мультинациональные зоны присутствия, строят аналитику глобального масштаба, готовят отчетность по международным стандартам.Покажу как этот вопрос решается с помощью современных подходов на примере кейса Wheely:– Расширение списка базовых валют– Регулярное обновление и получения актуальных курсов– Обеспечение корректности исторических показателей– Максимальное удобство и простота использования в аналитических инструментахhttps://habr.com/ru/company/otus/blog/558238/

4 недели, 1 день назад @ t.me
Подготовил интереснейшее задание для Datathon по DWH / Analytics Engineering: Сквозная аналитика и практики data-driven для e-Commerce Пользуйтесь шансом влиться в движение, пообщаться, попрактиковаться на кейсе, приближенном к реальности. В качестве приз
Подготовил интереснейшее задание для Datathon по DWH / Analytics Engineering: Сквозная аналитика и практики data-driven для e-Commerce Пользуйтесь шансом влиться в движение, пообщаться, попрактиковаться на кейсе, приближенном к реальности. В качестве приз

Подготовил интереснейшее задание для Datathon по DWH / Analytics Engineering: Сквозная аналитика и практики data-driven для e-Commerce Пользуйтесь шансом влиться в движение, пообщаться, попрактиковаться на кейсе, приближенном к реальности. В качестве призов…

1 месяц назад @ t.me
🔥 С 14 по 16 мая в OTUS пройдет открытое онлайн-соревнование по Data science. Участие бесплатное!Попробуйте свои силы в любом из двух направлений на выбор:✫ Machine Learning✫ Data Warehouse🏆 Главный приз — бесплатное обучение на любом курсе по Data Science
🔥 С 14 по 16 мая в OTUS пройдет открытое онлайн-соревнование по Data science. Участие бесплатное!Попробуйте свои силы в любом из двух направлений на выбор:✫ Machine Learning✫ Data Warehouse🏆 Главный приз — бесплатное обучение на любом курсе по Data Science 🔥 С 14 по 16 мая в OTUS пройдет открытое онлайн-соревнование по Data science. Участие бесплатное!Попробуйте свои силы в любом из двух направлений на выбор:✫ Machine Learning✫ Data Warehouse🏆 Главный приз — бесплатное обучение на любом курсе по Data Science

🔥 С 14 по 16 мая в OTUS пройдет открытое онлайн-соревнование по Data science. Участие бесплатное!Попробуйте свои силы в любом из двух направлений на выбор:✫ Machine Learning✫ Data Warehouse🏆 Главный приз — бесплатное обучение на любом курсе по Data Science.Регистрируйся, чтобы не пропустить обновления! О призах и правилах участия узнайте на вебинаре 14 мая.

1 месяц назад @ t.me
Подготовил интереснейшее задание для Datathon по DWH / Analytics Engineering:Сквозная аналитика и практики data-driven для e-CommerceПользуйтесь шансом влиться в движение, пообщаться, попрактиковаться на кейсе, приближенном к реальности.В качестве призов –
Подготовил интереснейшее задание для Datathon по DWH / Analytics Engineering:Сквозная аналитика и практики data-driven для e-CommerceПользуйтесь шансом влиться в движение, пообщаться, попрактиковаться на кейсе, приближенном к реальности.В качестве призов –

Подготовил интереснейшее задание для Datathon по DWH / Analytics Engineering:Сквозная аналитика и практики data-driven для e-CommerceПользуйтесь шансом влиться в движение, пообщаться, попрактиковаться на кейсе, приближенном к реальности.В качестве призов – бесплатное участие в курсе Data Engineer или Analytics Engineer (новый!) на выбор.

1 месяц назад @ t.me
Запись мастер-класса доступна, конечно, в рамках курса Skillbox, но Jupyter-ноутбук с пояснениями на русском языке в наличии для самостоятельного изучения и экспериментов.https://github.com/kzzzr/skillbox-kiva
Запись мастер-класса доступна, конечно, в рамках курса Skillbox, но Jupyter-ноутбук с пояснениями на русском языке в наличии для самостоятельного изучения и экспериментов.https://github.com/kzzzr/skillbox-kiva Запись мастер-класса доступна, конечно, в рамках курса Skillbox, но Jupyter-ноутбук с пояснениями на русском языке в наличии для самостоятельного изучения и экспериментов.https://github.com/kzzzr/skillbox-kiva

Запись мастер-класса доступна, конечно, в рамках курса Skillbox, но Jupyter-ноутбук с пояснениями на русском языке в наличии для самостоятельного изучения и экспериментов.https://github.com/kzzzr/skillbox-kiva

1 месяц, 1 неделя назад @ t.me
Мастер-класс по Разведочному Анализу Данных – Exploratory Data Analysis – EDAKiva - это некоммерческая организация, которая позволяет нуждающимся более чем в 80 странах мира получать финансирование под различного рода проекты и нужды.Kiva хочет сделать так
Мастер-класс по Разведочному Анализу Данных – Exploratory Data Analysis – EDAKiva - это некоммерческая организация, которая позволяет нуждающимся более чем в 80 странах мира получать финансирование под различного рода проекты и нужды.Kiva хочет сделать так

Мастер-класс по Разведочному Анализу Данных – Exploratory Data Analysis – EDAKiva - это некоммерческая организация, которая позволяет нуждающимся более чем в 80 странах мира получать финансирование под различного рода проекты и нужды.Kiva хочет сделать так, чтобы собранные деньги тратились с максимальной пользой. В первую очередь, конечно же, их интересует не дисперсия пожертвований и не еще какие-нибудь статистические показатели, а ощутимые выводы и рекомендации, которые позволят им работать эффективнее и больше понимать специфику потребностей и уровень бедности в разных странах и регионах.– Проверьте, насколько имеющиеся данные чисты, то есть подвержены выбросам, пропущенным и недействите…

1 месяц, 1 неделя назад @ t.me
Performing set operations UNION, INTERSECT, MINUS with Looker BI toolThe problem:I would like to list and count all the users who have used product A but never used product B (in a specific period/area/country).You cannot achieve the desired result by simp
Performing set operations UNION, INTERSECT, MINUS with Looker BI toolThe problem:I would like to list and count all the users who have used product A but never used product B (in a specific period/area/country).You cannot achieve the desired result by simp Performing set operations UNION, INTERSECT, MINUS with Looker BI toolThe problem:I would like to list and count all the users who have used product A but never used product B (in a specific period/area/country).You cannot achieve the desired result by simp

Performing set operations UNION, INTERSECT, MINUS with Looker BI toolThe problem:I would like to list and count all the users who have used product A but never used product B (in a specific period/area/country).You cannot achieve the desired result by simply slicing this table. One needs a more advanced technique:- MINUS operation on top of two sets of users:- Writing a subquery with IN or EXISTS - Self-joining a fact tableBut can I do this with BI tool?https://kzzzr.github.io/Performing-set-operations-UNION,-INTERSECT,-MINUS-with-Looker-BI-tool/

1 месяц, 1 неделя назад @ t.me
Performing custom ‘not empty’ testsdbt is shipped with essential schema tests which I covered in one of my previous posts on CORE DWH test suite. There are plenty of additional tests and handy macros shipped with the dbt-utils package, including equal_rowc
Performing custom ‘not empty’ testsdbt is shipped with essential schema tests which I covered in one of my previous posts on CORE DWH test suite. There are plenty of additional tests and handy macros shipped with the dbt-utils package, including equal_rowc Performing custom ‘not empty’ testsdbt is shipped with essential schema tests which I covered in one of my previous posts on CORE DWH test suite. There are plenty of additional tests and handy macros shipped with the dbt-utils package, including equal_rowc

Performing custom ‘not empty’ testsdbt is shipped with essential schema tests which I covered in one of my previous posts on CORE DWH test suite. There are plenty of additional tests and handy macros shipped with the dbt-utils package, including equal_rowcount, expression_is_true, recency, at_least_one, etc.But still if you need something special you can easily add it yourself. For me this is signalling if one of my source tables is empty.https://kzzzr.github.io/Performing-custom-not-empty-tests/

1 месяц, 1 неделя назад @ t.me
Generating concatenate and surrogate keysSurrogate keys are the central point of any Data Warehouse uniquely identifying rows and connecting facts and dimensions tables. I usually utilize hash functions of source PK columns, which comes from Data Vault 2.0
Generating concatenate and surrogate keysSurrogate keys are the central point of any Data Warehouse uniquely identifying rows and connecting facts and dimensions tables. I usually utilize hash functions of source PK columns, which comes from Data Vault 2.0 Generating concatenate and surrogate keysSurrogate keys are the central point of any Data Warehouse uniquely identifying rows and connecting facts and dimensions tables. I usually utilize hash functions of source PK columns, which comes from Data Vault 2.0

Generating concatenate and surrogate keysSurrogate keys are the central point of any Data Warehouse uniquely identifying rows and connecting facts and dimensions tables. I usually utilize hash functions of source PK columns, which comes from Data Vault 2.0 and gives us consistent results coming from various sources.But sometimes in case of a compound key you might want to retain readability of the whole concatenated values. This is especially applicable for marketing analytics, where the row key might contain utm_source, utm_medium, utm_campaign, ads_group_id, keyword_id.https://kzzzr.github.io/Generating-concatenate-and-surrogate-keys/

1 месяц, 1 неделя назад @ t.me
data будни data будни
последний пост 1 день, 9 часов назад
Подкаст с Лёшей Никушинымhttps://t.me/internetanalytics/3641Алексей известен как автор канала Интернет-аналитика ^^ и основатель конференции Матемаркетинг.Понравился подход к делу:… новая работа — «знакомьтесь, это Лёша, лучший аналитик страны… Посмотрим ч
Подкаст с Лёшей Никушинымhttps://t.me/internetanalytics/3641Алексей известен как автор канала Интернет-аналитика ^^ и основатель конференции Матемаркетинг.Понравился подход к делу:… новая работа — «знакомьтесь, это Лёша, лучший аналитик страны… Посмотрим ч

Подкаст с Лёшей Никушинымhttps://t.me/internetanalytics/3641Алексей известен как автор канала Интернет-аналитика ^^ и основатель конференции Матемаркетинг.Понравился подход к делу:… новая работа — «знакомьтесь, это Лёша, лучший аналитик страны… Посмотрим что ты умеешь». В пятницу утром получил задание — к понедельнику сделать отчёт по всем диджитал каналам трафика в компании. Руками такой отчёт делать — не то что выходных, месяца не хватит.И дальше череда событий:тут же вечером — он проходит курс по программированию на Пайтоне на Степикеутром в субботу — у него созвон с Ильёй Красинским, чтобы тот объяснил ему куда смотреть в Гугл Аналитиксе днём в субботу — такой же созвон с человеком из Я…

1 день, 9 часов назад @ t.me
Recommended Reading, Listening, Watching from Meltano Teamподборка дата- рассылок, блогов, ресурсов и комьюнитиhttps://meltano.com/handbook/resources/
Recommended Reading, Listening, Watching from Meltano Teamподборка дата- рассылок, блогов, ресурсов и комьюнитиhttps://meltano.com/handbook/resources/

Recommended Reading, Listening, Watching from Meltano Teamподборка дата- рассылок, блогов, ресурсов и комьюнитиhttps://meltano.com/handbook/resources/

1 неделя назад @ t.me
Не «если», а «когда» когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…» сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял
Не «если», а «когда» когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…» сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял

Не «если», а «когда» когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…» сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял…

1 неделя, 3 дня назад @ t.me
Не «если», а «когда»когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…»сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял, чт
Не «если», а «когда»когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…»сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял, чт

Не «если», а «когда»когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…»сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял, что всегда будут попадаться задачи, которые придётся делать первый раз. И это нормально! Типа «поднять для проекта инфру с нуля в облаке на кубере и настроить туда доступ облачному BI» — пфф! легко! (на самом деле совсем не легко, но опустим это))навеяно: ⁃ известный архитектор тоже не знает как он будет строить заказанный у него небоскрёб (но, конечно, предусмотрительно не говорит об это клиенту) (прочитал у Бабаевой https://t.me/changemark…

2 недели назад @ t.me
Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт. Разбирался сегодня со структурой этих данных: колонок всего 22, н
Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт. Разбирался сегодня со структурой этих данных: колонок всего 22, н

Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт. Разбирался сегодня со структурой этих данных: колонок всего 22, но…

2 недели, 3 дня назад @ t.me
Да, это хорошая идея вообще, потихоничку описываем.К сожалению, это не маленький список регшений и в формате комментариев к посту я не знаю как его уложить. Ключевые метрики описывают свои классы проблем, например, низкая конверсия – описывает проблемы про
Да, это хорошая идея вообще, потихоничку описываем.К сожалению, это не маленький список регшений и в формате комментариев к посту я не знаю как его уложить. Ключевые метрики описывают свои классы проблем, например, низкая конверсия – описывает проблемы про

Да, это хорошая идея вообще, потихоничку описываем.К сожалению, это не маленький список регшений и в формате комментариев к посту я не знаю как его уложить. Ключевые метрики описывают свои классы проблем, например, низкая конверсия – описывает проблемы продажи – то как плохо мы продаем и причины этого. Но это в идеальном мире, где метрики независимы – то есть базис метрик ортогонален друг другу. В реальном мире есть много проблем, например, проблема усреднения: эффективные когорты, каналы, кампании, посадочные страницы скрывают (усредняют) проблемы не эффективных.Конверсия зависит на части сегментов от ср. чека – выше ср. чек, сложнее решение о покупке, потенциально ниже конверсия – а на не…

2 недели, 4 дня назад @ t.me
комментарии в канале у Красинского — золото
комментарии в канале у Красинского — золото

комментарии в канале у Красинского — золото

2 недели, 4 дня назад @ t.me
Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт.Разбирался сегодня со структурой этих данных: колонок всего 22, но
Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт.Разбирался сегодня со структурой этих данных: колонок всего 22, но

Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт.Разбирался сегодня со структурой этих данных: колонок всего 22, но их них 10 со вложенной структурой (если всё разложить, будет 176!). Чтобы добраться до нужных значений внутри, приходится прибегать к ухищрениям типа UNNEST. И всё не мог понять зачем это нужно, пока не нашёл гайд как сделать из этого экспорта плоский формат. Оказывается, изначальная задумка вложенного формата в том, чтобы в одну таблицу «запихнуть» как бы четыре нормализованные… Когда стал ясен смысл, то и на данные смотреть теперь проще.…

2 недели, 6 дней назад @ t.me
хайрезы в ПДФ
хайрезы в ПДФ

хайрезы в ПДФ

3 недели, 1 день назад @ t.me
Мета-Архитектура для работы с данными — исследование Andreessen & Horowitz на основне опроса сотен стартапов[оригинал, перевод]интересен общая схема и список всех участников. Выписал ребят из последней колонки:Output — итог, «конечная станция» для да
Мета-Архитектура для работы с данными  — исследование Andreessen & Horowitz на основне опроса сотен стартапов[оригинал, перевод]интересен общая схема и список всех участников. Выписал ребят из последней колонки:Output  — итог, «конечная станция» для да Мета-Архитектура для работы с данными — исследование Andreessen & Horowitz на основне опроса сотен стартапов[оригинал, перевод]интересен общая схема и список всех участников. Выписал ребят из последней колонки:Output — итог, «конечная станция» для да

Мета-Архитектура для работы с данными — исследование Andreessen & Horowitz на основне опроса сотен стартапов[оригинал, перевод]интересен общая схема и список всех участников. Выписал ребят из последней колонки:Output — итог, «конечная станция» для данных Dashboards Looker SupersetMode TableauEmbedded Analytics Sisense Looker cube.js Augmented Analytics Thoughtspot Outlier Anodot Sisu App Frameworks Plotly Dash Streamlit Custom Apps …via @data_days

3 недели, 1 день назад @ t.me
В компании с налаженными процессами порог входа нижеСидят в отделе пять бородатых миддлов и всё у них слажено: все всё знают где что лежит, работа идёт, таски закрываются.Но вот приходит новенький и изображает Траволту из известного мема: «где тут у вас чт
В компании с налаженными процессами порог входа нижеСидят в отделе пять бородатых миддлов и всё у них слажено: все всё знают где что лежит, работа идёт, таски закрываются.Но вот приходит новенький и изображает Траволту из известного мема: «где тут у вас чт

В компании с налаженными процессами порог входа нижеСидят в отделе пять бородатых миддлов и всё у них слажено: все всё знают где что лежит, работа идёт, таски закрываются.Но вот приходит новенький и изображает Траволту из известного мема: «где тут у вас что?» Если в компании налажены процессы онбординга, то в новенького сразу прилетает куча пошаговых инструкций: куда писать код, к кому идти за менторством, где оформлять отпуск и брать печеньки.Если же процессов нет, то адаптация идёт в ручном режиме: старичок проводит новенького за ручку по всем углам и знакомит с порядками (а мог бы свой код писать, да). И хорошо, если ещё старичок ничего не забудет! Хотя в любом случае новичок поначалу бу…

3 недели, 3 дня назад @ t.me
Data Science — это направление знаний это что-то такое крупное; типа «медицины».в начале профессионального пути детали не важны и можно смело говорить, что хочешь стать «медиком» — со специализацией определишься уже ближе к третьему курсу.но вот если какая
Data Science — это направление знаний это что-то такое крупное; типа «медицины».в начале профессионального пути детали не важны и можно смело говорить, что хочешь стать «медиком» — со специализацией определишься уже ближе к третьему курсу.но вот если какая

Data Science — это направление знаний это что-то такое крупное; типа «медицины».в начале профессионального пути детали не важны и можно смело говорить, что хочешь стать «медиком» — со специализацией определишься уже ближе к третьему курсу.но вот если какая-нибудь больница опубликует вакансию о поиске «медика», то к ним придут все: от акушера до нейрохирурга — спасибо, что не администратор в приёмную!

4 недели, 1 день назад @ t.me
Как в Postgres раздать юзерам выборочные права на разные схемы:https://towardsdatascience.com/how-to-handle-privileges-in-postgresql-with-specific-use-case-and-code-458fbdb67a73
Как в Postgres раздать юзерам выборочные права на разные схемы:https://towardsdatascience.com/how-to-handle-privileges-in-postgresql-with-specific-use-case-and-code-458fbdb67a73

Как в Postgres раздать юзерам выборочные права на разные схемы:https://towardsdatascience.com/how-to-handle-privileges-in-postgresql-with-specific-use-case-and-code-458fbdb67a73

1 месяц назад @ t.me
data будни pinned «Экстрактор данных из Эгеи Эгея — это движок для блога. Все данные о постах, тэгах, просмотрах, лайках хранятся в базе данных (сюрприз!). Написал небольшой код, который достаёт из этой базы данных нужное и сохраняет в виде таблицы: в .
data будни pinned «Экстрактор данных из Эгеи Эгея — это движок для блога. Все данные о постах, тэгах, просмотрах, лайках хранятся в базе данных (сюрприз!). Написал небольшой код, который достаёт из этой базы данных нужное и сохраняет в виде таблицы: в .

data будни pinned «Экстрактор данных из Эгеи Эгея — это движок для блога. Все данные о постах, тэгах, просмотрах, лайках хранятся в базе данных (сюрприз!). Написал небольшой код, который достаёт из этой базы данных нужное и сохраняет в виде таблицы: в .csv или Google Sheets.…»

1 месяц, 1 неделя назад @ t.me
на данных из моего блога получилось такая визуализацияБлог у меня с 2017 года, но, видимо, что-то криво поставил и просмотры начали считаться только после последней переустановки на последнюю версию 2.10.По динамике просмотров выделяются три заметки: 1. Де
на данных из моего блога получилось такая визуализацияБлог у меня с 2017 года, но, видимо, что-то криво поставил и просмотры начали считаться только после последней переустановки на последнюю версию 2.10.По динамике просмотров выделяются три заметки: 1. Де на данных из моего блога получилось такая визуализацияБлог у меня с 2017 года, но, видимо, что-то криво поставил и просмотры начали считаться только после последней переустановки на последнюю версию 2.10.По динамике просмотров выделяются три заметки: 1. Де

на данных из моего блога получилось такая визуализацияБлог у меня с 2017 года, но, видимо, что-то криво поставил и просмотры начали считаться только после последней переустановки на последнюю версию 2.10.По динамике просмотров выделяются три заметки: 1. Детективная история как я делал тестовое задание по анализу данных 2. Моё резюме в виде большой заметки (на момент обучения в Яндекс.Практикуме) 3. Отчёт-инструкция как я парсил сайт через встроенные функции в Гугл-таблицах (ещё до того как познакомился с Python)Ещё заметил, что постов стало в принципе меньше (как и свободного времени, хе-хе)А список тэгов, отсоритрованный по количеству заметок, напомнил, что когда-то у меня даже хватало вре…

1 месяц, 1 неделя назад @ t.me
Data Governance Data Governance
последний пост 6 месяцев, 2 недели назад
Data Literacy в России запускает проект по популяризации «DAMA-DMBOK2: Cвода знаний по управлению данными». Первый вебинар пройдет уже сегодня, 1 декабря в 18:00, при участии экспертов из Магнит, QUBData и Qlik: https://dataliteracy.ru/see-dmbok-1 Книга «D
Data Literacy в России запускает проект по популяризации «DAMA-DMBOK2: Cвода знаний по управлению данными». Первый вебинар пройдет уже сегодня, 1 декабря в 18:00, при участии экспертов из Магнит, QUBData и Qlik: https://dataliteracy.ru/see-dmbok-1 Книга «D

Data Literacy в России запускает проект по популяризации «DAMA-DMBOK2: Cвода знаний по управлению данными». Первый вебинар пройдет уже сегодня, 1 декабря в 18:00, при участии экспертов из Магнит, QUBData и Qlik: https://dataliteracy.ru/see-dmbok-1 Книга «DAMA-DMBOK2: Cвода знаний по управлению данными» написана экспертами Международной ассоциации управления данными (DAMA) и представляет собой наиболее полное и актуальное введение в дисциплину управления данными с обзором лучших практик. DAMA-DMBOK2 действительно можно назвать сводом знаний. К примеру, только для написания первой главы составители осмыслили и переработали более 40 книг и научных статей по работе с данными. Поэтому, мы будем …

6 месяцев, 2 недели назад @ t.me
Кстати, у канала есть чат https://t.me/joinchat/A3kvLE-ck9-Ww7DUkTguRw и канал в slack ods #data_governance https://ods.ai/
Кстати, у канала есть чат https://t.me/joinchat/A3kvLE-ck9-Ww7DUkTguRw и канал в slack ods #data_governance https://ods.ai/

Кстати, у канала есть чат https://t.me/joinchat/A3kvLE-ck9-Ww7DUkTguRw и канал в slack ods #data_governance https://ods.ai/

7 месяцев, 4 недели назад @ t.me
Алхимики объявили неделю Data Governance Сегодня 3 спикера, поэтому начинаем пораньше17:00-18:00 "Управление мастер-данными" Павел Абдюшев, директор по развитию продуктов HFLabs 18:00-18:40 Доклад "Data Quality Framework для Data Lake MTS" и Q&A - Дм
Алхимики объявили неделю Data Governance Сегодня 3 спикера, поэтому начинаем пораньше17:00-18:00 "Управление мастер-данными" Павел Абдюшев, директор по развитию продуктов HFLabs 18:00-18:40 Доклад "Data Quality Framework для Data Lake MTS" и Q&A - Дм

Алхимики объявили неделю Data Governance Сегодня 3 спикера, поэтому начинаем пораньше17:00-18:00 "Управление мастер-данными" Павел Абдюшев, директор по развитию продуктов HFLabs 18:00-18:40 Доклад "Data Quality Framework для Data Lake MTS" и Q&A - Дмитрий Ежов, product owner, МТС 18:40-19:20 Доклад + Q&A "Data Governance на минималках" Наталья Хапаева, product owner, МТС Встречаемся в Spatial Chat https://spatial.chat/s/ods. Пароль: allhailtheoneandonlypartyparrot.

7 месяцев, 4 недели назад @ t.me
​​Доброе утро! Сегодня в комнате трека ML in Finance поговорим о Big Data 😎16:00-18:00 Доклад «Использование Big Data по ценам розничной онлайн-торговли в России» и Q&A с Алексеем Евсеевым, младшим научным сотрудником Института прикладных экономически
​​Доброе утро! Сегодня в комнате трека ML in Finance поговорим о Big Data 😎16:00-18:00 Доклад «Использование Big Data по ценам розничной онлайн-торговли в России» и Q&A с Алексеем Евсеевым, младшим научным сотрудником Института прикладных экономически

​​Доброе утро! Сегодня в комнате трека ML in Finance поговорим о Big Data 😎16:00-18:00 Доклад «Использование Big Data по ценам розничной онлайн-торговли в России» и Q&A с Алексеем Евсеевым, младшим научным сотрудником Института прикладных экономических наук РАНХиГС А сразу после продолжим обсуждение data-related вопросов со спикерами трека Data Governance 🤓18:00-19:00 Доклад “Self Service Data: инфраструктура для аналитиков” и Q&A с Романом Богатовым, Team lead команды аналитики, Островок 19:00-20:00 Доклад "Big Data Discovery. Использование enterprise data catalog (Alation) для формирования data driven культуры организации» и Q&A с Анастасией Ярошенко, экспертом по управлению данными, МТС …

8 месяцев назад @ t.me
10 октября в комнате трека Data Governance #опятьмитап: 🔸 15:00-16:00 Доклад “Управление качеством данных” и Q&A с Алексеем Ильиным из Adastra🔸 16:00-17:00 Доклад “Meta DWH о DWH для DWH” и Q&A с Евгением Ермаковым из Яндекс ТаксиВстречаемся в Spat
10 октября в комнате трека Data Governance #опятьмитап: 🔸 15:00-16:00 Доклад “Управление качеством данных” и Q&A с Алексеем Ильиным из Adastra🔸 16:00-17:00 Доклад “Meta DWH о DWH для DWH” и Q&A с Евгением Ермаковым из Яндекс ТаксиВстречаемся в Spat

10 октября в комнате трека Data Governance #опятьмитап: 🔸 15:00-16:00 Доклад “Управление качеством данных” и Q&A с Алексеем Ильиным из Adastra🔸 16:00-17:00 Доклад “Meta DWH о DWH для DWH” и Q&A с Евгением Ермаковым из Яндекс ТаксиВстречаемся в Spatial Chat https://spatial.chat/s/ods. Пароль: allhailtheoneandonlypartyparrot.

8 месяцев, 1 неделя назад @ t.me
Друзья, до Data Fest осталось 2 дня!В этом году он проходит в весьма необычном формате, посмотрите трейлер того, что вас ждет: https://youtu.be/uchY0j3Acm4Зарегистрируйтесь уже сейчас, чтобы не терять время в выходные: ods.ai/events/datafest2020/joinНапоми
Друзья, до Data Fest осталось 2 дня!В этом году он проходит в весьма необычном формате, посмотрите трейлер того, что вас ждет: https://youtu.be/uchY0j3Acm4Зарегистрируйтесь уже сейчас, чтобы не терять время в выходные: ods.ai/events/datafest2020/joinНапоми

Друзья, до Data Fest осталось 2 дня!В этом году он проходит в весьма необычном формате, посмотрите трейлер того, что вас ждет: https://youtu.be/uchY0j3Acm4Зарегистрируйтесь уже сейчас, чтобы не терять время в выходные: ods.ai/events/datafest2020/joinНапоминаем, что на фесте будет три вида активностей:1️⃣ Трансляция на YouTube: https://youtu.be/J-boEj53LZk, которую может посмотреть любой желающий; 2️⃣ Треки, в которые мы преобразовали привычные тематические секции. Чтобы получить доступ к трекам нужно быть зарегистрированным на ods.ai — там будет происходить вся движуха;3️⃣ Нетворкинг с самыми крутыми представителями ODS сообщества в https://spatial.chat. Чтобы туда попасть, также необходимо…

9 месяцев назад @ t.me
Channel photo updated
Channel photo updated

Channel photo updated

9 месяцев назад @ t.me
Channel name was changed to «dg4all»
Channel name was changed to «dg4all»

Channel name was changed to «dg4all»

9 месяцев назад @ t.me
Channel created
Channel created

Channel created

9 месяцев назад @ t.me
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 2 дня, 21 час назад
Accelerating ML Training And Delivery With In-Database Machine Learning
Accelerating ML Training And Delivery With In-Database Machine Learning

When you build a machine learning model, the first step is always to load your data. Typically this means downloading files from object storage, or querying a database. To speed up the process, why not build the model inside the database so that you don't have to move the information? In this episode Paige Roberts explains the benefits of pushing the machine learning processing into the database layer and the approach that Vertica has taken for their implementation. If you are looking for a way to speed up your experimentation, or an easy way to apply AutoML then this conversation is for you.

2 дня, 21 час назад @ dataengineeringpodcast.com
Taking A Tour Of The Google Cloud Platform For Data And Analytics
Taking A Tour Of The Google Cloud Platform For Data And Analytics

Google pioneered an impressive number of the architectural underpinnings of the broader big data ecosystem. Now they offer the technologies that they run internally to external users of their cloud platform. In this episode Lak Lakshmanan enumerates the variety of services that are available for building your various data processing and analytical systems. He shares some of the common patterns for building pipelines to power business intelligence dashboards, machine learning applications, and data warehouses. If you've ever been overwhelmed or confused by the array of services available in the Google Cloud Platform then this episode is for you.

5 дней, 21 час назад @ dataengineeringpodcast.com
Make Sure Your Records Are Reliable With The BookKeeper Distributed Storage Layer
Make Sure Your Records Are Reliable With The BookKeeper Distributed Storage Layer

The way to build maintainable software and systems is through composition of individual pieces. By making those pieces high quality and flexible they can be used in surprising ways that the original creators couldn't have imagined. One such component that has gone above and beyond its originally envisioned use case is BookKeeper, a distributed storage system that is optimized for durability and speed. In this episode Matteo Merli shares the story behind the creation of BookKeeper, the various ways that it is being used today, and the architectural aspects that make it such a strong building block for projects such as Pulsar. He also shares some of the other interesting systems that have bee…

1 неделя, 1 день назад @ dataengineeringpodcast.com
Build Your Analytics With A Collaborative And Expressive SQL IDE Using Querybook
Build Your Analytics With A Collaborative And Expressive SQL IDE Using Querybook

SQL is the most widely used language for working with data, and yet the tools available for writing and collaborating on it are still clunky and inefficient. Frustrated with the lack of a modern IDE and collaborative workflow for managing the SQL queries and analysis of their big data environments, the team at Pinterest created Querybook. In this episode Justin Mejorada-Pier and Charlie Gu share the story of how the initial prototype for a data catalog ended up as one of their most widely used interfaces to their analytical data. They also discuss the unique combination of features that it offers, how it is implemented, and the path to releasing it as open source. Querybook is an impressive…

1 неделя, 6 дней назад @ dataengineeringpodcast.com
Making Data Pipelines Self-Serve For Everyone With Shipyard
Making Data Pipelines Self-Serve For Everyone With Shipyard

Every part of the business relies on data, yet only a small team has the context and expertise to build workflows and pipelines to transform, clean, and integrate it. In order for the true value of your data to be realized without burning out your engineers you need a way for everyone to get access to the information they care about. To help make that a more tractable problem Blake Burch co-founded Shipyard. In this episode he explains the utility of a low code solution that lets non engineers create their own self-serve pipelines, how the Shipyard platform is designed to make that possible, and how it allows engineers to create reusable tasks to satisfy the specific needs of the business. …

2 недели, 1 день назад @ dataengineeringpodcast.com
Paving The Road For Fast Analytics On Distributed Clouds With The Yellowbrick Data Warehouse
Paving The Road For Fast Analytics On Distributed Clouds With The Yellowbrick Data Warehouse

The data warehouse has become the focal point of the modern data platform. With increased usage of data across businesses, and a diversity of locations and environments where data needs to be managed, the warehouse engine needs to be fast and easy to manage. Yellowbrick is a data warehouse platform that was built from the ground up for speed, and can work across clouds and all the way to the edge. In this episode CTO Mark Cusack explains how the engine is architected, the benefits that speed and predictable pricing has for the organization, and how you can simplify your platform by putting the warehouse close to the data, instead of the other way around.

2 недели, 6 дней назад @ dataengineeringpodcast.com
Easily Build Advanced Similarity Search With The Pinecone Vector Database
Easily Build Advanced Similarity Search With The Pinecone Vector Database

Machine learning models use vectors as the natural mechanism for representing their internal state. The problem is that in order for the models to integrate with external systems their internal state has to be translated into a lower dimension. To eliminate this impedance mismatch Edo Liberty founded Pinecone to build database that works natively with vectors. In this episode he explains how this technology will allow teams to accelerate the speed of innovation, how vectors make it possible to build more advanced search functionality, and how Pinecone is architected. This is an interesting conversation about how reconsidering the architecture of your systems can unlock impressive new capabi…

3 недели, 2 дня назад @ dataengineeringpodcast.com
Easily Build Advanced Similarity Search With The Pinecone Vector Database
Easily Build Advanced Similarity Search With The Pinecone Vector Database

Machine learning models use vectors as the natural mechanism for representing their internal state. The problem is that in order for the models to integrate with external systems their internal state has to be translated into a lower dimension. To eliminate this impedance mismatch Edo Liberty founded Pinecone to build database that works natively with vectors. In this episode he explains how this technology will allow teams to accelerate the speed of innovation, how vectors make it possible to build more advanced search functionality, and how Pinecone is architected. This is an interesting conversation about how reconsidering the architecture of your systems can unlock impressive new capabi…

3 недели, 2 дня назад @ dataengineeringpodcast.com
A Holistic Approach To Data Governance Through Self Reflection At Collibra
A Holistic Approach To Data Governance Through Self Reflection At Collibra

Data governance is a phrase that means many different things to many different people. This is because it is actually a concept that encompasses the entire lifecycle of data, across all of the people in an organization who interact with it. Stijn Christiaens co-founded Collibra with the goal of addressing the wide variety of technological aspects that are necessary to realize such an important and expansive process. In this episode he shares his thoughts on the balance between human and technological processes that are necessary for a well-managed data governance strategy, how Collibra is designed to aid in that endeavor, and his experiences using the platform that his company is building t…

3 недели, 6 дней назад @ dataengineeringpodcast.com
Unlocking The Power of Data Lineage In Your Platform with OpenLineage
Unlocking The Power of Data Lineage In Your Platform with OpenLineage

Data lineage is the common thread that ties together all of your data pipelines, workflows, and systems. In order to get a holistic understanding of your data quality, where errors are occurring, or how a report was constructed you need to track the lineage of the data from beginning to end. The complicating factor is that every framework, platform, and product has its own concepts of how to store, represent, and expose that information. In order to eliminate the wasted effort of building custom integrations every time you want to combine lineage information across systems Julien Le Dem introduced the OpenLineage specification. In this episode he explains his motivations for starting the ef…

1 месяц назад @ dataengineeringpodcast.com
Unlocking The Power of Data Lineage In Your Platform with OpenLineage
Unlocking The Power of Data Lineage In Your Platform with OpenLineage

Data lineage is the common thread that ties together all of your data pipelines, workflows, and systems. In order to get a holistic understanding of your data quality, where errors are occurring, or how a report was constructed you need to track the lineage of the data from beginning to end. The complicating factor is that every framework, platform, and product has its own concepts of how to store, represent, and expose that information. In order to eliminate the wasted effort of building custom integrations every time you want to combine lineage information across systems Julien Le Dem introduced the OpenLineage specification. In this episode he explains his motivations for starting the ef…

1 месяц назад @ dataengineeringpodcast.com
Building Your Data Warehouse On Top Of PostgreSQL
Building Your Data Warehouse On Top Of PostgreSQL

There is a lot of attention on the database market and cloud data warehouses. While they provide a measure of convenience, they also require you to sacrifice a certain amount of control over your data. If you want to build a warehouse that gives you both control and flexibility then you might consider building on top of the venerable PostgreSQL project. In this episode Thomas Richter and Joshua Drake share their advice on how to build a production ready data warehouse with Postgres.

1 месяц назад @ dataengineeringpodcast.com
Making Analytical APIs Fast With Tinybird
Making Analytical APIs Fast With Tinybird

Building an API for real-time data is a challenging project. Making it robust, scalable, and fast is a full time job. The team at Tinybird wants to make it easy to turn a continuous stream of data into a production ready API or data product. In this episode CEO Jorge Sancha explains how they have architected their system to handle high data throughput and fast response times, and why they have invested heavily in Clickhouse as the core of their platform. This is a great conversation about the challenges of building a maintainable business from a technical and product perspective.

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Making Spark Cloud Native At Data Mechanics
Making Spark Cloud Native At Data Mechanics

Spark is one of the most well-known frameworks for data processing, whether for batch or streaming, ETL or ML, and at any scale. Because of its popularity it has been deployed on every kind of platform you can think of. In this episode Jean-Yves Stephan shares the work that he is doing at Data Mechanics to make it sing on Kubernetes. He explains how operating in a cloud-native context simplifies some aspects of running the system while complicating others, how it simplifies the development and experimentation cycle, and how you can get a head start using their pre-built Spark container. This is a great conversation for understanding how new ways of operating systems can have broader impacts…

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
The Grand Vision And Present Reality of DataOps
The Grand Vision And Present Reality of DataOps

The Data industry is changing rapidly, and one of the most active areas of growth is automation of data workflows. Taking cues from the DevOps movement of the past decade data professionals are orienting around the concept of DataOps. More than just a collection of tools, there are a number of organizational and conceptual changes that a proper DataOps approach depends on. In this episode Kevin Stumpf, CTO of Tecton, Maxime Beauchemin, CEO of Preset, and Lior Gavish, CTO of Monte Carlo, discuss the grand vision and present realities of DataOps. They explain how to think about your data systems in a holistic and maintainable fashion, the security challenges that threaten to derail your effor…

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Data Brew by Databricks Data Brew by Databricks
последний пост 7 часов назад
Season 2E6: AutoML
Season 2E6: AutoML

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Erin LeDell shares valuable insight on AutoML, what problems are best solved by it, its current limitations, and her thoughts on the future of AutoML. We also discuss founding and growing the Women in Machine Learning and Data Science (WiMLDS) non-profit.See more at databricks.com/data-brew

7 часов назад @ buzzsprout.com
Season 2E5: ML Applications
Season 2E5: ML Applications

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Good machine learning starts with high quality data. Irina Malkova shares her experience managing and ensuring high-fidelity data, developing custom metrics to satisfy business needs, and discusses how to improve internal decision making processes.See more at databricks.com/data-brew

1 неделя назад @ buzzsprout.com
Season 2E4: Hyperparameter and Neural Architecture Search
Season 2E4: Hyperparameter and Neural Architecture Search

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Liam Li is a leading researcher in the fields of hyperparameter optimization and neural architecture search, and is the author of the seminal Hyperband paper. In this session, Liam discusses the evolution of hyperparameter optimization techniques and illustrates how every data scientist can benefit from neural architecture search. See more at databricks.com/data-brew

1 месяц назад @ buzzsprout.com
Season 2E3: Infrastructure for ML
Season 2E3: Infrastructure for ML

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more. Adam Oliner discusses how to design your infrastructure to support ML, from integration tests to glue code, the importance of iteration, and centralized vs decentralized data science teams. He provides valuable advice for companies investing in ML and crucial lessons he’s learned from founding two companies.See more at databricks.com/data-brew

1 месяц, 1 неделя назад @ buzzsprout.com
Season 2E2: Data Ethics
Season 2E2: Data Ethics

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Have you ever wondered how your purchasing behavior may reveal protected attributes? Or how data scientists and business play a role in combating bias? We discuss with Diana Pfeil recommendations to reduce bias and improve fairness, from SHAP to adversarial debiasing.See more at databricks.com/data-brew

1 месяц, 2 недели назад @ buzzsprout.com
Season 2E1: ML in Production
Season 2E1: ML in Production

For our second season, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.In the season opener, Matei Zaharia discusses how he entered the field of ML, best practices for productionizing ML pipelines, leveraging MLflow & the Lakehouse architecture for reproducible ML, and his current research in this field.See more at databricks.com/data-brew

1 месяц, 3 недели назад @ databricks.com
Season 1E6: Journey of Big Data
Season 1E6: Journey of Big Data

Jules Damji and Tathagata Das guide us through their journey in big data and the evolution of data architecture in the past 30 years. They discuss some of the biggest changes in industry they’ve seen, as well as trends to look forward to in the coming years. This is a fun episode connecting all four authors of the Learning Spark, 2nd Edition book.See more at databricks.com/data-brew

3 месяца, 4 недели назад @ buzzsprout.com
Season 1E5: Combining Machine Learning and MLflow with your Lakehouse
Season 1E5: Combining Machine Learning and MLflow with your Lakehouse

Ellissa Verseput, ML Engineer at Quby, joins Denny and Brooke to discuss how Quby leverages ML to extract additional value from their data lake and how they manage this process.See more at databricks.com/data-brew

5 месяцев, 1 неделя назад @ buzzsprout.com
Season 1E4: BI on Data Lakes - Making it Real for Retail
Season 1E4: BI on Data Lakes - Making it Real for Retail

In this session, we discuss the lessons learned with Lara Minor, Senior Enterprise Data Manager at Columbia Sportswear, on how her team achieved a 70% reduction in pipeline creation time. This had reduced ETL workload times from four hours with previous data warehouses to minutes enabling near real-time analytics. Her team migrated from multiple legacy data warehouses, run by individual lines of business, to a single scalable, reliable, performant data lake.See more at databricks.com/data-brew

5 месяцев, 3 недели назад @ buzzsprout.com
Season 1E3: Demystifying Delta Lake
Season 1E3: Demystifying Delta Lake

Delta Lake is an open source storage layer that brings reliability to data lakes. Delta Lake offers ACID transactions, scalable metadata handling, and unifies streaming and batch data processing. It runs on top of your existing data lake and is fully compatible with Apache Spark APIs. For our “Demystifying Delta Lake” session, we will interview Michael Armbrust - committer and PMC member of Apache Spark™ and the original creator of Spark SQL. He currently leads the team at Databricks that designed and built Structured Streaming and Delta Lake.See more at databricks.com/data-brew

6 месяцев, 1 неделя назад @ buzzsprout.com
Season 1E2: Welcome to Lakehouse
Season 1E2: Welcome to Lakehouse

Legacy approaches have failed to deliver on the promise of a single data architecture that can support every downstream use case from BI to AI. Lakehouse aspires to address this by combining the best of data warehouses and data lakes. Ali Ghodsi, Co-Founder and CEO of Databricks, and David Meyer, SVP of Product at Databricks, explain how. See more at databricks.com/data-brew

7 месяцев, 1 неделя назад @ buzzsprout.com
Season 1E1: From data warehousing to data lakes in 40 minutes
Season 1E1: From data warehousing to data lakes in 40 minutes

In our inaugural episode, we’d like to welcome data warehouse luminaries Barry Devlin, Susan O’Connell, and Donald Farmer to discuss the evolution of data warehouses, data lakes, and lakehouses.See more at databricks.com/data-brew

7 месяцев, 3 недели назад @ databricks.com
InfoQ Podcast InfoQ Podcast
последний пост 6 дней, 7 часов назад
Anders Wallgren of Cloudbees on the Human Side of Software Delivery Management
Anders Wallgren of Cloudbees on the Human Side of Software Delivery Management Anders Wallgren of Cloudbees on the Human Side of Software Delivery Management

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Anders Wallgren of CloudBees about the human side of software development, ways to improve collaboration and why the future is in features. Read a transcript of this interview: https://bit.ly/2TjZRgn Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Instagram: @infoq…

6 дней, 7 часов назад @ soundcloud.com
Frank Trainer on SOLID architecture, technical excellence and development as a team sport
Frank Trainer on SOLID architecture, technical excellence and development as a team sport Frank Trainer on SOLID architecture, technical excellence and development as a team sport

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Frank Trainer of Saggezza about technical excellence, writing code for your teammates, not yourself and the importance of SOLID architecture principles Read a transcript of this interview: https://bit.ly/2TEcZgp Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Insta…

1 неделя, 6 дней назад @ soundcloud.com
Tim Olshansky on Career Paths for Technologists who don’t want to Manage People
Tim Olshansky on Career Paths for Technologists who don’t want to Manage People Tim Olshansky on Career Paths for Technologists who don’t want to Manage People

Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Instagram: @infoqdotcom

- Youtube: www.youtube.com/infoq

2 недели, 6 дней назад @ soundcloud.com
Ravi Lachman on the State of Developer Happiness, Engineer Burden and Avoiding Burnout
Ravi Lachman on the State of Developer Happiness, Engineer Burden and Avoiding Burnout Ravi Lachman on the State of Developer Happiness, Engineer Burden and Avoiding Burnout

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Ravi Lachman about the state of developer happiness through the COVID-19 pandemic, engineer burden and avoiding burnout. Read a transcript of this interview: https://bit.ly/3c3oAvZ Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: b…

3 недели, 6 дней назад @ soundcloud.com
Aino Corry on Retrospective Antipatterns
Aino Corry on Retrospective Antipatterns Aino Corry on Retrospective Antipatterns

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Aino Corry about common retrospective antipatterns and how to overcome them. Read a transcript of this interview: https://bit.ly/3eKee5G Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Instagram: @infoqdotcom

- Yo…

1 месяц назад @ soundcloud.com
Victor Nuṅez on Systemic Team Coaching to Enable Team Effectiveness
Victor Nuṅez on Systemic Team Coaching to Enable Team Effectiveness Victor Nuṅez on Systemic Team Coaching to Enable Team Effectiveness

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Victor Nuṅez about how systemic team coaching helps teams perform more effectively and the importance of trusting teams as generative, creative and inteligent systems. Read a transcript of this interview: https://bit.ly/3xVIjHa Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedI…

1 месяц, 1 неделя назад @ soundcloud.com
Nishant Bhajaria on Privacy by Design
Nishant Bhajaria on Privacy by Design Nishant Bhajaria on Privacy by Design

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Nishant Bhajaria, Head of Privacy Architecture and Strategy at Uber about the need for privacy by design, the hard decisions that need to be made about privacy and the factors which need to be considered when making trade-offs. His new book provides concrete advice on where to start and how to apply good privacy practices. Read a transcript of this interview: https://bit.ly/2SlMdsF Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.co…

1 месяц, 2 недели назад @ soundcloud.com
Ken Charman on Fixing Pay Equity, Collaborative Cultures and Devolving Decision Authority
Ken Charman on Fixing Pay Equity, Collaborative Cultures and Devolving Decision Authority Ken Charman on Fixing Pay Equity, Collaborative Cultures and Devolving Decision Authority

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Ken Charman of uFlexReward on Fixing Pay Equity, Collaborative Cultures, Devolving Decision Authority to Those Closest to the Work and Disrupting the Enterprise Software Purchasing Process. Read a transcript of this interview: https://bit.ly/3n9Hx4a Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- Lin…

1 месяц, 3 недели назад @ soundcloud.com
Bob Davis of Plutora on DevOps and Value Stream Mapping
Bob Davis of Plutora on DevOps and Value Stream Mapping Bob Davis of Plutora on DevOps and Value Stream Mapping

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Bob Davis of Plutora about DevOps, Value Stream Mapping, making bottlenecks visible, and using metrics effectively. Read a transcript of this interview: https://bit.ly/3mPvw3S Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Instagr…

2 месяца назад @ soundcloud.com
Dimitar Karaivanov of Kanbanize on Implementing a Kanban System Effectively
Dimitar Karaivanov of Kanbanize on Implementing a Kanban System Effectively Dimitar Karaivanov of Kanbanize on Implementing a Kanban System Effectively

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Dimitar Karaivanov of Kanbanize about the six core practices of Kanban and the importance of metrics for improving the flow of work. Read a transcript of this interview: https://bit.ly/3g5vYK7 Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- April 13, 2021

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- …

2 месяца, 1 неделя назад @ soundcloud.com
Esther Weinberg of The Ready Zone on Building Cultures of Trust, Respect & Safety
Esther Weinberg of The Ready Zone on Building Cultures of Trust, Respect & Safety Esther Weinberg of The Ready Zone on Building Cultures of Trust, Respect & Safety

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Esther Weinberg of The Ready Zone on building cultures of trust, respect & safety to enable resilience and the ability to respond to disruptive change. Read a transcript of this interview: https://bit.ly/3dwIkYw Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- April 13, 2021

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.c…

2 месяца, 2 недели назад @ soundcloud.com
Rebroadcast: Kim Scott on Radical Candor
Rebroadcast: Kim Scott on Radical Candor Rebroadcast: Kim Scott on Radical Candor

* This is a rebroadcasted episode on a popular subject about giving and receiving feedback. * In this podcast recorded at the Agile 2018 conference Shane Hastie, Lead Editor for Culture & Methods, spoke to Kim Scott, author of the book Radical Candor about what radical candor is and how it can be applied in teams and relationships. Read a transcript of this interview: https://bit.ly/2QGUeYe Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- April 13, 2021

- June 22, 2021

- July 20, 2021 QCon Plus: pl…

2 месяца, 3 недели назад @ soundcloud.com
Joe Levy on Engineering Effectiveness through the Pandemic and Beyond
Joe Levy on Engineering Effectiveness through the Pandemic and Beyond Joe Levy on Engineering Effectiveness through the Pandemic and Beyond

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Joe Levy of Uplevel about the results of their Engineering Effectiveness survey, the levels of stress and burnout in engineering teams and what managers can do to support their teams. Read a transcript of this interview: https://bit.ly/30YGf1J Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- April 13, 2021

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/…

3 месяца назад @ soundcloud.com
Wade Jackson on Great Culture and Unleashing Creativity Through Collaborative Disruption
Wade Jackson on Great Culture and Unleashing Creativity Through Collaborative Disruption Wade Jackson on Great Culture and Unleashing Creativity Through Collaborative Disruption

In this podcast Shane Hastie spoke to Wade Jackson of Inspired Learning about playfulness, enabling great team and organisational culture and unleashing creativity through collaborative disruption. Read a transcript of this interview: https://bit.ly/3qKH0pN Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- March 16, 2021

- April 13, 2021

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/…

3 месяца назад @ soundcloud.com
Engineering Culture Trends Report – March 2021
Engineering Culture Trends Report – March 2021 Engineering Culture Trends Report – March 2021

In this podcast the Culture and Methods editorial team discuss their views on the current state and trends in the Culture and Methods area that they monitor. The editorial team consists of Ben Linders, Craig Smith, Doug Talbot, Raf Gemmail, Shaaron Alvares and Shane Hastie. Unfortunately Shaaron was unable to join in the recording, however her perspectives are included in this and in the accompanying trends report article. Read a transcript of this interview: https://bit.ly/2OeJdfr Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.co…

3 месяца, 2 недели назад @ soundcloud.com
«Ничего такого» by Dodo Enginnering
последний пост 2 месяца назад
А нужна ли вам цифровая трансформация?
А нужна ли вам цифровая трансформация? А нужна ли вам цифровая трансформация?

Гость подкаста — Юра Филатов. Одна из областей его деятельности — информационный консалтинг или, иначе говоря, он помогает с трансформациями. Как-то так получилось, что подкаст вышел «исповедальным»: эмоциональным, чуть жёстким, с «иллюстрациями» и без «маркетингового налёта»:Как спутать автоматизацию с трансформацией.Когда вам не нужна трансформация на «примерах с мёдом».Почему по «государевому указу» у вас ничего не заработает.Что отвечать на «Ну давай, трансформируй нам тут всё».И какую роль здесь играет страх.

2 месяца назад @ buzzsprout.com
СКБ Контур — это надолго
СКБ Контур — это надолго СКБ Контур — это надолго

Гость подкаста — Света Аюпова из СКБ Контур. Света находит и проверяет новые бизнесы для Контура. Как-то так получилось, но Света нас убедила, что СКБ Контур — идеальное место для работы. Итак, в компании:Хорошие руководители, многие из которых работают в компании по 10 лет (как и большинство сотрудников).Равенство всех сотрудников на деле, а не на словах.Атмосфера как в казантипе, но без травы.Люди не уставшие, лица не серые.Все рано уходят домой.Много доверия, которое помогает быстро принимать решения.Как следствие, в компании малая текучка. Из СКБ Контур тяжело уходить. Да и зачем? Атмосфера приятная, как тёплый плед, а люди просто работают и растут. Например, руководитель Светы пришёл и…

2 месяца, 2 недели назад @ buzzsprout.com
Почти распилили монолит, техчас и «латентный тимлид»
Почти распилили монолит, техчас и «латентный тимлид» Почти распилили монолит, техчас и «латентный тимлид»

Гость выпуска — Анатолий Панов. Кратко о нём:руководит разработкой всех вертикалей в Авито;пишет код только «по фану»;не собеседует инженеров;легко раскусил в Борисе латентного тимлида, когда он «собеседовался» в рубрике «Сханти Бориса» как разработчик.Поговорили про квартальные и годовые ОКR и ОКR-ревью, Performance Review, как почти распилили монолит, про техчас для новостей технического департамента, и прокачку функциональных коммьюнити.

3 месяца назад @ buzzsprout.com
Как сделать корпоративные ценности настоящими, а не пластмассовыми
Как сделать корпоративные ценности настоящими, а не пластмассовыми Как сделать корпоративные ценности настоящими, а не пластмассовыми

Корпоративные ценности — это некие убеждения и принципы, которые все должны соблюдать, вроде «быть ответственным», «двигаться вперёд» и всё такое. Но зачем их соблюдать, если непонятно откуда они взялись? Зачем кто-то когда-то их выбил на скрижалях и повесил в главном зале? Без ответа на эти вопросы желание им следовать скорее не появится — они пластмассовые, не живые. Возможно поэтому в ЦИАН сделали по-другому — ценности списали с реальных людей, один из которых побывал у нас в гостях, а всем новичкам рассказывают как они появились и зачем.Как готовили ценности, важны ли они при найме и что такое словарь «разработческих» терминов, поговорили с Анной Штенгауэр (HR BP IT) и Мишей Юматовым (р…

3 месяца, 1 неделя назад @ buzzsprout.com
LeSS, скрам, портал и банковская гемба
LeSS, скрам, портал и банковская гемба LeSS, скрам, портал и банковская гемба

У нас в гостях Ксения Мешкова — овнер в команде Райффайзенбанк. Она занимается развитием внутреннего корпоративного портала, о котором мы всё выведали: как он появился, а главное — зачем, как помог решить проблем в коммуникациях бизнеса и разработки. Также узнали, как в банке появился скрам, аджайл и LeSS, и как проходит гемба в банке.

4 месяца назад @ buzzsprout.com
Экосистемы и супераппы? А зачем?
Экосистемы и супераппы? А зачем? Экосистемы и супераппы? А зачем?

В гостях у нас Кирилл Гурбанов — Head of Digital Banking в МТС. Поэтому мы поговорили про всё цифровое: диджитал, стартапы, виртуальные карты Apple, про суперприложение Тинькофф Банка, про Сбер как мессенджер, экосистемы, экосистемы суперприложений и зачем это нужно. Всё как всегда. Однако, будьте готовы к тому, что внезапно в подкаст ворвётся Лада Ларгус и порвёт шаблон.

4 месяца, 1 неделя назад @ buzzsprout.com
Как дела с внутренними коммуникациями в ВТБ?
Как дела с внутренними коммуникациями в ВТБ? Как дела с внутренними коммуникациями в ВТБ?

Что такое внутренние коммуникации? Вот я «айтишник», я открыл «Джиру» – вот мои задачки, я беру, делаю, дальше тестировщикам, всё упало — какие коммуникации? Ан нет. Написать, правильно объяснить задачу и правильно спросить «что там делать» — это всё внутренние коммуникации. Об этом мы и поговорили с Екатериной Тышковской, руководителем службы внутренних коммуникаций банка ВТБ.Что такое гибридная работа, как компаниям сохранить офисную культуру и что такое культура согласия в новом выпуске «Ничего такого».

4 месяца, 2 недели назад @ buzzsprout.com
Зачем мне психотерапевт?
Зачем мне психотерапевт? Зачем мне психотерапевт?

Когда у нас болит живот, мы идём к врачу. Когда у нас проблемы со сном, весом, ничего не хочется, раздражение и выгорание, мы обычно терпим. Или просто не знаем, что можно обратиться к психотерапевту и станет лучше. Об этом мы и поговорили с Иваном Замесиным — предпринимателем и основателем сервиса по подбору психотерапевтов Мета. Какие мифы мешают обратиться к специалисту, когда вы точно пойдёте к психотерапевту и чем психотерапия помогла Ивану, да так, что он создал сервис Мета. Список книг, которые советовал Иван:— «How people change: relationships and neuroplasticity in psychoterapy». — «Начало бесконечности», Дэвид Дойч. — Скотт Адамс «How to Fail at Almost Everything and Still Win Big…

4 месяца, 3 недели назад @ buzzsprout.com
Что общего у армии и ИТ-индустрии?
Что общего у армии и ИТ-индустрии? Что общего у армии и ИТ-индустрии?

Гость подкаста — Ярополк Раш, директор Scream School, где архитекторов, инженеров и мостостроителей переучивают в разработчиков игр, интерактивных и мультимедийных продуктов. Поговорили с Ярополком, почему архитекторы, инженеры и разработчики идут в gamedev, почему в России нет индустрии игр, почему человек должен быть счастливым и как с этим связана культура Netflix, а Голливуд — с дискомфортом.

4 месяца, 4 недели назад @ buzzsprout.com
Запуск завтра Podcast Запуск завтра Podcast
последний пост 1 неделя назад
Как запустить спутник в космос
Как запустить спутник в космос Как запустить спутник в космос

Жанна Медведева работает в компании Exolaunch. Она бронирует места на ракетах Роскосмоса и SpaceX и запускает на них малые аппараты для клиентов, например, для космического агентства Германии. Самат вместе с Жанной обсуждают «новый космос». За сколько можно отправить спутник на орбиту, зачем там нужен шейкер и как вообще попасть в космическую индустрию. Приходите СЕГОДНЯ на нашу открытую запись в Москве и покупайте билеты https://dkrassvet.space/events/zapuskzavtra/ Это последний эпизод 4 сезона «Запуска завтра». Спасибо, что слушаете нас! Мы вернемся с новым сезоном в августе. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://clck.ru/Pfti2 S4Ep3 «Как у…

1 неделя назад @ zapuskzavtra.libsyn.com
Как хакеры взломали Clubhouse
Как хакеры взломали Clubhouse Как хакеры взломали Clubhouse

В этом эпизоде — истории двух парней, которые украли данные у клабхауса. Александр Крушин построил на них сервис аналитики для рекламных агенств, а Дмитрий Соболев стал самым популярным пользователем русскоязычного клабхауса. Самат узнает подробности взломов у Димы и Саши, а устройство хакерских атак объясняет редактору подкаста, Юле Яковлевой. Приходите на нашу открытую запись 10 июня и покупайте билеты https://dkrassvet.space/events/zapuskzavtra/ Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S1EP6 «Докажи, что ты не робот. Как работают китайские мобильн…

2 недели назад @ zapuskzavtra.libsyn.com
Зомби-клетки и глобальное потепление. Чем живут биотех-стартапы
Зомби-клетки и глобальное потепление. Чем живут биотех-стартапы Зомби-клетки и глобальное потепление. Чем живут биотех-стартапы

Анна и Хорческа познакомились в общаге института в подмосковном Пущине, а через пару лет встретились в научной лаборатории в Торонто. Они исследовали белок и внезапно обнаружили новый способ синтезировать адипиновую кислоту, важный компонент для производства пластмассы. Обычно адипин получают из нефти. При этом сильно загрязняется планета. А Аня и Хорческа придумали, как сделать этот процесс дешевым и экологичным. Они рассказывают Самату о том, как устроены биотехнологии и как сделать открытие на миллиард долларов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskz…

3 недели назад @ zapuskzavtra.libsyn.com
Как не стать жертвой онлайн-мошенничества
Как не стать жертвой онлайн-мошенничества Как не стать жертвой онлайн-мошенничества

Самат разговаривает о мошенничестве в интернете с директором по доверию и безопасности в Авито. По каким схемам у нас крадут деньги? Что никогда нельзя делать при покупке вещей онлайн? Как программисты попадают в преступные группировки и почему поддельные сайты работают лучше, чем настоящие? Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S1EP14 «Крутой интерфейс, а прибыли — ноль. Как устроен дизайн мобильных приложений» https://zapuskzavtra.libsyn.com/9qj9c09wmznk 1:36 Как нашему гостю пришлось переехать из-за угроз мошенников 6:00 Фишинг. Как отличить на…

4 недели назад @ zapuskzavtra.libsyn.com
Как компьютер научился обыгрывать человека в го и StarCraft
Как компьютер научился обыгрывать человека в го и StarCraft Как компьютер научился обыгрывать человека в го и StarCraft

Компания Deepmind обучает алгоритмы искусственного интеллекта играть в игры. В 2016 году их компьютер Alpha Go победил чемпиона мира по го. Долгое время считалось, что научить машину этой игре нельзя, потому что в го важны интуиция и творческое мышление. В новом эпизоде Самат разговаривает с инженером из Google Deepmind Сергеем Бартуновым о том, как передать компьютеру человеческие способности, и где, кроме игр, это можно использовать. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S2EP4 «Железо, дата-центры и хостинги. Настоящий хардовый выпуск» https://z…

1 месяц назад @ zapuskzavtra.libsyn.com
Как появилась Meduza и как ее признали иностранным агентом
Как появилась Meduza и как ее признали иностранным агентом Как появилась Meduza и как ее признали иностранным агентом

23 апреля 2021 года Медузу внесли в список иностранных агентов. 7 лет назад Самат участвовал в запуске Медузы, а потом проработал там техническим директором 3 года. В этом эпизоде Самат говорит о Медузе со своими бывшими коллегами. Егор Хмелев нанимал Самата на работу, а Борис Горячев стал новым техническим директором после ухода Самата. Втроём они вспоминают, как создавалось медиа, и обсуждают, как программисты обеспечивают Медузе сбор донатов, на которые она сейчас выживает. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Поддержать Медузу https://support…

1 месяц, 1 неделя назад @ zapuskzavtra.libsyn.com
Все об онлайн-банкинге
Все об онлайн-банкинге Все об онлайн-банкинге

Десять лет назад, чтобы оформить карту или перевести другу деньги, нужно было идти в банковское отделение и запоминать многозначный код. Сегодня все это можно сделать через телефон. О том, как в России появился онлайн-банкинг, Самат говорит с Анастасией Усковой, бывшим генеральным директором Рокетбанка. Настя объясняет, как происходят денежные транзакции, какую роль в них принимают платежные системы и Центробанк, как создать свой банковский движок и почему в Кремниевой долине до сих пор нельзя платить через Apple Pay. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapu…

1 месяц, 2 недели назад @ zapuskzavtra.libsyn.com
Как беспилотные автомобили моделируют будущее
Как беспилотные автомобили моделируют будущее Как беспилотные автомобили моделируют будущее

Илон Маск обещает, что скоро Tesla выпустит настоящие беспилотники. Но пока что на рынке нет полностью автономных автомобилей. В их разработку вкладываются главные IT-компании в мире: Google, Amazon, и даже Apple. О беспилотных автомобилях Самат говорит с Сергеем Серебряковым. Сергей работал в Tesla, а потом перешел в сервис роботакси Cruise. Вместе с Сережей Самат разбирается, какие технологии используют, чтобы заменить водителя, и почему их все еще не хватает, чтобы мы стали ездить на беспилотниках. S2E5 «Бан для Шерон Стоун. Как работают сервисы знакомств» https://zapuskzavtra.libsyn.com/dxsbaem4943k Lex Fridman Podcast https://www.youtube.com/channel/UCSHZKyawb77ixDdsGog4iWA Этот подкас…

1 месяц, 3 недели назад @ zapuskzavtra.libsyn.com
Почему у всех проблемы с разработкой, а на рынке мало сильных программистов
Почему у всех проблемы с разработкой, а на рынке мало сильных программистов Почему у всех проблемы с разработкой, а на рынке мало сильных программистов

Уже год Самат вместе с Федей Борщевым делают свой бизнес «Федя & Самат». Они помогают компаниям настроить разработку. За это время к Феде и Самату обращались десятки заказчиков. Это были и небольшие стартапы, и региональные сети с миллионными оборотами. Но у всех серьезные проблемы с технологиями. В этом выпуске на примере реальных кейсов Самат и Федя обсуждают, почему у бизнесов такая плохая разработка, какие ошибки допускают программисты, и как им стать лучше. Выпуск про Endel «Сон, расслабление, фокус. Как приложение Endel подбирает звуковой фон для сотен тысяч пользователей» https://zapuskzavtra.libsyn.com/-endel Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Прак…

2 месяца назад @ zapuskzavtra.libsyn.com
Как TikTok зарабатывает деньги на трендах, а блогеры получают Грэмми
Как TikTok зарабатывает деньги на трендах, а блогеры получают Грэмми Как TikTok зарабатывает деньги на трендах, а блогеры получают Грэмми

Самат не сидит в тиктоке, но в эту соцсеть хотя бы раз в месяц заходят 110 миллионов человек в Америке, и еще сотни миллионов пользователей по всему миру. Вместе с сейлз-менеджером из тиктока Юлией Коростелевой Самат обсуждает, как соцсети удалось набрать такую аудиторию и как она теперь ее монетизирует. Почему тикток успешнее продвигает бренды, чем фейсбук и инстаграм, как запускаются хэштег-челленджи на миллиарды просмотров и как платформа превращается в конкурента музыкальных лейблов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra 3:35 Как Юля выслежива…

2 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Процессоры Intel и Apple M1. Как они работают и как сделать их лучше
Процессоры Intel и Apple M1. Как они работают и как сделать их лучше Процессоры Intel и Apple M1. Как они работают и как сделать их лучше

Долгое время главными производителями процессоров для компьютеров были компании Intel и AMD. Но в конце 2020 года Apple представила ноутбуки на своих собственных процессорах M1. Вместе с инженером из Intel Алексеем Корчиным Самат разбирается, как устроены процессоры, как их производят и почему компании Apple удалось сделать их эффективнее. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra 6:32 Как производят процессоры и легируют кремний 16:15 Почему в России не делают крутых процессоров 24:15 Как можно сделать процессоры лучше 26:48 Как у Intel появился свой…

2 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
NFT. Почему все говорят об этой технологии на блокчейне
NFT. Почему все говорят об этой технологии на блокчейне NFT. Почему все говорят об этой технологии на блокчейне

NFT — это невзаимозаменяемый токен (non-fungible token). Эта технология работает на блокчейне и позволяет передавать человеку право на владение цифровым предметом. Сейчас к NFT прикрепляют картины, музыкальные альбомы и скины из видеоигр и выставляют на специальные маркетплейсы. Например, основатель Twitter Джек Дорси продал в виде NFT-токена свой первый твит за 2,9 млн долларов. Самат разбирается в этой технологии с Александром Худжилиным. Саша занимается невзаимозаменяемыми токенами в блокчейн-стартапе NEAR. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra…

2 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Как устроены базы данных и как хакер сделал базу данных для выборов президента РФ
Как устроены базы данных и как хакер сделал базу данных для выборов президента РФ Как устроены базы данных и как хакер сделал базу данных для выборов президента РФ

В мире есть 4 главные базы данных. Oracle, MySQL и Microsoft SQL принадлежат корпорациям. Четвертую, PostgreSQL, придумали ученые в Калифорнийском университете в Беркли и сделали опенсорсной. Вместе с американскими учеными эту базу данных разрабатывал Олег Бартунов. Спустя много лет он основал компанию, которая занимается поддержкой PostgreSQL и помогает ее использовать Яндексу и Министерству финансов РФ. Самат поговорил с Олегом о его работе с базами данных. Как Олег из ученого-астронома стал главных специалистом по PostgreSQL в России, как он наблюдал рождение IT-гигантов Кремниевой долины и как участвовал в создании рунета. Этот подкаст мы делаем совместно с сервисом онлайн-образования Я…

3 месяца назад @ zapuskzavtra.libsyn.com
Нужна ли математика программистам? Отвечает гендиректор Яндекса
Нужна ли математика программистам? Отвечает гендиректор Яндекса Нужна ли математика программистам? Отвечает гендиректор Яндекса

Есть стереотип, что без математического бэкграунда в IT делать нечего. Но какие именно задачи невозможно решить без знания алгоритмов? Самат разбирается со стереотипами вокруг математики в IT c Еленой Буниной. Елена преподает алгебру на мехмате МГУ, а еще она возглавляет Яндекс в России и менеджерит 5 000 программистов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra 4:50 Какая доля программистов реально использует математику в работе 6:30 Как Лена тайком училась в Школе анализа данных, которую сама и создала 16:00 Какая математика нужна, чтобы сделать поис…

3 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Как в Китае производят айфоны, ноутбуки и другие гаджеты
Как в Китае производят айфоны, ноутбуки и другие гаджеты Как в Китае производят айфоны, ноутбуки и другие гаджеты

Шэньчжэнь называют китайской Кремниевой долиной. Там производят 90% всех гаджетов в мире. В первом эпизоде нового сезона «Запуска завтра» Самат изучает, как устроена индустрия хардвера в Китае. Почему никто не хочется связываться с этим бизнесом, какие типичные ошибки допускают в промышленном дизайне, как китайские заводы пережили коронавирус и почему фабрики не говорят клиентам о реальных сроках производства. Эти вопросы Самат обсуждает с Ильей Радаевым. Илья живет в Шэньчжэне и помогает стартапам наладить производственный цикл на местных фабриках. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&u…

3 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 1 день, 6 часов назад
Про найм разработчиков (level: all)
Про найм разработчиков (level: all) Про найм разработчиков (level: all)

В гостях у Moscow Python Podcast сооснователь компании Geekfactor, участник программного комитета конференции Moscow Python Conf Ксения Лыжина. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 день, 6 часов назад @ learnpython.podbean.com
в Aviasales (level: all)
в Aviasales (level: all) в Aviasales (level: all)

В гостях у Moscow Python Podcast Teamlead компании Aviasales Антон Сидоров. Обсудили с Антоном его путь в разработку, переход поискового движка с Python на Go и еще много всего интересного . Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 неделя, 6 дней назад @ learnpython.podbean.com
Боль fullstack-разработчика (level: all)
Боль fullstack-разработчика (level: all) Боль fullstack-разработчика (level: all)

В гостях у Moscow Python Podcast Teamlead компании Evrone Иван Соловьев. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 недели, 4 дня назад @ learnpython.podbean.com
Путь от Junior до Head QA (level: all)
Путь от Junior до Head QA (level: all) Путь от Junior до Head QA (level: all)

В гостях у Moscow Python Podcast выпускник курсов Learn Python, глава отдела тестирования компании Zipsale Татьяна Кулагина. Обсудили с Татьяной ее путь к Head QA. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 недели, 5 дней назад @ learnpython.podbean.com
Что такое RnD (level: all)
Что такое RnD (level: all) Что такое RnD (level: all)

В гостях у Moscow Python Podcast руководитель RnD разработки компании Lamoda Дмитрий Генинг. Обсудили с Дмитрием чем занимаются разработчики в RnD и конкретно в Lamoda. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц назад @ learnpython.podbean.com
Сложность донесения информации до других людей (level: all)
Сложность донесения информации до других людей (level: all) Сложность донесения информации до других людей (level: all)

В гостях у Moscow Python Podcast продюсер презентаций и художник Кирилл Анастасин. Обсудили с Кириллом как говорить с другими людьми, чтобы они вас поняли. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 3 недели назад @ learnpython.podbean.com
в retail (level: all)
в retail (level: all) в retail (level: all)

В гостях у Moscow Python Podcast евангелист Moscow Python, сооснователь курсов Learn Python, СТО в компании SunLight Илья Мельницкий. Обсудили с Ильей что такое IT не в IT компании и какие плюсы у retail компании. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Python-прокачка от Drylabs: https://drylabs.io/python-training

Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288Конференция Moscow Python Conf (Russian P…

1 месяц, 4 недели назад @ learnpython.podbean.com
Образование в IT (level: all)
Образование в IT (level: all) Образование в IT (level: all)

В гостях у Moscow Python Podcast евангелист Moscow Python, сооснователь курсов Learn Python, СТО в компании Zipsale Илья Лебедев. Обсудили с Ильей как становятся разработчиками после курсов и петпроджектов. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Мастер-класс Ильи Лебедева "Проектирование АПИ для тех, у кого нет 10 лет опыта" - https://learnpython.timepad.ru/event/1604348/

Мастер-класс Златы Обуховской "Разработка асинхронных приложений: начало" - https://learnpython.timepad.ru/event/1604560/

Python-прокачка от Dryl…

2 месяца назад @ learnpython.podbean.com
и управление инфраструктурой (level: all)
и управление инфраструктурой (level: all) и управление инфраструктурой (level: all)

В гостях у Moscow Python Podcast Principal Architect компании Aligned Research Group Николай Марков. Обсудили с Николаем предстоящий вебинар python-прокачки от Drylabs и роль Python в управлении инфраструктурой. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Python-прокачка от Drylabs: https://drylabs.io/python-training

Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288Конференция Moscow Python Conf (Russian Pyt…

2 месяца, 1 неделя назад @ learnpython.podbean.com
для аналитика данных (level: all)
для аналитика данных (level: all) для аналитика данных (level: all)

В гостях у Moscow Python Podcast аналитик данных компании Лига Цифровой Экономики Павел Добрачев. Обсудили с Павлом его путь в аналитике данных, какую роль Python играет в аналитике данных. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 месяца, 3 недели назад @ learnpython.podbean.com
Рынок найма в IT (level: all)
Рынок найма в IT (level: all) Рынок найма в IT (level: all)

В гостях у Moscow Python Podcast руководитель рекрутингового агентства Star-Staff Татьяна Аква. Обсудили с Татьяной особенности рынка IT-рекрутмента и тестовые задания при найме. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров.

Вакансия в Nvidia: https://nvidia.wd5.myworkdayjobs.com/NVIDIAExternalCareerSite/job/Russia-Moscow/Backend-Engineer_JR1935682 Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция …

3 месяца назад @ learnpython.podbean.com
Путь джуна в QA Automation (level: junior)
Путь джуна в QA Automation (level: junior) Путь джуна в QA Automation (level: junior)

В гостях у Moscow Python Podcast выпускник курсов Learn Python, QA Automation engineer компании Voximplant Ася Макаровская. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 месяца, 2 недели назад @ learnpython.podbean.com
Процесс найма глазами senior инженера (level: senior)
Процесс найма глазами senior инженера (level: senior) Процесс найма глазами senior инженера (level: senior)

В гостях у Moscow Python Podcast партнер в gms tech и g-mate Алексей Исаев. Обсудили с Алексеем основные этапы найма, ошибки и рекомендации при составлении резюме и многое другое. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Работа в лучших IT-компаниях мира: https://t.me/g_jobbot?start=u_mp

Канал g-mate на youtube: https://www.youtube.com/channel/UCBIpN_ujefDCn60jDl-V6xg

Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/lear…

4 месяца, 1 неделя назад @ learnpython.podbean.com
Как junior разработчики входят в профессию (level: junior)
Как junior разработчики входят в профессию (level: junior) Как junior разработчики входят в профессию (level: junior)

В гостях у Moscow Python Podcast Data engineer компании X5 Retail Group, выпускник курсов Learn Python Юлия Пак. Обсудили с Юлией ее опыт смены профессии, поиска работы и впечатления от первой работы в IT. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

4 месяца, 2 недели назад @ learnpython.podbean.com
VP в сфере ML (level: All)
VP в сфере ML (level: All) VP в сфере ML (level: All)

В гостях у Moscow Python Podcast лидер Python практик компании S7 TechLab Антон Якунин. Поговорили с Антоном о опыте запуска MVP в большом компании. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

4 месяца, 3 недели назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 3 дня, 7 часов назад
Podlodka #220 – Волонтерство в IT
Podlodka #220 – Волонтерство в IT Podlodka #220 – Волонтерство в IT

Наскучили однообразные рабочие задачи? Давно хотели попробовать новый стек? Или сделать что-то очень полезное? А может и то, и другое? Вместо тяжкого раздумья над идеей нового пет-проекта, предлагаем попробовать себя в ИТ-волонтерстве! А разрушить барьер неопределенности поможет наш выпуск. Вместе с Владом Лавриченко, куратором платформы IT-волонтёр, разобрались в том, какие некоммерческие организации бывают и чем они занимаются, какие задачи могут решать ИТ специалисты и какие компетенции нужны, почему волонтерить - прикольно, полезно и важно и, конечно же, как проще всего в это вкатиться. Всем добра! ❤️ Разверните проект не хуже платформы для обучения нейросетей Experion на выделенных сер…

3 дня, 7 часов назад @ soundcloud.com
Podlodka #219 – Выбор первой профессии в IT
Podlodka #219 – Выбор первой профессии в IT Podlodka #219 – Выбор первой профессии в IT

Вместе с Сергеем Немчинским разобрались в том, как выбрать себе первую профессию в IT, и как к ней правильно подготовиться. Спойлер – достаточно базового знания английского и мотивации. А дальше начинаются детали. Подробнее – в выпуске! Подключите облачное хранилище от Selectel: https://slc.tl/tYd8P. Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: t.me/podlodka Telegram-канал: t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова, Егор Толстой Полезные ссылки:

YouTube-канал Сергея:

https://…

1 неделя, 3 дня назад @ soundcloud.com
Podlodka #218 – Схемотехника
Podlodka #218 – Схемотехника Podlodka #218 – Схемотехника

Фронтендеры и бэкендеры есть не только в программировании, но и в разработке микросхем. Наш гость Валерий Шунков провел нам полноценный ликбез по тому, как устроены чипы, каким образом их проектируют, какие принципы, софт и языки для этого используют, и куда движется вся индустрия. Разверните облачный сервер для Data Science в Selectel: https://slc.tl/qEGC1. По промокоду Podlodka получите 1000 бонусных рублей на услугу. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаун…

2 недели, 3 дня назад @ soundcloud.com
Podlodka #217 – Фасилитация
Podlodka #217 – Фасилитация Podlodka #217 – Фасилитация

Фасилитация, на первый взгляд, инструмент скрам-мастера, ну или на крайний случай тимлида. С независимым Agile-коачем Александрой Баптизманской разобрали, как фасилитация может быть полезна в том числе разработчикам. Разобрали теорию, а самое главное – разыграли по ролям фасилитацию архитектурного обсуждения. Направьте усилия команды на генерацию идей, об IT-инфраструктуре проекта позаботится Selectel: https://slc.tl/wHQM1. По промокоду Podlodka получите 1000 бонусных рублей на Облачную платформу. Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!

Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me…

3 недели, 3 дня назад @ soundcloud.com
Podlodka #216 – Типографика
Podlodka #216 – Типографика Podlodka #216 – Типографика

Разрабатываемые нами продукты немыслимы без интерфейсов и дизайна, а дизайн немыслим без типографики. Что такое шрифт? Для чего в мире так много похожих шрифтов (спойлер: они, оказывается, все разные!) и почему они стоят так много? Как тенденции в ИТ влияют на развитие шрифтовой индустрии? И, в конце концов, как выбрать шрифт для своего блога или любимой IDE? Разбираемся по всеми вместе с Ильей Рудерманом, сооснователем шрифтовой студии CSTM Fonts и шрифтового магазина type.today. А после прослушивания этого выпуска вы сможете просить дизайнера на вашем проекте "поиграться со шрифтами" уже со знанием дела 👩🏽‍🎨 Развернуть облачный сервер с GPU в пару кликов в панели Selectel: https://slc.tl/…

1 месяц назад @ soundcloud.com
Podlodka Special: Yet Another Mobile Party
Podlodka Special: Yet Another Mobile Party Podlodka Special: Yet Another Mobile Party

В этом специальном выпуске мы делимся не классическим интервью с гостем, а записью митапа Yet Another Mobile Party. Наш подкаст начинался как "айосный" с выпусками про VIPER, а сейчас удивляет многообразием тем даже нас самих. Мы верим — мобильная разработка масштабнее, чем кажется, а интересы мобильных разработчиков шире стандартного набора тем на конференциях. Yet Another Mobile Party подтверждает эту гипотезу. Ребята осветили области разработки, которые связаны с мобилками, но при этом могут считаться "необычными": беспилотники, разработка Яндекс.Станции, компьютерное зрение. Еще вы узнаете ответы на насущные вопросы — как и, главное, зачем проводят алгоритмические секции (те самые!) на …

1 месяц назад @ soundcloud.com
Podlodka #215 – Тест-менеджмент
Podlodka #215 – Тест-менеджмент Podlodka #215 – Тест-менеджмент

Что объединяет тракториста, агронома и задачу про охоту на уток в идеально круглом озере? А то, что все это было в нашем выпуске про тест-менеджмент! Гость выпуска и источник знаний, метафор и крутых историй – Алексей Петров из СберМаркета. 17 мая стартует конференция Podlodka QA Crew #4. Подробности на сайте https://podlodka.io/qacrew, а для любимых слушателей скидка по промокоду TRAKTORIST. Регистрируйтесь на Selectel Carrer Days и узнайте, как построить карьеру в сфере IT-инфраструктуры и облаков: https://slc.tl/p92Nd Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: t.me/podlodka Telegram-кана…

1 месяц, 1 неделя назад @ soundcloud.com
Podlodka #214 – Балансировка нагрузки
Podlodka #214 – Балансировка нагрузки Podlodka #214 – Балансировка нагрузки

За что бы ни брался наш гость Сергей Еланцев, получается балансировщик нагрузки. Это произошло и с выпуском подкаста, в котором мы вспомнили модель OSI, детально разобрали различные алгоритмы балансировки и прошлись по всем готовым решениям L4 и L7 балансеров, которые есть на рынке. Positive Hack Days — международный форум по практической безопасности, который проходит в Москве ежегодно начиная с 2011 года. В этом году состоится юбилейный десятый форум, который пройдёт 20-21 мая в Москве, в Центре Международной Торговли. Следите за новостями на сайте https://www.phdays.com/ru/ и за прямым эфиром на сайте https://standoff365.com/. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Такж…

1 месяц, 2 недели назад @ soundcloud.com
Podlodka #213 – Инвестиции в стартапы
Podlodka #213 – Инвестиции в стартапы Podlodka #213 – Инвестиции в стартапы

После этого выпуска вы наконец поймете что это за закрытие раундов, кто такие бизнес-ангелы и узнаете смысл других непонятных слов, которые пишут знакомые стартаперы в соцсетях. Александр Горный из United Investors провел нас по всем стадиям развития стартапа от гаража до IPO, показал с какими барьерами сталкиваются фаундеры на разных стадиях и самое важное – у кого брать на всё это деньги! Разверните приложение на облачных функциях от Selectel и не думайте о серверах: https://slc.tl/qT375. Промокод Podlodka дает 1000 рублей на услугу. Вводить сюда: my.selectel.ru/vpc/ Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и со…

1 месяц, 3 недели назад @ soundcloud.com
Podlodka #212 – Профессия: Solution Architect
Podlodka #212 – Профессия: Solution Architect Podlodka #212 – Профессия: Solution Architect

Какую карьерную траекторию выбрать разработчику? Путь развития в тимлиды понятен и уже не раз обсуждался. А что насчет того, чтобы сменить IDE на OmniGraffle, код на стрелочки и стать архитектором? Владимир Иванов, архитектор продукта в Тинькофф Бизнес, а ранее Solution Architect в EPAM Systems помог нам разобраться в многообразии архитекторов и рассказал все о роли, задачах и буднях архитектора решений. После этого выпуска вы сможете с закрытыми глазами отличить Application Architect от Solution Architect, легко выстроите себе роадмап развития в архитекторы, и запасетесь десятком шуточек про необходимость наличия архитектора у вас на проекте! Оптимальное решение любых бизнес-задач с инфрас…

1 месяц, 4 недели назад @ soundcloud.com
Podlodka #211 – Haskell
Podlodka #211 – Haskell Podlodka #211 – Haskell

Это выпуск про язык программирования Haskell. За этим коротким словом скрывается целый увлекательный мир: функции, полная ленивость вычислений, мощная система типов, необычная и тесно связанная с академической средой история становления языка и многое другое! Мы предлагаем вам погрузиться в этот мир на следующие пару часов вместе с нашим гостем – Александром Вершиловым. Разверните облачную базу данных от Selectel в пару кликов: https://slc.tl/xcO3z, промокод Podlodka дает 1000 рублей на услугу. Вводить сюда: my.selectel.ru/vpc/ 19 апреля – старт Podlodka Android Crew, подробности на сайте: https://podlodka.io/droidcrew. Скидка по промокоду BRAVIT777 Поддержи лучший подкаст про IT: www.patre…

2 месяца назад @ soundcloud.com
Podlodka #210 – Технический консалтинг
Podlodka #210 – Технический консалтинг Podlodka #210 – Технический консалтинг

Консалтинг – один из возможных способов программисту стать независимым. В этом выпуске мы разбираемся, как стать консультантом, где искать клиентов, как построить работу с ними и сколько денег за свою работу брать. Своим опытом и байками делится Самат Галимов, ведущий подкаста «Запуск завтра» и партнер в консалтинговой компании «Федя и Самат». 12 апреля стартует конференция Podlodka Frontend Crew, а любимым подписчикам – приятная скидка по промокоду VISHENKA: https://podlodka.io/fecrew Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews…

2 месяца, 1 неделя назад @ soundcloud.com
Podlodka #209 – Операционные системы
Podlodka #209 – Операционные системы Podlodka #209 – Операционные системы

Долго представлять эту тему не нужно, ведь выпуск входит в «золотой фонд фундаментальных выпусков» Podlodka и занимает место рядышком с "базами данных". Все, как вы любите – погружение в историю, разбор базовых компонентов и детские вопросы «а как загружается ОС?» с подробнейшими ответами на них. Под конец немного философских размышлений об упадке архитектуры ОС и стагнирующем настоящем, а также вероятности наступления светлого будущего. Осторожно, выпуск щедро приправлен байками! Managed Kubernetes от Selectel для современных проектов: https://slc.tl/Gz62X, промокод Podlodka дает 1000 рублей на услугу. Вводить сюда: https://my.selectel.ru/vpc/ Поддержи лучший подкаст про IT: www.patreon.c…

2 месяца, 2 недели назад @ soundcloud.com
Podlodka #208 – Распределённые системы
Podlodka #208 – Распределённые системы Podlodka #208 – Распределённые системы

Что такое распределённые системы? Как и почему они стали мейнстримом в backend-разработке? Какие плюсы они несут? Все эти вопросы мы обсудили с Андреем Печкуровым из Hazelcast примерно за 15 минут. А дальше почти 2 часа обсуждения технических сложностей и того с чем предстоит столкнуться на пути к распределенности! Уже в ближайший понедельник 29 марта начнется конференция Podlodka Backend Crew, одной из тем недель которой будут как раз распределенные системы. По промокоду STAS777 скидос: https://podlodka.io/becrew Многие проблемы распределенных систем уходят с переходом в облака. Наши партнеры, компания Selectel (https://slc.tl/MEqHT), дают 1000р на облачную платформу по промокоду Podlodka…

2 месяца, 4 недели назад @ soundcloud.com
Podlodka #207 – Дебаггинг
Podlodka #207 – Дебаггинг Podlodka #207 – Дебаггинг

Как известно, пристальное и сердитое смотрение в код позволяет устранить как минимум 50% ошибок и проблем. Но даже эта проверенная методика иногда (о ужас!) не помогает! И тогда на помощь приходит дебаггер. О том, какие тайны скрывает заветный жучок, о скольких крутых фичах дебаггера разработчики просто не знают и о философии дебаггинга нам рассказал Егор Ушаков из JetBrains! Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: t.me/podlodka Telegram-канал: t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателл…

3 месяца назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 6 дней, 7 часов назад
Современная археология
Современная археология Современная археология

Что общего между археологом и стартапером? Почему современные археологи не раскапывают памятники до конца? Чему может научить самая древняя туфелька в мире?Сегодня с нами проветривается первооткрыватель пещеры Арени Борис Гаспарян.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

6 дней, 7 часов назад @ buzzsprout.com
Георгий Могелашвили
Георгий Могелашвили Георгий Могелашвили

Кто такой ментор? На каком этапе он бывает нужен техническому специалисту? И почему в Booking.com любой team lead должен получить навыки менторства?Сегодня с нами прометривается Георгий Могелашвили. Георгий работает Lead Developer в Booking.com и развивает свой проект GetMentor.Support the show (https://www.patreon.com/progulka)

1 неделя, 6 дней назад @ buzzsprout.com
Даша Золотухина live!
Даша Золотухина live! Даша Золотухина live!

Что такое райд-тех? Как интернет меняет города? И что общего между искусством и маркетингом?Сегодня с нам проветривается Даша Золотухина, которая руководит маркетингом бизнес-группе E-commerce и Ride-tech Яндекса. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

2 недели, 6 дней назад @ buzzsprout.com
Биоразнообразие
Биоразнообразие

Как вымер странствующий голубь? В честь какой птицы называли пингвинов? И как мы все приблизили антропоцен?Сегодня по случаю мирового дня биоразнообразия с нами проветривается биолог Амирам Григоров.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

3 недели, 6 дней назад @ buzzsprout.com
Тоня Самсонова live!
Тоня Самсонова live!

Почему традиционные медиа больше не работают, не только в России, но и в мире? И как создать стартап, не будучи программистом? Сегодня с нами проветривается Тоня Самсонова. Тоня основала платформу The Question, а сейчас руководит Яндекс.Кью. Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

1 месяц назад @ buzzsprout.com
NFT
NFT NFT

Что такое NFT? Как и почему «выстреливает» новое цифровое искусство? Какое будущее у рынка цифровых коллекций? Сегодня с нами проветриваются три художника, соавтора проекта NFT256: • Ваваев Максим — VFX Technical Artist, основатель NFT256, Москва.• Макарюк Богдан — Designer, 3d-artist, cооснователь NFT256, Харьков.• Дмитрий Белкин — Visual artist, cооснователь NFT256, Москва. Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

1 месяц, 1 неделя назад @ buzzsprout.com
Дмитрий Еврафов live!
Дмитрий Еврафов live! Дмитрий Еврафов live!

Почему спортсменам запрешено бежать марафон под музыку? Как пройти путь от приложений до приложений года для AppleWatch? И что в музыке сложнее всего генерировать нейронными сетями? Сегодня с нами проветривается Дмитрий Евграфов — композитор и один из создателей компании Endel. Не будьте такими душными, давайте лучше — проветримся! Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

1 месяц, 2 недели назад @ buzzsprout.com
Трейдинг II
Трейдинг II Трейдинг II

Почему трейдинг полезен для рынков? Кто может заработать на бирже? Как машинное обучение и анализ данных сейчас применяются на финансовых рынках? С нам проветриваются • Александр Омельченко - доктор физико-математических наук, профессор НИУ ВШЭ в Санкт-Петербурге, академический руководитель образовательных программ «Машинное обучение и анализ данных», «Промышленное программирование», «Прикладная математика и информатика». • Евгений Васин - программист, квант. Последние десять лет Евгений занимается высокочастотным трейдингом. А в бонусный эпизод зашёл ещё • Леонид Меркин, финансовый математик, профессор Высшей экономики школы в Санкт-ПетербургеНе будьте такими душными, давайте лучше - прове…

1 месяц, 3 недели назад @ buzzsprout.com
Трейдинг I
Трейдинг I Трейдинг I

Что такое высокочастотный трейдинг? Почему физики становятся хорошими квантами? Какой датасет может стоить миллион долларов в год? Сегодня с нами проветриваются • Александр Омельченко - доктор физико-математических наук, профессор НИУ ВШЭ в Санкт-Петербурге, академический руководитель образовательных программ «Машинное обучение и анализ данных», «Промышленное программирование», «Прикладная математика и информатика». • Евгений Васин - программист, квант. Последние десять лет Евгений занимается высокочастотным трейдингом.Не будьте такими душными, давайте лучше - проветримся! Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www…

1 месяц, 3 недели назад @ buzzsprout.com
Сергей Нетесов live!
Сергей Нетесов live!

Как учёные обнаружили первый в мире вирус? Какие бывают прививки? И почему птичники — идеальные инкубаторы не только для яиц, но и для вирусов?Сегодня с нами проветривается Сергей Нетёсов. Сергей — вирусолог, доктор биологических наук, профессор, член-корреспондент РАН, заведующий лабораторией биотехнологии и вирусологии Факультета естественных наук Новосибирского государственного университета.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

2 месяца назад @ buzzsprout.com
Освоение космоса
Освоение космоса Освоение космоса

Когда на марсе буду цвести яблони? Почему человек, как вид, не очень подходит для космических путешествий? И какие нерешённые проблемы стоят между человечеством и космосом?Сегодня с нами проветриваются• Екатерина Ефремова - астроном и популяризатор науки. Екатерина закончила аспирантуру Института астрономии РАН, работает в МПГУ им. Ленина и ведёт научно-популярный блог ЗонаЗвезд. • Алексей Малахов - старший научный сотрудник отдела отдела ядерной планетологии института космических исследований РАН.С днём космонавтики, космонавтики!Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (htt…

2 месяца, 1 неделя назад @ buzzsprout.com
Даниил Александров live!
Даниил Александров live! Даниил Александров live!

Почему люди становятся бездомными? Как им можно помочь? Что такое Неравнодуш, Ночной Автобус и Нормальное Место?Сегодня в выпуске по случаю Дня Бездомного Человека с нами проветривается PR-специалист Ночлежки Даниил Александров.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

2 месяца, 2 недели назад @ buzzsprout.com
Генетика еды
Генетика еды Генетика еды

Как появились современные помидоры, бананы или коровы? Сколько есть вкусов и как мы их ощущаем? И какой вклад в то, что мы едим, делают генетики, а какой — повара?Сегодня с нами проветриваются• Всеволод Остахнович — автор телеграм-канала Food & Science.• Нариман Баттулин – кандидат биологических наук, заведующий лабораторией генетики развития Института цитологии и генетики СО РАН.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

2 месяца, 3 недели назад @ buzzsprout.com
Рита Логинова live!
Рита Логинова live! Рита Логинова live!

Что необходимо знать про ВИЧ? Кто такие ВИЧ-активисты? И как активизм может быть адекватным?Сегодня с нами проветривается журналистка Рита Логинова. Рита делает подкаст «Одни Плюсы» о людях, живущих с ВИЧ, и работает специалистом по коммуникациям некоммерческой организации «Гуманитарный проект» . Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

3 месяца назад @ buzzsprout.com
Нейрочат
Нейрочат Нейрочат

Может ли современный энцефалограф читать мысли? Как работают нейроинтерфейсы? И что пока мешает прямой передачи мысли от мозга к мозгу? Сегодня с нами проветриваются:• Светлана Ким — аспирантка МГУ, которая исследует нейроинтерфейсы и, среди прочего, работала с устройством «НейроЧат», которое помогает общаться людям, перенёсшим инсульт.• Михаил Лебедев — Нейрофизиолог и разработчик нейроинтерфейсов, профессор Сколтеха и научный руководитель Центра биоэлектрических интерфейсов Высшей школы экономики.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

3 месяца, 1 неделя назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост 1 месяц назад
Трудная проблема сознания. Как научить машину думать
Трудная проблема сознания. Как научить машину думать Трудная проблема сознания. Как научить машину думать

Каково написать первую программу гусиным пером в мире, где нет даже электрических лампочек, о чем мечтали отцы кибернетики, когда создавали математическую модель нейрона, и чего мы сами ждем от чипов Neuralink— в заключительном эпизоде первого сезона, где гении пьют виски на даче, макаки играют в пинг-понг без рук, роботы лечат малярию и все очень много мечтают. Этот подкаст мы делаем вместе со SberDevices

1 месяц назад @ nowyouarehere.libsyn.com
Моральная машина. Зачем нейросети совесть
Моральная машина. Зачем нейросети совесть Моральная машина. Зачем нейросети совесть

Откуда у алгоритмов загоны и предрассудки, как роботам решать дилему вагонетки, и что нейросеть понимает про семейные ценности — в эпизоде, где спящие люди тихо едут на Теслах из киберпанка в киберкоммунизм. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

1 месяц, 3 недели назад @ nowyouarehere.libsyn.com
Сам ты нейросеть. Как устроено машинное обучение
Сам ты нейросеть. Как устроено машинное обучение Сам ты нейросеть. Как устроено машинное обучение

Почему алгоритмы начали сами повторять достижения человечества, как научились предсказывать изобретения и что общего у малыша на карусели и нейросети GPT3. Этот подкаст мы делаем вместе со SberDevices Подкаст Ивана Ямщикова "Проветримся" https://www.patreon.com/progulka Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

2 месяца, 1 неделя назад @ nowyouarehere.libsyn.com
Что чувствует эмоциональный ИИ
Что чувствует эмоциональный ИИ Что чувствует эмоциональный ИИ

Как машины читают то, что у вас на лице написано, решают дилемму покерфейса, предсказывают выгорание и учатся испытывать эмоции сами. Этот подкаст мы делаем вместе со SberDevices Эпизод подкаста "Запуск завтра" про Давида Яна https://zapuskzavtra.libsyn.com/i7pyit9e0q2o Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

2 месяца, 3 недели назад @ nowyouarehere.libsyn.com
На человеческом уровне. Зачем мы учим машины играть
На человеческом уровне. Зачем мы учим машины играть На человеческом уровне. Зачем мы учим машины играть

В этом эпизоде мы расскажем, что может нейросеть, которая провела две тысячи лет в Доте, как четыре бота сломали прятки и почему машинам нужно самоутвержаться за счет гроссмейстеров. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

3 месяца, 1 неделя назад @ nowyouarehere.libsyn.com
Нейросети и творчество. На что способны алгоритмы-художники
Нейросети и творчество. На что способны алгоритмы-художники Нейросети и творчество. На что способны алгоритмы-художники

В этом эпизоде мы разбираемся, зачем человеку роботы, которые могут воображать котов, писать небылицы, импровизировать в стиле Баха и писать стихи из поисковых запросов. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

3 месяца, 3 недели назад @ nowyouarehere.libsyn.com
Вам это понравится. Как алгоритмы воспринимают человека
Вам это понравится. Как алгоритмы воспринимают человека Вам это понравится. Как алгоритмы воспринимают человека

Как машины пытаются составить портрет человека по его кликам и лайкам, какие выводы о нем делают по чеку из магазина и почему вам лучше не знать, какой вы фрукт – в новом выпуске «Вы находитесь здесь». Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

4 месяца назад @ nowyouarehere.libsyn.com
Железный характер. Как прикрутить чат-боту личность
Железный характер. Как прикрутить чат-боту личность Железный характер. Как прикрутить чат-боту личность

В этом эпизоде мы расскажем, как симуляция безумия помогает машине притворяться человеком, зачем виртуальным ассистентам сценаристы и редакторы и как два бота торговались за мячик и сломали английский язык. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

4 месяца, 2 недели назад @ nowyouarehere.libsyn.com
Мы вас услышали. Как машина научилась понимать нашу речь
Мы вас услышали. Как машина научилась понимать нашу речь Мы вас услышали. Как машина научилась понимать нашу речь

В этом эпизоде мы расскажем, почему голосовые помощники не понимают шотландцев и чем им может помочь глухой с младенчества советский математик. Как робот находит песню, в которой вы помните только «ту-ту-ту-рум-ту-ту-рум». И правда ли, что умные колонки за нами шпионят. Этот подкаст студии Либо/Либо и SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

5 месяцев назад @ nowyouarehere.libsyn.com
История говорящих машин. От ацтеков до Alexa
История говорящих машин. От ацтеков до Alexa История говорящих машин. От ацтеков до Alexa

В первом эпизоде мы рассказываем, как учили машину говорить так, чтоб ее можно было слушать без кринжа. Изобретатели и инженеры буквально столетиями пытались заставить машины говорить и придумали за это время самые странные звучащие объекты в истории. В этом выпуске вы услышите орущие свистки ацтеков, смех волынки с механическим ртом и песни безумных роботов. Заодно мы расскажем, чьим голосом на самом деле разговаривал Стивен Хокинг и почему запись живого диктора может звучать хуже, чем нейросеть. И почему все это ради пиццы. Этот подкаст студии Либо/Либо и SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; …

5 месяцев, 3 недели назад @ nowyouarehere.libsyn.com
Машина, которая думает, творит и орет. Трейлер подкаста об искусственном интеллекте
Машина, которая думает, творит и орет. Трейлер подкаста об искусственном интеллекте Машина, которая думает, творит и орет. Трейлер подкаста об искусственном интеллекте

В этом подкасте мы расскажем о том, как человек учит машину всему, что умеет сам: постигать, творить, общаться и нервничать. Что о нас думает умная колонка? Зачем давать роботам цифровые эмоции? Может ли нейросеть действительно понять человека? О том, куда нас ведет развитие искусственного интеллекта, и как долго нам еще идти по дороге прогресса — слушайте в подкасте «Вы находитесь здесь»

6 месяцев назад @ nowyouarehere.libsyn.com
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост 2 дня, 16 часов назад
The World of the World Wide Web
The World of the World Wide Web The World of the World Wide Web

1995 laid the groundwork for a truly global World Wide Web. But not every country took the same path to connecting to the internet. Some resisted, wanting to create their own version. Others had to fight for access, not wanting to be left behind. And while we made huge strides in connecting the world in those early years, we still have a long way to go. Julien Mailland recounts the rollout of France’s Minitel service—how it was years ahead of the internet, but eventually lost its lead. Steve Goldstein explains what was involved in building the infrastructure to expand the NSFNET beyond the United States. Gianluigi Negro shares how China pushed for its connection, and how different it would …

2 дня, 16 часов назад @ redhat.com
Looking for Search
Looking for Search Looking for Search

The web was growing quickly in the ‘90s. But all that growth wasn’t going to lead to much if people couldn’t actually find any web sites. In 1995, an innovative new tool started crawling the web. And the search engine it fed opened the doors to the World Wide Web. Elizabeth Van Couvering describes trying to find websites before search engines, and how difficult it was becoming in the early ’90s to keep track of them all. Louis Monier talks about having to convince others how important search engines would become—and he showed them what a web crawler could do. Paul Cormier recounts taking the search engine from a research project to a commercial one. And Richard Seltzer wrote the book on sea…

2 недели, 2 дня назад @ redhat.com
Shopping for the Web
Shopping for the Web Shopping for the Web

We put a lot of trust into online shopping: sharing our names, addresses, and handing over money. In return, we have faith that the purchased item appears at our doorstep in a few days or weeks. That trust didn’t come easily. In 1995, we took our first steps out of the brick and mortar store to load our digital shopping cart. Robert Spector reveals how Amazon.com’s business foundations are in data—and being early to the internet. Sandeep Krishnamurthy recounts the rise of eBay. Angela Robinson describes the technology that makes secure transactions and trustworthy e-commerce possible. Kartik Shastri shares how difficult it was to store and process consumer data. And Katie Wilson explains ho…

1 месяц назад @ redhat.com
Web UX Begins
Web UX Begins Web UX Begins

Looking at the internet in 1995 is like looking back at awkward grade school yearbooks—all the weirdness and flaws stand out in stark contrast to what it’s grown into since. And web design took awhile to become a career—but it got a big boost in 1995. When the Batman Forever website launched to promote the movie, it showed people what was possible on the web. And it forever changed what we’d expect from a website. Jay Hoffmann describes the quirky designs of the early web. Richard Vijgen explains how we went from a lack of conventions to a homogenized web. Jeffrey Zeldman recounts building the Batman Forever movie’s website—and sowing the seeds of professional web design. Jessica Helfand ou…

1 месяц, 2 недели назад @ redhat.com
A Language for the Web
A Language for the Web A Language for the Web

The Hypertext Markup Language (HTML) gave everyone a foundation for building and viewing the World Wide Web. In 1995, its standardization led to dominance. Its simplicity helped it spread. And its solid common foundation helped shape the internet. Dr. Belinda Barnet explains what kind of framework was initially needed to build and navigate the Web. Jeff Veen describes the three ingredients Tim Berners-Lee combined to create HTML: the ideal language for the Web. Gavin Nicol recounts the need to standardize the quickly-growing language. And Gretchen McCulloch points out how HTML instills an inherent bias for English speakers to develop for the web.If you want to read up on some of our researc…

1 месяц, 4 недели назад @ redhat.com
From NSF to ISP
From NSF to ISP From NSF to ISP

1995 was the year that ISPs became the dominant gateway to the information superhighway. But how’d we go from ARPANET all the way to that? It turns out, none of it would have happened without a team of intrepid engineers at the University of Michigan.Marc Weber tells us how a tension between academics and the military set the next evolution of the ARPANET. Douglas Van Houweling discusses the work his MERIT team did at the University of Michigan to build the national backbone of the NSFNET. Elise Gerich, MERIT’s systems manager, talks about how they made the leap from a T1 connection to a T3 to handle traffic from their growing network. And Janet Abbate emphasizes how all this set the stage …

2 месяца, 1 неделя назад @ redhat.com
Connecting the Dot-Com
Connecting the Dot-Com Connecting the Dot-Com

The year is 1995. The internet starts going mainstream and the dot-com bubble begins its rapid inflation. But 10 years before all of this, a small team of systems administrators made a seemingly simple decision that would turn out to have a monumental impact on these events and would set the course of the internet for the foreseeable future. Dr. W. Joseph Campbell sets the stage for our season on the internet in 1995. Claire L. Evans explains how hard it was to find anything on the early internet. One team was charged with compiling that information in the early days of the ARPANET. Elizabeth “Jake” Feinler recounts being the internet’s sole librarian in those early days, and how she helped…

2 месяца, 3 недели назад @ redhat.com
Command Line Heroes Season 7: Internet Class of '95
Command Line Heroes Season 7: Internet Class of '95 Command Line Heroes Season 7: Internet Class of '95

The internet’s been around for awhile now. And it’s safe to say that it’s changed much of our daily lives. But not so long ago, there were few people who realized how transformative the internet would become. Season 7 of Command Line Heroes looks back at those few who saw the internet’s early potential and forever shaped it during its most formative year: 1995. From the origins of e-commerce, to web design, to HTML, to the infrastructure holding it all together around the world, this season highlights the heroes who turned the nascent internet into the vital global network we know today. The first episode drops March 23, 2021. Subscribe today and sign up for the newsletter to get the latest…

3 месяца, 1 неделя назад @ redhat.com
Arlan Hamilton: The Investor Who's Opening Doors
Arlan Hamilton: The Investor Who's Opening Doors Arlan Hamilton: The Investor Who's Opening Doors

If you think hard work is enough to guarantee success, you haven’t been listening. All season long, we’ve profiled Black inventors who haven’t quite been given their due. Arlan Hamilton is helping reverse that trend by leveling the playing field—and changing the venture capital game.Arlan Hamilton’s story mirrors many we’ve covered this season—overcoming adversity to find success. But she’s also helping redefine what success can look like and, in the process, is helping change the broader tech industry. Janice Omadeke lays out how diversifying the VC community in turn leads to greater diversity among founders receiving funding. Ramona Ortega explains how traditional VC priorities often pass…

4 месяца, 4 недели назад @ redhat.com
Gladys Perkins: The Pioneer Who Took Us To New Heights
Gladys Perkins: The Pioneer Who Took Us To New Heights Gladys Perkins: The Pioneer Who Took Us To New Heights

Is the moon made of cheese? Of course not. But can a person walk on the surface? Not too long ago, we couldn’t answer that question. But with the help of Gladys Perkins, we soon figured out that we could send a team to the moon and have them safely land on its surface. There was a time when the United States was behind the Soviets in the space race. Everyone had their sights set on the moon. Andrew Chaikin describes NASA’s disastrous Ranger missions. Erik Conway explains how complicated the trajectory calculations were—and to top it all off, why they often couldn’t be done in advance. To succeed, NASA’s new Surveyor program would need the capability to adjust trajectory mid-flight. Gladys P…

5 месяцев, 1 неделя назад @ redhat.com
Roy Clay: The Entrepreneur Who Transformed an Industry
Roy Clay: The Entrepreneur Who Transformed an Industry Roy Clay: The Entrepreneur Who Transformed an Industry

Roy Clay had to chase after opportunities. But landing a promising position wasn’t the finish line. Roy Clay pushed those opportunities beyond their mandate, transforming an industry in the process.Kathy Cotton recounts how few opportunities Roy Clay had growing up—but how, later, talk of his genius helped him get his break in the tech industry. Chuck House describes how Clay’s qualifications and experience were just what Hewlett and Packard were looking for. Bill Davidow explains how Clay made his mark at HP building a department, and shaping the strategy for a revolutionary 16-bit minicomputer. And in Clay, Ken Coleman found a role model and mentor. He followed in Clay’s footsteps, and he…

5 месяцев, 3 недели назад @ redhat.com
Dr. Clarence Ellis: The Developer Who Helped Us Collaborate
Dr. Clarence Ellis: The Developer Who Helped Us Collaborate Dr. Clarence Ellis: The Developer Who Helped Us Collaborate

It’s not easy to learn how to use computers when you can’t actually touch them. But that’s how Dr. Clarence Ellis started his career of invention—which would ultimately lead to reimagining how we all worked with computers and each other.Martez Mott describes the “Mother of all Demos” that would inspire a generation of builders. Gary Nutt recounts working with Dr. Clarence Ellis at Xerox PARC, and the atmosphere at the coveted research lab. Chengzheng Sun and Paul Curzon explain how Operational Transformation—the project to which Dr. Ellis devoted so much time and effort—laid the foundation for the collaborative tools many of us use every day. And Delilah DeMers shares how humble her father …

6 месяцев, 1 неделя назад @ redhat.com
Dr. Marc Hannah: The Computer Scientist Who Brought Worlds to Life
Dr. Marc Hannah: The Computer Scientist Who Brought Worlds to Life Dr. Marc Hannah: The Computer Scientist Who Brought Worlds to Life

Sometimes an inventor designs a device for a specific purpose. Sometimes it’s to try something new. But successful inventions often shape industries beyond those they initially intended. Dr. Marc Hannah built an invention with far bigger effects than anyone could have imagined—like bringing dinosaurs to life, building liquid robots, and letting the Titanic set sail one more time. Raqi Syed gives some context on the evolution of special effects in the movie industry. Mark Grossman explains how the graphics world was more than ready for an upgrade. Tom Davis recounts the difficulties that he and his team had getting people to understand what was possible with the Geometry Engine. Luckily, Ste…

6 месяцев, 3 недели назад @ redhat.com
Mark Dean: The Inventor Who Made the Computer Personal
Mark Dean: The Inventor Who Made the Computer Personal Mark Dean: The Inventor Who Made the Computer Personal

Dr. Mark Dean has a superpower. He wasn’t born with it. He wasn’t exposed to high levels of radiation. It’s a power he learned from his father. And because of it, he was able to revolutionize the personal computer. David Bradley explains how in the 1980s, IBM had a reputation for building big, enterprise mainframes. No one believed IBM could make a competitive PC. But that’s exactly what “Project Chess” was tasked with creating. Tony Hey describes the monumental shift in strategy it was for IBM to enter the PC market. Pete Martinez and Dennis Moeller recount their days working with Mark on the skunkworks project. And how IBM's strategy for creating a computer in under a year changed the per…

7 месяцев, 1 неделя назад @ redhat.com
Dr. Gladys West: The Mathematician Who Reshaped Our World
Dr. Gladys West: The Mathematician Who Reshaped Our World Dr. Gladys West: The Mathematician Who Reshaped Our World

Aristotle and Eratosthenes are big names in geodesy. They got pretty close to measuring the size of the Earth. But the woman who got it done? She grew up a farmer, dreaming of something bigger. And her work changed how we see the world.Dr. Gladys West didn’t have much room for error in her quest for higher education. Marvin Jackson recounts the obstacles in her path—and the challenges she faced in her early career. Gavin Schrock traces how geodesy progressed before Dr. West, and how foundational her work was for the GPS systems that followed. Paul Ceruzzi describes the state-of-the-art technology available at Dahlgren that helped Dr. West model the world. Todd Humphreys explains how that mo…

7 месяцев, 3 недели назад @ redhat.com
Python Bytes Python Bytes
последний пост 2 дня, 15 часов назад
#238 A cloud-based file system for Python and a new GUI!
#238 A cloud-based file system for Python and a new GUI! 2 дня, 15 часов назад @ pythonbytes.fm
#237 Separate your SQL and Python, asynchronously with aiosql
#237 Separate your SQL and Python, asynchronously with aiosql 1 неделя, 1 день назад @ pythonbytes.fm
#236 Fuzzy wuzzy wazzy fuzzy was faster
#236 Fuzzy wuzzy wazzy fuzzy was faster 2 недели, 1 день назад @ pythonbytes.fm
#235 Flask 2.0 Articles and Reactions
#235 Flask 2.0 Articles and Reactions 3 недели, 1 день назад @ pythonbytes.fm
#234 The Astronomy-filled edition with Dr. Becky
#234 The Astronomy-filled edition with Dr. Becky 4 недели, 1 день назад @ pythonbytes.fm
#233 RaaS: Readme as a Service
#233 RaaS: Readme as a Service 1 месяц назад @ pythonbytes.fm
#232 PyPI in a box and a revolutionary keyboard
#232 PyPI in a box and a revolutionary keyboard 1 месяц, 1 неделя назад @ pythonbytes.fm
#231 Go Python, Go!
#231 Go Python, Go! 1 месяц, 2 недели назад @ pythonbytes.fm
#230 PyMars? Yes! FLoC? No!
#230 PyMars? Yes! FLoC? No! 1 месяц, 3 недели назад @ pythonbytes.fm
#229 Has one of your dependencies died?
#229 Has one of your dependencies died? 2 месяца назад @ pythonbytes.fm
#228 Supreme Court decides API copyright battle
#228 Supreme Court decides API copyright battle 2 месяца, 1 неделя назад @ pythonbytes.fm
#227 No more awaiting, async comes to SQLAlchemy
#227 No more awaiting, async comes to SQLAlchemy 2 месяца, 2 недели назад @ pythonbytes.fm
#226 Teaching Python podcast on the podcast!
#226 Teaching Python podcast on the podcast! 2 месяца, 3 недели назад @ pythonbytes.fm
#225 SELECT Pydantic FROM MongoDB
#225 SELECT Pydantic FROM MongoDB 3 месяца назад @ pythonbytes.fm
#224 Join us on a Python adventure back to 1977
#224 Join us on a Python adventure back to 1977 3 месяца, 1 неделя назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 3 часа назад
StreamSets: DataOps and Smart Pipelines with Arvind Prabhakar
StreamSets: DataOps and Smart Pipelines with Arvind Prabhakar

The company StreamSets is enabling DataOps practices in today’s enterprises. StreamSets is a data engineering platform designed to help engineers design, deploy, and operate smart data pipelines. StreamSets Data Collector is a codeless solution for designing pipelines, triggering CDC operations, and monitoring data in flight. StreamSets Transformer uses Apache Spark to generate insights about your

The post StreamSets: DataOps and Smart Pipelines with Arvind Prabhakar appeared first on Software Engineering Daily.

3 часа назад @ softwareengineeringdaily.com
Blissfully: Comprehensive IT Management with Aaron White
Blissfully: Comprehensive IT Management with Aaron White

Delivering Saas products involves a lot more than just building the product. Saas management involves customer relationship management, licensing, renewals, maintaining software visibility, and the general management of the technology portfolio. The company Blissfully helps businesses manage their SaaS products from within a complete IT platform with organization, automation, and security built in. The Blissfully

The post Blissfully: Comprehensive IT Management with Aaron White appeared first on Software Engineering Daily.

1 день, 4 часа назад @ softwareengineeringdaily.com
Stemma: Understanding Big Data with Mark Grover
Stemma: Understanding Big Data with Mark Grover

Amundsen was started at Lyft and is the leading open-source data catalog with the fastest-growing community and the most integrations. Amundsen enables you to search your entire organization by text search, see automated and curated metadata, share context with co workers, and learn from others by seeing most common queries on a table or frequently

The post Stemma: Understanding Big Data with Mark Grover appeared first on Software Engineering Daily.

2 дня, 14 часов назад @ softwareengineeringdaily.com
Coinbase RN: Building the Cryptocurrency Ecosystem with Brent Walter and Jacob Thornton
Coinbase RN: Building the Cryptocurrency Ecosystem with Brent Walter and Jacob Thornton

Coinbase is a very popular and well trusted cryptocurrency platform for buying and selling digital assets like Bitcoin, Ethereum, and many more. With Coinbase you can manage your portfolio of cryptocurrencies in 1 place like you would for other investments. There are added features like scheduling recurring purchases of assets, time-delayed withdrawals from digital vaults,

The post Coinbase RN: Building the Cryptocurrency Ecosystem with Brent Walter and Jacob Thornton appeared first on Software Engineering Daily.

3 дня, 14 часов назад @ softwareengineeringdaily.com
Oracle Cloud with Salman Paracha
Oracle Cloud with Salman Paracha

Corey Quinn is guest hosting on Software Engineering Daily this week, presenting a Tour of the Cloud. Corey Quinn is the Chief Cloud Economist at The Duckbill Group, where he helps companies fix their AWS bill by making it smaller and less horrifying. If you’re looking to lower your AWS bill or negotiate a new

The post Oracle Cloud with Salman Paracha appeared first on Software Engineering Daily.

6 дней, 14 часов назад @ softwareengineeringdaily.com
Digital Ocean with John Allspaw
Digital Ocean with John Allspaw

Corey Quinn is guest hosting on Software Engineering Daily this week, presenting a Tour of the Cloud. Corey Quinn is the Chief Cloud Economist at The Duckbill Group, where he helps companies fix their AWS bill by making it smaller and less horrifying. If you’re looking to lower your AWS bill or negotiate a new

The post Digital Ocean with John Allspaw appeared first on Software Engineering Daily.

1 неделя назад @ softwareengineeringdaily.com
GCP with Liz Fong-Jones
GCP with Liz Fong-Jones

Corey Quinn is guest hosting on Software Engineering Daily this week, presenting a Tour of the Cloud. Corey Quinn is the Chief Cloud Economist at The Duckbill Group, where he helps companies fix their AWS bill by making it smaller and less horrifying. If you’re looking to lower your AWS bill or negotiate a new

The post GCP with Liz Fong-Jones appeared first on Software Engineering Daily.

1 неделя, 1 день назад @ softwareengineeringdaily.com
Azure with Troy Hunt
Azure with Troy Hunt

Corey Quinn is guest hosting on Software Engineering Daily this week, presenting a Tour of the Cloud. Corey Quinn is the Chief Cloud Economist at The Duckbill Group, where he helps companies fix their AWS bill by making it smaller and less horrifying. If you’re looking to lower your AWS bill or negotiate a new

The post Azure with Troy Hunt appeared first on Software Engineering Daily.

1 неделя, 2 дня назад @ softwareengineeringdaily.com
AWS with Pete Cheslock
AWS with Pete Cheslock

Corey Quinn is guest hosting on Software Engineering Daily this week, presenting a Tour of the Cloud. Corey Quinn is the Chief Cloud Economist at The Duckbill Group, where he helps companies fix their AWS bill by making it smaller and less horrifying. If you’re looking to lower your AWS bill or negotiate a new

The post AWS with Pete Cheslock appeared first on Software Engineering Daily.

1 неделя, 3 дня назад @ softwareengineeringdaily.com
Machine Learning: The Great Stagnation with Mark Saroufim
Machine Learning: The Great Stagnation with Mark Saroufim

Mark Saroufim is the author of an article entitled “Machine Learning: The Great Stagnation”. Mark is a PyTorch Partner Engineer with Facebook AI. He has spent his entire career developing machine learning and artificial intelligence products. Before joining Facebook to do PyTorch engineering with external partners, Mark was a Machine Learning Engineer at Graphcore. Before

The post Machine Learning: The Great Stagnation with Mark Saroufim appeared first on Software Engineering Daily.

1 неделя, 6 дней назад @ softwareengineeringdaily.com
Special Edition Repeat: AWS Analysis with Corey Quinn
Special Edition Repeat: AWS Analysis with Corey Quinn

Next week Corey Quinn will be guest hosting on Software Engineering Daily, presenting a Tour of the Cloud. Corey Quinn is the Chief Cloud Economist at The Duckbill Group, where he helps companies fix their AWS bill by making it smaller and less horrifying. If you’re looking to lower your AWS bill or negotiate a

The post Special Edition Repeat: AWS Analysis with Corey Quinn appeared first on Software Engineering Daily.

2 недели назад @ softwareengineeringdaily.com
Polygon: Connecting Ethereum Compatible Blockchain Networks with Denis Ermolin
Polygon: Connecting Ethereum Compatible Blockchain Networks with Denis Ermolin

Platforms like Ethereum have billions of dollars of market cap and large developer communities. However, it is still a challenge to build widely adopted DApps on it because of current limitations. Blockchain Proof of Work transactions are typically slow, and Proof of Stake transactions trade off decentralization to achieve high throughput. Transaction fees get expensive,

The post Polygon: Connecting Ethereum Compatible Blockchain Networks with Denis Ermolin appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com
AWS Outpost Engineering with Joshua Burgin
AWS Outpost Engineering with Joshua Burgin

AWS Outposts is a fully managed service that offers the same AWS infrastructure, AWS services, APIs, and tools to virtually any datacenter, co-location space, or on-premises facility for a truly consistent hybrid experience. AWS Outposts is ideal for workloads that require low latency access to on-premises systems, local data processing, data residency, and migration of

The post AWS Outpost Engineering with Joshua Burgin appeared first on Software Engineering Daily.

2 недели, 2 дня назад @ softwareengineeringdaily.com
Flutter: Native Web and Mobile App Development with Allen Wyma
Flutter: Native Web and Mobile App Development with Allen Wyma

Flutter is a UI toolkit developed by Google that helps developers build natively compiled applications for mobile, web, desktop, and embedded devices from a single code base. Development is fast because the screen “hot reloads” as you develop, the architecture is layered for fast and expressive designs, and its widgets incorporate all critical platform differences

The post Flutter: Native Web and Mobile App Development with Allen Wyma appeared first on Software Engineering Daily.

2 недели, 5 дней назад @ softwareengineeringdaily.com
Data Exploration with a New Python Library with Doris Lee
Data Exploration with a New Python Library with Doris Lee

Data exploration uses visual exploration to understand what is in a dataset and the characteristics of the data. Data scientists explore data to understand things like customer behavior and resource utilization. Some common programming languages used for data exploration are Python, R, and Matlab. Doris Jung-Lin Lee is currently a Graduate Research Assistant at the

The post Data Exploration with a New Python Library with Doris Lee appeared first on Software Engineering Daily.

3 недели назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост 4 месяца назад
Хабр ПРО. Удалёнка-2021: уезжать или оставаться в городе?
Хабр ПРО. Удалёнка-2021: уезжать или оставаться в городе? Хабр ПРО. Удалёнка-2021: уезжать или оставаться в городе?

Мало кто ожидал, что удалёнка затянется: скоро год, как пандемия перевернула формат работы айтишников. Многие верят, что им выпал шанс пожить так, как давно мечталось — и обсуждают, как использовать ситуацию. Многие снимаются с насиженных мест, чтобы мигрировать за город, к чистому воздуху и зеленым полям. Но что нужно, чтобы айтишник не просто стал ближе к земле, но и улучшил качество жизни? Поговорим об этом с Григорием Вовченко, управляющим директором центра развития финансовых технологий Россельхозбанка, и Иваном Гуменюком, топовым хабраавтором, который давно на удалёнке и рад этому. 1:50 Инфраструктура своими руками: интернет через кастрюлю, яхта под офис и прочие ноу-хау удалённых айт…

4 месяца назад @ soundcloud.com
Хабр ПРО. Куда плывёте, облака?
Хабр ПРО. Куда плывёте, облака? Хабр ПРО. Куда плывёте, облака?

Облака давно покрывают небо IT, но осознанно ли они используются? Может, популярность облачных сервисов – это дань моде, а на самом деле вся инфраструктура так и живёт на прикроватных серверах? Или всё как раз наоборот? Мы на Хабре провели опрос ( https://habr.com/ru/article/528534/ ) о том, как айтишники используют облака сейчас и каким видят их будущее. Результаты обсуждаем в беседе с инсайдерами: Александром Худяковым, продакт-менеджером облачной платформы Selectel, и Александром Фатиным aka Лохматый Мамонт, евангелистом в компании Veeam и ведущим подкаста linkmeup. В выпуске: 8:25 Кто обитает в облаках: краткий обзор отечественного и зарубежного рынков 13:55 Безболезненный переезд в обл…

6 месяцев назад @ soundcloud.com
Хабр ПРО // До cвидания, зона комфорта! Как работают айтишники вне IT
Хабр ПРО // До cвидания, зона комфорта! Как работают айтишники вне IT Хабр ПРО // До cвидания, зона комфорта! Как работают айтишники вне IT

Где работают айтишники? Кажется, чуть ли не везде. Но даже в ряду тех, где все равны, иногда кто-то все-таки ровнее. Остались ли предубеждения к каким-то отраслям? Как себя ощущают сотрудники в тех сферах, о которых пока не совсем привычно говорить как о цифровизированных? В гостях Денис Колупаев, руководитель направления разработки AR/VR в Северстали, и Максим Корчагин, в чьем послужном списке есть и антарктическая станция, и чудо-школа. 2:50 Особенности работы айтишника на металлургическом производстве, в сельской школе и на научно-исследовательском судне

10:25 Как попадают в творческое IT (и при чём тут «Убойная сила»)

16:35 VR/AR на «Северстали»: костюм из фольги, расплавленный металл и…

6 месяцев назад @ soundcloud.com
Викли // Новинки Яндекса, мобильная аддикция, запрет TikTok отложили, дослушайте выпуск (так надо)
Викли // Новинки Яндекса, мобильная аддикция, запрет TikTok отложили, дослушайте выпуск (так надо) Викли // Новинки Яндекса, мобильная аддикция, запрет TikTok отложили, дослушайте выпуск (так надо)

0:43 YaC: новая конференция, Станция Макс и прикольные сервисы, habr.com/p/529786/ 13:20 89% взаимодействий со смартфоном пользователи начинают сами, а не из-за пуш-уведомлений, habr.com/p/530118/ 24:16 Власти США ещё на неделю отложили запрет TikTok, habr.com/p/530016/ 37:03 Ответы на вопросы слушателей: студенческие мечты, как начать делать подкаст, слушаем ли мы «Викли», кому нужна випассана, а также компании, где не стыдно работать 1:07:14 Мы завершаем этот сезон «Викли» и открываем независимый подкаст «Хоба!»:

- Apple Podcasts, https://apple.co/36f1Arb

- Google Podcasts, https://bit.ly/guglohoba

- Castbox, https://castbox.fm/vc/3562584

- Яндекс.Музыка, https://music.yandex.ru/album/129…

6 месяцев, 3 недели назад @ soundcloud.com
ПРО // Мир ИБ: паранойя vs здравый смысл
ПРО // Мир ИБ: паранойя vs здравый смысл ПРО // Мир ИБ: паранойя vs здравый смысл

Новый подкаст Хабра под названием ПРО — это аудиоверсия наших видкастов на Ютубе. Здесь новые ведущие, новые актуальные темы и новые гости. Причем гостей всегда двое, чтобы взглянуть на вопрос с разных точек зрения и составить профессиональное мнение. Видкаст здесь: https://u.tmtm.ru/habrpro 1:45 Современные кибератаки: виды, этапы, примеры

10:35 Как не стать жертвой: меры предосторожности для частных лиц

15:50 Автоматическое обновление прошивки роутера – хорошо или плохо

16:40 Почему атаки на индустриальные предприятия опаснее, чем на финансовые

24:00 Мыслить, как киберпреступник: как специалисты по ИБ ищут уязвимости в корпоративных сетях – интересные кейсы

29:50 Особенности защиты россий…

6 месяцев, 3 недели назад @ soundcloud.com
ПРО // Mobile-разработка: своя команда vs аутсорс
ПРО // Mobile-разработка: своя команда vs аутсорс ПРО // Mobile-разработка: своя команда vs аутсорс

Новый подкаст Хабра под названием ПРО — это аудиоверсия наших видкастов на Ютубе. Здесь новые ведущие, новые актуальные темы и новые гости. Причем гостей всегда двое, чтобы взглянуть на вопрос с разных точек зрения и составить профессиональное мнение. 1:40 Кто идёт работать в агентство, а кто в корпорацию И почему (спойлер: дело не в деньгах) 4:24 Почему удалёнка предпочтительнее офиса, даже заграничного 9:25 Аутсорс или аутстаф? Плюсы и минусы каждого из вариантов 17:25 Разнообразие проектов: где больше выбор, в агентстве или корпорации 21:35 Снова об особенностях работы на удалёнке: плюсы, минусы, инсайты 33:55 Текущее состояние рынка мобильной разработки Как привлечь и удержать классного…

6 месяцев, 3 недели назад @ soundcloud.com
Викли // Внутренние принципы Яндекса, бесполезные онлайн-курсы, ради PS5 грабят фургоны доставки
Викли // Внутренние принципы Яндекса, бесполезные онлайн-курсы, ради PS5 грабят фургоны доставки Викли // Внутренние принципы Яндекса, бесполезные онлайн-курсы, ради PS5 грабят фургоны доставки

1:14 Яндекс опубликовал внутренние принципы, habr.com/p/528908/ 19:58 Вы безумны, остановитесь пока не поздно, habr.com/p/528678/ 39:13 Playstation 5 официально в продаже в России, но ее не купить 53:05 Отвечаем на вопросы слушателей: как копить деньги Могли бы обсудить, но не обсудили:

- Электронная книга своими руками на STM32H750 от А до Э, habr.com/p/528148/ - Механико-цифровые часы из стальных шариков, habr.com/p/527818/ - Как я делал свой самолёт, habr.com/p/528008/ Упоминали в этом выпуске: - принципы Tesla, elonmusk.su/pismo-ilona-maska-sotrudnikam-i-partneram-tesla/

- «метод Netflix», medium.com/@Gafarov/netflix-method-5a428d80e604 ***

Участники

Ваня Звягин, anchor.fm/omfg-podcast

6 месяцев, 4 недели назад @ soundcloud.com
Викли // Новые чипы Apple, старый коммуникатор Palm, ЦОД в бомбоубежище, прелесть ASCII-графики
Викли // Новые чипы Apple, старый коммуникатор Palm, ЦОД в бомбоубежище, прелесть ASCII-графики Викли // Новые чипы Apple, старый коммуникатор Palm, ЦОД в бомбоубежище, прелесть ASCII-графики

1:01 Новый чип Apple M1 на архитектуре ARM, habr.com/p/527416/ 16:22 Palm TX — редкий гость в 2020 году, habr.com/p/527002/ 28:22 RuVDS и их ЦОД в бомбоубежище, habr.com/p/527152/ 35:51 Минимализм ASCII-графики, habr.com/p/527388/ 41:14 Вопросы слушателей: когда работать, если слишком много встреч? Книги, которые мы читали в последнее время ***

Могли бы обсудить, но не обсудили

- Пишем «Змейку» для клавиатуры с подсветкой, habr.com/p/527386/

- Подземное захоронение жидких радиоактивных отходов, habr.com/p/526676/ ***

Участники

Ваня Звягин, anchor.fm/omfg-podcast

Адель Мубаракшин, t.me/exarg

Коля Землянский, t.me/shmedia_and_stuff

Далер Алиёров, t.me/dalerblog

Лев Пикалёв, t.me/levpik Звукор…

7 месяцев назад @ soundcloud.com
Викли // Марс вне земных законов, гнома из Half-Life отправят в космос, о пользе документации
Викли // Марс вне земных законов, гнома из Half-Life отправят в космос, о пользе документации Викли // Марс вне земных законов, гнома из Half-Life отправят в космос, о пользе документации

1:24 Маск: «Марс — свободная планета, там не действуют законы Земли», habr.com/p/525962/ 13:53 Rocket Lab запустит в космос гнома из Half-Life, habr.com/p/526240/ 18:33 Мышление письмом, habr.com/p/526336/ 31:15 Вопросы слушателей: есть ли в Хабре детский сад и празднуют ли у нас Хеллоуин ***

Могли бы обсудить, но не обсудили: - «Чистой» энергии не существует, habr.com/p/526368/

- «ВКонтакте» продала AliExpress слова «скидка» и «халява» для рекламы, habr.com/p/526524/ - Яндекс и Mail.ru работают над аналогами Zoom для школьников, habr.com/p/526314/ ***

Упоминали в выпуске:

- сабреддит Explain Me Like I’m 5, reddit.com/r/explainlikeimfive/

- реддит с phd одной строкой, reddit.com/r/AskReddit…

7 месяцев, 1 неделя назад @ soundcloud.com
Новые «уши» Apple, цветовые схемы в кино, Starlink за $100 и астероид за $10¹⁹, рассыпуха в подкасте
Новые «уши» Apple, цветовые схемы в кино, Starlink за $100 и астероид за $10¹⁹, рассыпуха в подкасте Новые «уши» Apple, цветовые схемы в кино, Starlink за $100 и астероид за $10¹⁹, рассыпуха в подкасте

1:31 Apple покажет новые про-наушники в следующем году, habr.com/p/525226/ 13:31 Цвет в современных фильмах, habr.com/p/525252/ 24:43 Бета-тест Starlink стоит $99 в месяц, habr.com/p/525270/ 32:51 Астероид 16 Psyche состоит из металлов на 10¹⁹ долларов, habr.com/p/525504/ 39:18 Ответы на вопросы слушателей: страшно ли уходить с первой работы, какие проблемы бывают с макбуками Могли бы обсудить, но не обсудили:

- Как кодить, если лишился рук? habr.com/p/524664/ - Как 30 строк кода разорвали 27-тонный генератор, habr.com/p/525400/

- Медицинский чат-бот склонял пациентов к суициду, habr.com/p/525634/ - - - Рубрику «Сережа из Брянска» захватили ведущие - - - - Далер ищет работу — вот его сайт, …

7 месяцев, 2 недели назад @ soundcloud.com
OLED телевизор за $87k, полноценный автопилот Tesla, сотрудники Кремниевой долины измотаны удаленкой
OLED телевизор за $87k, полноценный автопилот Tesla, сотрудники Кремниевой долины измотаны удаленкой OLED телевизор за $87k, полноценный автопилот Tesla, сотрудники Кремниевой долины измотаны удаленкой

1:50 LG выпустила в продажу гибкий 4K OLED-телевизор за $87 тысяч, habr.com/p/524294/ 12:26 В МТИ нейросеть научилась расшифровывать забытые языки, https://habr.com/ru/news/t/524480/ + проверяют отношения между языками 15:07 Tesla выпустила полноценный автопилот на дорогах, https://habr.com/ru/news/t/524640/ 24:37 Пассажиров Москвы пытаются отследить по MAC-адресам https://m.habr.com/ru/news/t/524224/ 35:05 Новый опрос сервиса Blind показал, что сотрудники Кремниевой долины измотаны удаленкой https://m.habr.com/ru/news/t/523958/ 43:28 Отвечаем на вопросы слушателей: какие вузы мы заканчивали, синдром самозванца — это миф или реальность? Могли бы обсудить, но не обсудили:

Популярная музыка н…

7 месяцев, 3 недели назад @ soundcloud.com
iPhone 12, деньги vs интерес, на МКС нашли утечку с помощью пакетика чая
iPhone 12,  деньги vs интерес,  на МКС нашли утечку с помощью пакетика чая iPhone 12, деньги vs интерес, на МКС нашли утечку с помощью пакетика чая

1:43 Apple представила:

- iPhone 12, habr.com/p/523336/ - HomePod mini, habr.com/p/523366/

- И убрала зарядки из комплектов, habr.com/p/523436/ 25:31 Представьте — вам дали гору денег, но забрали программирование навсегда. Обрадуетесь? Что будете делать? habr.com/p/523444/ 38:40 Россияне на МКС нашли место утечки воздуха с помощью пакетика чая, habr.com/p/523624/ 46:14 Отвечаем на вопросы слушателей: как не посадить зрение, TikTok + Oracle — это хорошо или плохо? ***

Могли бы обсудить, но не обсудили:

Эффект Телепорно: почему нормальные фразы на иностранном кажутся смешными, habr.com/p/523214/ Новый плацкарт в вагоне габарита Т, habr.com/p/523024/ Ноль смертей: как выжить в ДТП, habr.com/p/…

8 месяцев назад @ soundcloud.com
Бот 3 недели выдавал себя за человека, технопорно-разбор PS5 от Sony, как хакнуть птиц
Бот 3 недели выдавал себя за человека, технопорно-разбор PS5 от Sony, как хакнуть птиц Бот 3 недели выдавал себя за человека, технопорно-разбор PS5 от Sony, как хакнуть птиц

1:31 Бот в течение недели выдавал себя за человека на AskReddit, habr.com/p/522542/ 6:39 Документалка Social Dilemma, habr.com/p/520650/ 18:23 Sony полностью разобрала PlayStation 5 и показала, как приставка выглядит изнутри, habr.com/p/522488/ 29:39 Cистема, которая побуждает птиц собирать мусор в обмен на корм, habr.com/p/522034/ 35:21 Ответы на вопросы слушателей: как поймать интернет в деревне, много ли девушек в QA, котик ли Яндекс? 47:01 В рубрике «Сережа из Брянска» Machine Learning Podcast, который ведет Миша из Питера Могли бы обсудить, но не обсудили:

- Восстановление утраченных текстов с помощью современных технологий. Железо habr.com/p/521870/ - Смешные собеседования: истории ИТ…

8 месяцев, 1 неделя назад @ soundcloud.com
Спешал // О Big Data «на пальцах» с Виктором Кантором
Спешал // О Big Data «на пальцах» с Виктором Кантором Спешал // О Big Data «на пальцах» с Виктором Кантором

«Интересно, много ли таких, кто ещё не понимает, какая польза от Big Data?» — это первый же комментарий к нашему с МТС опросу про Big Data. Больше половины опрошенных, как показали результаты, просто не используют Big Data. В то же время, в МТС — это важная часть бизнеса, и компания активно ищет специалистов в этой области. Открытые вакансии можно посмотреть по ссылке. → https://u.tmtm.ru/mts_podcast_job ← В чём причина противоречия? Какие байки ярче всего иллюстрируют заблуждения о больших данных? Какой на самом деле можно получить профит от Big Data? Сколько его придётся ждать и сколько денег необходимо в это вложить? Что лучше — построить свою внутреннюю службу или привлечь консультанта?…

8 месяцев, 1 неделя назад @ soundcloud.com
Обратно на удаленку, русский TikTok со школьниками, каменты в Telegram, 30% комиссия в Google Play
Обратно на удаленку, русский TikTok со школьниками, каменты в Telegram, 30% комиссия в Google Play Обратно на удаленку, русский TikTok со школьниками, каменты в Telegram, 30% комиссия в Google Play

1:07 Собянин требует отправить треть сотрудников домой, habr.com/p/521616/ и предыстория — habr.com/p/520560/, 14:18 Минпросвещения хочет TikTok, только свой и со школьниками, habr.com/p/521638/

22:18 Telegram внедрил комментарии для каналов, habr.com/p/521504/

25:16 Со следующего года все приложения Google Play будут платить комиссию 30%, включая Netflix и Spotify, habr.com/p521112/ 31:20 Ответы на вопросы слушателей: наш распорядок дня, как стать дата-сайентистом с нуля и в чем мы разочаровались в последнее время Могли бы обсудить, но не обсудили:

Как белорусский «Отдам даром» поднял первый раунд инвестиций в Долине, habr.com/p/521270/ Как я избавлялся от Google на Android, habr.com/p/520…

8 месяцев, 2 недели назад @ soundcloud.com
Трёп Себранта Трёп Себранта
последний пост 1 месяц, 1 неделя назад
Зачем роботам NFT и soft skills
Зачем роботам NFT и soft skills Зачем роботам NFT и soft skills

О роботах и людях: декан факультета ИКТ ИТМО Саша Капитонов о важности децентрализованных систем нахождения консенсуса, NFT как легальном способе роботу заработать себе на запчасти, разделении экономики на машинную и людскую. И еще много о чем, что не сразу ассоциируется с роботами — например, о необходимых им soft skills. На фото: как выглядела открытая запись подкаста в Ссылки в тему выпуска:

1 месяц, 1 неделя назад @ sebrant.chat
Metaverse и медиа-арт в Мастерской 15
Metaverse и медиа-арт в Мастерской 15 Metaverse и медиа-арт в Мастерской 15

-=Выпуск 59=- Наталья Алфутова и Ярослав Кравцов рассказывают про жизнь медиахудожников во времена пандемии, про не всеми замеченное пришествие метавселенной в нашу жизнь и дразнят странными звуками робо-змеи. Ссылки на места, где про этот дуэт можно почитать и посмотреть, а не только послушать: в Инстаграме в ФБ в ФБ Очень активный Персональный

2 месяца, 3 недели назад @ sebrant.chat
ВУЗы в пандемию и потом
ВУЗы в пандемию и потом ВУЗы в пандемию и потом

-=Выпуск 58=- Беседа с Я.И. Кузьминовым, ректором ВШЭ, о том, что пандемия и удаленка изменили и какие процессы ускорили в вузовском образовании — и почему эти изменения во благо. Ссылки на упомянутые в выпуске материалы: в Википедии про образование и уход из неё Максима Спиридонова с выступлениями Кузьминова и Ларьяновского

4 месяца, 3 недели назад @ sebrant.chat
Чего не станет через 20 лет
Чего не станет через 20 лет Чего не станет через 20 лет

-=Выпуск 57=- Новогодний трёп, чтоб ненапряжно послушать на каникулах и самостоятельно вокруг пофантазировать; я комментирую в нем список 20 вещей, которые могут исчезнуть через 20 лет. Список взят , и я там не со всеми пунктами согласен.

5 месяцев, 2 недели назад @ sebrant.chat
Trends-2021: на что смотреть в наступающем году
Trends-2021: на что смотреть в наступающем году Trends-2021: на что смотреть в наступающем году

-=Выпуск 56=- Сначала немного про точность попадания моего прошлогоднего прогноза, а потом — 10 направлений развития технологий, за которыми мне будет интересно наблюдать в 2021: где я ожидаю бурной и интересной жизни (а не собираюсь что-то конкретное предсказывать). Ссылки в тему: выпуск подкаста из предыдущей ссылки Мои , и почему другого просто нет

6 месяцев назад @ sebrant.chat
Про Практикум, маркетинг и немного про жизнь
Про Практикум, маркетинг и немного про жизнь Про Практикум, маркетинг и немного про жизнь

-=Выпуск 55=- Русина Лекух рассказывает о своей работе в Яндекс.Практикуме и о себе: невидимые снаружи стороны реферального маркетинга, управление репутацией не по учебникам, жизнь в образовательном стартапе. Ссылки по теме и про упоминавшееся в разговоре: Образовательная конференция Яндекса Конференция

6 месяцев, 1 неделя назад @ sebrant.chat
Аня GeekChick про жизнь и работу в Тасмании
Аня GeekChick про жизнь и работу в Тасмании Аня GeekChick про жизнь и работу в Тасмании

-=Выпуск 54=- Рассказы про Тасманию, карантин и находки последних месяцев. И еще мы просто треплемся за жизнь :) Ссылки на объекты, упомянутые в нашем трёпе: Город Хобарт: Блог Ани: Канал Ани в телеграме: Блог Юры (очень технический): Приложение mmhmm для всех: (Доступ по бете.) Новость про Zoom-звонки в Red Dead Redemption: Приложение, в котором можно таскать юзерпики чтобы кучковаться с людьми: Музей MONA: Фестиваль Dark MOFO: Проект Наташи Алфутовой и Ярослава Кравцова по мероприятиям в виртуальной реальности

9 месяцев, 3 недели назад @ sebrant.chat
ParrotCast ParrotCast
последний пост 3 месяца, 2 недели назад
Episode 2 – Артур Кузин, SberDevices.
Episode 2 – Артур Кузин, SberDevices. Episode 2 – Артур Кузин, SberDevices.

💪🏻 Новый эпизод, осознанный. В этом выпуске к нам пришел Артур Кузин — руководитель платформы компьютерного зрения в SberDevices.

Мы не стали обсуждать Kaggle и соревнования 😄

«это нах*й никому не нужно»

...как сказал один великий мудрец.

Да, выпуск вышел 🔞, осторожно нагота, запрещенные вещества (нет)

Обсудили: Медитация и випассана 🧘🏻

Как стать эмпатичным котиком 🐈

Нерабочий work-life баланс ⛵

Как может помочь вера в бога (в качалке 🥇 и не только)

Важность страха смерти ⚰️ И это далеко не все! И вопросы от GPT-3 точно были (на этот раз один).

Страница выпуска: https://parrotcast.link/2 Подписывайтесь на наш канал в Telegram: https://t.me/parrotcast,

Заходите к нам в чатик: https://t.me/pa…

3 месяца, 2 недели назад @ anchor.fm
Episode 1 – Евгений Кашин, Snap Inc.
Episode 1 – Евгений Кашин, Snap Inc. Episode 1 – Евгений Кашин, Snap Inc.

🎙 Пилотный выпуск нашего подкаста! В гостях у нас Евгений Кашин – ML-инженер из Snap Inc. С Женей мы успели обсудить кучу вещей: Из Воронежа в Лондон 🇬🇧 Snapchat и маски 😷 Будущие прорывы в DS и AR 🚀 Вопросы от русской GPT-3 🤖 ... и многое другое 😉 Домашнее задание: отгадать, какие именно вопросы были сгенерированы нейросетью 🦾😄 Страница выпуска: https://parrotcast.link/1 Подписывайтесь на наш канал в Telegram: https://t.me/parrotcast, Заходите к нам в чатик: https://t.me/parrotcastchat,

Ставьте лайки мемам в Твиттере: https://twitter.com/parrotcast,

Оставляйте комментарии и пишите ваши отзывы! Уже совсем скоро увидимся в следующем выпуске! Music: Burn by Tony & Paul (tonyandpaul.net)

5 месяцев, 1 неделя назад @ anchor.fm
⌨ Coding
Martin Fowler
последний пост 8 часов назад
Gossip Dissemination
Gossip Dissemination Gossip Dissemination

The Gossip instance needs to know about at least one other node to start the gossip communication.

A small constant number, defined as Gossip fanout, determines how many nodes to pick up as gossip targets.

But cluster nodes generally need some guarantee of quick convergence of state, and therefore use TCP-based transport to exchange the gossip state.

The cluster node sending the Gossip message adds the values it gets from the gossip response to its own state.

Criteria for node selection to Gossip Cluster nodes randomly select the node to send the Gossip message.

8 часов назад @ martinfowler.com
On the Diverse And Fantastical Shapes of Testing
On the Diverse And Fantastical Shapes of Testing On the Diverse And Fantastical Shapes of Testing

The terms “unit test” and “integration test” have always been rather murky, even by the slippery standards of most software terminology.

We asked him how he would define unit test, and his reply was something like “in the first morning of my training course I cover 24 different definitions of unit test”.

From the early days of XP-inspired unit testing there were those who disliked the term “unit test” and proposed using names like “microtest” or “programmer test” instead.

From this I infer that their definition of “unit test” is specifically what I would call a solitary unit test.

This semantic picture is made even muddier by the definition of Integration Test, which makes “unit test” look …

2 недели, 1 день назад @ martinfowler.com
Mind the platform execution gap
Mind the platform execution gap Mind the platform execution gap

When well executed, a platform strategy promises to reduce costs and allow product development teams to focus on innovation.

Product thinking You must never forget that you are building products designed to delight their customers - your product development teams.

Operational excellence When you adopt an internal platform, you ask your product development teams for a great deal of trust.

Software engineering excellence A platform organisation is not just an operations department, so it needs more than operational capabilities.

Secondly, when your platform organisation is dependent on product teams’ appreciation of the platform’s benefits, it puts a strong pressure on your platform organisat…

1 месяц, 3 недели назад @ martinfowler.com
Bitemporal History
Bitemporal History Bitemporal History

Bitemporal history treats time as two dimensions: actual history records what history should be given perfect transmission of information, while record history captures how our knowledge of history changes.

Using Bitemporality Bitemporal history is a useful way of framing history when we have to deal with retroactive changes.

If we are merely recording a history, then we don't have to worry about it changing retroactively - we essentially ignore record history and only record actual history.

By layering an append-only record history over the actual history, we allow the actual history to be modified while creating a reliable history of its modifications.

Putting many perspective dimensions …

2 месяца, 1 неделя назад @ martinfowler.com
Bliki: RefinementCodeReview
Bliki: RefinementCodeReview Bliki: RefinementCodeReview

When people think of code reviews, they usually think in terms of an explicit step in a development team's workflow.

These days the Pre-Integration Review, carried out on a Pull Request is the most common mechanism for a code review, to the point that many people witlessly consider that not using pull requests removes all opportunities for doing code review.

After all, many problems that code reviews seek to remedy are problems that only become problems when the code is read in the future.

What if the only code review mechanism we have is the iteration from later programmers?

One concern is that code that's never read will never get reviewed - but mostly that's fine.

4 месяца, 2 недели назад @ martinfowler.com
Bliki: PullRequest
Bliki: PullRequest Bliki: PullRequest

Pull Requests are a mechanism popularized by github, used to help facilitate merging of work, particularly in the context of open-source projects.

In terms of these patterns, pull requests are a mechanism designed to implement a combination of Feature Branching and Pre-Integration Reviews.

Some teams work better with pull requests, some teams would find pull requests a severe drag on the effectiveness.

The wide usage of pull requests has encouraged a wider use of code review, since pull requests provide a clear point for Pre-Integration Review, together with tooling that encourages it.

Pre-integration code review is just one way to do code reviews, and for many teams it isn't the best choic…

4 месяца, 2 недели назад @ martinfowler.com
Distributed Systems Pattern: Idempotent Receiver
Distributed Systems Pattern: Idempotent Receiver Distributed Systems Pattern: Idempotent Receiver

With idempotent receiver, even with multiple client retries, the server processes the request only once.

Idempotent and Non-Idempotent requests It is important to note that some of the requests are by nature idempotent.

With idempotent receiver, the client will send the lease request with the same request number.

class ConsistentCoreClient…int nextRequestNumber = 1; public void registerLease(String name, long ttl) { RegisterLeaseRequest registerLeaseRequest = new RegisterLeaseRequest(clientId, nextRequestNumber, name, ttl); nextRequestNumber++; //increment request number for next request.

Expiring the saved client requests The requests stored per client cannot be stored forever.

4 месяца, 3 недели назад @ martinfowler.com
Maximizing Developer Effectiveness: Organizational Effectiveness
Maximizing Developer Effectiveness: Organizational Effectiveness Maximizing Developer Effectiveness: Organizational Effectiveness

In this article, the first of a series, I introduce a framework for maximizing developer effectiveness.

I have found there is a stark contrast of approach between companies that have high and low developer effectiveness.

Case Study: Spotify Spotify conducted user research among their engineers to better understand developer effectiveness.

Organizational Effectiveness Highly effective organizations have designed their engineering organization to optimize for effectiveness and feedback loops.

Its leaders have worked to embed developer effectiveness into their culture, with the belief that moving quickly is both a technical and a business strategy.

4 месяца, 3 недели назад @ martinfowler.com
Distributed Systems Pattern: State Watch
Distributed Systems Pattern: State Watch Distributed Systems Pattern: State Watch

The client accepts the key and the function to be invoked when it gets watch events from the server.

So all the methods accessing watch state needs to be protected by locks.

Pull based design in Kafka In a typical design for watches, the server pushes watch events to clients.

Deriving events from the key value store The events can be generated looking at the current state of the key value store, if it also numbers every change that happens and stores that number with each value.

Some events can be missed, before the watch is set again, so clients need to ensure they read the latest state, so that they don't miss any updates.

4 месяца, 4 недели назад @ martinfowler.com
Distributed Systems Pattern: Lease
Distributed Systems Pattern: Lease Distributed Systems Pattern: Lease

expireLease(leaseId); //submit a request so that followers know about expired leases submitExpireLeaseRequest(leaseId); }); } private Stream expiredLeases() { long now = System.nanoTime(); Map leases = kvStore.getLeases(); return leases.keySet().stream() .filter(leaseId -> { Lease lease = leases.get(leaseId); return lease.getExpiresAt() < now; }); }Followers start a no-op lease tracker.

class ReplicatedKVStore…public void onCandidateOrFollower() { if (leaseTracker != null) { leaseTracker.stop(); } leaseTracker = new FollowerLeaseTracker(this, leases); }The lease is represented simply as following:public class Lease implements Logging { String name; long ttl; //Time at which this lease expir…

5 месяцев назад @ martinfowler.com
The Lies that can Undermine Democracy
The Lies that can Undermine Democracy The Lies that can Undermine Democracy

The Capitol insurrection is another consequence of his lies - in this case his baseless attacks on the election results in 2020.

Muslim Americans have had to live in fear and have their movement curtailed because of the lies he tells about their disloyalty.

In general, I'm a strong defender of free speech - but while we must have free speech we must not be free of the consequences of that speech.

We learned then that letting media run free can let lies run ahead of reality.

We have seen how lies can undermine democracy, helping to polarize people into groups defined by simplistic identities.

5 месяцев назад @ martinfowler.com
Maximizing Developer Effectiveness: Feedback Loops
Maximizing Developer Effectiveness: Feedback Loops Maximizing Developer Effectiveness: Feedback Loops

In this article, the first of a series, I introduce a framework for maximizing developer effectiveness.

I have found there is a stark contrast of approach between companies that have high and low developer effectiveness.

Case Study: Spotify Spotify conducted user research among their engineers to better understand developer effectiveness.

Organizational Effectiveness Highly effective organizations have designed their engineering organization to optimize for effectiveness and feedback loops.

Its leaders have worked to embed developer effectiveness into their culture, with the belief that moving quickly is both a technical and a business strategy.

5 месяцев, 1 неделя назад @ martinfowler.com
Some more Distributed Systems Patterns
Some more Distributed Systems Patterns Some more Distributed Systems Patterns

Patterns , a concept introduced by Christopher Alexander, is widely accepted in the software community to document design constructs which are used to build software systems.

Looking at distributed systems as a series of patterns is a useful way to gain insights into their implementation.

If we see the sample list of frameworks and platforms used in typical enterprise architecture today, it will look something like following:What follows is a first set of patterns observed in mainstream open source distributed systems.

Patterns technique also allows us to link various patterns together to build a complete system.

For the last several months, I have been conducting workshops on distributed s…

5 месяцев, 1 неделя назад @ martinfowler.com
Maximizing Developer Effectiveness
Maximizing Developer Effectiveness Maximizing Developer Effectiveness

In this article, the first of a series, I introduce a framework for maximizing developer effectiveness.

I have found there is a stark contrast of approach between companies that have high and low developer effectiveness.

Case Study: Spotify Spotify conducted user research among their engineers to better understand developer effectiveness.

Organizational Effectiveness Highly effective organizations have designed their engineering organization to optimize for effectiveness and feedback loops.

Its leaders have worked to embed developer effectiveness into their culture, with the belief that moving quickly is both a technical and a business strategy.

5 месяцев, 1 неделя назад @ martinfowler.com
My favorite musical discoveries of 2020
My favorite musical discoveries of 2020 My favorite musical discoveries of 2020

I talk about "albums" because I'm still stuck in the mold of buying albums.

Given that was three decades ago, I've amassed a lot of music, and still find this way of exploring the musical world to suit me.

Bridges by Adam Baldych & Helge Lien Trio sample track: Mosaic The common take for jazz violin is the gypsy sound from Stefan Grapelli.

Holy Room by Somi sample track: Like Dakar Somi is an American singer-songwriter, who I've heard described as a melding of Sade and Fela Kuti.

I've long liked Laurie Anderson's music and this could be my favorite album of hers.

5 месяцев, 3 недели назад @ martinfowler.com
Фёдор Борщёв — CTO Фёдор Борщёв — CTO
последний пост None
Антон Жиянов Антон Жиянов
последний пост 1 неделя, 4 дня назад
Найти группы похожих объектов с помощью SQL
Найти группы похожих объектов с помощью SQL Найти группы похожих объектов с помощью SQL

Найти группы похожих объектов с помощью SQLБывает, есть множество объектов с разными свойствами, и хочется идентифицировать группы похожих:объединить людей с одинаковым ФИО и адресами-телефонами в клиентской базе;сегментировать покупателей магазина по товарам, которые они приобрели;определить персоны в зависимости от сценариев, по которым люди взаимодействуют с сервисом.

Объединяем пары в группыПары есть, можно объединить их в группы.

with recursive -- Уникальные пары пользователей с одинаковыми свойствами.

-- Общий принцип: для каждой пары пользователей с одинаковыми свойствами -- выбираем все пары, которые пересекаются с ними.

Объединить пары в группы.

1 неделя, 4 дня назад @ antonz.ru
Универсальные оповещения на Python
Универсальные оповещения на Python Универсальные оповещения на Python

С помощью notifiers.

1 неделя, 5 дней назад @ antonz.ru
Главный критерий хорошего кода
Главный критерий хорошего кода Главный критерий хорошего кода

Оптимизируйте T, следите за R.

2 недели, 1 день назад @ antonz.ru
Счетчик для огромных коллекций на Python
Счетчик для огромных коллекций на Python Счетчик для огромных коллекций на Python

В стандартной библиотеке есть класс Counter. Он отлично подходит, чтобы считать количество объектов разных типов. Но что делать, если объектов миллиарды, и счетчик просто не помещается в оперативную память?

Поможет bounter — это счетчик, который предоставляет схожий интерфейс, но внутри построен на вероятностных структурах данных. За счет этого он занимает в

2 недели, 4 дня назад @ antonz.ru
Python. Поэлементно сравнить коллекции
Python. Поэлементно сравнить коллекции Python. Поэлементно сравнить коллекции

С помощью множества (set).

3 недели, 2 дня назад @ antonz.ru
Планировщик задач на Python
Планировщик задач на Python Планировщик задач на Python

В стандартной библотеке есть встроенный планировщик задач (а чего вообще в ней нет?). Подробно расскажу в другой раз, но в целом он, скажем так, не слишком юзер-френдли.

Поэтому Дэн Бэйдер сделал schedule — «планировщик для людей». Смотрите, какой милый:

import schedule

import time def job(): print("I'm working...") schedule.

3 недели, 5 дней назад @ antonz.ru
Python. «Отнаследовать» функцию от существующей
Python. «Отнаследовать» функцию от существующей Python. «Отнаследовать» функцию от существующей

С помощью functool.partial()

1 месяц назад @ antonz.ru
Естественная сортировка на Python
Естественная сортировка на Python Естественная сортировка на Python

Это #пакетик — еженедельная рубрика о полезных и интересных пакетах на Python.

Мой сегодняшний выбор — пакет Сета Мортона natsort, который сортирует строки привычным для человека образом.

Допустим, у нас есть список важных гостей. Он в легком беспорядке:

data = [ "4 - Дуглас", "2 - Клер", "11 -

1 месяц назад @ antonz.ru
Оконные функции: скользящие агрегаты
Оконные функции: скользящие агрегаты Оконные функции: скользящие агрегаты

Оконные функции: скользящие агрегатыЭто пятая, заключительная статья из серии Оконные функции в картинках.

Скользящие агрегаты — это те же сумма и среднее.

Скользящее среднее по расходамСудя по данным, доходы у Марины растут: 94К ₽ в январе → 104К ₽ в сентябре.

Функции агрегацииСкользящие агрегаты используют те же самые функции, что и агрегаты обычные:min() и max()и count() , avg() и sum()Разница только в наличии фрейма у скользящих агрегатов.

Скользящие агрегаты (сумма и среднее в динамике).

1 месяц назад @ antonz.ru
Второй язык для питониста
Второй язык для питониста Второй язык для питониста

Второй язык для питонистаЕсли вы давно и хорошо знаете питон, некоторые моменты в нем могут напрягать.

Динамический язык с тяжелым наследием, который в свежих версиях решили превратить в Java образца 2005 года.

Старый язык, в который запихнули все что только можно.

Язык, в котором простота возведена в абсолют — всё есть данные.

Лично я выбрал Go, потому что устал от фичастых языков и наслоений абстракций.

1 месяц, 1 неделя назад @ antonz.ru
Видение, эмпатия, смелость
Видение, эмпатия, смелость Видение, эмпатия, смелость

RIP веб 2010–2020.

1 месяц, 1 неделя назад @ antonz.ru
Оконные функции: агрегация
Оконные функции: агрегация Оконные функции: агрегация

Оконные функции: агрегацияЭто четвертая статья из серии Оконные функции в картинках.

Например, среднюю зарплату по каждому региону или количество золотых медалей у каждой страны в зачете Олимпийских игр.

Сравнение с фондом оплаты трудаУ каждого департамента есть фонд оплаты труда — денежная сумма, которая ежемесячно уходит на выплату зарплат сотрудникам.

window w as ( partition by department )Для расчета fund подойдет обычная функция sum() — ее можно использовать поверх окна.

Поэтому в нашем запросе fund отражает не сумму всех зарплат по департаменту, а сумму только по самарским сотрудникам.

1 месяц, 2 недели назад @ antonz.ru
​Шпаргалки как альтернатива man
​Шпаргалки как альтернатива man ​Шпаргалки как альтернатива man

Конкретные примеры вызова линуксовых утилит вместо портянки с документацией.

1 месяц, 3 недели назад @ antonz.ru
Оконные функции: смещение
Оконные функции: смещение Оконные функции: смещение

Оконные функции: смещениеЭто третья статья из серии Оконные функции в картинках.

Например, сравниваем страны, которые занимают 5 и 6 место в мировом рейтинге ВВП — сильно ли отличаются?

Самые крупные — между Дарьей и Борисом (10%) и Мариной и Иваном (13%).

Так что оконную функцию можно вызывать прямо внутри вычислений, и вы не раз встретите такие запросы в документации и примерах.

Мы ожидаем, что first_value() вернет первую запись it-секции ( salary = 84 ), а last_value() — последнюю ( salary = 120 ):Вместо этого last_value() возвращает salary = 104 :Ожидание РеальностьДело в том, что функции first_value() и last_value() работают не просто с секцией окна.

1 месяц, 4 недели назад @ antonz.ru
Книга по визуализации данных
Книга по визуализации данных Книга по визуализации данных

Для презентаций, отчетов и дашбордов.

2 месяца, 1 неделя назад @ antonz.ru
Bare Products Updates
Airflow — orchestration Airflow — orchestration
последний пост None
Prefect — orchestration
последний пост 3 недели, 6 дней назад
Prefect + Microsoft: Advancing Dataflow Automation Together
Prefect + Microsoft: Advancing Dataflow Automation Together Prefect + Microsoft: Advancing Dataflow Automation Together

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

3 недели, 6 дней назад @ medium.com
Simple, Success-Based Pricing
Simple, Success-Based Pricing Simple, Success-Based Pricing

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

2 месяца, 3 недели назад @ medium.com
Liftoff: Prefect’s Series A
Liftoff: Prefect’s Series A Liftoff: Prefect’s Series A

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

3 месяца, 3 недели назад @ medium.com
Liftoff
Liftoff Liftoff

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

4 месяца, 1 неделя назад @ medium.com
Prefect 0.14.0: Improved Flow Run Configuration
Prefect 0.14.0: Improved Flow Run Configuration Prefect 0.14.0: Improved Flow Run Configuration

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

6 месяцев назад @ medium.com
Introducing: The Artifacts API
Introducing: The Artifacts API Introducing: The Artifacts API

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

6 месяцев, 1 неделя назад @ medium.com
Getting started with operationalizing your Python code
Getting started with operationalizing your Python code Getting started with operationalizing your Python code

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

6 месяцев, 2 недели назад @ medium.com
Getting Started with Parallel Computation
Getting Started with Parallel Computation Getting Started with Parallel Computation

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

7 месяцев, 1 неделя назад @ medium.com
The Prefect Task Library
The Prefect Task Library The Prefect Task Library

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

8 месяцев, 1 неделя назад @ medium.com
Needs Approval
Needs Approval Needs Approval

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

9 месяцев назад @ medium.com
Meltano — EL tool Meltano — EL tool
последний пост 6 дней, 22 часа назад
Now Available: Meltano v1.76.0
Now Available: Meltano v1.76.0 Now Available: Meltano v1.76.0

To upgrade Meltano and your Meltano project to the latest version, navigate to your project directory, activate the appropriate virtual environment, and run meltano upgrade .

This will upgrade the meltano package and apply any necessary changes to your project.

This post describes all Meltano updates since the v1.74.0 release on May 11.

For a full history of recent updates, please see the Meltano changelog.

And lastly, in case you missed it, don’t forget to check out the new MeltanoHub site for discovering taps, targets, and other Meltano plugins, and our new SDK documentation site, which makes it easier than ever to build high-quality custom data connectors.

6 дней, 22 часа назад @ meltano.com
Demo Day Recap: 2021-06-04
Demo Day Recap: 2021-06-04 Demo Day Recap: 2021-06-04

It’s the first Fri-yay of June, which means it’s time for another Demo Day!

Taylor kicked off Demo Day by recapping our launch of MeltanoHub for Singer on Monday.

Next we had community member Pablo Seibelt share how he used the Meltano Tap SDK to build a tap for Decentraland to pull data from thegraph.com.

Overall, this was a fantastic Demo Day and we’re very appreciative of community members who take the time to share their work.

Our next Meltano Demo Day is on Friday, June 18 and we have our next office hours session on Wednesday, June 9.

1 неделя, 6 дней назад @ meltano.com
Office Hours Recap: 2021-06-02
Office Hours Recap: 2021-06-02 Office Hours Recap: 2021-06-02

In case you missed it, we covered three big topics this week in office hours: Meltano Hub launch (which we’ll demo officially in Friday’s Demo Day), the new Stream Maps capability we are adding to the Singer SDK and Singer ecosystem, and our work on a native Athena target for Meltano and dbt.

Click through to YouTube description for topics and timestamps.

New Stream Maps FeatureThe bulk of time this week was dedicated to discussing the new draft spec for our Stream Maps capability.

This new capability adds a variety of new inline stream transformation capabilities, including: data encryption, PII obfuscation, stream aliasing, stream bifurcation, stream filtering, and more.

This is an extrem…

2 недели назад @ meltano.com
MeltanoHub for Singer launches with over 200 Taps and Targets!
MeltanoHub for Singer launches with over 200 Taps and Targets! MeltanoHub for Singer launches with over 200 Taps and Targets!

MeltanoHub, or the Hub for short, is the best place to discover Singer Taps and Targets and all plugins supported out-of-the-box by Meltano.

There are over 200 taps and targets on MeltanoHub, making it the most comprehensive catalog of open source data connectors anywhere.

And now we’ve built MeltanoHub to solve one of the last challenges facing the Singer ecosystem: discoverability.

We believe the launch of MeltanoHub for Singer makes these great parts of the Singer ecosystem evident while simultaneously elevating the ecosystem to the next level of usefulness.

The Future of Singer is BrightThe Meltano team will continue to lift up the Singer ecosystem through MeltanoHub, the SDK for Taps a…

2 недели, 2 дня назад @ meltano.com
Now Available: Meltano v1.75.0
Now Available: Meltano v1.75.0 Now Available: Meltano v1.75.0

Today, we are excited to release Meltano version 1.75.0, which:allows meltano commands to be used from a subdirectory of a project ( thanks Charles Julian Knight !)

To upgrade Meltano and your Meltano project to the latest version, navigate to your project directory, activate the appropriate virtual environment, and run meltano upgrade .

This will upgrade the meltano package and apply any necessary changes to your project.

This post describes updates since the v1.74.0 release on May 11.

For a full history of recent updates, please see the Meltano changelog.

2 недели, 6 дней назад @ meltano.com
Demo Day Recap: 2021-05-21
Demo Day Recap: 2021-05-21 Demo Day Recap: 2021-05-21

Another Friday, another fantastic Demo Day!

We’ll continue to dogfood the tool and keep this as a representative method of structuring and organizing a Meltano project.

Next we had Daigo Tanaka from ANELEN talk about his consulting company and Handoff, the open source tool that he wrote for his clients.

This was a great Demo Day and we’re really appreciative of community members who take the time to share their work.

Our next Meltano Demo Day is on Friday, June 4 and we have our next office hours session on Wednesday, May 26.

3 недели, 6 дней назад @ meltano.com
Singer SDK v0.2.0 is now available!
Singer SDK v0.2.0 is now available! Singer SDK v0.2.0 is now available!

Today we are excited to announce the latest version of Singer SDK for taps!

In this release, we are adding the ability to create Parent-Child stream relationships, which was the most-requested feature by developers using the SDK.

Where previously, tap developers needed to create complex nested loops and error checking, this new SDK feature quickly and easily define relationships between parent and child streams.

The SDK automatically takes care of orchestration, error handling, and state tracking.

(#39, !89)Come see the SDK in actionTomorrow in our fortnightly Demo Day, we’ll be demoing an end-to-end Meltano implementation which utilizes the new Parent-Child streams capability.

4 недели назад @ meltano.com
Singer SDK v0.1.6 is now available!
Singer SDK v0.1.6 is now available! Singer SDK v0.1.6 is now available!

I am excited to announce the latest version of the Singer SDK.

With this release we’ve focused on bug fixes and stability improvements that will continue to make the tap development process better than ever.

(!86)If you’ve already built a tap with the SDK, simply run poetry update singer-sdk to import the latest SDK version for your tap.

Two big features now in previewWhile this release focused on stability improvements, we’ve also been simultaneous building out the two most requested features: our Target SDK and Parent-Child Streams and we have an early preview now available for both.

If you would like to take either of these for a spin, please check out the preview of the Target SDK here …

1 месяц назад @ meltano.com
Building Meltano in Public: Bimonthly Recap
Building Meltano in Public: Bimonthly Recap Building Meltano in Public: Bimonthly Recap

Last week, it was once again our turn to host a GitLab Group Conversation (a publicly live streamed Q&A on the GitLab Unfiltered YouTube channel) on Meltano!

We used the opportunity to share a recap of:If you’re curious, check out the presentation on Google Slides and the Q&A on YouTube.

The presentation content is also reproduced below, as is an embedded video of the Q&A!

Group Conversation Presentation4 releases since the last GC (2021-03-15)V1.72.0 – Added support for shortcut commands to invoke, Added support for sqlfluff utility for linting SQL transforms, Added mashey variant of tap-slack, Added documentation for using a custom Python Package Index (PyPi), Added transferwise variant o…

1 месяц назад @ meltano.com
Now Available: Meltano v1.74.0
Now Available: Meltano v1.74.0 Now Available: Meltano v1.74.0

Today, we are excited to release Meltano version 1.74.0, which:adds support for a new meltano remove command, allowing users to easily and cleanly remove plugins when they are no longer needed (thanks Reuben Frankel!)

To upgrade Meltano and your Meltano project to the latest version, navigate to your project directory, activate the appropriate virtual environment, and run meltano upgrade .

This will upgrade the meltano package and apply any necessary changes to your project.

This post describes updates since the v1.73.0 release on April 29.

For a full history of recent updates, please see the Meltano changelog.

1 месяц, 1 неделя назад @ meltano.com
Demo Day Recap: 2021-05-07