Data Engineering
про инжиниринг данных и аналитику
🏢 %company_name% Engineering
AirBnb Engineering
последний пост 5 дней, 16 часов назад
Using Sentiment Score to Assess Customer Service Quality
Using Sentiment Score to Assess Customer Service Quality Using Sentiment Score to Assess Customer Service Quality

How AI-based Sentiment Models Complement Net Promoter ScoreBy Shuai Shao, Mia Zhao, Yuanyuan NiNet Promoter Score (NPS) is a well-accepted measurement of customer satisfaction in most customer-facing industries. We leverage NPS at Airbnb to help measure how well we serve our community of guests and hosts through our customer service. But NPS has two major drawbacks: 1) NPS is sparse, given only a fraction of users respond to the survey, and 2) NPS is slow. It takes at least a week for results to show up. Airbnb uses A/B testing heavily across our core products and customer service offerings. In the A/B testing world, the longer it takes to see results and interpret experiments, the longer i…

5 дней, 16 часов назад @ medium.com
How Airbnb Measures Future Value to Standardize Tradeoffs
How Airbnb Measures Future Value to Standardize Tradeoffs How Airbnb Measures Future Value to Standardize Tradeoffs

The propensity score matching model powering how we optimize for long-term decision-makingBy Mitra Akhtari, Jenny Chen, Amelia Lemionet, Dan Nguyen, Hassan Obeid, Yunshan ZhuAt Airbnb, we have a vision to build a 21st century company by operating over an infinite time horizon and balancing the interests of all stakeholders. To do so effectively, we need to be able to compare, in a common currency, both the short and long-term value of actions and events that take place on our platform. These actions could be a guest making a booking or a host adding amenities to their listing, to name just two examples.Though randomized experiments measure the initial impact of some of these actions, others…

2 недели, 5 дней назад @ medium.com
A Deep Dive into Airbnb’s Server-Driven UI System
A Deep Dive into Airbnb’s Server-Driven UI System A Deep Dive into Airbnb’s Server-Driven UI System

How Airbnb ships features faster across web, iOS, and Android using a server-driven UI system named Ghost Platform 👻.By Ryan BrooksBackground: Server-Driven UIBefore we dive into Airbnb’s implementation of server-driven UI (SDUI), it’s important to understand the general idea of SDUI and how it provides an advantage over traditional client-driven UI.In a traditional world, data is driven by the backend and the UI is driven by each client (web, iOS, and Android). As an example, let’s take Airbnb’s listing page. To show our users a listing, we might request listing data from the backend. Upon receiving this listing data, the client transforms that data into UI.This comes with a few issues. Fi…

1 месяц назад @ medium.com
Building an Inclusive Codebase
Building an Inclusive Codebase Building an Inclusive Codebase

Our playbook for driving down non-inclusive terminologyBy: Michael Bachand, Amanda Vawter, Dan Federman, Jake Silver, Julia Wang, Mark TaiCode is our craft. At Airbnb, we view our code and product as a reflection of our values. Each developer imbues their work with a piece of themselves. We want all engineers to be proud of the codebase in which they work and the systems that they use every day.We want to share with you some of the work that we are doing at Airbnb to build an inclusive engineering culture. We hope that sharing our story may energize and bolster similar efforts to eliminate non-inclusive terminology throughout the industry.Bootstrapping ChangeAirbnb’s mission is to create a …

1 месяц, 2 недели назад @ medium.com
How Airbnb Standardized Metric Computation at Scale
How Airbnb Standardized Metric Computation at Scale How Airbnb Standardized Metric Computation at Scale

Metric Infrastructure with Minerva @ AirbnbPart II: The six design principles of Minerva compute infrastructureBy: Amit Pahwa, Cristian Figueroa, Donghan Zhang, Haim Grosman, John Bodley, Jonathan Parks, Maggie Zhu, Philip Weiss, Robert Chang, Shao Xie, Sylvia Tomiyama, Xiaohui SunIntroductionAs described in the first post of this series, Airbnb invested significantly in building Minerva, a single source of truth metric platform that standardizes the way business metrics are created, computed, served, and consumed. We spent years iterating toward the right metric infrastructure and designing the right user experience. Because of this multi-year investment, when Airbnb’s business was severel…

2 месяца назад @ medium.com
Building a faster web experience with the postTask scheduler
Building a faster web experience with the postTask scheduler Building a faster web experience with the postTask scheduler

Building a Faster Web Experience with the postTask SchedulerWhen was the last time you opened a page on a website and tried to click on something multiple times for it to work? Or the last time you swiped on an image in a carousel and it stuttered and shifted around unnaturally?While this type of experience happens far too often, we can use tools that can help us make better, more responsive experiences for users. Scheduling and prioritizing tasks efficiently can be the difference between a responsive experience and one that feels sluggish.At Airbnb, we’ve been collaborating with the Chrome team on improving performance using a prioritized task scheduler to implement new patterns and improv…

2 месяца, 1 неделя назад @ medium.com
Airbnb’s Promotions and Communications Platform
Airbnb’s Promotions and Communications Platform Airbnb’s Promotions and Communications Platform

OMNI is an intuitive, homegrown platform that supports message creation, processing, and distribution to engage our guests and hosts at the right time and on the right channels.By Paritosh Aggarwal and Henry WuIntroductionAirbnb is a busy marketplace with millions of active users across the globe. Billions of messages are exchanged each year — both between Airbnb and our users, and between our host and guest communities. To facilitate the scaling of these messages, we invested in building a reliable, scalable, and cost-effective communication platform.The Promotions and Communications Platform (internally called “OMNI”) forms a core pillar of Marketing Technology at Airbnb. Marketing Techno…

2 месяца, 3 недели назад @ medium.com
How does Airbnb track and measure growth marketing?
How does Airbnb track and measure growth marketing? How does Airbnb track and measure growth marketing?

By: Jing Guo, Henry Wu, Abhrajit Mukherjee, Shike MeiIntroductionAirbnb’s mission is to “Create a world where anyone can belong anywhere.” This message is delivered to people all around the world through marketing, e.g., See What’s Possible When It’s Made Possible by Hosts. It helps Airbnb connect guests and hosts to build a strong community, and undoubtedly contributes to the impressive growth of the company.Figure 1. Airbnb Marketing DomainsMarketing at Airbnb is exciting — it presents challenges on numerous fronts, one of which is accounting for campaign tracking across the different ad platforms (see Figure 1). Tracking enables the Marketing team to have the full capability to analyze t…

2 месяца, 4 недели назад @ medium.com
How Airbnb Achieved Metric Consistency at Scale
How Airbnb Achieved Metric Consistency at Scale How Airbnb Achieved Metric Consistency at Scale

Data is the voice of our users at scale. In the midst of the COVID-19 pandemic, we saw that travel with Airbnb has become hyper-local.Part-I: Introducing Minerva — Airbnb’s Metric PlatformAuthors: Robert Chang, Amit Pahwa, Shao XieIntroductionAt Airbnb, we lean on data to inform our critical decisions. We validate product ideas through randomized controlled experiments, and we track our business performance rigorously to ensure that we maximize values for our stakeholders. To achieve these goals, we needed to build a robust data platform that serves the internal users’ end-to-end needs.While we have previously shared how we ingest data into our data warehouse and how to enable users to cond…

3 месяца назад @ medium.com
Himeji: A Scalable Centralized System for Authorization at Airbnb
Himeji: A Scalable Centralized System for Authorization at Airbnb Himeji: A Scalable Centralized System for Authorization at Airbnb

by Alan Yao, Dipak Pawar, Blair Wu, and Abhishek ParmarThe ProblemOver the last couple of years, Airbnb engineering moved from a monolithic Ruby on Rails architecture to a service oriented architecture. In our Rails architecture, we had an API per resource to access the underlying data. These APIs had authorization checks to protect sensitive data. As there was a single way to access a resource’s data, managing these checks was easy. In the transition to SOA, we moved to a layered architecture where there are data services that wrap databases and presentation services hydrating from multiple data services. The initial approach to moving the permission checks from monolith to SOA was to move…

3 месяца, 1 неделя назад @ medium.com
Achieving Insights and Savings with Cost Data
Achieving Insights and Savings with Cost Data Achieving Insights and Savings with Cost Data

The path to cloud efficiency begins with a cost data foundationby Anna Matlin and Tamar EtermanIntroductionBusiness profitability and sustainability are powerful reasons to invest in infrastructure efficiency, but it is easy to feel lost about how to actually reduce costs. A foundation of robust and actionable data is essential for a successful efficiency program. At Airbnb, building this foundation made it possible to prioritize savings opportunities and ushered in a wave of cost reductions, summarized in a previous post.More importantly, cost data has become a lever for long-term control. The team can react quickly before a spike wreaks havoc on the monthly bill and plan ahead when a big …

3 месяца, 2 недели назад @ medium.com
Our Journey Towards Cloud Efficiency
Our Journey Towards Cloud Efficiency Our Journey Towards Cloud Efficiency

by Jen Rice and Anna MatlinIntroductionAirbnb was born in the cloud. In 2008, while many companies were operating data centers, a few clicks on the AWS console brought Airbnb to life. From our first Ruby on Rails app, to our more recent adoption of service-oriented architecture, the ability to instantly spin up compute and storage has enabled our teams to move quickly and meet the growing demands of our business. However, the business value this nimbleness affords can quickly be offset by cloud computing costs, unless the organizational capability to efficiently use these resources is developed.BackgroundIn the early days of Airbnb, our primary goal was growing the business. Technology team…

3 месяца, 3 недели назад @ medium.com
How We Enable Airbnb Team Members to Code Like a Mobile Engineer
How We Enable Airbnb Team Members to Code Like a Mobile Engineer How We Enable Airbnb Team Members to Code Like a Mobile Engineer

Our peer-to-peer learning program that’s accelerating the growth of mobile engineeringIntroAs part of the TechEd team, our team’s goal is to enable our technical talent through continuous learning programs. One of the most common programs we work on is new employee onboarding for Engineering and Data Science teams. However, we also constantly think about the broader needs of the engineering organization and, at times, create more curated programs addressing these needs. One such program, Code Like a Mobile Engineer, addresses the growing mobile use as it has become our top platform. We need to scale out the native engineering knowledge to enable us to deliver an exceptional user experience …

4 месяца назад @ medium.com
Introducing Epoxy for iOS
Introducing Epoxy for iOS Introducing Epoxy for iOS

A new library from Airbnb for declaratively building iOS appsEpoxy’s story on iOS began in 2016. Swift was still a very new language, and we had recently started to broadly adopt it across our codebase. With the new language, we were still experimenting with how to best build UI.Unfortunately, things weren’t going as well as we had hoped — with our early paradigms for building UI in Swift we were not only experiencing hundreds of thousands of crashes in some of our core features, we also found that our engineers were deeply dissatisfied, giving their development experience a net promoter score of -78 on a scale of -100 to 100.Why was this? One of the key sources of complexity was our API to…

4 месяца, 1 неделя назад @ medium.com
Inside Connect: Supporting Apprentices as an Engineering Leader
Inside Connect: Supporting Apprentices as an Engineering Leader Inside Connect: Supporting Apprentices as an Engineering Leader

The third of a three-part blog series on Connect, an apprenticeship opportunity for aspiring Airbnb software engineers.As an engineering leader with 15+ years of industry experience, I am currently head of engineering for the Marketing Technology Platform at Airbnb. Our goal is to build world-class technology systems and tools that power the unique blend of performance and brand marketing strategies at Airbnb.In this post, I’d like to share why fostering talent from the Connect program helps me achieve this vision for my teams. Furthermore, I will share from my experience — with Connect and other apprenticeship programs — what good support looks like. Programs like this don’t happen in a va…

4 месяца, 2 недели назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 6 дней, 14 часов назад
Data Movement in Netflix Studio via Data Mesh
Data Movement in Netflix Studio via Data Mesh Data Movement in Netflix Studio via Data Mesh

By Andrew Nguonly, Armando Magalhães, Obi-Ike Nwoke, Shervin Afshar, Sreyashi Das, Tongliang Liu, Wei Liu, Yucheng ZengBackgroundOver the next few years, most content on Netflix will come from Netflix’s own Studio. From the moment a Netflix film or series is pitched and long before it becomes available on Netflix, it goes through many phases. This happens at an unprecedented scale and introduces many interesting challenges; one of the challenges is how to provide visibility of Studio data across multiple phases and systems to facilitate operational excellence and empower decision making. Netflix is known for its loosely coupled microservice architecture and with a global studio footprint, s…

6 дней, 14 часов назад @ netflixtechblog.com
Data Engineers of Netflix — Interview with Kevin Wylie
Data Engineers of Netflix — Interview with Kevin Wylie Data Engineers of Netflix — Interview with Kevin Wylie

Data Engineers of Netflix — Interview with Kevin WylieThis post is part of our “Data Engineers of Netflix” series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Kevin WylieKevin Wylie is a Data Engineer on the Content Data Science and Engineering team. In this post, Kevin talks about his extensive experience in content analytics at Netflix since joining more than 10 years ago.Kevin grew up in the Washington, DC area, and received his undergraduate degree in Mathematics from Virginia Tech. Before joining Netflix, he worked at MySpace, helping implement page categorization, pathing analysis, sessionization, and more. In his free time he enjoys garde…

2 недели, 3 дня назад @ netflixtechblog.com
Exploring Data @ Netflix
Exploring Data @ Netflix Exploring Data @ Netflix

By Gim Mahasintunan on behalf of Data Platform Engineering.Supporting a rapidly growing base of engineers of varied backgrounds using different data stores can be challenging in any organization. Netflix’s internal teams strive to provide leverage by investing in easy-to-use tooling that streamlines the user experience and incorporates best practices.In this blog post, we are thrilled to share that we are open-sourcing one such tool: the Netflix Data Explorer. The Data Explorer gives our engineers fast, safe access to their data stored in Cassandra and Dynomite/Redis data stores.Netflix Data Explorer on GitHubHistoryWe began this project several years ago when we were onboarding many new Dy…

1 месяц, 1 неделя назад @ netflixtechblog.com
Introducing Netflix Timed Text Authoring Lineage
Introducing Netflix Timed Text Authoring Lineage Introducing Netflix Timed Text Authoring Lineage

A Script Authoring SpecificationBy: Bhanu Srikanth, Andy Swan, Casey Wilms, Patrick PearsonThe Art of Dubbing and SubtitlingDubbing and subtitling are inherently creative processes. At Netflix, we strive to make shows as joyful to watch in every language as in the original language, whether a member watches with original or dubbed audio, closed captions, forced narratives, subtitles or any combination they prefer. Capturing creative vision and nuances in translation is critical to achieving this goal. Creating a dub or a subtitle is a complex, multi-step process that involves:Transcribing and timing the dialogue in the original language from a completed show to create a source transcription…

1 месяц, 1 неделя назад @ netflixtechblog.com
How Netflix uses eBPF flow logs at scale for network insight
How Netflix uses eBPF flow logs at scale for network insight How Netflix uses eBPF flow logs at scale for network insight

By Alok Tiagi, Hariharan Ananthakrishnan, Ivan Porto Carrero and Keerti LakshminarayanNetflix has developed a network observability sidecar called Flow Exporter that uses eBPF tracepoints to capture TCP flows at near real time. At much less than 1% of CPU and memory on the instance, this highly performant sidecar provides flow data at scale for network insight.ChallengesThe cloud network infrastructure that Netflix utilizes today consists of AWS services such as VPC, DirectConnect, VPC Peering, Transit Gateways, NAT Gateways, etc and Netflix owned devices. Netflix software infrastructure is a large distributed ecosystem that consists of specialized functional tiers that are operated on the …

1 месяц, 3 недели назад @ netflixtechblog.com
Data Engineers of Netflix — Interview with Dhevi Rajendran
Data Engineers of Netflix — Interview with Dhevi Rajendran Data Engineers of Netflix — Interview with Dhevi Rajendran

Data Engineers of Netflix — Interview with Dhevi RajendranDhevi RajendranThis post is part of our “Data Engineers of Netflix” interview series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Dhevi Rajendran is a Data Engineer on the Growth Data Science and Engineering team. Dhevi joined Netflix in July 2020 and is one of many Data Engineers who have onboarded remotely during the pandemic. In this post, Dhevi talks about her passion for data engineering and taking on a new role during the pandemic.Before Netflix, Dhevi was a software engineer at Two Sigma, where she was most recently on a data engineering team responsible for bringing in datasets fr…

2 месяца назад @ netflixtechblog.com
Data Engineers of Netflix — Interview with Samuel Setegne
Data Engineers of Netflix — Interview with Samuel Setegne Data Engineers of Netflix — Interview with Samuel Setegne

Data Engineers of Netflix — Interview with Samuel SetegneSamuel SetegneThis post is part of our “Data Engineers of Netflix” interview series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Samuel Setegne is a Senior Software Engineer on the Core Data Science and Engineering team. Samuel and his team build tools and frameworks that support data engineering teams across Netflix. In this post, Samuel talks about his journey from being a clinical researcher to supporting data engineering teams.Samuel comes from West Philadelphia, and he received his Master’s in Biotechnology from Temple University. Before Netflix, Samuel worked at Travelers Insurance i…

2 месяца назад @ netflixtechblog.com
My (Seemingly) Random Walk to Netflix
My (Seemingly) Random Walk to Netflix My (Seemingly) Random Walk to Netflix

Part of our series on who works in Analytics at Netflix — and what the role entailsBy Sean Barnes, Studio Production Data Science & EngineeringI am going to tell you a story about a person that works for Netflix. That person grew up dreaming of working in the entertainment industry. They attended the University of Southern California, double majored in data science and television & film production, and graduated summa cum laude. Upon graduation, they received an offer from Netflix to become an analytics engineer, and pursue their lifelong dream of orchestrating the beautiful synergy of analytics and entertainment. Pretty straightforward, right?!Such a linear trajectory would make for a comp…

2 месяца назад @ netflixtechblog.com
Achieving observability in async workflows
Achieving observability in async workflows Achieving observability in async workflows

Written by Colby Callahan, Megha Manohara, and Mike Azar.Managing and operating asynchronous workflows can be difficult without the proper tools and architecture that puts observability, debugging, and tracing at the forefront.Imagine getting paged outside normal work hours — users are having trouble with the application you’re responsible for, and you start diving into logs. However, they are scattered across multiple systems, and there isn’t an easy way to tie related messages together. Once you finally find useful identifiers, you may begin writing SQL queries against your production database to find out what went wrong. You’re joining tables, resolving status types, cross-referencing da…

2 месяца, 2 недели назад @ netflixtechblog.com
Netflix Drive
Netflix Drive Netflix Drive

A file and folder interface for Netflix Cloud ServicesWritten by Vikram Krishnamurthy, Kishore Kasi, Abhishek Kapatkar, Tejas Chopra, Prudhviraj Karumanchi, Kelsey Francis, Shailesh BirariIn this post, we are introducing Netflix Drive, a Cloud drive for media assets and providing a high level overview of some of its features and interfaces. We intend this to be a first post in a series of posts covering Netflix Drive. In the future posts, we will do an architectural deep dive into the several components of Netflix Drive.Netflix, and particularly Studio applications (and Studio in the Cloud) produce petabytes of data backed by billions of media assets. Several artists and workflows that may …

2 месяца, 4 недели назад @ netflixtechblog.com
Scaling Revenue & Growth Tooling
Scaling Revenue & Growth Tooling Scaling Revenue & Growth Tooling

Written by Nick Tomlin, Michael Possumato, and Rahul Pilani.This post shares how the Revenue & Growth Tools (RGT) team approaches creating full-stack tools for the teams that are the financial backbone of Netflix. Our primary partners are the teams of Revenue and Growth Engineering (RGE): Growth, Membership, Billing, Payments, and Partner Subscription. Each of these engineering teams — and the operations teams they support — help Netflix acquire, sign up, and manage recurring payments for millions of members every month.To provide a view of some of the unique challenges and opportunities of our domain, we’ll share some of the core strategies we’ve developed, some of the tools we’ve built as…

4 месяца, 1 неделя назад @ netflixtechblog.com
Production Media Management: Transforming Media Workflows by leveraging the Cloud
Production Media Management: Transforming Media Workflows by leveraging the Cloud Production Media Management: Transforming Media Workflows by leveraging the Cloud

Written by Anton Margoline, Avinash Dathathri, Devang Shah and Murthy Parthasarathi. Credit to Netflix Studio’s Product, Design, Content Hub Engineering teams along with all of the supporting partner and platform teams.In this post, we will share a behind-the-scenes look at how Netflix delivers technology and infrastructure to help production crews create and exchange media during production and post production stages. We’ll also cover how our Studio Engineering efforts are helping Netflix productions to spend less time on media logistics by utilizing our cloud based services.Lights, Camera, Media! Productions take on media managementIn a typical live action production, after media is offlo…

4 месяца, 3 недели назад @ netflixtechblog.com
ConsoleMe: A Central Control Plane for AWS Permissions and Access
ConsoleMe: A Central Control Plane for AWS Permissions and Access ConsoleMe: A Central Control Plane for AWS Permissions and Access

ConsoleMe: A Central Control Plane for AWS Permissions and AccessBy Curtis Castrapel, Patrick Sanders, and Hee Won KimAt AWS re:Invent 2020, we open sourced two new tools for managing multi-account AWS permissions and access. We’re very excited to bring you ConsoleMe (pronounced: kuhn-soul-mee), and its CLI utility, Weep (pun intended)!If you missed the talk, check it out here.MotivationGrowth in the cloud has exploded, and it is now easier than ever to create infrastructure on the fly. Groups beyond software engineering teams are standing up their own systems and automation. This is an amazing movement providing numerous opportunities for product innovation, but managing this growth has in…

4 месяца, 3 недели назад @ netflixtechblog.com
Remote Workstations for the Discerning Artists
Remote Workstations for the Discerning Artists Remote Workstations for the Discerning Artists

By Michelle BrennerNetflix is poised to become the world’s most prolific producer of visual effects and original animated content. To meet that demand, we need to attract the world’s best artistic talent. Artists like to work at places where they can create groundbreaking entertainment instead of worrying about getting access to the software or source files they need. To meet this need, the Studio Infrastructure team has created Netflix Workstations.Netflix Workstations are remote workstations that allow content creators to get to work wherever they are. As an engineer, I can work anywhere with a standard laptop as long as I have an IDE and access to Stack Overflow. However, the artists cre…

4 месяца, 3 недели назад @ netflixtechblog.com
A Day in the Life of an Experimentation and Causal Inference Scientist @ Netflix
A Day in the Life of an Experimentation and Causal Inference Scientist @ Netflix A Day in the Life of an Experimentation and Causal Inference Scientist @ Netflix

Stephanie Lane, Wenjing Zheng, Mihir TendulkarSource credit: NetflixWithin the rapid expansion of data-related roles in the last decade, the title Data Scientist has emerged as an umbrella term for myriad skills and areas of business focus. What does this title mean within a given company, or even within a given industry? It can be hard to know from the outside. At Netflix, our data scientists span many areas of technical specialization, including experimentation, causal inference, machine learning, NLP, modeling, and optimization. Together with data analytics and data engineering, we comprise the larger, centralized Data Science and Engineering group.Learning through data is in Netflix’s D…

5 месяцев назад @ netflixtechblog.com
Pinterest Engineering
последний пост 1 неделя, 5 дней назад
Building scalable near-real time indexing on HBase
Building scalable near-real time indexing on HBase Building scalable near-real time indexing on HBase

Ankita Wagh | Software Engineer, Storage and CachingHBase is one of the most critical storage backends at Pinterest., powering many of our online traffic storage services like Zen (graph database) and UMS (wide column data store). Although HBase has many advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, and Hadoop integration, it doesn’t natively support advanced indexing and querying. Secondary indexing is one of the most demanded features by our clients, but supporting that directly in HBase is quite challenging. Maintaining separate index tables as the number of indexes grows is not a scalable solution in terms of query …

1 неделя, 5 дней назад @ medium.com
The machine learning behind delivering relevant ads
The machine learning behind delivering relevant ads The machine learning behind delivering relevant ads

Felix Fang | Software Engineer, Advertiser Solutions GroupChi Xu | Software Engineer, Advertiser Solutions GroupPinterest is where people go to plan and shop, making ideas and ads from brands helpful in taking Pinners from inspiration to action. It’s our goal to ensure ads continue to be additive and not intrusive on Pinterest. Because of the unique and powerful first party signals on the platform, advertisers can reach Pinners based on their interests, intent and engagement on the platform.To help in delivering the right ads to the right Pinners in an audience of hundreds of millions of people, we offer advertisers features to achieve relevance including Actalike (AAL) audiences, also know…

1 неделя, 5 дней назад @ medium.com
Cómo protegemos las contraseñas de los usuarios
Cómo protegemos las contraseñas de los usuarios Cómo protegemos las contraseñas de los usuarios

This article was originally published in English, view the English version here.Yuru Shao | Ingeniero de softwareAalaa Satti | Ingeniero de softwareAmine Kamel | Jefe de seguridad de producciónEn Pinterest, un método con el que garantizamos la seguridad de la cuenta es mediante la protección de las contraseñas de los usuarios. Las contraseñas pueden ser problemáticas por una gran cantidad de razones, incluido el hecho de que las personas suelen reutilizar sus contraseñas, eligen aquellas que son fáciles de recordar y comparten los detalles que componen sus contraseñas o sus contraseñas reales con otras personas. Por lo tanto, lidiar con estos problemas no es tarea fácil si deseamos ofrecer …

2 недели, 2 дня назад @ medium.com
Unified Flink Source at Pinterest: Streaming Data Processing
Unified Flink Source at Pinterest: Streaming Data Processing Unified Flink Source at Pinterest: Streaming Data Processing

Lu Niu & Chen Qin | Software Engineers, Stream Processing Platform TeamTo best serve Pinners, creators, and advertisers, Pinterest leverages Flink as its stream processing engine. Flink is a data processing engine for stateful computation over data streams. It provides rich streaming APIs, exact-once support, and state checkpointing, which are essential to build stable and scalable streaming applications. Nowadays Flink is widely used in companies like Alibaba, Netflix, and Uber in mission critical use cases.Xenon is the Flink-based stream processing platform at Pinterest. The mission is to build a reliable, scalable, easy-to-use, and efficient stream platform to enable data-driven products…

2 недели, 3 дня назад @ medium.com
Advertiser Recommendation Systems at Pinterest
Advertiser Recommendation Systems at Pinterest Advertiser Recommendation Systems at Pinterest

Erika Sun & Keshava Subramanya | Ads Intelligence TeamThe Ads Intelligence team at Pinterest is charged with building and maintaining machine learning and algorithm-driven recommendations and the Recommendations Ranker to provide advertisers with the best experience in reaching relevant Pinners and help them reach their campaign goals. As part of this work, we leverage data in various algorithms to generate recommendations. These recommendations then appear on multiple surfaces, such as the external-facing Ads Manager and internal tools for our sales team. We use the insight and feedback found in past recommendation adoptions to improve future recommendation generation logic. The following …

2 недели, 5 дней назад @ medium.com
Interactive Querying with Apache Spark SQL at Pinterest
Interactive Querying with Apache Spark SQL at Pinterest Interactive Querying with Apache Spark SQL at Pinterest

Sanchay Javeria | Software Engineer, Big Data Query Platform, Data EngineeringAshish Singh | Technical Lead, Big Data Query Platform, Data EngineeringTo achieve our mission of bringing everyone inspiration through our visual discovery engine, Pinterest relies heavily on making data-driven decisions to improve the Pinner experience for over 475 million monthly active users. Reliable, fast, and scalable interactive querying is essential to make those data-driven decisions possible. In the past, we published how Presto at Pinterest serves this function. Here, we’ll share how we built a scalable, reliable, and efficient interactive querying platform that processes hundreds of petabytes of data …

2 недели, 6 дней назад @ medium.com
Cómo revisar código como desarrollador junior
Cómo revisar código como desarrollador junior Cómo revisar código como desarrollador junior

Emma Catlin | Ingeniera de softwareThis article was originally published in English, view English version here.“Solo pregunta”.Ese fue el consejo que cambió por completo mi perspectiva sobre las revisiones de código.Al salir de la universidad, comencé como ingeniera de software de Pinterest en el equipo de Shopping Partner Experience. Me centré en mi aprendizaje personal leyendo documentación y documentos de diseño técnico para entender los sistemas y proyectos de mi equipo. Sin embargo, no tenía la confianza para revisar el código de mis compañeros de equipo. ¿Por qué los ingenieros sénior querrían que un ingeniero junior revise su código? ¿Qué pasaría si digo que algo está mal?Mi enfoque …

3 недели, 3 дня назад @ medium.com
Improving data processing efficiency using partial deserialization of Thrift
Improving data processing efficiency using partial deserialization of Thrift Improving data processing efficiency using partial deserialization of Thrift

Bhalchandra Pandit | Software EngineerAt Pinterest we’ve worked to greatly improve data processing efficiency. One quote that resonates with our unique approach is from writer Antoine de Saint-Exupéry: “Perfection is achieved, not when there is nothing more to add, but when there is nothing left to take away.”Ultimately, we process petabytes of Thrift encoded data at Pinterest. Most jobs that access this data need only a part of it. To meet our unique needs, we devised a way to efficiently deserialize only the desired subsets of Thrift structures in each job. Our solution enabled us to significantly decrease our data processing resource usage: about 20% reduction in vcore usage, 27% reducti…

1 месяц назад @ medium.com
Setting Up Snowflake Secondary Roles with Tableau
Setting Up Snowflake Secondary Roles with Tableau Setting Up Snowflake Secondary Roles with Tableau

Jessica Friedland | Data EngineerAt Pinterest, we heavily utilize Tableau for our enterprise analytics. In an effort to secure access of sensitive data to the appropriate business units, we moved the enterprise data into a Snowflake data warehouse. Using Snowflake as a data platform, we can create and manage robust role-based access controls (RBAC). Since we want to use Snowflake as the source of truth for RBAC, we connected Tableau to Snowflake through a security integration using OAuth.In order to check authorization during every use, we only allow live connections from Tableau. Live connections mean that every time a user views a dashboard, their credentials are used to query Snowflake. …

1 месяц, 1 неделя назад @ medium.com
Trusting Metrics at Pinterest
Trusting Metrics at Pinterest Trusting Metrics at Pinterest

Ryan Cooke | Engineering ManagerPinterest, like many tech companies, relies heavily on data to help inform decisions and power machine learning. This strategy fundamentally depends on the data being accurate. Over the years we’ve worked to improve the processes behind trusting core decision-making data and ensure metrics remain accurate.How Data Can Go WrongFor those who haven’t thought about metrics, this may seem like an odd problem. Something like Daily Active Users (DAU) may sound simple to measure, but here are some examples of how such a simple metric may go wrong:An extension version of the app could decide to keep auth tokens fresh; they could auto login the users every day, regardl…

1 месяц, 1 неделя назад @ medium.com
How We Protect Pinners’ Passwords
How We Protect Pinners’ Passwords How We Protect Pinners’ Passwords

Yuru Shao | Software EngineerAalaa Satti | Security EngineerAmine Kamel | Head of Production SecurityAt Pinterest, one method by which we ensure account security is through protecting Pinners’ passwords. Passwords can be problematic for a variety of reasons, including the fact that people tend to reuse their passwords, choose ones that are easy to remember, and share either the details that make up their passwords or their actual passwords with others. It is therefore no small feat to work against these issues to provide a secure, enjoyable Pinterest experience. In this post, we will dive into a few of the techniques we employ in order to accomplish this.Active Detection of Compromised Cred…

1 месяц, 2 недели назад @ medium.com
La evolución de la búsqueda en Pinterest
La evolución de la búsqueda en Pinterest La evolución de la búsqueda en Pinterest

Por Naveen Gavini, Vicepresidente sénior de productosCuando Pinterest se lanzó por primera vez, ofrecía una nueva forma de recopilar y organizar ideas de toda la web. Sin embargo, lo que comenzó como un lugar para guardar, se convirtió rápidamente en un servicio único de descubrimiento en el que los usuarios podían inspirarse unos a otros, a las marcas y a los creadores. En 2014, cuatro años después del lanzamiento de Pinterest.com, un pequeño grupo de ingenieros y diseñadores se preguntaron: “¿Cómo sería un motor de búsqueda si no hubiera una respuesta correcta?”Nos dimos cuenta de que Pinterest podría ser el servicio para guiarte a las ideas cuando aún no estás seguro de lo que quieres y …

1 месяц, 3 недели назад @ medium.com
Cómo redujimos el tamaño de la aplicación de Pinterest para iOS en más de un 30% / 50 MB
Cómo redujimos el tamaño de la aplicación de Pinterest para iOS en más de un 30% / 50 MB Cómo redujimos el tamaño de la aplicación de Pinterest para iOS en más de un 30% / 50 MB

Por Liang Ma | Ingeniero de software, App Foundations (Desarrollo de aplicaciones)Todos sabemos que el tamaño de las aplicaciones es importante (el tamaño de descarga[1] y el tamaño de instalación local[2]). Además, existe una correlación entre el tamaño de la aplicación y la interacción de los clientes. Con frecuencia, las personas toman decisiones sobre el uso de software en función del tamaño e incluso pagan el ancho de banda por megabyte. Sin olvidar que las tasas de desinstalación podrían aumentar cuando se incrementa el tamaño de la aplicación y, en consecuencia, los usuarios intentan liberar espacio en el disco de sus dispositivos.Recientemente, hicimos una mejora en la aplicación de…

1 месяц, 3 недели назад @ medium.com
El fantástico Fixathon
El fantástico Fixathon El fantástico Fixathon

Por Grey Sköld | Ingeniero de AndroidLos ingenieros de Pinterest siempre están enfocados en hacer lo mejor para el producto, pero trabajar en una base de código limpia, con buen mantenimiento y relativamente libre de errores transforma las tareas de ingeniería de ser “solo trabajo” a oportunidades agradables para flexibilizar nuestras habilidades. También nos enriquecemos como ingenieros, tanto técnicamente como de otras formas, cuando nos tomamos el tiempo para aprender de nuestros compañeros de trabajo. Si bien es posible que tengamos una fiesta ocasional o fuera del sitio, ¡nada combina la construcción de comunidad y la mejora del producto como un Fixathon!¿Qué es un Fixathon?El Fixathon…

1 месяц, 3 недели назад @ medium.com
Calidad y pruebas de las métricas publicitarias en dispositivos móviles
Calidad y pruebas de las métricas publicitarias en dispositivos móviles Calidad y pruebas de las métricas publicitarias en dispositivos móviles

Por Maya Reddy | Ingeniera en software, Ad Formats (Formatos de anuncios)En Pinterest, todos los días ayudamos a nuestros socios de publicidad a llegar a los usuarios a través de diferentes formatos de anuncios y les ofrecemos métricas y análisis sobre el rendimiento de sus anuncios. Mantener la confianza de nuestros socios y ofrecerles valor es fundamental, por lo que las métricas que mostramos, que en última instancia se basan en registros que contienen eventos de cliente, deben ser correctas.A principios de 2017, hacíamos lanzamientos móviles cada dos semanas y realizábamos un control de calidad manual para verificar el comportamiento de registro antes de cada lanzamiento. Al poco tiempo…

1 месяц, 3 недели назад @ medium.com
Facebook
последний пост 2 недели, 3 дня назад
Fully Sharded Data Parallel: faster AI training with fewer GPUs
Fully Sharded Data Parallel: faster AI training with fewer GPUs

Training AI models at a large scale isn’t easy. Aside from the need for large amounts of computing power and resources, there is also considerable engineering complexity behind training very large models. At Facebook AI Research (FAIR) Engineering, we have been working on building tools and infrastructure to make training large AI models easier. Our [...]

Read More...

The post Fully Sharded Data Parallel: faster AI training with fewer GPUs appeared first on Facebook Engineering.

2 недели, 3 дня назад @ engineering.fb.com
Asicmon: A platform agnostic observability system for AI accelerators
Asicmon: A platform agnostic observability system for AI accelerators

We will be hosting a talk about our work on, “A Platform Agnostic Observability System for AI Accelerators” during our virtual Systems @Scale event at 10:20 a.m. PT on Wednesday, June 30, followed by a live Q&A session. Please submit any questions to systemsatscale@fb.com before the event. Accelerators are special-purpose hardware devices optimized for specific [...]

Read More...

The post Asicmon: A platform agnostic observability system for AI accelerators appeared first on Facebook Engineering.

1 месяц назад @ engineering.fb.com
How Facebook encodes your videos
How Facebook encodes your videos

People upload hundreds of millions of videos to Facebook every day. Making sure every video is delivered at the best quality — with the highest resolution and as little buffering as possible — means optimizing not only when and how our video codecs compress and decompress videos for viewing, but also which codecs are used [...]

Read More...

The post How Facebook encodes your videos appeared first on Facebook Engineering.

3 месяца, 4 недели назад @ engineering.fb.com
How machine learning powers Facebook’s News Feed ranking algorithm
How machine learning powers Facebook’s News Feed ranking algorithm

Designing a personalized ranking system for more than 2 billion people (all with different interests) and a plethora of content to select from presents significant, complex challenges. This is something we tackle every day with News Feed ranking. Without machine learning (ML), people’s News Feeds could be flooded with content they don’t find as relevant [...]

Read More...

The post How machine learning powers Facebook’s News Feed ranking algorithm appeared first on Facebook Engineering.

6 месяцев, 1 неделя назад @ engineering.fb.com
How Facebook keeps its large-scale infrastructure hardware up and running
How Facebook keeps its large-scale infrastructure hardware up and running

Facebook’s services rely on fleets of servers in data centers all over the globe — all running applications and delivering the performance our services need. This is why we need to make sure our server hardware is reliable and that we can manage server hardware failures at our scale with as little disruption to our [...]

Read More...

The post How Facebook keeps its large-scale infrastructure hardware up and running appeared first on Facebook Engineering.

7 месяцев, 3 недели назад @ engineering.fb.com
PPL Bench: Creating a standard for benchmarking probabilistic programming languages
PPL Bench: Creating a standard for benchmarking probabilistic programming languages

[...]

Read More...

The post PPL Bench: Creating a standard for benchmarking probabilistic programming languages appeared first on Facebook Engineering.

9 месяцев, 1 неделя назад @ ai.facebook.com
Uber Engineering
последний пост 3 дня, 16 часов назад
Pinot Real-Time Ingestion with Cloud Segment Storage
Pinot Real-Time Ingestion with Cloud Segment Storage

Introduction

Apache Pinot is an open source data analytics engine (OLAP), which allows users to query data ingested from as recently as a few seconds ago to as old as a few years back. Pinot’s ability to ingest real-time data …

The post Pinot Real-Time Ingestion with Cloud Segment Storage appeared first on Uber Engineering Blog.

3 дня, 16 часов назад @ eng.uber.com
Uber’s Fulfillment Platform: Ground-up Re-architecture to Accelerate Uber’s Go/Get Strategy
Uber’s Fulfillment Platform: Ground-up Re-architecture to Accelerate Uber’s Go/Get Strategy

Introduction to Fulfillment at Uber

Uber’s mission is to help our consumers effortlessly go anywhere and get anything in thousands of cities worldwide. At its core, we capture a consumer’s intent and fulfill it by matching it with the right …

The post Uber’s Fulfillment Platform: Ground-up Re-architecture to Accelerate Uber’s Go/Get Strategy appeared first on Uber Engineering Blog.

5 дней, 16 часов назад @ eng.uber.com
Containerizing Apache Hadoop Infrastructure at Uber
Containerizing Apache Hadoop Infrastructure at Uber

Introduction

As Uber’s business grew, we scaled our Apache Hadoop (referred to as ‘Hadoop’ in this article) deployment to 21000+ hosts in 5 years, to support the various analytical and machine learning use cases. We built a team with varied …

The post Containerizing Apache Hadoop Infrastructure at Uber appeared first on Uber Engineering Blog.

1 неделя, 3 дня назад @ eng.uber.com
‘Orders Near You’ and User-Facing Analytics on Real-Time Geospatial Data
‘Orders Near You’ and User-Facing Analytics on Real-Time Geospatial Data

Introduction

By its nature, Uber’s business is highly real-time and contingent upon geospatial data. PBs of data are continuously being collected from our drivers, riders, restaurants, and eaters. Real-time analytics over this geospatial data could provide powerful insights.

In this …

The post ‘Orders Near You’ and User-Facing Analytics on Real-Time Geospatial Data appeared first on Uber Engineering Blog.

1 неделя, 5 дней назад @ eng.uber.com
Analyzing Customer Issues to Improve User Experience
Analyzing Customer Issues to Improve User Experience

Introduction

The primary goal for customer support is to ensure users’ issues are addressed and resolved in a timely and effective manner. The kind of issues users face and what they say in their support interactions provides a lot of …

The post Analyzing Customer Issues to Improve User Experience appeared first on Uber Engineering Blog.

2 недели, 2 дня назад @ eng.uber.com
Customer Support Automation Platform at Uber
Customer Support Automation Platform at Uber

High Level Overview of the Problem

Introduction

If you’ve used any online/digital service, chances are that you are familiar with what a typical customer service experience entails: you send a message (usually email aliased) to the company’s support staff, fill …

The post Customer Support Automation Platform at Uber appeared first on Uber Engineering Blog.

2 недели, 4 дня назад @ eng.uber.com
Tuning Model Performance
Tuning Model Performance

Introduction

Uber uses machine learning (ML) models to power critical business decisions. An ML model goes through many experiment iterations before making it to production. During the experimentation phase, data scientists or machine learning engineers explore adding features, tuning parameters, …

The post Tuning Model Performance appeared first on Uber Engineering Blog.

3 недели, 2 дня назад @ eng.uber.com
Elastic Distributed Training with XGBoost on Ray
Elastic Distributed Training with XGBoost on Ray

Introduction

Since we productionized distributed XGBoost on Apache Spark™ at Uber in 2017, XGBoost has powered a wide spectrum of machine learning use cases at Uber, spanning from forecasting rider demand, fraud detection, content discovery and recommendation for …

The post Elastic Distributed Training with XGBoost on Ray appeared first on Uber Engineering Blog.

3 недели, 4 дня назад @ eng.uber.com
Continuous Integration and Deployment for Machine Learning Online Serving and Models
Continuous Integration and Deployment for Machine Learning Online Serving and Models

Introduction

At Uber, we have witnessed a significant increase in machine learning adoption across various organizations and use-cases over the last few years. Our machine learning models are empowering a better customer experience, helping prevent safety incidents, and ensuring market …

The post Continuous Integration and Deployment for Machine Learning Online Serving and Models appeared first on Uber Engineering Blog.

1 месяц назад @ eng.uber.com
Efficient and Reliable Compute Cluster Management at Scale
Efficient and Reliable Compute Cluster Management at Scale

Introduction

Uber relies on a containerized microservice architecture. Our need for computational resources has grown significantly over the years, as a consequence of business’ growth. It is an important goal now to increase the efficiency of our computing resources. Broadly …

The post Efficient and Reliable Compute Cluster Management at Scale appeared first on Uber Engineering Blog.

1 месяц, 1 неделя назад @ eng.uber.com
Handling Flaky Unit Tests in Java
Handling Flaky Unit Tests in Java

Introduction to Flaky Tests

Unit testing forms the bedrock of any Continuous Integration (CI) system. It warns software engineers of bugs in newly-implemented code and regressions in existing code, before it is merged. This ensures increased software reliability. It also …

The post Handling Flaky Unit Tests in Java appeared first on Uber Engineering Blog.

1 месяц, 2 недели назад @ eng.uber.com
Scaling of Uber’s API gateway
Scaling of Uber’s API gateway

As a recap from the last article, Uber’s API Gateway provides an interface and acts as a single point of access for all of our back-end services to expose features and data to Mobile and 3rd party partners. Two …

The post Scaling of Uber’s API gateway appeared first on Uber Engineering Blog.

1 месяц, 3 недели назад @ eng.uber.com
The Architecture of Uber’s API gateway
The Architecture of Uber’s API gateway

API gateways are an integral part of microservices architecture in recent years. An API gateway provides a single point of entry for all our apps and provides an interface to access data, logic, or functionality from back-end microservices. It also …

The post The Architecture of Uber’s API gateway appeared first on Uber Engineering Blog.

2 месяца, 2 недели назад @ eng.uber.com
Automating Merchant Live Monitoring with Real-Time Analytics: Charon
Automating Merchant Live Monitoring with Real-Time Analytics: Charon

At Uber, live monitoring and automation of Ops is critical to preserve marketplace health, maintain reliability, and gain efficiency in markets. By the virtue of the word “live”, this monitoring needs to show what is happening now, with prompt access …

The post Automating Merchant Live Monitoring with Real-Time Analytics: Charon appeared first on Uber Engineering Blog.

3 месяца назад @ eng.uber.com
Flipr: Making Changes Quickly and Safely at Scale
Flipr: Making Changes Quickly and Safely at Scale

Introduction

Uber’s many software systems require a high volume of changes every day. Because of our systems’ size and complexity, it is a significant challenge to implement these changes without unintended consequences, ultimately slowing down developer productivity. Flipr is a …

The post Flipr: Making Changes Quickly and Safely at Scale appeared first on Uber Engineering Blog.

3 месяца, 3 недели назад @ eng.uber.com
Spotify Engineering Spotify Engineering
последний пост 1 месяц, 4 недели назад
Patrick Balestra: Senior Engineer
Patrick Balestra: Senior Engineer Patrick Balestra: Senior Engineer

8:30am I’m at my best after nine hours’ sleep, so I tend to wake up pretty late, shower and dress as though I’m going into the office. Although I’ve been in Stockholm a while now, I’m still not a fan of the Swedish breakfast of bread and cheese or salami – give me Nutella on toast [...]

1 месяц, 4 недели назад @ engineering.atspotify.com
Achieving Team Purpose and Pride with Scrum
Achieving Team Purpose and Pride with Scrum Achieving Team Purpose and Pride with Scrum

Team purpose and pride — my team hit those high marks, but it was a long journey to get there from where we started. At Spotify, we strive for “aligned autonomy” among our teams. Meaning: we align on what it is we set out to do, but preserve flexibility to choose how we’ll achieve those [...]

2 месяца назад @ engineering.atspotify.com
A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture
A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture

TLDR; In episode 08 of our podcast series “Spotify: A Product Story”, we share stories and lessons from building and open sourcing Backstage, our homegrown developer portal. Hear why a developer-friendly, market-based platform like Backstage could only have been developed at Spotify (where autonomy is prized, not top-down mandates) and why that ends up making [...]

2 месяца, 2 недели назад @ engineering.atspotify.com
Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It
Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It

There is no excerpt because this is a protected post.

2 месяца, 3 недели назад @ engineering.atspotify.com
Customization vs. Configuration in Evolving Design Systems
Customization vs. Configuration in Evolving Design Systems Customization vs. Configuration in Evolving Design Systems

When a design system first starts out, the promise of visual consistency glows bright — the ideal product would have only one set of buttons, a unified typography scale, and elements that look the same no matter which designer made the design or which developer programmed them to be real and deployed. As the product [...]

3 месяца назад @ engineering.atspotify.com
Nour Daoud Bösing: Security Engineer
Nour Daoud Bösing: Security Engineer Nour Daoud Bösing: Security Engineer

Nour is a Security Engineer at Spotify New York – juggling her busy day job with completing her Masters in Cyber Security and looking after her 10-month-old daughter, Leya.

3 месяца, 1 неделя назад @ engineering.atspotify.com
Rethinking Spotify Search
Rethinking Spotify Search Rethinking Spotify Search

Search @ Spotify Search is a well-established functionality across different industries, devices, and applications. When users come to any kind of search, they already have something in mind, whether they come looking for one thing in particular or are open to becoming inspired. Spotify Search is no exception, helping a vast majority of users find joy [...]

3 месяца, 2 недели назад @ engineering.atspotify.com
Building the Future of Our Desktop Apps
Building the Future of Our Desktop Apps Building the Future of Our Desktop Apps

For the past couple of years, we’ve been on a mission to modernize our Spotify clients by creating one single desktop UI for both the Desktop application and the Web Player. We couldn’t build everything we wanted to for our users with our old setup, so we decided to do something about it. In the [...]

3 месяца, 3 недели назад @ engineering.atspotify.com
David Riordan: Product Manager
David Riordan: Product Manager David Riordan: Product Manager

5:00 am My days begin with an early morning wake-up call from Zev – he comes through at around 5am and we get a couple of dedicated hours of playtime before the rest of the world gets up. It’s fun – this morning, we baked oatmeal cookies. Then once my wife and I are ready, we [...]

4 месяца назад @ engineering.atspotify.com
Infrastructure
AWS
последний пост 2 дня, 16 часов назад
Easier and faster graph machine learning with Amazon Neptune ML
Easier and faster graph machine learning with Amazon Neptune ML

Amazon Neptune ML provides a simple workflow for training machine learning (ML) models for graph data. With version 1.0.5.0, Neptune ML delivers additional enhancements to all the steps of this workflow to reduce cost, increase speed, and offer a more flexible modeling experience. Starting with data export and data processing, Neptune ML now provides additional […]

2 дня, 16 часов назад @ aws.amazon.com
Analyze customer churn probability using call transcription and customer profiles with Amazon SageMaker
Analyze customer churn probability using call transcription and customer profiles with Amazon SageMaker

Regardless of the industry or product, customers are the most important component in a business’s success and growth. Businesses go to great lengths to acquire and more importantly retain their existing customers. Customer satisfaction links directly to revenue growth, business credibility, and reputation. These are all key factors in a sustainable and long-term business growth […]

2 дня, 16 часов назад @ aws.amazon.com
Get predictions for evolving graph data faster with Amazon Neptune ML
Get predictions for evolving graph data faster with Amazon Neptune ML

As an application developer building graph applications with Amazon Neptune, your graph data may be evolving on a regular basis, with new nodes and or new relationships between nodes being added to the graph to reflect the latest changes in your underlying business data. Amazon Neptune ML now supports incremental model predictions on graph data […]

2 дня, 16 часов назад @ aws.amazon.com
Discover more insights in your graphs with new features from Amazon Neptune ML
Discover more insights in your graphs with new features from Amazon Neptune ML

Amazon Neptune ML is a feature of Amazon Neptune that brings the power of the state-of-the-art graph neural network (GNN) models to all graph developers. You can use Neptune ML for tasks like node classification, node regression, and link prediction. This allows you to train GNN models powered by the Deep Graph Library (DGL) to […]

2 дня, 16 часов назад @ aws.amazon.com
EC2 Image Builder and Hands-free Hardening of Windows Images for AWS Elastic Beanstalk
EC2 Image Builder and Hands-free Hardening of Windows Images for AWS Elastic Beanstalk

In this blog post you will learn how to automate the process of customizing Elastic Beanstalk managed AMIs using EC2 Image Builder and apply the medium and low severity STIG settings to Windows instances whenever new platform versions are released.

2 дня, 18 часов назад @ aws.amazon.com
Deploy data lake ETL jobs using CDK Pipelines
Deploy data lake ETL jobs using CDK Pipelines

Many organizations are building data lakes on AWS, which provides the most secure, scalable, comprehensive, and cost-effective portfolio of services. Like any application development project, a data lake must answer a fundamental question: “What is the DevOps strategy?” Defining a DevOps strategy for a data lake requires extensive planning and multiple teams. This typically requires […]

3 дня, 3 часа назад @ aws.amazon.com
Secure and analyse your Terraform code using AWS CodeCommit, AWS CodePipeline, AWS CodeBuild and tfsec
Secure and analyse your Terraform code using AWS CodeCommit, AWS CodePipeline, AWS CodeBuild and tfsec

Introduction More and more customers are using Infrastructure-as-Code (IaC) to design and implement their infrastructure on AWS. This is why it is essential to have pipelines with Continuous Integration/Continuous Deployment (CI/CD) for infrastructure deployment. HashiCorp Terraform is one of the popular IaC tools for customers on AWS. In this blog, I will guide you through […]

3 дня, 4 часа назад @ aws.amazon.com
Get started with the Amazon Kendra Amazon WorkDocs connector
Get started with the Amazon Kendra Amazon WorkDocs connector

Amazon Kendra is an intelligent search service powered by machine learning (ML). Amazon Kendra reimagines enterprise search for your websites and applications so your employees and customers can easily find the content they’re looking for, even when it’s scattered across multiple locations and content repositories within your organization. With Amazon Kendra, you can search through […]

3 дня, 10 часов назад @ aws.amazon.com
Analyze database performance with Amazon CloudWatch metric streams
Analyze database performance with Amazon CloudWatch metric streams

With the announcement of Amazon CloudWatch Metric Streams, you can now stream near-real-time metrics data to a destination such as Amazon Simple Storage Service (Amazon S3). Metric Streams supports two primary use cases: Third-party providers – You can stream metrics to partners to power dashboards, alarms, and other tools that rely on accurate and timely […]

3 дня, 11 часов назад @ aws.amazon.com
Embed Amazon AppFlow in your applications using APIs
Embed Amazon AppFlow in your applications using APIs

Software as a service (SaaS) based applications are in demand today, and organizations have a growing need to adopt them in order to make data-driven decisions. As such SaaS adoption grows, extracting data from various SaaS applications and running analytics across them gets complicated. You have to rely on a set of third-party tools to […]

3 дня, 12 часов назад @ aws.amazon.com
Architect a disaster recovery for SQL Server on AWS: Part 4
Architect a disaster recovery for SQL Server on AWS: Part 4

In this series of posts (Part 1, Part 2, Part 3 and Part 4) , we compare and contrast the disaster recovery (DR) solutions available for SQL Server on Amazon Elastic Compute Cloud (Amazon EC2) and help you understand the nature of these trade-offs, and the cost and complexity of implementing DR for SQL Server […]

3 дня, 12 часов назад @ aws.amazon.com
Architect a disaster recovery for SQL Server on AWS: Part 3
Architect a disaster recovery for SQL Server on AWS: Part 3

In this series of posts (Part 1, Part 2, Part 3 and Part 4), we compare and contrast the disaster recovery (DR) solutions available for Microsoft SQL Server on Amazon Elastic Compute Cloud (Amazon EC2) and help you understand the nature of these trade-offs, and the cost and complexity of implementing DR for SQL Server […]

3 дня, 12 часов назад @ aws.amazon.com
Architect a disaster recovery for SQL Server on AWS: Part 2
Architect a disaster recovery for SQL Server on AWS: Part 2

In this series of posts (Part 1, Part 2, Part 3 and Part 4), we compare and contrast the disaster recovery (DR) solutions available for Microsoft SQL Server on Amazon Elastic Compute Cloud (Amazon EC2). This post introduces three methods for implementing DR for SQL Server on AWS: SQL Server backup and restore, SQL Server […]

3 дня, 12 часов назад @ aws.amazon.com
Architect a disaster recovery for SQL Server on AWS: Part 1
Architect a disaster recovery for SQL Server on AWS: Part 1

In today’s world, it’s just a matter of time before disaster happens, and when it happens it’s essential to recover your SQL Server databases and bring the systems online with minimal data loss and downtime. To respond to and recover from an outage of SQL Server database access, high availability (HA) and disaster recovery (DR) […]

3 дня, 12 часов назад @ aws.amazon.com
Visualize data using Apache Spark running on Amazon EMR with Amazon QuickSight
Visualize data using Apache Spark running on Amazon EMR with Amazon QuickSight

Organizations often need to process large volumes of data before serving to business stakeholders. In this blog, we will learn how to leverage Amazon EMR to process data using Apache Spark, the go-to platform for in-memory analytics of large data volume, and connect business intelligence (BI) tool Amazon QuickSight to serve data to end-users. QuickSight […]

3 дня, 13 часов назад @ aws.amazon.com
AWS
последний пост 2 дня, 16 часов назад
Announcing openCypher for Amazon Neptune: Building better graph applications with openCypher and Gremlin together
Announcing openCypher for Amazon Neptune: Building better graph applications with openCypher and Gremlin together

Today, we announced that openCypher for Amazon Neptune is available in lab mode. Developers can now use openCypher and Apache TinkerPop Gremlin to build or migrate property graph applications. Neptune’s purpose-built graph engine now supports three open graph query languages: Apache TinkerPop Gremlin, openCypher, and the World Wide Web Consortium’s (W3C) SPARQL 1.1, giving developers […]

3 дня, 15 часов назад @ aws.amazon.com
Implement high availability for Oracle Enterprise Manager in the AWS Cloud
Implement high availability for Oracle Enterprise Manager in the AWS Cloud

As you migrate Oracle workloads to AWS, you may want to implement Oracle Enterprise Manager (OEM) Cloud Control in AWS. OEM is Oracle’s management platform, which provides a single pane of glass for managing Oracle environments. In this post, we provide two solutions to implement OEM high availability in AWS. The first solution is Oracle’s […]

4 дня, 12 часов назад @ aws.amazon.com
Orchestrate XGBoost ML Pipelines with Amazon Managed Workflows for Apache Airflow
Orchestrate XGBoost ML Pipelines with Amazon Managed Workflows for Apache Airflow

The ability to scale machine learning operations (MLOps) at an enterprise is quickly becoming a competitive advantage in the modern economy. When firms started dabbling in ML, only the highest priority use cases were the focus. Businesses are now demanding more from ML practitioners: more intelligent features, delivered faster, and continually maintained over time. An […]

4 дня, 14 часов назад @ aws.amazon.com
Build a centralized granular access control to manage assets and data access in Amazon QuickSight
Build a centralized granular access control to manage assets and data access in Amazon QuickSight

A large business intelligence (BI) project with many users and teams and sensitive information demands a multi-faceted security architecture. Such architecture should provide BI administrators and architects with the capability to minimize the amount of information accessible to users. For a straightforward solution to manage Amazon QuickSight user and asset access permissions, you can use […]

4 дня, 15 часов назад @ aws.amazon.com
Blue/Green deployment with AWS Developer tools on Amazon EC2 using Amazon EFS to host application source code
Blue/Green deployment with AWS Developer tools on Amazon EC2 using Amazon EFS to host application source code

Many organizations building modern applications require a shared and persistent storage layer for hosting and deploying data-intensive enterprise applications, such as content management systems, media and entertainment, distributed applications like machine learning training, etc. These applications demand a centralized file share that scales to petabytes without disrupting running applications and remains concurrently accessible from potentially […]

5 дней, 9 часов назад @ aws.amazon.com
Set up scheduled backups for Amazon DynamoDB using AWS Backup
Set up scheduled backups for Amazon DynamoDB using AWS Backup

With customers scaling up their AWS workloads across hundreds, if not thousands of AWS resources, customers have expressed the need to centrally manage and monitor their backups. They want to have a standardized way to manage their backups at scale. AWS Backup enables you to centralize and automate data protection across AWS services. AWS Backup […]

5 дней, 11 часов назад @ aws.amazon.com
Load and unload data without permanently increasing storage space using Amazon RDS for Oracle read replicas
Load and unload data without permanently increasing storage space using Amazon RDS for Oracle read replicas

Generally, DBAs use Oracle Data Pump to move data around for activities like migrating existing data from Oracle on-premises to Amazon RDS for Oracle or refreshing Oracle on-premises by exporting data from Amazon RDS for Oracle. As of this writing, after you create an RDS DB instance, you can’t decrease the total storage space by […]

5 дней, 12 часов назад @ aws.amazon.com
Calculated fields, level-aware aggregations, and evaluation order in Amazon QuickSight
Calculated fields, level-aware aggregations, and evaluation order in Amazon QuickSight

Amazon QuickSight is a fast, cloud-native, serverless, business intelligence service that makes it easy to deliver insights to everyone. QuickSight has carefully designed concepts and features that enable analysis builders, such as QuickSight authors, to design content-rich, interactive, and dynamic dashboards to share with dashboard viewers. As authors build an analysis, QuickSight transforms, filters, and […]

5 дней, 13 часов назад @ aws.amazon.com
Use Key Management Service (AWS KMS) to securely manage Ethereum accounts: Part 2
Use Key Management Service (AWS KMS) to securely manage Ethereum accounts: Part 2

Ethereum is a popular public blockchain that makes it possible to create unstoppable applications in a permissionless fashion. It’s available to every user that has an Ethereum account. These Ethereum accounts consist of a private and an associated public key. The main challenge as a user participating in a public blockchain such as Ethereum is […]

5 дней, 14 часов назад @ aws.amazon.com
Use Key Management Service (AWS KMS) to securely manage Ethereum accounts: Part 1
Use Key Management Service (AWS KMS) to securely manage Ethereum accounts: Part 1

Ethereum is a popular public blockchain that makes it possible to create unstoppable applications in a permissionless fashion. It’s available to every user that has an Ethereum account. These Ethereum accounts consist of a private and an associated public key. The main challenge as a user participating in a public blockchain such as Ethereum is […]

5 дней, 14 часов назад @ aws.amazon.com
Announcing specialized support for extracting data from invoices and receipts using Amazon Textract
Announcing specialized support for extracting data from invoices and receipts using Amazon Textract

Receipts and invoices are documents that are critical to small and medium businesses (SMBs), startups, and enterprises for managing their accounts payable processes. These types of documents are difficult to process at scale because they follow no set design rules, yet any individual customer encounters thousands of distinct types of these documents. In this post, […]

5 дней, 16 часов назад @ aws.amazon.com
Detect small shapes and objects within your images using Amazon Rekognition Custom Labels
Detect small shapes and objects within your images using Amazon Rekognition Custom Labels

There are multiple scenarios in which you may want to use computer vision to detect small objects or symbols within a given image. Whether it’s detecting company logos on grocery store shelves to manage inventory, detecting informative symbols on documents, or evaluating survey or quiz documents that contain checkmarks or shaded circles, the size ratio […]

5 дней, 16 часов назад @ aws.amazon.com
Choosing a Well-Architected CI/CD approach: Open Source on AWS
Choosing a Well-Architected CI/CD approach: Open Source on AWS

Introduction When building a CI/CD platform, it is important to make an informed decision regarding every underlying tool. This post explores evaluating the criteria for selecting each tool focusing on a balance between meeting functional and non-functional requirements, and maximizing value. Your first decision: source code management. Source code is potentially your most valuable asset, […]

6 дней, 8 часов назад @ aws.amazon.com
Use the Snyk CLI to scan Python packages using AWS CodeCommit, AWS CodePipeline, and AWS CodeBuild
Use the Snyk CLI to scan Python packages using AWS CodeCommit, AWS CodePipeline, and AWS CodeBuild

Learn how to scan Python packages for security vulnerabilities using AWS Developer tools and Snyk

6 дней, 8 часов назад @ aws.amazon.com
Bring your own container to project model accuracy drift with Amazon SageMaker Model Monitor
Bring your own container to project model accuracy drift with Amazon SageMaker Model Monitor

The world we live in is constantly changing, and so is the data that is collected to build models. One of the problems that is often seen in production environments is that the deployed model doesn’t behave the same way as it did during the training phase. This concept is generally called data drift or […]

6 дней, 11 часов назад @ aws.amazon.com
Astronomer Astronomer
последний пост 3 дня, 19 часов назад
What is data orchestration and why is it essential for business
What is data orchestration and why is it essential for business

Discover what data orchestration is, learn the most significant pain points it addresses, and find out how to help your business grow.

3 дня, 19 часов назад @ astronomer.io
Airflow Summit 2021 Highlights
Airflow Summit 2021 Highlights

Learn about the biggest community-driven event around Apache Airflow 2021!

5 дней, 20 часов назад @ astronomer.io
How Data Pipelines Drive Improved Sales in E-commerce
How Data Pipelines Drive Improved Sales in E-commerce

Our Field CTO, Viraj Parekh, shares insights on how sales and marketing operations in e-commerce can benefit from running functional data pipelines.

1 неделя, 4 дня назад @ astronomer.io
How Herman Miller Eliminated Data Silos With a Centralized Data Strategy
How Herman Miller Eliminated Data Silos With a Centralized Data Strategy

See how Herman Miller solved the issue of disparate data sources and inefficient data alerting and monitoring with Astronomer.

3 недели, 3 дня назад @ astronomer.io
How Mage Scaled Up Airflow Task Processing with Astronomer
How Mage Scaled Up Airflow Task Processing with Astronomer

A closer look into our cooperation with Mage—an AI tool for product developers. See how they leveraged Apache Airflow with Astronomer.

3 недели, 5 дней назад @ astronomer.io
Global Retailer Standardizing On Airflow for Data-Driven Decisions
Global Retailer Standardizing On Airflow for Data-Driven Decisions

Learn how a global retailer managed to standardize the processes of scheduling data pipelines within the organization with Apache Airflow.

1 месяц, 1 неделя назад @ astronomer.io
How Zapier Leverages Airflow with Astronomer
How Zapier Leverages Airflow with Astronomer

Discover the story of our cooperation with Zapier that provides seemingly endless options for point-and-click workflow automation.

1 месяц, 3 недели назад @ astronomer.io
Cross-DAG Dependencies
Cross-DAG Dependencies

How to implement dependencies between your Airflow DAGs.

1 месяц, 3 недели назад @ astronomer.io
Testing Airflow DAGs
Testing Airflow DAGs

How to apply test-driven development practices to your Airflow DAGs.

2 месяца, 1 неделя назад @ astronomer.io
Airflow and Ray: A Data Science Story
Airflow and Ray: A Data Science Story

We're pleased to announce a Ray provider for Apache Airflow that allows users to transform their Airflow DAGs into scalable machine learning pipelines.

2 месяца, 3 недели назад @ astronomer.io
Everything You Need to Know about the Airflow Summit 2021
Everything You Need to Know about the Airflow Summit 2021

Join Airflow Summit 2021 — a free online conference for the worldwide community of developers and users of Apache Airflow.

2 месяца, 3 недели назад @ astronomer.io
Validate your Apache Airflow Skills with the Astronomer Certification
Validate your Apache Airflow Skills with the Astronomer Certification

Boost your career and learn to run a data pipeline by getting Apache Airflow certified with the Astronomer Certification for Apache Airflow Fundamentals.

2 месяца, 4 недели назад @ astronomer.io
Using Task Groups in Airflow
Using Task Groups in Airflow

Using Task Groups to build modular workflows in Airflow.

2 месяца, 4 недели назад @ astronomer.io
The New KubernetesExecutor
The New KubernetesExecutor

We give you a tour of the new features in the KubernetesExecutor 2.0. Spoiler alert — it's faster, more flexible, and easier to understand.

3 месяца, 1 неделя назад @ astronomer.io
How Cloud Agronomics Processed 5x More Data with Astronomer
How Cloud Agronomics Processed 5x More Data with Astronomer

Astronomer Platform integration with Microsoft Azure for an AgTech startup confronting climate change one pipeline at a time.

3 месяца, 2 недели назад @ astronomer.io
DBT — Data Build Tool DBT — Data Build Tool
последний пост 2 дня, 15 часов назад
We the purple people
We the purple people We the purple people

The data world needs more purple people — generalists who can navigate both the business context and the modern data stack. Let's put aside skillset dichotomies, and learn to feel comfortable in the space between.

2 дня, 15 часов назад @ blog.getdbt.com
dbt and Hightouch are putting your transformed data to work
dbt and Hightouch are putting your transformed data to work dbt and Hightouch are putting your transformed data to work

Give your business teams access to transformed data in the tools they use every day. Hightouch now integrates with dbt to help you bring “Reverse ETL” to your stack.

5 дней, 8 часов назад @ blog.getdbt.com
Announcing: The Foundry Program
Announcing: The Foundry Program Announcing: The Foundry Program

Over the past few months, the dbt Labs’ recruiting team has partnered with leaders from our Engineering and Analytics Engineering organizations to design the Foundry Program. This program will provide a gateway for those that are new to the field or looking to make a career change.

2 недели, 2 дня назад @ blog.getdbt.com
Of the Community, By the Community, For the Community
Of the Community, By the Community, For the Community Of the Community, By the Community, For the Community

Or: why we raised a series C.

1 месяц назад @ blog.getdbt.com
dbt + Materialize: Streaming to a dbt project near you
dbt + Materialize: Streaming to a dbt project near you dbt + Materialize: Streaming to a dbt project near you

Our friends at Materialize, the world’s first SQL-platform for processing streaming data, have officially launched a new dbt adapter, now available in open beta. Together, we’re opening the door for analysts to become first-class creators and users of streaming analytics.

2 месяца назад @ blog.getdbt.com
dbt + Materialize: Streaming to a dbt project near you
dbt + Materialize: Streaming to a dbt project near you dbt + Materialize: Streaming to a dbt project near you

Our friends at Materialize, the world’s first SQL-platform for processing streaming data, have officially launched a new dbt adapter, now available in open beta. Together, we’re opening the door for analysts to become first-class creators and users of streaming analytics.

2 месяца назад @ blog.getdbt.com
Analytics Engineering for Everyone: Databricks in dbt Cloud
Analytics Engineering for Everyone: Databricks in dbt Cloud Analytics Engineering for Everyone: Databricks in dbt Cloud

This SQL-first integration with Databricks means that analysts can build fully automated data pipelines in the same space that data engineers & data scientists work in their preferred frameworks.

2 месяца, 4 недели назад @ blog.getdbt.com
Analytics Engineering for Everyone: Databricks in dbt Cloud
Analytics Engineering for Everyone: Databricks in dbt Cloud Analytics Engineering for Everyone: Databricks in dbt Cloud

This SQL-first integration with Databricks means that analysts can build fully automated data pipelines in the same space that data engineers & data scientists work in their preferred frameworks.

2 месяца, 4 недели назад @ blog.getdbt.com
Announcing Staging: dbt Demo Days
Announcing Staging: dbt Demo Days Announcing Staging: dbt Demo Days

Staging is a ✨new✨ quarterly event that brings dbt users (that’s you!) into the product development lifecycle (where I spend my days 😅).

6 месяцев, 2 недели назад @ blog.getdbt.com
Announcing Staging: dbt Demo Days
Announcing Staging: dbt Demo Days Announcing Staging: dbt Demo Days

Staging is a ✨new✨ quarterly event that brings dbt users (that’s you!) into the product development lifecycle (where I spend my days 😅).

6 месяцев, 2 недели назад @ blog.getdbt.com
The Modern Data Stack: Past, Present, and Future
The Modern Data Stack: Past, Present, and Future The Modern Data Stack: Past, Present, and Future

My thoughts on where our space has been and where it might be going.

8 месяцев назад @ blog.getdbt.com
The Modern Data Stack: Past, Present, and Future
The Modern Data Stack: Past, Present, and Future The Modern Data Stack: Past, Present, and Future

My thoughts on where our space has been and where it might be going.

8 месяцев назад @ blog.getdbt.com
dbt + Databricks: Bringing analytics engineering to the lakehouse
dbt + Databricks: Bringing analytics engineering to the lakehouse dbt + Databricks: Bringing analytics engineering to the lakehouse

Spark for analytics, for real: now in dbt Cloud

8 месяцев, 3 недели назад @ blog.getdbt.com
dbt + Databricks: Bringing analytics engineering to the lakehouse
dbt + Databricks: Bringing analytics engineering to the lakehouse dbt + Databricks: Bringing analytics engineering to the lakehouse

Spark for analytics, for real: now in dbt Cloud

8 месяцев, 3 недели назад @ blog.getdbt.com
A License to build the future
A License to build the future A License to build the future

Fishtown Analytics has raised $29.5m in a Series B financing. New investor Sequoia Capital led the round with existing investors Andreessen Horowitz and Amplify Partners participating. Matt Miller of Sequoia joined our board.

8 месяцев, 3 недели назад @ blog.getdbt.com
FiveTran FiveTran
последний пост 4 дня, 20 часов назад
Fivetran Partners with Hightouch to Help Activate Your Data
Fivetran Partners with Hightouch to Help Activate Your Data

Hightouch and Fivetran turn your data warehouse into your CDP

4 дня, 20 часов назад @ fivetran.com
Blend reaches terminal velocity with Fivetran and Hightouch
Blend reaches terminal velocity with Fivetran and Hightouch

The fintech startup uses ELT and reverse ETL to deliver massive business value

6 дней, 1 час назад @ fivetran.com
Submit Your Nomination for the Modern Data Stack Awards
Submit Your Nomination for the Modern Data Stack Awards

Winners in seven categories — including Data Hero and Transformation for Good — will be announced at the Modern Data Stack Conference.

1 неделя назад @ fivetran.com
Analysis: Fivetran is the Fastest-Growing Cloud ELT Provider
Analysis: Fivetran is the Fastest-Growing Cloud ELT Provider

Gartner recognizes Fivetran as the “vendor of choice” for enterprises looking to modernize their data infrastructure.

1 неделя, 2 дня назад @ fivetran.com
Billie saves up to 20% warehousing cost with Apache Airflow and Fivetran
Billie saves up to 20% warehousing cost with Apache Airflow and Fivetran

The smart payment provider orchestrates ELT in Airflow to generate massive cost savings

1 неделя, 4 дня назад @ fivetran.com
ELTではなくデジタルイノベーションに着目するアシックス
ELTではなくデジタルイノベーションに着目するアシックス

ASICS DigitalがSAPからSalesforce Marketing Cloudへ移行した際、より信頼性が高く、リソースの消費が少ないデータパイプラインソリューションが必要となりました。FivetranとSnowflakeの導入で、内製に6カ月を要するシステムを6日で構築することができました。最新のアーキテクチャにより、マーケティングテクノロジー(MarTech)の機能強化、NetSuiteデータの一元化、機械学習の実装が可能となり、エンジニアチームを増員することなく顧客の全体像を把握することができました。

1 неделя, 5 дней назад @ fivetran.com
Data Warehouse vs. Database
Data Warehouse vs. Database

Data warehouses are a particular kind of database. Learn how they are uniquely suited to analytics.

1 неделя, 5 дней назад @ fivetran.com
Use HubSpot Data to Build a Holistic View of Your Customers
Use HubSpot Data to Build a Holistic View of Your Customers

HubSpot data becomes vastly more valuable when you can use it to build a comprehensive view of customer behavior.

1 неделя, 6 дней назад @ fivetran.com
Join Us at the Modern Data Stack Conference 2021
Join Us at the Modern Data Stack Conference 2021

Hear from over 50 data industry leaders, practitioners and visionaries as they share how they’re transforming their businesses and profession.

1 неделя, 6 дней назад @ fivetran.com
The Importance of ETL Security
The Importance of ETL Security

ETL security is essential for safeguarding your customer's data and complying with regulations. Learn about the Fivetran approach.

1 неделя, 6 дней назад @ fivetran.com
In-Warehouse Machine Learning and the Modern Data Stack
In-Warehouse Machine Learning and the Modern Data Stack

We evaluate various in-data warehouse machine learning services, and discuss each of their benefits and requirements.

2 недели, 3 дня назад @ fivetran.com
Fivetran unlocks the power of Stripe data for HOMER
Fivetran unlocks the power of Stripe data for HOMER

Fivetran connectors help this early learning company demonstrate ROI and attribution.

2 недели, 4 дня назад @ fivetran.com
Why Does My Business Need to Transform Data?
Why Does My Business Need to Transform Data?

Fivetran pipelines reliably load your data to your chosen destination, but then what? Without joining, filtering, and aggregating your data, your business can’t produce data models to answer critical business decisions. This is why data transformations are essential to every business looking to maximize value from the data they collect from disparate sources. In this blog, we will walk you through some use cases, data characteristics, and cultural indicators that suggest your business would benefit from a modern approach to data transformation. Common Data Transformations Use Cases

You will need data transformations if your business is pursuing the following types of analytics use cases. Re…

2 недели, 4 дня назад @ fivetran.com
Automatically Sync Formula Field Values in Salesforce
Automatically Sync Formula Field Values in Salesforce

You no longer need to coordinate with your administrator and manually translate formulas from Salesforce SQL to Standard SQL.

2 недели, 5 дней назад @ fivetran.com
Using Analytics to Disrupt the Home Insurance Industry
Using Analytics to Disrupt the Home Insurance Industry

A French startup is leveraging its modern data stack to overturn a longstanding business model.

2 недели, 5 дней назад @ fivetran.com
Mix
/r/DataEngineering
последний пост 1 час назад
please poke holes in my simple DW pipeline idea
please poke holes in my simple DW pipeline idea

​ I'm a DA working for a small non-gov organisation currently migrating to Salesforce. Our current system is many custom applications connected to an on-prem postgres DB. The plan is to incrementally migrate across, rebuilding all the business processes, and then kill the postgres server when its done. As salesforce's reporting/dashboarding building seem pretty lacking (drag and drop, SOQL, etc) I've proposed we create a cloud postgres DW in aws/azure/gcp (whatever's easiest and cheapest) where we can do a periodic refresh of all the salesforce object data into tables and much more easily create whatever transformations (views, materialised views, functions, etc) and adhoc exploratory work …

1 час назад @ reddit.com
How to become an expert in Spark?
How to become an expert in Spark?

Hey data folks, There's something about data engineering that really bugs me: Spark. It's a great tool and there's no way around it (in my area). But it seems like everyone knows something about Spark but no-one really understands it well enough to solve critical problems without the trial-and-error approach. I had read one book about Spark but it didn't help for the real Spark problems you encounter. Here's my question: did anyone of you become a Spark pro? If yes, how did you become it? Are there any other things I can do to improve my level of Spark knowledge? submitted by /u/Unlikely-Sir-5492 [link] [comments]

2 часа назад @ reddit.com
Any interest in DE interview questions & experience material ?
Any interest in DE interview questions & experience material ?

In the past month I have given around 10 DE interviews. That gives me a fair idea of what one can expect in a DE interview. I have saved most of the questions, which I can share in a blog, if of course there is a demand for the same. Let me know if it would help this subreddit's members. submitted by /u/GreekYogurtt [link] [comments]

3 часа назад @ reddit.com
Large Scale Data Mock Generation
Large Scale Data Mock Generation

Hello I am looking for a means to generate large volumes of data that fall within the specification of a schema. My goal is to use the generated data to PoC a couple of data ingestion methods. To achieve this I need to be able to generate flat files that follow a schema that have sizes of 100 GB to 500 GB. In addition, to generate data, I need to also generate update/delete data or data that would trigger an update or deletion of a previously ingested record. This means that I need to be able to consider some identifying factor in a previous 100 to 500 GB sample data file to trigger the update or delete. I am currently using Mockaroo, which is pretty decent to create a flat file of "new" da…

7 часов назад @ reddit.com
Recent graduate trying to enter DE
Recent graduate trying to enter DE

I've recently just graduated from computer engineering, and I'm trying to enter the field of data mostly data engineering. I'm just wondering how difficult is it to secure a graduate position/ entry level DE position because I've barely seen here in the UK. submitted by /u/throwawayting21 [link] [comments]

13 часов назад @ reddit.com
Data Engineering Portfolio Project Part (1.5/5) - Data Modeling And Planning
Data Engineering Portfolio Project Part (1.5/5) - Data Modeling And Planning Data Engineering Portfolio Project Part (1.5/5) - Data Modeling And Planning

submitted by /u/nonkeymn [link] [comments]

13 часов назад @ reddit.com
Applied for Data Engineer job, was offered a Data Analyst job. Good deal or no?
Applied for Data Engineer job, was offered a Data Analyst job. Good deal or no?

I have made it through a few rounds of interviews for a Data Engineer job in a certain city. However, I got an email from the recruiter mentioning they are also looking to fill a Data Analyst role that I seem to be a good fit for. I am talking more with the recruiter tomorrow, but they've said the Data Analyst role is a third Data Engineering, a third Data Science, a third Data Analytics. However, I suppose I'm a bit worried it might not be the technical experiences I'm looking for and the fact Data Analytics seems to be paid significantly less than Data Engineering. Any opinions? submitted by /u/pm_me_dogs_pleease [link] [comments]

17 часов назад @ reddit.com
What are the most demanded skills/technologies you know to get a Big Data Engineer job?
What are the most demanded skills/technologies you know to get a Big Data Engineer job?

I want to switch my job from SAS statistical programming to Big Data Engineering job and I am not sure what should I learn to become a Big Data Enginner. So what is your advice to me? Is it possible in my case to even switch jobs? If so what are the most demanded/important skills/languages/technologies/frameworks for Big Data? submitted by /u/Born-Comment3359 [link] [comments]

18 часов назад @ reddit.com
Blog post explaining Hadoop MapReduce
Blog post explaining Hadoop MapReduce Blog post explaining Hadoop MapReduce

submitted by /u/manikantanekkalapudi [link] [comments]

19 часов назад @ reddit.com
How to unit test SSIS packages?
How to unit test SSIS packages?

Hey, I've recently started using SSIS. The project I'm working on already have a very comprehensive test setup. However, it doesn't look like best practice. They run data through every component in the solution, just to test one component. Often the test fails, because the test data never reaches the component it is supposed to test. What are your thoughts on unit testing SSIS components? submitted by /u/MissCuriousss [link] [comments]

1 день, 1 час назад @ reddit.com
Graduate Data Engineer need advice for building skills!!!
Graduate Data Engineer need advice for building skills!!!

Hi everyone! I’m a new grad working as a DE at a company, but I find myself seriously lacking in Python/SQL skills. Learning on the job is great, and I’ve been picking things up of course, but can anybody recommend anything to get me seriously up to pro level in Python/SQL and in general any other tips for me to become a great Data Engineer? I really would love to attend a hands on bootcamp in person, however, doesn’t seem to be an option right now, hands on suggestions would be very much appreciated. Thanks!! submitted by /u/No-Technician3926 [link] [comments]

1 день, 4 часа назад @ reddit.com
Build your Data Engineering skills with Open Source Data
Build your Data Engineering skills with Open Source Data Build your Data Engineering skills with Open Source Data

submitted by /u/dataengineerdude [link] [comments]

1 день, 5 часов назад @ reddit.com
How to Install Docker and Run Container on VM in Azure
How to Install Docker and Run Container on VM in Azure How to Install Docker and Run Container on VM in Azure

submitted by /u/Successful-Aide3077 [link] [comments]

1 день, 9 часов назад @ reddit.com
Do I need a college degree to break into data engineering?
Do I need a college degree to break into data engineering?

I am taking kind of a small gap year to get my priorities in order. And am wondering do i need a college degree in order to be taken seriously. I learn best outside of the class room, and don't want to take four years of BS fluff classes. I want to learn core skills that actually matter plus not going into debt would be nice. But from what i have seen so far most people in this career have a degree of some sorts. And boot camps usually are for people trying to transfer into it from another role of some sorts that is related to it. My question is what are my options are their any alternatives to this if so what are they?. submitted by /u/Fireman_XXR [link] [comments]

1 день, 10 часов назад @ reddit.com
New to AWS S3. ELI5: how do I only use newly extracted data for my ETL job?
New to AWS S3. ELI5: how do I only use newly extracted data for my ETL job?

Data analyst trying to transition to DE! I just finished an ETL project but want to improve on it by storing the raw extracted data (in JSON) in an S3 bucket prior to the transformation and loading stages. Currently I’m just parsing the JSON (via API) call) for what I need and saying goodbye to the raw data after. I’m using Airflow to run the job daily with Python/SQL running the tasks. How would I be able to properly add the daily extracts to an S3 bucket, while having my transformation scripts only transform on the newest data for that day? I.e. if I have data in S3 dating back to June 2021 and add today’s extract to it, how can I ensure only today’s data is included in the transformation…

1 день, 10 часов назад @ reddit.com
Towards Data Science Towards Data Science
последний пост 4 часа назад
Should you choose H2O Driverless AI as your modeling solution?
Should you choose H2O Driverless AI as your modeling solution? Should you choose H2O Driverless AI as your modeling solution?

A comprehensive overview of H2O DAI key features, and my reviews and recommendations about this AutoML toolContinue reading on Towards Data Science »

4 часа назад @ towardsdatascience.com
How to overlay shapefile data on PyGMT Maps
How to overlay shapefile data on PyGMT Maps How to overlay shapefile data on PyGMT Maps

How to overlay Polygon Shapes onto high-resolution mapsWe learn how to plot selected shapefile data using geopandas on top of PyGMT maps.PyGMT library in Python made plotting high-resolution topographic maps a breeze. It comes packaged with shorelines, country borders and topographic data. Often, we need to highlight arbitrarily selected polygon shapes or regions on a map using available shapefile (SHP) data.PyGMT: High-Resolution Topographic Map in Python (codes included)Photo by Andrew Stutesman on UnsplashIn this post, we will see how we can overlay shapefile data on top of the PyGMT map using geopandas library. Here, for example, I obtained the counties data available in .shp format fro…

4 часа назад @ towardsdatascience.com
How effective is the signal denoising using the MATLAB-based wavelet analysis?
How effective is the signal denoising using the MATLAB-based wavelet analysis? How effective is the signal denoising using the MATLAB-based wavelet analysis?

We inspect the feasibility of using wavelet analysis to filter noise in the time series data.Photo by Stephen Kraakmo on UnsplashWavelets analysis can be thought of as a general form of Fourier Analysis. Fourier Transform is often used in denoising the signals. Still, the biggest downside of this approach is that the signal needs to be stationary. Most of our real-world measurements are not stationary. Also, in Fourier-based denoising, we apply a lowpass filter to remove the noise. However, when the data has high-frequency features such as spikes in a signal or edges in an image, the lowpass filter smooths these out.Here, the wavelet-based approach might have some advantages. Wavelets look …

4 часа назад @ towardsdatascience.com
4 Novel Ways to Build AI Talent In-house
4 Novel Ways to Build AI Talent In-house 4 Novel Ways to Build AI Talent In-house

What are some practical, not-so-common ways to build AI skills when external talent is scarce or expensive?Continue reading on Towards Data Science »

5 часов назад @ towardsdatascience.com
6 To-Do Tips When Waiting for Models to Train
6 To-Do Tips When Waiting for Models to Train 6 To-Do Tips When Waiting for Models to Train

Model training is time-consuming. Its length could be from hours to days or even weeks. What do data scientists do when waiting for models to train? To answer this question, I interviewed over 20 data scientists combining my own experiences to share this story with you.How about you? If model training is also a part of your work, what are your favorite activities when waiting? you are welcome to leave a comment and share your story with the community.To-Do Tip 1 — Write Auto Tuning ScriptsThere are millions of hyperparameter combinations from a single machine learning (ML) model. It is suggested to use methods such as Bayesian optimization, evolutionary search in tuning scripts to improve h…

8 часов назад @ towardsdatascience.com
Explore Better Materials Using Deep Graph Convolutional Networks and Bayesian Optimization
Explore Better Materials Using Deep Graph Convolutional Networks and Bayesian Optimization Explore Better Materials Using Deep Graph Convolutional Networks and Bayesian Optimization

Distill the knowledge from theoretical calculation to design materials to minimise the number of backbreaking experiments.Photo by Louis-Etienne Foy on UnsplashDo you wanna better materials? Yes, we do. We wanna better batteries with larger capacity and a more extended lifetime. Or, we wanna better solar panels with a higher energy generation rate. Or, we wanna better semiconductors with less Joule heat loss. All of these performance limitations are derived from the materials that consist of them. So, yes, we indeed wanna better materials for any products.MotivationBut how can we find them from pretty much infinite existing materials? One way is to exploit a simulation database such as Mate…

8 часов назад @ towardsdatascience.com
An Unconventional Yet Convenient Matplotlib Broken_Barh Function And When It Is Particularly…
An Unconventional Yet Convenient Matplotlib Broken_Barh Function And When It Is Particularly… An Unconventional Yet Convenient Matplotlib Broken_Barh Function And When It Is Particularly…

What it is, how to use and customize, when to useContinue reading on Towards Data Science »

10 часов назад @ towardsdatascience.com
How to analyze the performance of your classifier?
How to analyze the performance of your classifier? How to analyze the performance of your classifier?

In this article, we look at accuracy, precision, recall, f1-score and confusion matrix for analyzing classification performance.Continue reading on Towards Data Science »

10 часов назад @ towardsdatascience.com
Using Artificial Intelligence to predict the spread of wildfires, with Python
Using Artificial Intelligence to predict the spread of wildfires, with Python Using Artificial Intelligence to predict the spread of wildfires, with Python

Here’s a step by step tutorial about how to use Data Analysis and Machine Learning to predict the spread of wildfiresContinue reading on Towards Data Science »

10 часов назад @ towardsdatascience.com
Visualizing Local Electric Grid Pollution with a $7 Smart Lightbulb.
Visualizing Local Electric Grid Pollution with a $7 Smart Lightbulb. Visualizing Local Electric Grid Pollution with a $7 Smart Lightbulb.

A physical data visualization for climate nerds.Continue reading on Towards Data Science »

11 часов назад @ towardsdatascience.com
Using custom images as maps in Tableau
Using custom images as maps in Tableau Using custom images as maps in Tableau

Did you know you can map out anything in Tableau?Yes, you read that right. You can use any image as a background and add data points all over it. In this article, I will walk you through the steps to create your very own customized map.Photo by GeoJango Maps on UnsplashRecently, I tried mapping the timeline for the Olympic Games. I will use the same viz for the purpose of this tutorial.How does it work?We know that we need two coordinates for mapping — the longitude and the latitude of a location. If you recall the scatter plot, we basically use X and Y coordinates to plot data points. So, a map can be thought of as a scatter plot but with a background image in Tableau. All you need are the…

13 часов назад @ towardsdatascience.com
Why Is Everyone at Kaggle Obsessed with Optuna For Hyperparameter Tuning?
Why Is Everyone at Kaggle Obsessed with Optuna For Hyperparameter Tuning? Why Is Everyone at Kaggle Obsessed with Optuna For Hyperparameter Tuning?

Continue reading on Towards Data Science »

13 часов назад @ towardsdatascience.com
What Makes a Good Data Scientist
What Makes a Good Data Scientist What Makes a Good Data Scientist

…or what good data scientists have in common.Continue reading on Towards Data Science »

13 часов назад @ towardsdatascience.com
5 Python Best Practices Every Python Programmer Should Follow
5 Python Best Practices Every Python Programmer Should Follow 5 Python Best Practices Every Python Programmer Should Follow

Tips for writing pythonic codeContinue reading on Towards Data Science »

14 часов назад @ towardsdatascience.com
Natural Language Processing — Dependency Parsing
Natural Language Processing — Dependency Parsing Natural Language Processing — Dependency Parsing

Hands-On TutorialsNatural Language Processing — Dependency ParsingDifferent ways for Dependency Parsing using spaCy, NLTK with Stanford CoreNLP and StanzaPhoto by Siora Photography on UnsplashWhat is Dependency Parsing?Dependency Parsing is the process to analyze the grammatical structure in a sentence and find out related words as well as the type of the relationship between them.Each relationship:Has one head and a dependent that modifies the head.Is labeled according to the nature of the dependency between the head and the dependent. These labels can be found at Universal Dependency Relations.Simple dependency relation between two wordsIn the above diagram, there exists a relationship be…

14 часов назад @ towardsdatascience.com
DataBricks DataBricks
последний пост 3 дня, 15 часов назад
An Experimentation Pipeline for Extracting Topics From Text Data Using PySpark
An Experimentation Pipeline for Extracting Topics From Text Data Using PySpark An Experimentation Pipeline for Extracting Topics From Text Data Using PySpark

This post is part of a series of posts on topic modeling. Topic modeling is the process of extracting topics from a set of text documents. This is useful for understanding or summarizing large collections of text documents. A document can be a line of text, a paragraph or a chapter in a book. The...

The post An Experimentation Pipeline for Extracting Topics From Text Data Using PySpark appeared first on Databricks.

3 дня, 15 часов назад @ databricks.com
Getting Started With Ingestion into Delta Lake
Getting Started With Ingestion into Delta Lake Getting Started With Ingestion into Delta Lake

Ingesting data can be hard and complex since you either need to use an always-running streaming platform like Kafka or you need to be able to keep track of which files haven’t been ingested yet. In this blog, we will discuss Auto Loader and COPY INTO, two methods of ingesting data into a Delta Lake...

The post Getting Started With Ingestion into Delta Lake appeared first on Databricks.

1 неделя, 2 дня назад @ databricks.com
The Delta Between ML Today and Efficient ML Tomorrow
The Delta Between ML Today and Efficient ML Tomorrow The Delta Between ML Today and Efficient ML Tomorrow

Delta Lake and MLflow both come up frequently in conversation but often as two entirely separate products. This blog will focus on the synergies between Delta Lake and MLflow for machine learning use cases and explain how you can leverage Delta Lake to deliver strong ML results based on solid data foundations. If you are...

The post The Delta Between ML Today and Efficient ML Tomorrow appeared first on Databricks.

1 неделя, 3 дня назад @ databricks.com
Monitoring ML Models With Model Assertions
Monitoring ML Models With Model Assertions Monitoring ML Models With Model Assertions

This is a collaborative post from Databricks and the Stanford University Computer Science Department. We thank Daniel Kang, Deepti Raghavan and Peter Bailis of Stanford University for their contributions. Machine learning (ML) models are increasingly used in a wide range of business applications. Organizations deploy hundreds of ML models to predict customer churn, optimal...

The post Monitoring ML Models With Model Assertions appeared first on Databricks.

1 неделя, 3 дня назад @ databricks.com
AML Solutions at Scale Using Databricks Lakehouse Platform
AML Solutions at Scale Using Databricks Lakehouse Platform AML Solutions at Scale Using Databricks Lakehouse Platform

Anti-Money Laundering (AML) compliance has been undoubtedly one of the top agenda items for regulators providing oversight of financial institutions across the globe. As AML evolved and became more sophisticated over the decades, so have the regulatory requirements designed to counter modern money laundering and terrorist financing schemes. The Bank Secrecy Act of 1970 provided...

The post AML Solutions at Scale Using Databricks Lakehouse Platform appeared first on Databricks.

2 недели, 2 дня назад @ databricks.com
Feature Engineering at Scale
Feature Engineering at Scale Feature Engineering at Scale

Feature engineering is one of the most important and time-consuming steps of the machine learning process. Data scientists and analysts often find themselves spending a lot of time experimenting with different combinations of features to improve their models and to generate BI reports that drive business insights. The larger, more complex datasets with which data...

The post Feature Engineering at Scale appeared first on Databricks.

2 недели, 2 дня назад @ databricks.com
Four E-commerce Challenges That Can Be Addressed With Data + AI
Four E-commerce Challenges That Can Be Addressed With  Data + AI Four E-commerce Challenges That Can Be Addressed With Data + AI

The global health crisis accelerated the adoption of omnichannel shopping and fulfillment. Consumers spent $861.12 billion online with US merchants in 2020, up an incredible 44% compared to the previous year, which marks the highest annual growth in U.S. e-commerce in at least two decades. To keep up pace with this shift and more effectively...

The post Four E-commerce Challenges That Can Be Addressed With Data + AI appeared first on Databricks.

3 недели, 3 дня назад @ databricks.com
Applying Natural Language Processing to Healthcare Text at Scale
Applying Natural Language Processing to Healthcare Text at Scale Applying Natural Language Processing to Healthcare Text at Scale

This is a co-authored post written in collaboration with Moritz Steller, senior cloud solution architect, at John Snow Labs. Don’t miss our virtual workshop, Extract Real-World Data with NLP, on July 15 to learn about our new NLP solutions. In 2015, HIMSS estimated that the healthcare industry in the U.S. produced 1.2 billion clinical documents....

The post Applying Natural Language Processing to Healthcare Text at Scale appeared first on Databricks.

1 месяц назад @ databricks.com
Using Bayesian Hierarchical Models to Infer the Disease Parameters of COVID-19
Using Bayesian Hierarchical Models to Infer the Disease Parameters of COVID-19 Using Bayesian Hierarchical Models to Infer the Disease Parameters of COVID-19

In a previous post, we looked at how to use PyMC3 to model the disease dynamics of COVID-19. This post builds on this use case and explores how to use Bayesian hierarchical models to infer COVID-19 disease parameters and the benefits compared to a pooled or an unpooled model. We fit an SIR model to...

The post Using Bayesian Hierarchical Models to Infer the Disease Parameters of COVID-19 appeared first on Databricks.

1 месяц назад @ databricks.com
Solution Accelerator: Toxicity Detection in Gaming
Solution Accelerator: Toxicity Detection in Gaming Solution Accelerator: Toxicity Detection in Gaming

Across massively multiplayer online video games (MMOs), multiplayer online battle arena games (MOBAs) and other forms of online gaming, players continuously interact in real time to either coordinate or compete as they move toward a common goal — winning. This interactivity is integral to game play dynamics, but at the same time, it’s a prime...

The post Solution Accelerator: Toxicity Detection in Gaming appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
How to Build a Scalable Wide and Deep Product Recommender
How to Build a Scalable Wide and Deep Product Recommender How to Build a Scalable Wide and Deep Product Recommender

Download the notebooks referenced throughout this article. I have a favorite coffee shop I’ve been visiting for years. When I walk in, the barista knows me by name and asks if I’d like my usual drink. Most of the time, the answer is “yes”, but every now and then, I see they have some seasonal...

The post How to Build a Scalable Wide and Deep Product Recommender appeared first on Databricks.

1 месяц, 3 недели назад @ databricks.com
Machine Learning-based Item Matching for Retailers and Brands
Machine Learning-based Item Matching for Retailers and Brands Machine Learning-based Item Matching for Retailers and Brands

Item matching is a core function in online marketplaces. To ensure an optimized customer experience, retailers compare new and updated product information against existing listings to ensure consistency and avoid duplication. Online retailers may also compare their listings with those of their competitors to identify differences in price and inventory. Suppliers making products available across...

The post Machine Learning-based Item Matching for Retailers and Brands appeared first on Databricks.

2 месяца, 1 неделя назад @ databricks.com
Improving Customer Experience With Transaction Enrichment
Improving Customer Experience With Transaction Enrichment Improving Customer Experience With Transaction Enrichment

The retail banking landscape has dramatically changed over the past five years with the accessibility of open banking applications, mainstream adoption of Neobanks and the recent introduction of tech giants into the financial services industry. According to a recent Forbes article, millennials now represent 75% of the global workforce, and “71% claim they’d “rather go...

The post Improving Customer Experience With Transaction Enrichment appeared first on Databricks.

2 месяца, 3 недели назад @ databricks.com
Building Forward-Looking Intelligence With External Data
Building Forward-Looking Intelligence With External Data Building Forward-Looking Intelligence With External Data

This post was written in collaboration with the Foursquare data team. We thank co-author Javier Soliz, sales engineer specializing in data engineering and geospatial analysis at Foursquare, for his contribution. “In an interlocked global economy, triggering events can quickly set off a chain reaction,” wrote Boston Consulting Group in early 2020 as the world...

The post Building Forward-Looking Intelligence With External Data appeared first on Databricks.

2 месяца, 3 недели назад @ databricks.com
Data-driven Software: Towards the Future of Programming in Data Science
Data-driven Software: Towards the Future of Programming in Data Science Data-driven Software: Towards the Future of Programming in Data Science

This is a guest authored post by Tim Hunter, data scientist, and Rocío Ventura Abreu, data scientist, of ABN AMRO Bank N.V. Data science is now placed at the center of business decision making thanks to the tremendous success of data-driven analytics. However, more stringent expectations around data quality control, reproducibility, auditability and ease of...

The post Data-driven Software: Towards the Future of Programming in Data Science appeared first on Databricks.

2 месяца, 4 недели назад @ databricks.com
Monte Carlo Data Monte Carlo Data
последний пост 3 дня, 4 часа назад
How The Farmer’s Dog Achieved Rapid ML-Based Anomaly Detection with Monte Carlo
How The Farmer’s Dog Achieved Rapid ML-Based Anomaly Detection with Monte Carlo

Learn how The Farmer's Dog achieved fully automated anomaly detection out-of-the-box with Monte Carlo.

3 дня, 4 часа назад @ montecarlodata.com
From 0 to Data Mesh: Kolibri Games’ 5-Year Journey to Building a Data-Driven Company
From 0 to Data Mesh: Kolibri Games’ 5-Year Journey to Building a Data-Driven Company

One startup's lessons learned learned building a data mesh—and distributed data team—from scratch.

4 дня, 12 часов назад @ montecarlodata.com
Monte Carlo is SOC 2 Type II Certified
Monte Carlo is SOC 2 Type II Certified

Monte Carlo’s SOC 2 Type II certification ensures end-to-end data security and privacy across your stack.

4 дня, 19 часов назад @ montecarlodata.com
The Weekly ETL: Will Data Engineering Ever Be Sexy like Data Science?
The Weekly ETL: Will Data Engineering Ever Be Sexy like Data Science?

Data engineers are the backbone of the data team - so why can't they get the respect they deserve?

2 недели, 2 дня назад @ montecarlodata.com
4 Things You Need to Know When Solving for Data Quality
4 Things You Need to Know When Solving for Data Quality

Investing in a data quality solution? Here's everything you need to know.

2 недели, 3 дня назад @ montecarlodata.com
Monte Carlo Launches Incident IQ To Help Organizations Achieve End-to-End Data Trust
Monte Carlo Launches Incident IQ To Help Organizations Achieve End-to-End Data Trust

With Incident IQ, data teams using Monte Carlo’s Data Observability Platform can now easily and collaboratively identify, alert on, and remediate the root cause of data issues before they impact the business.

2 недели, 5 дней назад @ montecarlodata.com
Announcing Incident IQ, Monte Carlo’s Root Cause Analysis Workflow for Data Teams
Announcing Incident IQ, Monte Carlo’s Root Cause Analysis Workflow for Data Teams

How to get started with Incident IQ, Monte Carlo's all-in-one solution for troubleshooting and preventing broken data pipelines.

2 недели, 5 дней назад @ montecarlodata.com
The Weekly ETL: How Do You Document Your Data Assets?
The Weekly ETL: How Do You Document Your Data Assets?

Lior Gavish, Monte Carlo's co-founder and CTO, answers a trending question on Reddit about some of the data industry's hottest topics.

3 недели, 2 дня назад @ montecarlodata.com
The Ultimate Guide to Data Quality
The Ultimate Guide to Data Quality

What is data quality and why does it matter?

3 недели, 3 дня назад @ montecarlodata.com
The Quick and Dirty Guide to Building Your Data Platform
The Quick and Dirty Guide to Building Your Data Platform

There are a lot of technologies you could use to build a data platform - but what do you really need?

3 недели, 3 дня назад @ montecarlodata.com
Monte Carlo announces integration with Snowflake’s Snowpark developer platform to deliver more secure data monitoring and observability
Monte Carlo announces integration with Snowflake’s Snowpark developer platform to deliver more secure data monitoring and observability

With Snowpark’s Java UDF support, Monte Carlo makes it faster and more secure for organizations to achieve end-to-end data trust in Snowflake.

1 месяц назад @ montecarlodata.com
5 Non-Obvious Ways to Make Data Engineers Love Working For You
5 Non-Obvious Ways to Make Data Engineers Love Working For You

And how to become a better data leader in the process.

1 месяц назад @ montecarlodata.com
A Tale of Baseball and Bad Data: Why I Joined Monte Carlo
A Tale of Baseball and Bad Data: Why I Joined Monte Carlo

I guess data runs in the family. Growing up as a kid in the ‘90s, I distinctly remember my father having to bring his laptop everywhere he went with him. Compared to today’s Macbooks and PCs, my dad’s laptop took forever to load and connected to the internet via dial-up, which made an embarrassing noise […]

1 месяц назад @ montecarlodata.com
Monte Carlo Expands Leadership Team from Snowflake, Segment to Support Hypergrowth of Data Observability Category
Monte Carlo Expands Leadership Team from Snowflake, Segment to Support Hypergrowth of Data Observability Category

Monte Carlo hires Snowflake, Segment go-to-market leaders to help companies accelerate the adoption of trustworthy and reliable data.

1 месяц, 1 неделя назад @ montecarlodata.com
Monte Carlo and PagerDuty Integration Brings DevOps to Data Pipelines with End-to-End Data Observability
Monte Carlo and PagerDuty Integration Brings DevOps to Data Pipelines with End-to-End Data Observability

Monte Carlo's PagerDuty integration helps data engineering teams achieve greater visibility into the end-to-end health of their data pipelines.

1 месяц, 2 недели назад @ montecarlodata.com
BigData Republic BigData Republic
последний пост None
All Things Distributed All Things Distributed
последний пост None
DE Telegram
DataEng DataEng
последний пост 2 дня, 15 часов назад
Про полнотекстовый поиск в PostgreSQL, если вы о нём не знали: https://blog.crunchydata.com/blog/postgres-full-text-search-a-search-engine-in-a-databaseК слову, у меня в блоге khashtamov.com как раз используется Full-Text Search от Postgres средствами Djan
Про полнотекстовый поиск в PostgreSQL, если вы о нём не знали: https://blog.crunchydata.com/blog/postgres-full-text-search-a-search-engine-in-a-databaseК слову, у меня в блоге khashtamov.com как раз используется Full-Text Search от Postgres средствами Djan

Про полнотекстовый поиск в PostgreSQL, если вы о нём не знали: https://blog.crunchydata.com/blog/postgres-full-text-search-a-search-engine-in-a-databaseК слову, у меня в блоге khashtamov.com как раз используется Full-Text Search от Postgres средствами Django.

2 дня, 15 часов назад @ t.me
Всем привет! 🤝Наверняка среди моих подписчиков есть люди, увлеченные темой Data Science. Мой товарищ Ренат Алимбеков (@alimbekovkz) недавно выпустил мануал по подготовке к интервью на роль data scientist. Ренат неоднократный призёр соревнований на Kaggle,
Всем привет! 🤝Наверняка среди моих подписчиков есть люди, увлеченные темой Data Science. Мой товарищ Ренат Алимбеков (@alimbekovkz) недавно выпустил мануал по подготовке к интервью на роль data scientist. Ренат неоднократный призёр соревнований на Kaggle,

Всем привет! 🤝Наверняка среди моих подписчиков есть люди, увлеченные темой Data Science. Мой товарищ Ренат Алимбеков (@alimbekovkz) недавно выпустил мануал по подготовке к интервью на роль data scientist. Ренат неоднократный призёр соревнований на Kaggle, а ныне data scientist в Beeline, где занимается задачами в области компьютерного зрения.Наверняка многие из вас помнят, что Ренат выпускал бесплатный курс на моей образовательной платформе: Анализ медицинских изображений в Python, также он ведёт свой блог и канал.Приобрести его руководство Data Science Interview Guide можно по ссылке на платформе Gumroad.Используйте промокод DATAENG, чтобы получить скидку 2$.

3 дня, 17 часов назад @ t.me
Я сейчас изучаю как можно больше информации по теме качества данных (Data quality), и наткнулся на парочку статей от Airbnb:- Data Quality at Airbnb: Part 1 — Rebuilding at Scale- Data Quality at Airbnb: Part 2 — A New Gold StandardЕсли вам также есть чем
Я сейчас изучаю как можно больше информации по теме качества данных (Data quality), и наткнулся на парочку статей от Airbnb:- Data Quality at Airbnb: Part 1 — Rebuilding at Scale- Data Quality at Airbnb: Part 2 — A New Gold StandardЕсли вам также есть чем

Я сейчас изучаю как можно больше информации по теме качества данных (Data quality), и наткнулся на парочку статей от Airbnb:- Data Quality at Airbnb: Part 1 — Rebuilding at Scale- Data Quality at Airbnb: Part 2 — A New Gold StandardЕсли вам также есть чем поделиться по теме, то накидайте, пожалуйста, ссылок в комментариях.

1 неделя, 4 дня назад @ t.me
Свет увидела новая распределенная SQL база данных на Rust (учебная): https://github.com/erikgrinaker/toydbАвтор также подробно описал её архитектуру: https://github.com/erikgrinaker/toydb/blob/master/docs/architecture.md
Свет увидела новая распределенная SQL база данных на Rust (учебная): https://github.com/erikgrinaker/toydbАвтор также подробно описал её архитектуру: https://github.com/erikgrinaker/toydb/blob/master/docs/architecture.md

Свет увидела новая распределенная SQL база данных на Rust (учебная): https://github.com/erikgrinaker/toydbАвтор также подробно описал её архитектуру: https://github.com/erikgrinaker/toydb/blob/master/docs/architecture.md

1 неделя, 6 дней назад @ t.me
Ребята из IT Resume собрали большую подборку авторских телеграмм-каналов для аналитиков. Там более 20 каналов на любой вкус - анализ данных, программирование, data engineering, data science и многое другое 👍 Теперь вам точно будет, что почитать на предсто
Ребята из IT Resume собрали большую подборку авторских телеграмм-каналов для аналитиков. Там более 20 каналов на любой вкус - анализ данных, программирование, data engineering, data science и многое другое 👍 Теперь вам точно будет, что почитать на предсто

Ребята из IT Resume собрали большую подборку авторских телеграмм-каналов для аналитиков. Там более 20 каналов на любой вкус - анализ данных, программирование, data engineering, data science и многое другое 👍 Теперь вам точно будет, что почитать на предстоящих выходных 🙃 Подробнее - в статье

2 недели, 2 дня назад @ t.me
https://www.datafold.com/blog/the-state-of-data-quality-in-2021/
https://www.datafold.com/blog/the-state-of-data-quality-in-2021/

https://www.datafold.com/blog/the-state-of-data-quality-in-2021/

2 недели, 5 дней назад @ t.me
Курсы по Redis стали доступны в режиме self-paced обучения бесплатно: https://university.redislabs.com/
Курсы по Redis стали доступны в режиме self-paced обучения бесплатно: https://university.redislabs.com/

Курсы по Redis стали доступны в режиме self-paced обучения бесплатно: https://university.redislabs.com/

3 недели, 5 дней назад @ t.me
https://cnr.sh/essays/what-the-heck-data-mesh
https://cnr.sh/essays/what-the-heck-data-mesh

https://cnr.sh/essays/what-the-heck-data-mesh

3 недели, 6 дней назад @ t.me
Конференция о дата-инжиниринге SmartData 2021 ищет спикеров 🎙Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили о
Конференция о дата-инжиниринге SmartData 2021 ищет спикеров 🎙Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили о Конференция о дата-инжиниринге SmartData 2021 ищет спикеров 🎙Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили о

Конференция о дата-инжиниринге SmartData 2021 ищет спикеров 🎙Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили отложить из-за непредсказуемости ввода ограничений на офлайн мероприятия).Темы, которые ждут больше всего:✔️ Стриминг;✔️ СУБД и хранилища для больших данных;✔️ Архитектура DWH;✔️ Data governance;✔️Технологии построения ETL;✔️ Оркестрация и MLOps.Но этим списком не ограничивается — вы можете подать заявку с любой темой из области дата-инжиниринга.Если все-таки сомневаетесь, то программный комитет всегда готов обсудить актуальность темы и пом…

4 недели назад @ t.me
Ожидается серия постов про Kafka на службе у кибербезопасников: https://www.kai-waehner.de/blog/2021/07/02/kafka-cybersecurity-siem-soar-part-1-of-6-data-in-motion-as-backbone/
Ожидается серия постов про Kafka на службе у кибербезопасников: https://www.kai-waehner.de/blog/2021/07/02/kafka-cybersecurity-siem-soar-part-1-of-6-data-in-motion-as-backbone/

Ожидается серия постов про Kafka на службе у кибербезопасников: https://www.kai-waehner.de/blog/2021/07/02/kafka-cybersecurity-siem-soar-part-1-of-6-data-in-motion-as-backbone/

1 месяц назад @ t.me
https://www.datafold.com/blog/data-quality-in-data-engineering-workflows/
https://www.datafold.com/blog/data-quality-in-data-engineering-workflows/

https://www.datafold.com/blog/data-quality-in-data-engineering-workflows/

1 месяц назад @ t.me
Крутейшие доклады с Python Web Conf 2021: https://www.youtube.com/playlist?list=PLt4L3V8wVnF4iB8pGfkR7eozIJPwCM7vv
Крутейшие доклады с Python Web Conf 2021: https://www.youtube.com/playlist?list=PLt4L3V8wVnF4iB8pGfkR7eozIJPwCM7vv

Крутейшие доклады с Python Web Conf 2021: https://www.youtube.com/playlist?list=PLt4L3V8wVnF4iB8pGfkR7eozIJPwCM7vv

1 месяц назад @ t.me
https://eugeneyan.com/writing/feature-stores/
https://eugeneyan.com/writing/feature-stores/

https://eugeneyan.com/writing/feature-stores/

1 месяц назад @ t.me
https://habr.com/ru/company/yandex/blog/557060/
https://habr.com/ru/company/yandex/blog/557060/

https://habr.com/ru/company/yandex/blog/557060/

1 месяц, 1 неделя назад @ t.me
Мы опубликовали материалы митапа DE or DIE #7: https://deordie.org/meetups/07/ (видео докладов + презентации в формате PDF).
Мы опубликовали материалы митапа DE or DIE #7: https://deordie.org/meetups/07/ (видео докладов + презентации в формате PDF).

Мы опубликовали материалы митапа DE or DIE #7: https://deordie.org/meetups/07/ (видео докладов + презентации в формате PDF).

1 месяц, 1 неделя назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 1 день, 2 часа назад
Про devops. Это легко делать с ETL/ELT когда у нас есть code, но сложно или не возможно в BI. Кто-нибудь заморачивался?
Про devops. Это легко делать с ETL/ELT когда у нас есть code, но сложно или не возможно в BI. Кто-нибудь заморачивался? Про devops. Это легко делать с ETL/ELT когда у нас есть code, но сложно или не возможно в BI. Кто-нибудь заморачивался?

Про devops. Это легко делать с ETL/ELT когда у нас есть code, но сложно или не возможно в BI. Кто-нибудь заморачивался?

1 день, 2 часа назад @ t.me
Slalom Build написал про Data Lakehouse на базе Apache Hudi https://medium.com/slalom-build/data-lakehouse-building-the-next-generation-of-data-lakes-using-apache-hudi-41550f62f5f
Slalom Build написал про Data Lakehouse на базе Apache Hudi https://medium.com/slalom-build/data-lakehouse-building-the-next-generation-of-data-lakes-using-apache-hudi-41550f62f5f Slalom Build написал про Data Lakehouse на базе Apache Hudi https://medium.com/slalom-build/data-lakehouse-building-the-next-generation-of-data-lakes-using-apache-hudi-41550f62f5f

Slalom Build написал про Data Lakehouse на базе Apache Hudi https://medium.com/slalom-build/data-lakehouse-building-the-next-generation-of-data-lakes-using-apache-hudi-41550f62f5f

1 день, 3 часа назад @ t.me
The other half of our jobs are doing analysis directly. This work is most commonly referred to as ad hoc analysis, though some people call it advanced analytics, or decision science, or just “answering questions.” This is, presumably, what want to do rathe
The other half of our jobs are doing analysis directly. This work is most commonly referred to as ad hoc analysis, though some people call it advanced analytics, or decision science, or just “answering questions.” This is, presumably, what want to do rathe

The other half of our jobs are doing analysis directly. This work is most commonly referred to as ad hoc analysis, though some people call it advanced analytics, or decision science, or just “answering questions.” This is, presumably, what want to do rather than build the dashboards we complain about; we build self-serve tools, we say, so that we can focus on this type of work. Looker sells this promise directly: “Looker helps to streamline processes to save valuable time, freeing up data scientists to focus on the more rewarding aspects of their job.”We prefer this work in part because it’s less tedious than adding the 1,000th filter to a dashboard, and in part because this is the work tha…

1 день, 5 часов назад @ t.me
https://youtu.be/32abllGf77g
https://youtu.be/32abllGf77g

https://youtu.be/32abllGf77g

1 день, 16 часов назад @ t.me
#вакансия от Банк «Открытие».Они ищут ведущего аналитика с опытом работы в Power BI, MS SQL/MySQL/Oracle, ExcelМы ждём человека, который умеет анализировать маркетинговые данные, данные о продажах и результаты опросов, строить дашборды, выявлять зависимост
#вакансия от Банк «Открытие».Они ищут ведущего аналитика с опытом работы в Power BI, MS SQL/MySQL/Oracle, ExcelМы ждём человека, который умеет анализировать маркетинговые данные, данные о продажах и результаты опросов, строить дашборды, выявлять зависимост

#вакансия от Банк «Открытие».Они ищут ведущего аналитика с опытом работы в Power BI, MS SQL/MySQL/Oracle, ExcelМы ждём человека, который умеет анализировать маркетинговые данные, данные о продажах и результаты опросов, строить дашборды, выявлять зависимости и корреляции, сверять данные с макропрогнозами и визуализировать результаты в Power BI.Требования:- умение строить дашборды- готовность интенсивно обучаться- желание разбираться в банковском бизнесе (опыт работы в банковской/финансовой отрасли приветствуется)- ориентация на создание ценности для конечного получателя- навыки операционной аналитики или навыки парсинга данных (как существенное преимущество)Условия работы:- Оклад 150-180 тыс…

3 дня, 3 часа назад @ t.me
Очень хороший пример про 2 типа метрик - хорошие и плохие, хотя могу измерять одну и туже цель
Очень хороший пример про 2 типа метрик - хорошие и плохие, хотя могу измерять одну и туже цель Очень хороший пример про 2 типа метрик - хорошие и плохие, хотя могу измерять одну и туже цель

Очень хороший пример про 2 типа метрик - хорошие и плохие, хотя могу измерять одну и туже цель

3 дня, 4 часа назад @ t.me
В продолжение облаков. Мы видим космические прибыли облачных провайдеров. Инновации и масштаб делают дешевле стоимость железа, а вот цены на облака не меняются. Что еще прикольного, в блоге CEO Cloudflare (компания по безопасности интеренет решений - prov
В продолжение облаков. Мы видим космические прибыли облачных провайдеров. Инновации и масштаб делают дешевле стоимость железа, а вот цены на облака не меняются. Что еще прикольного, в блоге CEO Cloudflare (компания по безопасности интеренет решений -  prov В продолжение облаков. Мы видим космические прибыли облачных провайдеров. Инновации и масштаб делают дешевле стоимость железа, а вот цены на облака не меняются. Что еще прикольного, в блоге CEO Cloudflare (компания по безопасности интеренет решений - prov

В продолжение облаков. Мы видим космические прибыли облачных провайдеров. Инновации и масштаб делают дешевле стоимость железа, а вот цены на облака не меняются. Что еще прикольного, в блоге CEO Cloudflare (компания по безопасности интеренет решений - provides content delivery network and DDoS mitigation services) написал, что клиенты плататя на 80% больше за передачу данных:"Amazon Web Services is dramatically marking up the price of networking bandwidth for moving data out of its cloud, with customers in the U.S., Canada and Europe paying 80 times more than what AWS pays" https://blog.cloudflare.com/aws-egregious-egress/Отличная работа Product Managers и хорошая стратегия по удержанию клие…

3 дня, 13 часов назад @ t.me
Недавно, все компании опубликовали свои результаты доходов за прошлый квартал. Давайте посмотрим на тех, кто действительно вырос:ALPHABET • Revenue +62% to $61.9 billion • Net income + 166% to $18.5 billion • Google Cloud revenue +53% and losses shrank 58%
Недавно, все компании опубликовали свои результаты доходов за прошлый квартал. Давайте посмотрим на тех, кто действительно вырос:ALPHABET • Revenue +62% to $61.9 billion • Net income + 166% to $18.5 billion • Google Cloud revenue +53% and losses shrank 58%

Недавно, все компании опубликовали свои результаты доходов за прошлый квартал. Давайте посмотрим на тех, кто действительно вырос:ALPHABET • Revenue +62% to $61.9 billion • Net income + 166% to $18.5 billion • Google Cloud revenue +53% and losses shrank 58% to $591 million MICROSOFT • Revenue + 21% to $46.2 billion • Net income +47% to $16.5 billion • Azure +51%, without adjusting for forex shifts Вот про AWS нашел так пока:For Q2 analysts estimate AWS revenue growth of 30%, reaching $14.7 billion. In the first quarter, AWS revenue reached $13.5 billion, rising 32% year over year, besting the 22.5% growth rate expected. Все это показывает насколько облачные вычисления популярны и теперь можн…

3 дня, 13 часов назад @ t.me
Быть Principal Software Engineer в Amazon - это очень круто! А если при этом еще при этом создавать флагманский BI продукт в AWS - Amazon Quicksight, поработать в Microsoft с Power BI и в Tableau, создавая лучшие BI решения, то это вообще фантастика. Но эт
Быть Principal Software Engineer в Amazon - это очень круто! А если при этом еще при этом создавать флагманский BI продукт в AWS - Amazon Quicksight, поработать в Microsoft с Power BI и в Tableau, создавая лучшие BI решения, то это вообще фантастика. Но эт

Быть Principal Software Engineer в Amazon - это очень круто! А если при этом еще при этом создавать флагманский BI продукт в AWS - Amazon Quicksight, поработать в Microsoft с Power BI и в Tableau, создавая лучшие BI решения, то это вообще фантастика. Но это все реально, хотите узнать как это? Послушайте новое интервью от Яны Одинцов и Яны Конн:Интервью c Principal Engineer Amazon QuickSight Татьяной Якушевой каналу DataLearn. Беседа об аналитике, жизненном пути, необходимых компетенциях и многом другом.Интервью провела куратор сообщества “Women In Data Analytics” Яна Одинцова. Если у вас остались вопросы, есть идеи или вы хотели бы узнать больше о сообществе, обращайтесь к Яне. yana.odintso…

4 дня, 2 часа назад @ t.me
North Star любого аналитического подразделения - это Self Service. У нас ни одна встреча с BI не обходится без слов - нам нужно сделать self-service. За 10 лет работы в разных компаниях, так и не удалось реально сделать self-service BI, есть ощущения, но н
North Star любого аналитического подразделения - это Self Service. У нас ни одна встреча с BI не обходится без слов - нам нужно сделать self-service. За 10 лет работы в разных компаниях, так и не удалось реально сделать self-service BI, есть ощущения, но н

North Star любого аналитического подразделения - это Self Service. У нас ни одна встреча с BI не обходится без слов - нам нужно сделать self-service. За 10 лет работы в разных компаниях, так и не удалось реально сделать self-service BI, есть ощущения, но нет конкретики. Обычно self-service ограничивается несколько крутыми аналитиками из бизнес подразделений, которых мы показываем как success stories в качестве примера другим 95% процентам пользователям - будьте как они и будет вам дата счастья. Такие мысли навеяла очередная встреча с нашим BI и вот это статья - Self-serve is a feelingMost definitions of self-serve analytics are both vague and vaguely tautological. TDWI offers a definition w…

4 дня, 3 часа назад @ t.me
CEO Microsoft твитнул, что на новом Xbox вышла - For nearly 40 years, Microsoft Flight Simulator has been one of our most beloved franchises, and it’s now available for the first time on Xbox Series X and S using the power of Azure, Bing Maps, and Xbox Gam
CEO Microsoft твитнул, что на новом Xbox вышла - For nearly 40 years, Microsoft Flight Simulator has been one of our most beloved franchises, and it’s now available for the first time on Xbox Series X and S using the power of Azure, Bing Maps, and Xbox Gam

CEO Microsoft твитнул, что на новом Xbox вышла - For nearly 40 years, Microsoft Flight Simulator has been one of our most beloved franchises, and it’s now available for the first time on Xbox Series X and S using the power of Azure, Bing Maps, and Xbox Game Pass.По мне это самая крутая игра с технологической точки зрения, там задействованно куча ML, данных и других инновационных вещей. Да и на джойстике удобно играть (у меня Xbox Series S), дети могут изучать мир с высоты птичьего полета.

4 дня, 15 часов назад @ t.me
Rock Your Data номинировали в списке Top Information Services Company in Vancouver . А тут история про саму компанию. В целом компания как бы есть, но ее как бы и нет) Наверно еще не пришло время))
Rock Your Data номинировали в списке Top Information Services Company in Vancouver . А тут история про саму компанию. В целом компания как бы есть, но ее как бы и нет) Наверно еще не пришло время))

Rock Your Data номинировали в списке Top Information Services Company in Vancouver . А тут история про саму компанию. В целом компания как бы есть, но ее как бы и нет) Наверно еще не пришло время))

4 дня, 15 часов назад @ t.me
Весь LinkedIn сегодня сходит с ума по этой гифке🤗💯🔥🥂👑🙈 какая то ёлка новогодняя
Весь LinkedIn сегодня сходит с ума по этой гифке🤗💯🔥🥂👑🙈 какая то ёлка новогодняя

Весь LinkedIn сегодня сходит с ума по этой гифке🤗💯🔥🥂👑🙈 какая то ёлка новогодняя

5 дней, 2 часа назад @ t.me
Модели или не модели в хранилище данных? Inmon vs Kimball vs Data Vault? Personally I prefer wide, nested and denormalized tables as data warehouse architecture. Why?Cloud Data warehouses are designed as distributed systems with columnar storage that is se
Модели или не модели в хранилище данных? Inmon vs Kimball vs Data Vault? Personally I prefer wide, nested and denormalized tables as data warehouse architecture. Why?Cloud Data warehouses are designed as distributed systems with columnar storage that is se

Модели или не модели в хранилище данных? Inmon vs Kimball vs Data Vault? Personally I prefer wide, nested and denormalized tables as data warehouse architecture. Why?Cloud Data warehouses are designed as distributed systems with columnar storage that is separated from compute. Hence, you can efficiently query specific fields over a huge amount of records but you want to avoid joins as it introduces overhead when shuffling data between compute instances. Also, I prefer to keep my data immutable and if something is wrong I rather replay the data with the new logic than performing mutations on existing data. Another aspect that rarely is mentioned is that wide, nested and denormalized tables b…

5 дней, 18 часов назад @ t.me
Аналитик в 1988 году
Аналитик в 1988 году Аналитик в 1988 году

Аналитик в 1988 году

6 дней, 4 часа назад @ t.me
Left Join Left Join
последний пост None
SQLite на практике SQLite на практике
последний пост 1 месяц, 3 недели назад
🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов,
🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов,

🤔 Задачка о группах — решениеУвидев задачку о группах, коллега написал мне:> Человек, порочащий олимпиадное программирование, просит решить задачку ЗА ОДИН запрос. Зачем?Справедливо. Действительно, главное в решении — не формальное количество запросов, а время на понимание. Поэтому давайте решим без олимпиадного ажиотажа, спокойно и по шагам:https://antonz.ru/sql-groups/

1 месяц, 3 недели назад @ t.me
Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon
Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon

Первому, кто решит задачу за минимальное количество запросов и сможет объяснить решение — любой мой курс в подарок ツ Пишите → @nalgeon

2 месяца назад @ t.me
🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователе
🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователе

🤔 Задачка о группахПодписчик прислал интересную задачку, которая время от времени встречается в реальной жизни. В общем виде звучит так: найти похожие объекты и объединить их в группы.Рассмотрим на конкретном примере. Есть таблица с атрибутами пользователей: user_id, attr1, alpha1, beta2, beta2, gamma3, delta3, epsilon4, delta4, zeta5, zeta5, alpha6, iota7, iota7, kappa8, kappa8, lambdaХотим объединить пользователей в группы. При этом действуют правила:— Если пользователи A и B обладают общим свойством → они входят в одну группу.— Если A и B обладают общим свойством P1, B и C обладают общим свойством P2 → A, B, C входят в одну группу.— Идентификатором группы считается минимальный идентифика…

2 месяца назад @ t.me
Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скид
Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скид

Курс по оконным функциямЗакончил курс по «окошкам»! 15 уроков, 39 задачек, бессчётное количество картинок и гифок.Подходит для всех, кто знает обычные селекты и работает с MySQL, PostgreSQL или SQLite.Стоит 500₽, для выпускников «SQLite на практике» — скидка 50%.https://stepik.org/z/95367

2 месяца назад @ t.me
Оконные функции: скользящие агрегатыЗаканчиваем разбираться с оконными функциями. В этой части посмотрим, как считать показатели в динамике — скользящее среднее и сумму нарастающим итогом.Это последняя статья серии! Гарантирую, что более понятного введения
Оконные функции: скользящие агрегатыЗаканчиваем разбираться с оконными функциями. В этой части посмотрим, как считать показатели в динамике — скользящее среднее и сумму нарастающим итогом.Это последняя статья серии! Гарантирую, что более понятного введения

Оконные функции: скользящие агрегатыЗаканчиваем разбираться с оконными функциями. В этой части посмотрим, как считать показатели в динамике — скользящее среднее и сумму нарастающим итогом.Это последняя статья серии! Гарантирую, что более понятного введения в «окошки» не найдете во всем интернете 💪https://antonz.ru/window-rolling/

2 месяца, 2 недели назад @ t.me
Добавить или обновить записи одним запросомУчастник курса спрашивает:Есть таблица, хочу ежедневно загружать в неё обновления из csv. Если по id запись уникальная — добавлять, а если запись существует — обновлять поля, которые отличаются, кроме id. Это можн
Добавить или обновить записи одним запросомУчастник курса спрашивает:Есть таблица, хочу ежедневно загружать в неё обновления из csv. Если по id запись уникальная — добавлять, а если запись существует — обновлять поля, которые отличаются, кроме id. Это можн

Добавить или обновить записи одним запросомУчастник курса спрашивает:Есть таблица, хочу ежедневно загружать в неё обновления из csv. Если по id запись уникальная — добавлять, а если запись существует — обновлять поля, которые отличаются, кроме id. Это можно как-то из коробки?Да! Такой подход (добавить или обновить по необходимости) в мире SQL называется «upsert». В SQLite он реализуется через инструкцию on conflict.Допустим, мы хотим добавить/обновить записи в таблице stats. Тогда запрос будет примерно такой:insert into stats(id, last_updated, usage)select ... from ...on conflict(id) do updateset last_updated = excluded.last_updated, usage = usage + excluded.usage;excluded — это та запись, …

2 месяца, 3 недели назад @ t.me
Оконные функции: агрегацияПродолжаем разбираться с «окошками». В этой части посмотрим, как считать суммарные и средние показатели.Пожалуй, самая простая тема в оконных функциях, так что нашлось время заодно разобраться с фильтрацией и спецификацией окна.ht
Оконные функции: агрегацияПродолжаем разбираться с «окошками». В этой части посмотрим, как считать суммарные и средние показатели.Пожалуй, самая простая тема в оконных функциях, так что нашлось время заодно разобраться с фильтрацией и спецификацией окна.ht

Оконные функции: агрегацияПродолжаем разбираться с «окошками». В этой части посмотрим, как считать суммарные и средние показатели.Пожалуй, самая простая тема в оконных функциях, так что нашлось время заодно разобраться с фильтрацией и спецификацией окна.https://antonz.ru/window-aggregate/

3 месяца назад @ t.me
Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте мн
Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте мн Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте мн

Помните, я восторгался количеством новых функций в SQLite 3.35? За все надо платить: разработчики выпустили уже пятый патч-релиз (впервые в истории SQLite — раньше было не больше четырех).Не знаю, какой урок можно из этого извлечь. Разве что «не пихайте много новых фич в один релиз». Хотя звучит довольно очевидно, мы никогда не устаем наступать на эти грабли ツ

3 месяца, 1 неделя назад @ t.me
Оконные функции: смещениеПродолжаем разбираться с «окошками». В этой части посмотрим, как сравнивать соседние строки и границы диапазона.Это одна из неочевидных тем, так что пришлось изготовить особенно много картинок и гифок.https://antonz.ru/window-offse
Оконные функции: смещениеПродолжаем разбираться с «окошками». В этой части посмотрим, как сравнивать соседние строки и границы диапазона.Это одна из неочевидных тем, так что пришлось изготовить особенно много картинок и гифок.https://antonz.ru/window-offse

Оконные функции: смещениеПродолжаем разбираться с «окошками». В этой части посмотрим, как сравнивать соседние строки и границы диапазона.Это одна из неочевидных тем, так что пришлось изготовить особенно много картинок и гифок.https://antonz.ru/window-offset/

3 месяца, 2 недели назад @ t.me
Недостающие функции SQLiteSQLite традиционно бедна функциями по сравнению с каким-нибудь постгресом. Но их легко добавить, чем многие и занимаются — каждый кто во что горазд. Получается легкий бардак.Поскольку я люблю все упорядочивать, то решил собрать ра
Недостающие функции SQLiteSQLite традиционно бедна функциями по сравнению с каким-нибудь постгресом. Но их легко добавить, чем многие и занимаются — каждый кто во что горазд. Получается легкий бардак.Поскольку я люблю все упорядочивать, то решил собрать ра

Недостающие функции SQLiteSQLite традиционно бедна функциями по сравнению с каким-нибудь постгресом. Но их легко добавить, чем многие и занимаются — каждый кто во что горазд. Получается легкий бардак.Поскольку я люблю все упорядочивать, то решил собрать разбросанный по интернету код в единый набор библиотек, с разделением по предметной области и автоматической сборкой для всех ОС.В программировании на C я не силен, так что дело продвигается не очень быстро. Но кое-что уже удалось сделать:— математические функции (sqrt, pow, log)— мат. статистика (median, percentile, stddev)— строковые функции (reverse, split_part)— регулярные выражения (like, substr, replace)— поддержка юникода— работа с cs…

3 месяца, 3 недели назад @ t.me
Оконные функции: ранжированиеНачинаем детально разбираться с «окошками». В этой части посмотрим, что такое окно, и как использовать оконные функции для всевозможных рейтингов.https://antonz.ru/window-ranking/
Оконные функции: ранжированиеНачинаем детально разбираться с «окошками». В этой части посмотрим, что такое окно, и как использовать оконные функции для всевозможных рейтингов.https://antonz.ru/window-ranking/

Оконные функции: ранжированиеНачинаем детально разбираться с «окошками». В этой части посмотрим, что такое окно, и как использовать оконные функции для всевозможных рейтингов.https://antonz.ru/window-ranking/

3 месяца, 4 недели назад @ t.me
SQLite для аналитикиИтак, спустя три месяца курс полностью закончен 🎉В итоге получилось семь модулей:1. Основы SQLite.2. Очистка данных.3. Связи в данных.4. Данные → знания.5. JSON.6. Большие наборы.7. Оконные функции.Самое главное — курс учит получать из
SQLite для аналитикиИтак, спустя три месяца курс полностью закончен 🎉В итоге получилось семь модулей:1. Основы SQLite.2. Очистка данных.3. Связи в данных.4. Данные → знания.5. JSON.6. Большие наборы.7. Оконные функции.Самое главное — курс учит получать из

SQLite для аналитикиИтак, спустя три месяца курс полностью закончен 🎉В итоге получилось семь модулей:1. Основы SQLite.2. Очистка данных.3. Связи в данных.4. Данные → знания.5. JSON.6. Большие наборы.7. Оконные функции.Самое главное — курс учит получать из данных ответы на вопросы. В этом вся суть прикладного анализа данных.47 уроков и 130 практических заданий, сертификат для выпускников.Огромное спасибо бета-тестерам и всем участникам за критику и комментарии! Ваша обратная связь бесценна 🙏https://antonz.ru/sqlite-course/

4 месяца назад @ t.me
Сводный запрос по нескольким базамЕсли вы настраивали кросс-запросы по нескольким базам в PostgreSQL или Oracle, то знаете, какая эта боль. А в SQLite вот так:attach database 'moscow.db' as moscow;attach database 'samara.db' as samara;select * from moscow.
Сводный запрос по нескольким базамЕсли вы настраивали кросс-запросы по нескольким базам в PostgreSQL или Oracle, то знаете, какая эта боль. А в SQLite вот так:attach database 'moscow.db' as moscow;attach database 'samara.db' as samara;select * from moscow.

Сводный запрос по нескольким базамЕсли вы настраивали кросс-запросы по нескольким базам в PostgreSQL или Oracle, то знаете, какая эта боль. А в SQLite вот так:attach database 'moscow.db' as moscow;attach database 'samara.db' as samara;select * from moscow.employeesunion allselect * from samara.employees;Удобно, чтобы не переливать данные в одну базу, если они уже лежат в разных.

4 месяца назад @ t.me
​Окошки на курсеКто-то из великих сказал, что если освоить оконные функции в SQL — жизнь уже никогда не будет прежней. В хорошем смысле ツНадеюсь, со свежим модулем курса вы преодолеете этот важный рубеж. У вас будет много помощников: Дарья, Борис, Елена, К
​Окошки на курсеКто-то из великих сказал, что если освоить оконные функции в SQL — жизнь уже никогда не будет прежней. В хорошем смысле ツНадеюсь, со свежим модулем курса вы преодолеете этот важный рубеж. У вас будет много помощников: Дарья, Борис, Елена, К

​Окошки на курсеКто-то из великих сказал, что если освоить оконные функции в SQL — жизнь уже никогда не будет прежней. В хорошем смысле ツНадеюсь, со свежим модулем курса вы преодолеете этот важный рубеж. У вас будет много помощников: Дарья, Борис, Елена, Ксения, Марина, Леонид, Иван, Вероника, Григорий и Анна. Особенно Марина, конечно.Чтобы узнать, причем тут все эти люди, переходите к седьмому и последнему модулю курса — Оконные функции!P.S. Для тех, кто пройдет все модули, откроется Финал. Он пока еще запекается, но скоро будет готов.

4 месяца назад @ t.me
Зачем нужны оконные функцииКак справедливо заметили в комментариях к опросу — прежде чем пользоваться оконными функциями, неплохо бы понять, что это такое.Я бы даже начал не со «что это», а «зачем оно». Поэтому на конкретных примерах показал, чем могут быт
Зачем нужны оконные функцииКак справедливо заметили в комментариях к опросу — прежде чем пользоваться оконными функциями, неплохо бы понять, что это такое.Я бы даже начал не со «что это», а «зачем оно». Поэтому на конкретных примерах показал, чем могут быт

Зачем нужны оконные функцииКак справедливо заметили в комментариях к опросу — прежде чем пользоваться оконными функциями, неплохо бы понять, что это такое.Я бы даже начал не со «что это», а «зачем оно». Поэтому на конкретных примерах показал, чем могут быть полезны «окошки» в SQL:https://antonz.ru/window-functions/

4 месяца, 2 недели назад @ t.me
Datalytics Datalytics
последний пост 3 дня, 22 часа назад
Банк «Открытие» ищет ведущего аналитика с опытом работы в Power BI, MS SQL/MySQL/Oracle, ExcelМы ждём человека, который умеет анализировать маркетинговые данные, данные о продажах и результаты опросов, строить дашборды, выявлять зависимости и корреляции, с
Банк «Открытие» ищет ведущего аналитика с опытом работы в Power BI, MS SQL/MySQL/Oracle, ExcelМы ждём человека, который умеет анализировать маркетинговые данные, данные о продажах и результаты опросов, строить дашборды, выявлять зависимости и корреляции, с Банк «Открытие» ищет ведущего аналитика с опытом работы в Power BI, MS SQL/MySQL/Oracle, ExcelМы ждём человека, который умеет анализировать маркетинговые данные, данные о продажах и результаты опросов, строить дашборды, выявлять зависимости и корреляции, с

Банк «Открытие» ищет ведущего аналитика с опытом работы в Power BI, MS SQL/MySQL/Oracle, ExcelМы ждём человека, который умеет анализировать маркетинговые данные, данные о продажах и результаты опросов, строить дашборды, выявлять зависимости и корреляции, сверять данные с макропрогнозами и визуализировать результаты в Power BI. Требования:умение строить дашборды готовность интенсивно обучатьсяжелание разбираться в банковском бизнесе (опыт работы в банковской/финансовой отрасли приветствуется)ориентация на создание ценности для конечного получателя навыки операционной аналитики или навыки парсинга данных (как существенное преимущество)Условия работы:Оклад 150-180 тыс руб + квартальные и годов…

3 дня, 22 часа назад @ t.me
Ищу к себе в команду Продуктового исследователя, который знаком с направлениями Data Science, Data Analysis и Data Engineering, или имеющего большое желание погрузиться в одну из них.В этой роли человек будет добывать данные, позволяющие команде улучшать п
Ищу к себе в команду Продуктового исследователя, который знаком с направлениями Data Science, Data Analysis и Data Engineering, или имеющего большое желание погрузиться в одну из них.В этой роли человек будет добывать данные, позволяющие команде улучшать п

Ищу к себе в команду Продуктового исследователя, который знаком с направлениями Data Science, Data Analysis и Data Engineering, или имеющего большое желание погрузиться в одну из них.В этой роли человек будет добывать данные, позволяющие команде улучшать программу обучения и определять дальнейший вектор развития продуктов. При этом нужно будет исследовать рынок вакансий в сфере работы с данными, а также общаться со студентами, выпускниками и работодателями.Отличная возможность для тех, кто хочет и умеет заниматься количественными и качественными исследованиями, имея при этом возможность влиять на конечный продукт.Полное описание можно посмотреть здесь: https://praktikum.yandex.ru/promo/hr/p…

5 дней, 21 час назад @ t.me
​​В сети появился небольшой каталог полезных SQL-запросов и функций, его обещают дополнять новыми фрагментами кода. @BigQuery
​​В сети появился небольшой каталог полезных SQL-запросов и функций, его обещают дополнять новыми фрагментами кода. @BigQuery

​​В сети появился небольшой каталог полезных SQL-запросов и функций, его обещают дополнять новыми фрагментами кода. @BigQuery

6 дней, 19 часов назад @ t.me
Weekend Offer в Х5 Tech для системных аналитиков! Если переводить бизнес-требования на язык, понятный командам разработчиков, и помогать проектировать IT-решения — основная и интересная часть вашего рабочего дня.Пройдите два коротких интервью в один день и
Weekend Offer в Х5 Tech для системных аналитиков! Если переводить бизнес-требования на язык, понятный командам разработчиков, и помогать проектировать IT-решения — основная и интересная часть вашего рабочего дня.Пройдите два коротких интервью в один день и Weekend Offer в Х5 Tech для системных аналитиков! Если переводить бизнес-требования на язык, понятный командам разработчиков, и помогать проектировать IT-решения — основная и интересная часть вашего рабочего дня.Пройдите два коротких интервью в один день и

Weekend Offer в Х5 Tech для системных аналитиков! Если переводить бизнес-требования на язык, понятный командам разработчиков, и помогать проектировать IT-решения — основная и интересная часть вашего рабочего дня.Пройдите два коротких интервью в один день и получите оффер от X5 Group. Под ее крылом все «Пятерочки», «Перекрестки», «Карусели» и «Чижики» страны: 34 продукта, 123 проекта, 324 IT-системы на поддержке.Шанс точно есть: оффер сделают всем подходящим специалистам с опытом от 1 года. Интересно? Отправьте заявку до 30 июля, а лучше — прямо сейчас ➡️ https://your.gms.tech/v/qRdjWOQG

1 неделя, 2 дня назад @ t.me
Всем привет! В преддверии пятницы затронем такую прекрасную тему ‘как же ворваться в аналитику’Извольте. Я сама в IT пришла из FMCG, если уж вообще детально рассказывать мою историю, поэтому каким-то опытом поделиться могу. Дело было примерно 5 лет назад.
Всем привет! В преддверии пятницы затронем такую прекрасную тему ‘как же ворваться в аналитику’Извольте. Я сама в IT пришла из FMCG, если уж вообще детально рассказывать мою историю, поэтому каким-то опытом поделиться могу. Дело было примерно 5 лет назад.

Всем привет! В преддверии пятницы затронем такую прекрасную тему ‘как же ворваться в аналитику’Извольте. Я сама в IT пришла из FMCG, если уж вообще детально рассказывать мою историю, поэтому каким-то опытом поделиться могу. Дело было примерно 5 лет назад. Сначала я изучила рынок вакансий и посмотрела основные требования к аналитикам: везде было - аналитический майндсет 🤡, SQL и умение делать выводы из цифр. Я подумала, что звучит неплохо, разобраться с этим можно. Поэтому рекомендасьон 1 - изучить рынок, посмотреть, какие требования к аналитикам есть сейчас. Скорее всего, вы увидите SQL, Python, где-то, может, и R из инструментов; требование к умению работать с инструментами визуализации ти…

2 недели назад @ t.me
ИТ-компания Selectel приглашает на вебинар «Искусственный интеллект и Machine learning» После вебинара вы сможете:💥 наладить прозрачный R&D-процесс в командах💥 получить нужный результат даже при низкой квалификации кадров💥 провести оценку эффективности
ИТ-компания Selectel приглашает на вебинар «Искусственный интеллект и Machine learning» После вебинара вы сможете:💥 наладить прозрачный R&D-процесс в командах💥 получить нужный результат даже при низкой квалификации кадров💥 провести оценку эффективности ИТ-компания Selectel приглашает на вебинар «Искусственный интеллект и Machine learning» После вебинара вы сможете:💥 наладить прозрачный R&D-процесс в командах💥 получить нужный результат даже при низкой квалификации кадров💥 провести оценку эффективности

ИТ-компания Selectel приглашает на вебинар «Искусственный интеллект и Machine learning» После вебинара вы сможете:💥 наладить прозрачный R&D-процесс в командах💥 получить нужный результат даже при низкой квалификации кадров💥 провести оценку эффективности работы исследователейДата: 29 июля, четверг, 16:00 МСКСпикеры: Алексей Гончаров, CEO в Machine Intelligence Laboratory, и Антон Чунаев, менеджер ML-продуктов в @selectelnews.Подробности и регистрация по ссылке: 🚀 https://slc.tl/agY1m

2 недели назад @ t.me
👉 Большая подборка телеграм каналов для аналитиков 👈Ребята из IT Resume собрали большую подборку авторских телеграм-каналов для аналитиков. Там более 20 каналов на любой вкус - анализ данных, программирование, data engineering, data science и многое другое
👉 Большая подборка телеграм каналов для аналитиков 👈Ребята из IT Resume собрали большую подборку авторских телеграм-каналов для аналитиков. Там более 20 каналов на любой вкус - анализ данных, программирование, data engineering, data science и многое другое

👉 Большая подборка телеграм каналов для аналитиков 👈Ребята из IT Resume собрали большую подборку авторских телеграм-каналов для аналитиков. Там более 20 каналов на любой вкус - анализ данных, программирование, data engineering, data science и многое другое 👍 Теперь вам точно будет, что почитать на предстоящих выходных 🙃 Подробнее – в статье

2 недели, 2 дня назад @ t.me
Что почитать для развития аналитического мышления? Коль хотите книжек, их есть у меня.Поделюсь теми книгами, которые, на мой взгляд, помогут настроиться на аналитический лад. 1) Data Science for Business. Foster Provost & Tom Fawcett. Не столько про мы
Что почитать для развития аналитического мышления? Коль хотите книжек, их есть у меня.Поделюсь теми книгами, которые, на мой взгляд, помогут настроиться на аналитический лад. 1) Data Science for Business. Foster Provost & Tom Fawcett. Не столько про мы

Что почитать для развития аналитического мышления? Коль хотите книжек, их есть у меня.Поделюсь теми книгами, которые, на мой взгляд, помогут настроиться на аналитический лад. 1) Data Science for Business. Foster Provost & Tom Fawcett. Не столько про мышление, сколько про методы и как вообще с данными взаимодействовать, но хорошо подкручивает аналитические гайки в голове 2) Думай, как математик . Барбара Оакли Про эффективное решение задач, применение ‘математических’ подходов к ним и немножко про уловки мозга и режим. 3)Теория игр. Искусство стратегического мышления в бизнесе и в жизни. Авинаш Дикситт и Барри Нейлбафф.Книга о том, как теория игр ежедневно проявляется в нашей жизни, даже есл…

3 недели, 4 дня назад @ t.me
Я тут на днях познакомился с Data Scientist из ЛитРес, не так давно он начал вести свой телеграм-канал «Налейте аналитику» На канале появляются:— мысли о профессии аналитиков— уроки для начинающих и не очень по SQL/Python/BI— советы, как начать карьеру в а
Я тут на днях познакомился с Data Scientist из ЛитРес, не так давно он начал вести свой телеграм-канал «Налейте аналитику» На канале появляются:— мысли о профессии аналитиков— уроки для начинающих и не очень по SQL/Python/BI— советы, как начать карьеру в а

Я тут на днях познакомился с Data Scientist из ЛитРес, не так давно он начал вести свой телеграм-канал «Налейте аналитику» На канале появляются:— мысли о профессии аналитиков— уроки для начинающих и не очень по SQL/Python/BI— советы, как начать карьеру в аналитике и Data Science— разбор реальных кейсов из опыта— основы построения рекомендательных систем, выбор BI-инструментов, хранилищ данных и многое другоеКанал совсем новорожденный, но там интересно 🙂https://t.me/naleite

1 месяц, 2 недели назад @ t.me
Планируете развиваться в системном анализе? Приходите на Weekend Offer от X5!План такой:два коротких интервью в один день (техническая секция + знакомство с Product Owner) ➡️ оффер в X5 Group.Шанс есть у всех: X5 сделает оффер всем подходящим специалистам
Планируете развиваться в системном анализе? Приходите на Weekend Offer от X5!План такой:два коротких интервью в один день (техническая секция + знакомство с Product Owner) ➡️ оффер в X5 Group.Шанс есть у всех: X5 сделает оффер всем подходящим специалистам Планируете развиваться в системном анализе? Приходите на Weekend Offer от X5!План такой:два коротких интервью в один день (техническая секция + знакомство с Product Owner) ➡️ оффер в X5 Group.Шанс есть у всех: X5 сделает оффер всем подходящим специалистам

Планируете развиваться в системном анализе? Приходите на Weekend Offer от X5!План такой:два коротких интервью в один день (техническая секция + знакомство с Product Owner) ➡️ оффер в X5 Group.Шанс есть у всех: X5 сделает оффер всем подходящим специалистам с опытом от 1,5 лет. X5 — это 34 продукта, 123 проекта, 324 IT-системы на поддержке: все «Пятерочки», «Перекрестки», «Карусели» и «Чижики» страны. То есть вы будете влиять на опыт миллионов людей!Интересно? Отправьте заявку до 18 июня, а лучше прямо сейчас → https://your.gms.tech/v/lVXzMCxEА еще можно написать напрямую рекрутеру Алексею, чтобы договориться о звонке → t.me/bulygin_alexei

1 месяц, 2 недели назад @ t.me
Python — универсальный инструмент далеко не только для тех, кто в IT. Знание его базовых возможностей может дополнить арсенал специалистов из самых разных областей гуманитарных и социальных наук 👩‍💻Если вы давно присматриваетесь к программированию, хотите
Python — универсальный инструмент далеко не только для тех, кто в IT. Знание его базовых возможностей может дополнить арсенал специалистов из самых разных областей гуманитарных и социальных наук 👩‍💻Если вы давно присматриваетесь к программированию, хотите Python — универсальный инструмент далеко не только для тех, кто в IT. Знание его базовых возможностей может дополнить арсенал специалистов из самых разных областей гуманитарных и социальных наук 👩‍💻Если вы давно присматриваетесь к программированию, хотите

Python — универсальный инструмент далеко не только для тех, кто в IT. Знание его базовых возможностей может дополнить арсенал специалистов из самых разных областей гуманитарных и социальных наук 👩‍💻Если вы давно присматриваетесь к программированию, хотите освоить новые инструменты и автоматизировать часть рутинных задач, но не знаете, с чего начать, — приглашаем на летнюю серию воркшопов по основам Python. Её проведут преподаватели из «ПАНДАН» , совместной программы Яндекса и Европейский университет в Санкт-Петербурге.Занятия начнутся 18 июня и будут проходить раз в неделю по пятницам в 19:00 (мск). Слушателей ждут пять онлайн-лекций и пять домашних заданий, основанных на реальных рабочих к…

1 месяц, 2 недели назад @ t.me
И немного очевидных мыслей от себяУмение правильно визуализировать данные очень важно для аналитиков, менеджеров, исследователей и всех, кто в графическом виде презентует результаты своей работы: понятная визуализация позволяет более эффективно доносить до
И немного очевидных мыслей от себяУмение правильно визуализировать данные очень важно для аналитиков, менеджеров, исследователей и всех, кто в графическом виде презентует результаты своей работы: понятная визуализация позволяет более эффективно доносить до И немного очевидных мыслей от себяУмение правильно визуализировать данные очень важно для аналитиков, менеджеров, исследователей и всех, кто в графическом виде презентует результаты своей работы: понятная визуализация позволяет более эффективно доносить до

И немного очевидных мыслей от себяУмение правильно визуализировать данные очень важно для аналитиков, менеджеров, исследователей и всех, кто в графическом виде презентует результаты своей работы: понятная визуализация позволяет более эффективно доносить до людей важные аналитические выводы, а значит увеличивает скорость принятия решений. Это тот скилл, про который многие (и я в том числе) часто забывают: данные доходят до стейкхолдеров в виде многострочных тяжелочитаемых таблиц или графиков, которые может и выглядят подробно и/или красиво, но при этом не позволяют сразу считать главную мысль. Я часто вижу это у начинающих аналитиков: они делают великолепные интерактивные графики с помощью P…

1 месяц, 3 недели назад @ t.me
Наткнулся на канал datapomodoro от создателей бесплатного онлайн-курса «Заговори на языке данных»В этом канале ребята делятся советами о том как грамотно отображать информацию: как сделать графики или таблицы понятными, подобрать нужный тип диаграммы, как
Наткнулся на канал datapomodoro от создателей бесплатного онлайн-курса «Заговори на языке данных»В этом канале ребята делятся советами о том как грамотно отображать информацию: как сделать графики или таблицы понятными, подобрать нужный тип диаграммы, как Наткнулся на канал datapomodoro от создателей бесплатного онлайн-курса «Заговори на языке данных»В этом канале ребята делятся советами о том как грамотно отображать информацию: как сделать графики или таблицы понятными, подобрать нужный тип диаграммы, как

Наткнулся на канал datapomodoro от создателей бесплатного онлайн-курса «Заговори на языке данных»В этом канале ребята делятся советами о том как грамотно отображать информацию: как сделать графики или таблицы понятными, подобрать нужный тип диаграммы, как не ввести потребителя информации в заблуждение, акцентировать внимание на важном

1 месяц, 3 недели назад @ t.me
Всем привет, дорогие подписчики. Сегодня поговорим о такой интересной теме, как собеседования. Итак, что же представляет собой собеседование на аналитика? 1 этап. Созвон с HR - вы редко пропустите этот этап. Чаще всего это собеседование на ‘адекватность’:
Всем привет, дорогие подписчики. Сегодня поговорим о такой интересной теме, как собеседования. Итак, что же представляет собой собеседование на аналитика? 1 этап. Созвон с HR - вы редко пропустите этот этап. Чаще всего это собеседование на ‘адекватность’:

Всем привет, дорогие подписчики. Сегодня поговорим о такой интересной теме, как собеседования. Итак, что же представляет собой собеседование на аналитика? 1 этап. Созвон с HR - вы редко пропустите этот этап. Чаще всего это собеседование на ‘адекватность’: чем вы занимались, какие у вас мотивации в работе, пресловутое ‘кем вы видите себя через Х лет’. Ещё HR расскажет о позиции, компании, послушает остальные ваши вопросы и узнает о ваших зарплатных ожиданиях. 2 этап. Зачастую это техническое собеседование с вашим будущим менеджером и коллегами из команды, где вы будете либо : - писать код на SQL/Python (в зависимости от того, что вы знаете и любите) - отвечать на вопросы, как бы вы решали ту…

1 месяц, 3 недели назад @ t.me
Люто рекомендую почитать клёвую статью «Как стать дата-шрушером aka вкатиться в DS», на которую наткнулся из поста вышеОна очень хорошо описывает:— какие роли бывают в DS (под DS понимается широкое поле специализаций Data Analytics / Machine Learning / Dat
Люто рекомендую почитать клёвую статью «Как стать дата-шрушером aka вкатиться в DS», на которую наткнулся из поста вышеОна очень хорошо описывает:— какие роли бывают в DS (под DS понимается широкое поле специализаций Data Analytics / Machine Learning / Dat

Люто рекомендую почитать клёвую статью «Как стать дата-шрушером aka вкатиться в DS», на которую наткнулся из поста вышеОна очень хорошо описывает:— какие роли бывают в DS (под DS понимается широкое поле специализаций Data Analytics / Machine Learning / Data Engineering)— какие компетенции нужны для того, чтобы соответствовать этим ролям, какие компании нанимают DS-специалистов и как отличаются задачи, зоны ответственности и перспективы разных ролей в зависимости от типа компании— какие существуют траектории, чтобы заскочить в DSНаписано со здоровым сарказмом (особенно повеселило замечание, что если вам нравится перекладывать JSONы с места на место, то вам прямая дорога в дата-инженеры), юмо…

1 месяц, 3 недели назад @ t.me
Труба данных Труба данных
последний пост 23 часа назад
https://t.me/deordie/16Очередной дайджест (8) DE or DIEТемы выпуска- 4 Things You Need to Know When Solving for Data Quality - Data Lake vs. Data Warehouse - Migrating to Apache Iceberg at Adobe Experience Platform - 5 More Reasons to Choose Apache Pulsar
https://t.me/deordie/16Очередной дайджест (8) DE or DIEТемы выпуска- 4 Things You Need to Know When Solving for Data Quality - Data Lake vs. Data Warehouse - Migrating to Apache Iceberg at Adobe Experience Platform - 5 More Reasons to Choose Apache Pulsar

https://t.me/deordie/16Очередной дайджест (8) DE or DIEТемы выпуска- 4 Things You Need to Know When Solving for Data Quality - Data Lake vs. Data Warehouse - Migrating to Apache Iceberg at Adobe Experience Platform - 5 More Reasons to Choose Apache Pulsar Over Apache Kafka- Create Cloud Architecture with Diagrams for AWS, Azure, and GPC

23 часа назад @ t.me
#НамДжунаБы Epoch8.co в поисках джуна DEДля отклика заполните пожалуйста форму:https://airtable.com/shrhBZuHzKPM1xA2t
#НамДжунаБы Epoch8.co в поисках джуна DEДля отклика заполните пожалуйста форму:https://airtable.com/shrhBZuHzKPM1xA2t #НамДжунаБы Epoch8.co в поисках джуна DEДля отклика заполните пожалуйста форму:https://airtable.com/shrhBZuHzKPM1xA2t

#НамДжунаБы Epoch8.co в поисках джуна DEДля отклика заполните пожалуйста форму:https://airtable.com/shrhBZuHzKPM1xA2t

4 дня, 2 часа назад @ t.me
#НамДжунаБыВакансия: Data Analyst / Data Steward (Junior+ / Middle) в Абсолют Банк.Чтобы отправить резюме, придется зарегистрироваться в ODS.ai и написать в личку Schtirlitz
#НамДжунаБыВакансия: Data Analyst / Data Steward (Junior+ / Middle) в Абсолют Банк.Чтобы отправить резюме, придется зарегистрироваться в ODS.ai и написать в личку Schtirlitz #НамДжунаБыВакансия: Data Analyst / Data Steward (Junior+ / Middle) в Абсолют Банк.Чтобы отправить резюме, придется зарегистрироваться в ODS.ai и написать в личку Schtirlitz

#НамДжунаБыВакансия: Data Analyst / Data Steward (Junior+ / Middle) в Абсолют Банк.Чтобы отправить резюме, придется зарегистрироваться в ODS.ai и написать в личку Schtirlitz

5 дней, 2 часа назад @ t.me
https://h2oai.github.io/db-benchmark/Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.This page aims to benchmark various databas
https://h2oai.github.io/db-benchmark/Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.This page aims to benchmark various databas https://h2oai.github.io/db-benchmark/Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.This page aims to benchmark various databas

https://h2oai.github.io/db-benchmark/Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.This page aims to benchmark various database-like tools popular in open-source data science. It runs regularly against very latest versions of these packages and automatically updates. We provide this as a service to both developers of these packages and to users. You can find out more about the project in Efficiency in data processing slides and talk made by Matt Dowle on H2OWorld 2019 NYC conference.

5 дней, 18 часов назад @ t.me
#НамДжунаБы Ngrow.ai в поисках Junior Python Developer
#НамДжунаБы Ngrow.ai в поисках Junior Python Developer #НамДжунаБы Ngrow.ai в поисках Junior Python Developer

#НамДжунаБы Ngrow.ai в поисках Junior Python Developer

1 неделя, 1 день назад @ t.me
#НамДжунаБыDE Intern в P&Ghttps://russia.pgcareers.com/job/moscow/it-devops-internship/1644/10150755936?source=RS_SWE
#НамДжунаБыDE Intern в P&Ghttps://russia.pgcareers.com/job/moscow/it-devops-internship/1644/10150755936?source=RS_SWE #НамДжунаБыDE Intern в P&Ghttps://russia.pgcareers.com/job/moscow/it-devops-internship/1644/10150755936?source=RS_SWE

#НамДжунаБыDE Intern в P&Ghttps://russia.pgcareers.com/job/moscow/it-devops-internship/1644/10150755936?source=RS_SWE

1 неделя, 3 дня назад @ t.me
#НамДжунаБы Junior+ DS в Х5, Перекресток.Впрок
#НамДжунаБы Junior+ DS в Х5, Перекресток.Впрок #НамДжунаБы Junior+ DS в Х5, Перекресток.Впрок

#НамДжунаБы Junior+ DS в Х5, Перекресток.Впрок

1 неделя, 6 дней назад @ t.me
https://dropbox.github.io/dbx-career-framework/overview.htmlТут Dropbox опубликовал описание грейдов, которые он использует. То есть можно понять, что для них Junior, Middle, а также кто же такой Staff/Principal.Немного компаний открывают доступ к таким вн
https://dropbox.github.io/dbx-career-framework/overview.htmlТут Dropbox опубликовал описание грейдов, которые он использует. То есть можно понять, что для них Junior, Middle, а также кто же такой Staff/Principal.Немного компаний открывают доступ к таким вн https://dropbox.github.io/dbx-career-framework/overview.htmlТут Dropbox опубликовал описание грейдов, которые он использует. То есть можно понять, что для них Junior, Middle, а также кто же такой Staff/Principal.Немного компаний открывают доступ к таким вн

https://dropbox.github.io/dbx-career-framework/overview.htmlТут Dropbox опубликовал описание грейдов, которые он использует. То есть можно понять, что для них Junior, Middle, а также кто же такой Staff/Principal.Немного компаний открывают доступ к таким внутренним ресурсам, поэтому это очень похвально.Возможно, кому-то это поможет понять, что от него требуется и скорректировать свой план развития.Кстати, если вы хотите понять, как эти уровни соотносятся с уровнями и грейдами других компаний, а также понять примерную компенсацию на этих уровнях, можно обратить внимание на ресурс levels.fyi. Для примера, на скриншоте сравнение уровней Гугла, Фейсбука и Майкрософта.

2 недели назад @ t.me
#НамДжунаБы Junior Python Developer в mynalabs.aiСсылки из вакансии:Подробное описание задачек, которые нужно решать, можно найти тут:https://www.notion.so/mynalabs/Data-Engineer-20127a1cfb224804ae407a6f717e8781Если интересно, то заполни форму, и с тобой с
#НамДжунаБы Junior Python Developer в mynalabs.aiСсылки из вакансии:Подробное описание задачек, которые нужно решать, можно найти тут:https://www.notion.so/mynalabs/Data-Engineer-20127a1cfb224804ae407a6f717e8781Если интересно, то заполни форму, и с тобой с #НамДжунаБы Junior Python Developer в mynalabs.aiСсылки из вакансии:Подробное описание задачек, которые нужно решать, можно найти тут:https://www.notion.so/mynalabs/Data-Engineer-20127a1cfb224804ae407a6f717e8781Если интересно, то заполни форму, и с тобой с

#НамДжунаБы Junior Python Developer в mynalabs.aiСсылки из вакансии:Подробное описание задачек, которые нужно решать, можно найти тут:https://www.notion.so/mynalabs/Data-Engineer-20127a1cfb224804ae407a6f717e8781Если интересно, то заполни форму, и с тобой свяжется мой коллегаhttps://airtable.com/shr90FZTSTu4lrx2u

2 недели, 4 дня назад @ t.me
Конференция о дата-инжиниринге SmartData 2021 ищет спикеров🎙Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили от
Конференция о дата-инжиниринге SmartData 2021 ищет спикеров🎙Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили от Конференция о дата-инжиниринге SmartData 2021 ищет спикеров🎙Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили от

Конференция о дата-инжиниринге SmartData 2021 ищет спикеров🎙Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили отложить из-за непредсказуемости ввода ограничений на офлайн мероприятия).Темы, которые ждут больше всего:– Стриминг;– СУБД и хранилища для больших данных;– Архитектура DWH;– Data governance;–Технологии построения ETL;– Оркестрация и MLOps.Но этим списком не ограничивается — вы можете подать заявку с любой темой из области дата-инжиниринга.Если все-таки сомневаетесь, то программный комитет всегда готов обсудить актуальность темы и помочь выб…

3 недели, 4 дня назад @ t.me
В прошлом году я впервые подавал заявку на доклад, и именно SmartData была той конференцией, куда я подался. Как же я нервничал на первом созвоне с теми, кто курировал мой доклад, я ведь восхищаюсь этими людьми и их вкладом в DE - Паша Финкельштейн и Витал
В прошлом году я впервые подавал заявку на доклад, и именно SmartData была той конференцией, куда я подался. Как же я нервничал на первом созвоне с теми, кто курировал мой доклад, я ведь восхищаюсь этими людьми и их вкладом в DE - Паша Финкельштейн и Витал

В прошлом году я впервые подавал заявку на доклад, и именно SmartData была той конференцией, куда я подался. Как же я нервничал на первом созвоне с теми, кто курировал мой доклад, я ведь восхищаюсь этими людьми и их вкладом в DE - Паша Финкельштейн и Виталий Худобахшов. В итоге, к сожалению, я не насобирал достаточно материала, чтобы раскрыть свою тему, но в этом году обязательно вернусь и закрою гештальт.Чего и вам советую, а именно - начать выступать! К тому же... барабанная дробь….

3 недели, 4 дня назад @ t.me
#НамДжунаБы Junior DE в Innex Technologies.
#НамДжунаБы Junior DE в Innex Technologies. #НамДжунаБы Junior DE в Innex Technologies.

#НамДжунаБы Junior DE в Innex Technologies.

1 месяц назад @ t.me
#НамДжунаБыJunior аналитик в Х5.
#НамДжунаБыJunior аналитик в Х5. #НамДжунаБыJunior аналитик в Х5.

#НамДжунаБыJunior аналитик в Х5.

1 месяц, 3 недели назад @ t.me
#НамДжунаБыJunior DE в Сбербанк
#НамДжунаБыJunior DE в Сбербанк #НамДжунаБыJunior DE в Сбербанк

#НамДжунаБыJunior DE в Сбербанк

2 месяца назад @ t.me
В продолжении истории про школы / академии / курсы при большой компании, у МТС сейчас идет набор (и уже заканчивается, сегодня последний день, как я проморгал😭) в МТС Тета “Летний интенсив”.В программе есть Мобильная разработка на Android, Backend разработ
В продолжении истории про школы / академии / курсы при большой компании, у МТС сейчас идет набор (и уже заканчивается, сегодня последний день, как я проморгал😭) в МТС Тета “Летний интенсив”.В программе есть Мобильная разработка на Android, Backend разработ

В продолжении истории про школы / академии / курсы при большой компании, у МТС сейчас идет набор (и уже заканчивается, сегодня последний день, как я проморгал😭) в МТС Тета “Летний интенсив”.В программе есть Мобильная разработка на Android, Backend разработка на Java и Машинное обучение. Последний курс ведут известные и авторитетные люди в сообществе, Эмили Драль и Виктор Кантор.Учеба онлайн и оффлайн в Москве, все как обычно.В общем, если вам интересно, сегодня последний день подачи заявок.

2 месяца, 2 недели назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост 1 месяц, 1 неделя назад
Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратит
Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратит Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратит

Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратить в DMP, какие проблемы возникают в процессе разработки и как мы их решаем.🎓 Разработка платформы управления данными. Доклад Яндекса

1 месяц, 1 неделя назад @ t.me
Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH ги
Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH ги

Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, мы пришли к неожиданному ответу: выбирать надо не между подходами, а лучшее из двух подходов.🎓 Как мы внедрили свою модель хранения данных — highly Normalized hybrid Model. Доклад Яндекса

2 месяца назад @ t.me
Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели
Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели

Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели наступить. Вот какие кейсы рассмотрим.Платформа для A/B-тестирования. Во что вам обойдётся автоматизация экспериментов?Сергей Масленников, аналитик Яндекс Go, расскажет, как мы освободили тысячи аналитико-часов, разработав систему АБТ.Как внедрение дорожного графа в инфраструктуру такси помогло снизить время подачи машиныАртём Бондаренко, team-lead группы аналитики Go, поделится опытом внедрения дорожного графа прямо в сервис — вместо дор…

4 месяца, 4 недели назад @ t.me
Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за вс
Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за вс

Yandex.Go Data Driven Backstage Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за все это отвечает наша служба DMP (Data Management Platfrom).На конференции SmartData ребята из службы DMP подсветили часть интересных нюансов про внутреннее устройство подготовки данных для аналитики всего Yandex.GO. Highly Normilized Hybrid Model Для того, чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методо…

5 месяцев, 1 неделя назад @ t.me
У меня есть две огненные вакансии про BI и Табло в Яндекс.📈 BI-аналитик в Яндекс GoЭто новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики
У меня есть две огненные вакансии про BI и Табло в Яндекс.📈 BI-аналитик в Яндекс GoЭто новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики

У меня есть две огненные вакансии про BI и Табло в Яндекс.📈 BI-аналитик в Яндекс GoЭто новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики приложений Яндекс Go. Необходимо разрабатывать стратегию развития отчётности, собирать данные и делать классные отчёты. Больше всего задач именно про дашборды, но придется готовить и данные. Вы не будете делать все-все дашборды для подразделения, но будете внутренним центром экспертизы по визуализации и Табло внутри команды продуктовой аналитики. Я же буду помогать вам советами и менторством.Позиция уровня мидл/джун. Нужны классные навыки…

6 месяцев, 1 неделя назад @ t.me
Новое эссе на GoPractice!“Требования к аналитикам данных на разных уровнях в Яндексе”Женя Козлов, который последние 8 лет строил аналитику в Яндекс.Такси и Яндекс.Маркете, рассказывает о том, как в Яндексе думают про уровни аналитиков данных (специалистов
Новое эссе на GoPractice!“Требования к аналитикам данных на разных уровнях в Яндексе”Женя Козлов, который последние 8 лет строил аналитику в Яндекс.Такси и Яндекс.Маркете, рассказывает о том, как в Яндексе думают про уровни аналитиков данных (специалистов

Новое эссе на GoPractice!“Требования к аналитикам данных на разных уровнях в Яндексе”Женя Козлов, который последние 8 лет строил аналитику в Яндекс.Такси и Яндекс.Маркете, рассказывает о том, как в Яндексе думают про уровни аналитиков данных (специалистов и менеджеров).Данное эссе поможет вам:- Сформулировать четкие требования к аналитикам на разных уровнях.- Структурировать процесс найма и роста аналитиков данных.- Определить уровень своих сотрудников (или свой) и подготовить план для их роста и развития.https://gopractice.ru/data_analysts_levels/ Обсудить прочитанное можно в чате Ask Kevin! https://t.me/askkevinЖеня также делится своими мыслями в канале https://t.me/SecretOfNoodleSoup

8 месяцев, 2 недели назад @ t.me
enthusiastech enthusiastech
последний пост 4 дня, 21 час назад
Начинаем https://youtu.be/SsCe5b0Tqzc
Начинаем https://youtu.be/SsCe5b0Tqzc

Начинаем https://youtu.be/SsCe5b0Tqzc

4 дня, 21 час назад @ t.me
В среду 28.07 в 14.00 состоится презентация моей программы Analytics Engineer.4 месяца интенсивного погружения в самые востребованные и актуальные навыки на стыке миров Data Engineering & Data Analytics.На вебинаре расскажу про потребность на рынке, со
В среду 28.07 в 14.00 состоится презентация моей программы Analytics Engineer.4 месяца интенсивного погружения в самые востребованные и актуальные навыки на стыке миров Data Engineering & Data Analytics.На вебинаре расскажу про потребность на рынке, со В среду 28.07 в 14.00 состоится презентация моей программы Analytics Engineer.4 месяца интенсивного погружения в самые востребованные и актуальные навыки на стыке миров Data Engineering & Data Analytics.На вебинаре расскажу про потребность на рынке, со

В среду 28.07 в 14.00 состоится презентация моей программы Analytics Engineer.4 месяца интенсивного погружения в самые востребованные и актуальные навыки на стыке миров Data Engineering & Data Analytics.На вебинаре расскажу про потребность на рынке, содержание программы, отвечу на вопросы.Ссылка на трансляцию будет здесь за 5-10 минут.

5 дней, 12 часов назад @ t.me
В условиях постоянно растущей сложности аналитических инструментов и распределенной команды не просто возможно, но и необходимо повышать скорость поставки (T2M) и качество (Quality) выводимого в продуктив функционала. Фокус сегодняшней публикации – внедрен
В условиях постоянно растущей сложности аналитических инструментов и распределенной команды не просто возможно, но и необходимо повышать скорость поставки (T2M) и качество (Quality) выводимого в продуктив функционала. Фокус сегодняшней публикации – внедрен В условиях постоянно растущей сложности аналитических инструментов и распределенной команды не просто возможно, но и необходимо повышать скорость поставки (T2M) и качество (Quality) выводимого в продуктив функционала. Фокус сегодняшней публикации – внедрен

В условиях постоянно растущей сложности аналитических инструментов и распределенной команды не просто возможно, но и необходимо повышать скорость поставки (T2M) и качество (Quality) выводимого в продуктив функционала. Фокус сегодняшней публикации – внедрение практик интеграционного тестирования с учетом современного аналитического стека.С практическими примерами и рекомендациями будут рассмотрены следующие аспекты:– Специфика аналитических приложений и пространство для DevOps практик– Рецепт для внедрения Continuous Integration шаг за шагом– Slim CI: оптимизируем и ускоряем процессыhttps://habr.com/ru/company/otus/blog/567916/

2 недели, 2 дня назад @ t.me
Вебинар Business Intelligence 101: Развертывание и конфигурирование решенияСлайды: https://docs.google.com/presentation/d/1HEMQ4687hOdqZ47Tqumn6jmvPzKiu3H4VA5xF5R12oY/edit?usp=sharingЗапись: https://youtu.be/3agTJjGhwsI?t=405
Вебинар Business Intelligence 101: Развертывание и конфигурирование решенияСлайды: https://docs.google.com/presentation/d/1HEMQ4687hOdqZ47Tqumn6jmvPzKiu3H4VA5xF5R12oY/edit?usp=sharingЗапись: https://youtu.be/3agTJjGhwsI?t=405 Вебинар Business Intelligence 101: Развертывание и конфигурирование решенияСлайды: https://docs.google.com/presentation/d/1HEMQ4687hOdqZ47Tqumn6jmvPzKiu3H4VA5xF5R12oY/edit?usp=sharingЗапись: https://youtu.be/3agTJjGhwsI?t=405

Вебинар Business Intelligence 101: Развертывание и конфигурирование решенияСлайды: https://docs.google.com/presentation/d/1HEMQ4687hOdqZ47Tqumn6jmvPzKiu3H4VA5xF5R12oY/edit?usp=sharingЗапись: https://youtu.be/3agTJjGhwsI?t=405

2 недели, 3 дня назад @ t.me
Начинаем через несколько минут! Трансляция: https://youtu.be/3agTJjGhwsIЧат: https://otus.ru/lessons/event-chat/1394/Опрос: https://forms.gle/NPzzdQvJ2JBJQQjN9
Начинаем через несколько минут! Трансляция: https://youtu.be/3agTJjGhwsIЧат: https://otus.ru/lessons/event-chat/1394/Опрос: https://forms.gle/NPzzdQvJ2JBJQQjN9

Начинаем через несколько минут! Трансляция: https://youtu.be/3agTJjGhwsIЧат: https://otus.ru/lessons/event-chat/1394/Опрос: https://forms.gle/NPzzdQvJ2JBJQQjN9

2 недели, 3 дня назад @ t.me
Привет! Сегодня 15 июля в 20.00 приглашаю на вебинар.Business Intelligence 101: Развертывание и конфигурирование решения– Варианты деплоя BI-решения: SaaS, Cloud App, Docker– Конфигурация: безопасность, метаданные, уведомления– База метаданных и ее миграци
Привет! Сегодня 15 июля в 20.00 приглашаю на вебинар.Business Intelligence 101: Развертывание и конфигурирование решения– Варианты деплоя BI-решения: SaaS, Cloud App, Docker– Конфигурация: безопасность, метаданные, уведомления– База метаданных и ее миграци Привет! Сегодня 15 июля в 20.00 приглашаю на вебинар.Business Intelligence 101: Развертывание и конфигурирование решения– Варианты деплоя BI-решения: SaaS, Cloud App, Docker– Конфигурация: безопасность, метаданные, уведомления– База метаданных и ее миграци

Привет! Сегодня 15 июля в 20.00 приглашаю на вебинар.Business Intelligence 101: Развертывание и конфигурирование решения– Варианты деплоя BI-решения: SaaS, Cloud App, Docker– Конфигурация: безопасность, метаданные, уведомления– База метаданных и ее миграция– Общее устройство BI-решения и его возможностиСмотрим на примерах Metabase (Open Source), Looker.Ссылка на регистрацию: https://otus.ru/lessons/dwh/#event-1394Ссылка на youtube-трансляцию будет опубликована здесь за 5 минут до начала.

2 недели, 3 дня назад @ t.me
Слайды вебинара Slim CI: https://docs.google.com/presentation/d/16i51WEOGE0zRtcrRzZ02J-aky2tCG6bSk4u-WF0thX4/edit?usp=sharingЗапись вебинара: https://youtu.be/yfMWiyKpUkQ?t=371Пройдите, пожалуйста, опрос о вебинаре: https://forms.gle/takEhrXioSNmAnrN8
Слайды вебинара Slim CI: https://docs.google.com/presentation/d/16i51WEOGE0zRtcrRzZ02J-aky2tCG6bSk4u-WF0thX4/edit?usp=sharingЗапись вебинара: https://youtu.be/yfMWiyKpUkQ?t=371Пройдите, пожалуйста, опрос о вебинаре: https://forms.gle/takEhrXioSNmAnrN8

Слайды вебинара Slim CI: https://docs.google.com/presentation/d/16i51WEOGE0zRtcrRzZ02J-aky2tCG6bSk4u-WF0thX4/edit?usp=sharingЗапись вебинара: https://youtu.be/yfMWiyKpUkQ?t=371Пройдите, пожалуйста, опрос о вебинаре: https://forms.gle/takEhrXioSNmAnrN8

3 недели, 5 дней назад @ t.me
Ссылка на чат: https://otus.ru/lessons/event-chat/1393/
Ссылка на чат: https://otus.ru/lessons/event-chat/1393/

Ссылка на чат: https://otus.ru/lessons/event-chat/1393/

3 недели, 5 дней назад @ t.me
Начинаю: https://www.youtube.com/watch?v=yfMWiyKpUkQ
Начинаю: https://www.youtube.com/watch?v=yfMWiyKpUkQ

Начинаю: https://www.youtube.com/watch?v=yfMWiyKpUkQ

3 недели, 5 дней назад @ t.me
Завтра проведу вебинар Configuring Slim CI: легковесные интеграционные тесты для Хранилища Данных– Кейс: место CI в аналитических приложениях– Настройка интеграционных тестов для DWH– Slim CI: оптимизируем и ускоряемВремя: 6 июля в 15:00Регистрация: https:
Завтра проведу вебинар Configuring Slim CI: легковесные интеграционные тесты для Хранилища Данных– Кейс: место CI в аналитических приложениях– Настройка интеграционных тестов для DWH– Slim CI: оптимизируем и ускоряемВремя: 6 июля в 15:00Регистрация: https: Завтра проведу вебинар Configuring Slim CI: легковесные интеграционные тесты для Хранилища Данных– Кейс: место CI в аналитических приложениях– Настройка интеграционных тестов для DWH– Slim CI: оптимизируем и ускоряемВремя: 6 июля в 15:00Регистрация: https:

Завтра проведу вебинар Configuring Slim CI: легковесные интеграционные тесты для Хранилища Данных– Кейс: место CI в аналитических приложениях– Настройка интеграционных тестов для DWH– Slim CI: оптимизируем и ускоряемВремя: 6 июля в 15:00Регистрация: https://otus.ru/lessons/dwh/#event-1393Ссылка на трансляцию будет в канале за 5 минут до начала.

3 недели, 6 дней назад @ t.me
Слайды сегодняшнего вебинара с кликабельными ссылками: https://docs.google.com/presentation/d/1kLERKIxMAg1PcbMykNRL5juK1tsebUGkkwT709JCYkI/edit?usp=sharingЗапись вебинара: https://youtu.be/pkuKKb4klkY?t=211
Слайды сегодняшнего вебинара с кликабельными ссылками: https://docs.google.com/presentation/d/1kLERKIxMAg1PcbMykNRL5juK1tsebUGkkwT709JCYkI/edit?usp=sharingЗапись вебинара: https://youtu.be/pkuKKb4klkY?t=211

Слайды сегодняшнего вебинара с кликабельными ссылками: https://docs.google.com/presentation/d/1kLERKIxMAg1PcbMykNRL5juK1tsebUGkkwT709JCYkI/edit?usp=sharingЗапись вебинара: https://youtu.be/pkuKKb4klkY?t=211

1 месяц, 2 недели назад @ t.me
Привет, начинаем вебинар. Подключайтесь: https://www.youtube.com/watch?v=pkuKKb4klkY
Привет, начинаем вебинар. Подключайтесь: https://www.youtube.com/watch?v=pkuKKb4klkY

Привет, начинаем вебинар. Подключайтесь: https://www.youtube.com/watch?v=pkuKKb4klkY

1 месяц, 2 недели назад @ t.me
Завтра 15 июня в 15.00 проведу вебинар.Практическое Качество Данных– Тесты схемы и бизнес-логики– Актуальность и своевременность данных– Получение статусов и уведомлений в Slack– Исправление проблем и Data FixesСсылка на регистрацию: https://otus.ru/lesson
Завтра 15 июня в 15.00 проведу вебинар.Практическое Качество Данных– Тесты схемы и бизнес-логики– Актуальность и своевременность данных– Получение статусов и уведомлений в Slack– Исправление проблем и Data FixesСсылка на регистрацию: https://otus.ru/lesson Завтра 15 июня в 15.00 проведу вебинар.Практическое Качество Данных– Тесты схемы и бизнес-логики– Актуальность и своевременность данных– Получение статусов и уведомлений в Slack– Исправление проблем и Data FixesСсылка на регистрацию: https://otus.ru/lesson

Завтра 15 июня в 15.00 проведу вебинар.Практическое Качество Данных– Тесты схемы и бизнес-логики– Актуальность и своевременность данных– Получение статусов и уведомлений в Slack– Исправление проблем и Data FixesСсылка на регистрацию: https://otus.ru/lessons/dwh/#event-1340Ссылка на youtube-трансляцию будет в канале за 5 минут до начала.

1 месяц, 2 недели назад @ t.me
Long time no see, folks!Let us investigate super hot app TikTok from the point of Marketing API integration.There's not much information on this topic available on the net today.For now I see the steps as follows:1. Register as a developer and create an Ap
Long time no see, folks!Let us investigate super hot app TikTok from the point of Marketing API integration.There's not much information on this topic available on the net today.For now I see the steps as follows:1. Register as a developer and create an Ap Long time no see, folks!Let us investigate super hot app TikTok from the point of Marketing API integration.There's not much information on this topic available on the net today.For now I see the steps as follows:1. Register as a developer and create an Ap

Long time no see, folks!Let us investigate super hot app TikTok from the point of Marketing API integration.There's not much information on this topic available on the net today.For now I see the steps as follows:1. Register as a developer and create an App – DONE2. Get access to any business account (who does promotions/advertising) – DONE3. Acquire API token – DONE4. Play with APIBriefly, interesting things one can do via API:– Reporting API- Audience management– Pixel managementThat could be promising and demanded integration.Share what you think about it.And stay tuned.

1 месяц, 3 недели назад @ t.me
#expert⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.Поговорили с Артемием про принципы,
#expert⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.Поговорили с Артемием про принципы,

#expert⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.Поговорили с Артемием про принципы, лежащие в основе решений, работающих с Big Data ⬇️***Большие данные, кластерные вычисления, MPP базы данных – всё это может звучать так сложно и загадочно не только для обывателя, но и для ИТ-специалистов.Однако, принципы, лежащие в основе решений, работающих с Big Data, логичны и интуитивно понятны. Они одинаково применимы и к инструментам экосистемы Hadoop (Hive, Spark, HBase, Kafka), и к аналитическим движкам корпоративного уровня (Ter…

2 месяца назад @ t.me
data будни data будни
последний пост 2 недели, 5 дней назад
когда пишу в SQL запросах GROUP BY 1, 2 вместо полного наименования колонок, меня всегда тревожила мысль, что я халавлю и недоделываю НОРМАЛЬНЫЙ КОД. Прочитал, что в dbt делают так же и успокоился: писать через «1» проще и понятнее (заскринил пример ^). Ес
когда пишу в SQL запросах GROUP BY 1, 2 вместо полного наименования колонок, меня всегда тревожила мысль, что я халавлю и недоделываю НОРМАЛЬНЫЙ КОД. Прочитал, что в dbt делают так же и успокоился: писать через «1» проще и понятнее (заскринил пример ^). Ес когда пишу в SQL запросах GROUP BY 1, 2 вместо полного наименования колонок, меня всегда тревожила мысль, что я халавлю и недоделываю НОРМАЛЬНЫЙ КОД. Прочитал, что в dbt делают так же и успокоился: писать через «1» проще и понятнее (заскринил пример ^). Ес

когда пишу в SQL запросах GROUP BY 1, 2 вместо полного наименования колонок, меня всегда тревожила мысль, что я халавлю и недоделываю НОРМАЛЬНЫЙ КОД. Прочитал, что в dbt делают так же и успокоился: писать через «1» проще и понятнее (заскринил пример ^). Если что, буду показывать эту заметку 🌚So why do I still group by 1? Well, there's a few reasons:…- 1 is a single character (and I'm lazy, OK?!).https://blog.getdbt.com/write-better-sql-a-defense-of-group-by-1/

2 недели, 5 дней назад @ t.me
реальный мир — единственный источник практических знаний «Как стать X?» или «Что качать, чтобы прокачаться в Y?» можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду). мне нравится подход из ми
реальный мир — единственный источник практических знаний  «Как стать X?» или «Что качать, чтобы прокачаться в Y?»  можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду).  мне нравится подход из ми реальный мир — единственный источник практических знаний «Как стать X?» или «Что качать, чтобы прокачаться в Y?» можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду). мне нравится подход из ми

реальный мир — единственный источник практических знаний «Как стать X?» или «Что качать, чтобы прокачаться в Y?» можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду). мне нравится подход из мира…

1 месяц назад @ t.me
реальный мир — единственный источник практических знаний«Как стать X?» или «Что качать, чтобы прокачаться в Y?»можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду).мне нравится подход из мира ста
реальный мир — единственный источник практических знаний«Как стать X?» или «Что качать, чтобы прокачаться в Y?»можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду).мне нравится подход из мира ста

реальный мир — единственный источник практических знаний«Как стать X?» или «Что качать, чтобы прокачаться в Y?»можно взять гигантский роадмап и пойти по порядку — через год будет результат (если дойдёшь и не умрёшь с голоду).мне нравится подход из мира стартапов: любая идея — теоретическая туфта, пока не пройдёт испытание на реальных клиентах. Именно конечные клиенты — единственный источник реальных знаний. если хочешь стать инженером данных — надо найти вакансии и посмотреть что там требуется. Хоп! и уже первое открытие — везде требуются разные наборы навыков, потому что (сюрприз!) во всех компаниях свой стэк инструментов и свои обычаи. И это всё со временем меняется (быстрее, чем программ…

1 месяц назад @ t.me
Подкаст с Лёшей Никушинымhttps://t.me/internetanalytics/3641Алексей известен как автор канала Интернет-аналитика ^^ и основатель конференции Матемаркетинг.Понравился подход к делу:… новая работа — «знакомьтесь, это Лёша, лучший аналитик страны… Посмотрим ч
Подкаст с Лёшей Никушинымhttps://t.me/internetanalytics/3641Алексей известен как автор канала Интернет-аналитика ^^ и основатель конференции Матемаркетинг.Понравился подход к делу:… новая работа — «знакомьтесь, это Лёша, лучший аналитик страны… Посмотрим ч

Подкаст с Лёшей Никушинымhttps://t.me/internetanalytics/3641Алексей известен как автор канала Интернет-аналитика ^^ и основатель конференции Матемаркетинг.Понравился подход к делу:… новая работа — «знакомьтесь, это Лёша, лучший аналитик страны… Посмотрим что ты умеешь». В пятницу утром получил задание — к понедельнику сделать отчёт по всем диджитал каналам трафика в компании. Руками такой отчёт делать — не то что выходных, месяца не хватит.И дальше череда событий:тут же вечером — он проходит курс по программированию на Пайтоне на Степикеутром в субботу — у него созвон с Ильёй Красинским, чтобы тот объяснил ему куда смотреть в Гугл Аналитиксе днём в субботу — такой же созвон с человеком из Я…

1 месяц, 2 недели назад @ t.me
Recommended Reading, Listening, Watching from Meltano Teamподборка дата- рассылок, блогов, ресурсов и комьюнитиhttps://meltano.com/handbook/resources/
Recommended Reading, Listening, Watching from Meltano Teamподборка дата- рассылок, блогов, ресурсов и комьюнитиhttps://meltano.com/handbook/resources/

Recommended Reading, Listening, Watching from Meltano Teamподборка дата- рассылок, блогов, ресурсов и комьюнитиhttps://meltano.com/handbook/resources/

1 месяц, 3 недели назад @ t.me
Не «если», а «когда» когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…» сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял
Не «если», а «когда» когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…» сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял

Не «если», а «когда» когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…» сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял…

1 месяц, 3 недели назад @ t.me
Не «если», а «когда»когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…»сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял, чт
Не «если», а «когда»когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…»сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял, чт

Не «если», а «когда»когда только начинал, было страшно браться за работу — ведь любая работа делалась впервые. Поднять Постгрес на голой Убунте? → «Ну не знаю, смогу ли…»сейчас с этим проще — во-первых, уже много чего успел поделать, а во-вторых, понял, что всегда будут попадаться задачи, которые придётся делать первый раз. И это нормально! Типа «поднять для проекта инфру с нуля в облаке на кубере и настроить туда доступ облачному BI» — пфф! легко! (на самом деле совсем не легко, но опустим это))навеяно: ⁃ известный архитектор тоже не знает как он будет строить заказанный у него небоскрёб (но, конечно, предусмотрительно не говорит об это клиенту) (прочитал у Бабаевой https://t.me/changemark…

1 месяц, 4 недели назад @ t.me
Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт. Разбирался сегодня со структурой этих данных: колонок всего 22, н
Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт. Разбирался сегодня со структурой этих данных: колонок всего 22, н

Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт. Разбирался сегодня со структурой этих данных: колонок всего 22, но…

2 месяца назад @ t.me
Да, это хорошая идея вообще, потихоничку описываем.К сожалению, это не маленький список регшений и в формате комментариев к посту я не знаю как его уложить. Ключевые метрики описывают свои классы проблем, например, низкая конверсия – описывает проблемы про
Да, это хорошая идея вообще, потихоничку описываем.К сожалению, это не маленький список регшений и в формате комментариев к посту я не знаю как его уложить. Ключевые метрики описывают свои классы проблем, например, низкая конверсия – описывает проблемы про

Да, это хорошая идея вообще, потихоничку описываем.К сожалению, это не маленький список регшений и в формате комментариев к посту я не знаю как его уложить. Ключевые метрики описывают свои классы проблем, например, низкая конверсия – описывает проблемы продажи – то как плохо мы продаем и причины этого. Но это в идеальном мире, где метрики независимы – то есть базис метрик ортогонален друг другу. В реальном мире есть много проблем, например, проблема усреднения: эффективные когорты, каналы, кампании, посадочные страницы скрывают (усредняют) проблемы не эффективных.Конверсия зависит на части сегментов от ср. чека – выше ср. чек, сложнее решение о покупке, потенциально ниже конверсия – а на не…

2 месяца назад @ t.me
комментарии в канале у Красинского — золото
комментарии в канале у Красинского — золото

комментарии в канале у Красинского — золото

2 месяца назад @ t.me
Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт.Разбирался сегодня со структурой этих данных: колонок всего 22, но
Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт.Разбирался сегодня со структурой этих данных: колонок всего 22, но

Данные из Google Analytics можно экспортировать в BigQuery. Сам экспорт — стандартная функция GA и ничего не стоит; тарификация идёт по нормам BigQuery: за количество просканированных байт.Разбирался сегодня со структурой этих данных: колонок всего 22, но их них 10 со вложенной структурой (если всё разложить, будет 176!). Чтобы добраться до нужных значений внутри, приходится прибегать к ухищрениям типа UNNEST. И всё не мог понять зачем это нужно, пока не нашёл гайд как сделать из этого экспорта плоский формат. Оказывается, изначальная задумка вложенного формата в том, чтобы в одну таблицу «запихнуть» как бы четыре нормализованные… Когда стал ясен смысл, то и на данные смотреть теперь проще.…

2 месяца назад @ t.me
хайрезы в ПДФ
хайрезы в ПДФ

хайрезы в ПДФ

2 месяца, 1 неделя назад @ t.me
Мета-Архитектура для работы с данными — исследование Andreessen & Horowitz на основне опроса сотен стартапов[оригинал, перевод]интересен общая схема и список всех участников. Выписал ребят из последней колонки:Output — итог, «конечная станция» для да
Мета-Архитектура для работы с данными  — исследование Andreessen & Horowitz на основне опроса сотен стартапов[оригинал, перевод]интересен общая схема и список всех участников. Выписал ребят из последней колонки:Output  — итог, «конечная станция» для да Мета-Архитектура для работы с данными — исследование Andreessen & Horowitz на основне опроса сотен стартапов[оригинал, перевод]интересен общая схема и список всех участников. Выписал ребят из последней колонки:Output — итог, «конечная станция» для да

Мета-Архитектура для работы с данными — исследование Andreessen & Horowitz на основне опроса сотен стартапов[оригинал, перевод]интересен общая схема и список всех участников. Выписал ребят из последней колонки:Output — итог, «конечная станция» для данных Dashboards Looker SupersetMode TableauEmbedded Analytics Sisense Looker cube.js Augmented Analytics Thoughtspot Outlier Anodot Sisu App Frameworks Plotly Dash Streamlit Custom Apps …via @data_days

2 месяца, 1 неделя назад @ t.me
В компании с налаженными процессами порог входа нижеСидят в отделе пять бородатых миддлов и всё у них слажено: все всё знают где что лежит, работа идёт, таски закрываются.Но вот приходит новенький и изображает Траволту из известного мема: «где тут у вас чт
В компании с налаженными процессами порог входа нижеСидят в отделе пять бородатых миддлов и всё у них слажено: все всё знают где что лежит, работа идёт, таски закрываются.Но вот приходит новенький и изображает Траволту из известного мема: «где тут у вас чт

В компании с налаженными процессами порог входа нижеСидят в отделе пять бородатых миддлов и всё у них слажено: все всё знают где что лежит, работа идёт, таски закрываются.Но вот приходит новенький и изображает Траволту из известного мема: «где тут у вас что?» Если в компании налажены процессы онбординга, то в новенького сразу прилетает куча пошаговых инструкций: куда писать код, к кому идти за менторством, где оформлять отпуск и брать печеньки.Если же процессов нет, то адаптация идёт в ручном режиме: старичок проводит новенького за ручку по всем углам и знакомит с порядками (а мог бы свой код писать, да). И хорошо, если ещё старичок ничего не забудет! Хотя в любом случае новичок поначалу бу…

2 месяца, 1 неделя назад @ t.me
Data Science — это направление знаний это что-то такое крупное; типа «медицины».в начале профессионального пути детали не важны и можно смело говорить, что хочешь стать «медиком» — со специализацией определишься уже ближе к третьему курсу.но вот если какая
Data Science — это направление знаний это что-то такое крупное; типа «медицины».в начале профессионального пути детали не важны и можно смело говорить, что хочешь стать «медиком» — со специализацией определишься уже ближе к третьему курсу.но вот если какая

Data Science — это направление знаний это что-то такое крупное; типа «медицины».в начале профессионального пути детали не важны и можно смело говорить, что хочешь стать «медиком» — со специализацией определишься уже ближе к третьему курсу.но вот если какая-нибудь больница опубликует вакансию о поиске «медика», то к ним придут все: от акушера до нейрохирурга — спасибо, что не администратор в приёмную!

2 месяца, 2 недели назад @ t.me
Data Governance Data Governance
последний пост 8 месяцев назад
Data Literacy в России запускает проект по популяризации «DAMA-DMBOK2: Cвода знаний по управлению данными». Первый вебинар пройдет уже сегодня, 1 декабря в 18:00, при участии экспертов из Магнит, QUBData и Qlik: https://dataliteracy.ru/see-dmbok-1 Книга «D
Data Literacy в России запускает проект по популяризации «DAMA-DMBOK2: Cвода знаний по управлению данными». Первый вебинар пройдет уже сегодня, 1 декабря в 18:00, при участии экспертов из Магнит, QUBData и Qlik: https://dataliteracy.ru/see-dmbok-1 Книга «D

Data Literacy в России запускает проект по популяризации «DAMA-DMBOK2: Cвода знаний по управлению данными». Первый вебинар пройдет уже сегодня, 1 декабря в 18:00, при участии экспертов из Магнит, QUBData и Qlik: https://dataliteracy.ru/see-dmbok-1 Книга «DAMA-DMBOK2: Cвода знаний по управлению данными» написана экспертами Международной ассоциации управления данными (DAMA) и представляет собой наиболее полное и актуальное введение в дисциплину управления данными с обзором лучших практик. DAMA-DMBOK2 действительно можно назвать сводом знаний. К примеру, только для написания первой главы составители осмыслили и переработали более 40 книг и научных статей по работе с данными. Поэтому, мы будем …

8 месяцев назад @ t.me
Кстати, у канала есть чат https://t.me/joinchat/A3kvLE-ck9-Ww7DUkTguRw и канал в slack ods #data_governance https://ods.ai/
Кстати, у канала есть чат https://t.me/joinchat/A3kvLE-ck9-Ww7DUkTguRw и канал в slack ods #data_governance https://ods.ai/

Кстати, у канала есть чат https://t.me/joinchat/A3kvLE-ck9-Ww7DUkTguRw и канал в slack ods #data_governance https://ods.ai/

9 месяцев, 1 неделя назад @ t.me
Алхимики объявили неделю Data Governance Сегодня 3 спикера, поэтому начинаем пораньше17:00-18:00 "Управление мастер-данными" Павел Абдюшев, директор по развитию продуктов HFLabs 18:00-18:40 Доклад "Data Quality Framework для Data Lake MTS" и Q&A - Дм
Алхимики объявили неделю Data Governance Сегодня 3 спикера, поэтому начинаем пораньше17:00-18:00 "Управление мастер-данными" Павел Абдюшев, директор по развитию продуктов HFLabs 18:00-18:40 Доклад "Data Quality Framework для Data Lake MTS" и Q&A - Дм

Алхимики объявили неделю Data Governance Сегодня 3 спикера, поэтому начинаем пораньше17:00-18:00 "Управление мастер-данными" Павел Абдюшев, директор по развитию продуктов HFLabs 18:00-18:40 Доклад "Data Quality Framework для Data Lake MTS" и Q&A - Дмитрий Ежов, product owner, МТС 18:40-19:20 Доклад + Q&A "Data Governance на минималках" Наталья Хапаева, product owner, МТС Встречаемся в Spatial Chat https://spatial.chat/s/ods. Пароль: allhailtheoneandonlypartyparrot.

9 месяцев, 2 недели назад @ t.me
​​Доброе утро! Сегодня в комнате трека ML in Finance поговорим о Big Data 😎16:00-18:00 Доклад «Использование Big Data по ценам розничной онлайн-торговли в России» и Q&A с Алексеем Евсеевым, младшим научным сотрудником Института прикладных экономически
​​Доброе утро! Сегодня в комнате трека ML in Finance поговорим о Big Data 😎16:00-18:00 Доклад «Использование Big Data по ценам розничной онлайн-торговли в России» и Q&A с Алексеем Евсеевым, младшим научным сотрудником Института прикладных экономически

​​Доброе утро! Сегодня в комнате трека ML in Finance поговорим о Big Data 😎16:00-18:00 Доклад «Использование Big Data по ценам розничной онлайн-торговли в России» и Q&A с Алексеем Евсеевым, младшим научным сотрудником Института прикладных экономических наук РАНХиГС А сразу после продолжим обсуждение data-related вопросов со спикерами трека Data Governance 🤓18:00-19:00 Доклад “Self Service Data: инфраструктура для аналитиков” и Q&A с Романом Богатовым, Team lead команды аналитики, Островок 19:00-20:00 Доклад "Big Data Discovery. Использование enterprise data catalog (Alation) для формирования data driven культуры организации» и Q&A с Анастасией Ярошенко, экспертом по управлению данными, МТС …

9 месяцев, 2 недели назад @ t.me
10 октября в комнате трека Data Governance #опятьмитап: 🔸 15:00-16:00 Доклад “Управление качеством данных” и Q&A с Алексеем Ильиным из Adastra🔸 16:00-17:00 Доклад “Meta DWH о DWH для DWH” и Q&A с Евгением Ермаковым из Яндекс ТаксиВстречаемся в Spat
10 октября в комнате трека Data Governance #опятьмитап: 🔸 15:00-16:00 Доклад “Управление качеством данных” и Q&A с Алексеем Ильиным из Adastra🔸 16:00-17:00 Доклад “Meta DWH о DWH для DWH” и Q&A с Евгением Ермаковым из Яндекс ТаксиВстречаемся в Spat

10 октября в комнате трека Data Governance #опятьмитап: 🔸 15:00-16:00 Доклад “Управление качеством данных” и Q&A с Алексеем Ильиным из Adastra🔸 16:00-17:00 Доклад “Meta DWH о DWH для DWH” и Q&A с Евгением Ермаковым из Яндекс ТаксиВстречаемся в Spatial Chat https://spatial.chat/s/ods. Пароль: allhailtheoneandonlypartyparrot.

9 месяцев, 3 недели назад @ t.me
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 2 дня, 5 часов назад
Adding Context And Comprehension To Your Analytics Through Data Discovery With SelectStar
Adding Context And Comprehension To Your Analytics Through Data Discovery With SelectStar

Companies of all sizes and industries are trying to use the data that they and their customers generate to survive and thrive in the modern economy. As a result, they are relying on a constantly growing number of data sources being accessed by an increasingly varied set of users. In order to help data consumers find and understand the data is available, and help the data producers understand how to prioritize their work, SelectStar has built a data discovery platform that brings everyone together. In this episode Shinji Kim shares her experience as a data professional struggling to collaborate with her colleagues and how that led her to founding a company to address that problem. She also d…

2 дня, 5 часов назад @ dataengineeringpodcast.com
Building a Multi-Tenant Managed Platform For Streaming Data With Pulsar at Datastax
Building a Multi-Tenant Managed Platform For Streaming Data With Pulsar at Datastax

Everyone expects data to be transmitted, processed, and updated instantly as more and more products integrate streaming data. The technology to make that possible has been around for a number of years, but the barriers to adoption have still been high due to the level of technical understanding and operational capacity that have been required to run at scale. Datastax has recently introduced a new managed offering for Pulsar workloads in the form of Astra Streaming that lowers those barriers and make stremaing workloads accessible to a wider audience. In this episode Prabhat Jha and Jonathan Ellis share the work that they have been doing to integrate streaming data into their managed Cassan…

5 дней, 5 часов назад @ dataengineeringpodcast.com
Bringing The Metrics Layer To The Masses With Transform
Bringing The Metrics Layer To The Masses With Transform

Collecting and cleaning data is only useful if someone can make sense of it afterward. The latest evolution in the data ecosystem is the introduction of a dedicated metrics layer to help address the challenge of adding context and semantics to raw information. In this episode Nick Handel shares the story behind Transform, a new platform that provides a managed metrics layer for your data platform. He explains the challenges that occur when metrics are maintained across a variety of systems, the benefits of unifying them in a common access layer, and the potential that it unlocks for everyone in the business to confidently answer questions with data.

1 неделя, 3 дня назад @ dataengineeringpodcast.com
Strategies For Proactive Data Quality Management
Strategies For Proactive Data Quality Management

Data quality is a concern that has been gaining attention alongside the rising importance of analytics for business success. Many solutions rely on hand-coded rules for catching known bugs, or statistical analysis of records to detect anomalies retroactively. While those are useful tools, it is far better to prevent data errors before they become an outsized issue. In this episode Gleb Mezhanskiy shares some strategies for adding quality checks at every stage of your development and deployment workflow to identify and fix problematic changes to your data before they get to production.

1 неделя, 6 дней назад @ dataengineeringpodcast.com
Low Code And High Quality Data Engineering For The Whole Organization With Prophecy
Low Code And High Quality Data Engineering For The Whole Organization With Prophecy

There is a wealth of tools and systems available for processing data, but the user experience of integrating them and building workflows is still lacking. This is particularly important in large and complex organizations where domain knowledge and context is paramount and there may not be access to engineers for codifying that expertise. Raj Bains founded Prophecy to address this need by creating a UI first platform for building and executing data engineering workflows that orchestrates Airflow and Spark. Rather than locking your business logic into a proprietary storage layer and only exposing it through a drag-and-drop editor Prophecy synchronizes all of your jobs with source control, all…

2 недели, 2 дня назад @ dataengineeringpodcast.com
Exploring The Design And Benefits Of The Modern Data Stack
Exploring The Design And Benefits Of The Modern Data Stack

We have been building platforms and workflows to store, process, and analyze data since the earliest days of computing. Over that time there have been countless architectures, patterns, and "best practices" to make that task manageable. With the growing popularity of cloud services a new pattern has emerged and been dubbed the "Modern Data Stack". In this episode members of the GoDataDriven team, Guillermo Sanchez, Bram Ochsendorf, and Juan Perafan, explain the combinations of services that comprise this architecture, share their experiences working with clients to employ the stack, and the benefits of bringing engineers and business users together with data.

2 недели, 6 дней назад @ dataengineeringpodcast.com
Democratize Data Cleaning Across Your Organization With Trifacta
Democratize Data Cleaning Across Your Organization With Trifacta

Every data project, whether it's analytics, machine learning, or AI, starts with the work of data cleaning. This is a critical step and benefits from being accessible to the domain experts. Trifacta is a platform for managing your data engineering workflow to make curating, cleaning, and preparing your information more approachable for everyone in the business. In this episode CEO Adam Wilson shares the story behind the business, discusses the myriad ways that data wrangling is performed across the business, and how the platform is architected to adapt to the ever-changing landscape of data management tools. This is a great conversation about how deliberate user experience and platform desi…

3 недели, 2 дня назад @ dataengineeringpodcast.com
Stick All Of Your Systems And Data Together With SaaSGlue As Your Workflow Manager
Stick All Of Your Systems And Data Together With SaaSGlue As Your Workflow Manager

At the core of every data workflow is an orchestration engine (or several). Deploying, managing, and scaling that orchestration can consume a large fraction of a data team's energy so it is important to pick something that provides the power and flexibility that you need. SaaSGlue is a managed service that lets you connect all of your systems, across clouds and physical infrastructure, and spanning all of your programming languages. In this episode Bart and Rich Wood explain how SaaSGlue is architected to allow for a high degree of flexibility in usage and deployment, their experience building a business with family, and how you can get started using it today. This is a fascinating platform…

3 недели, 6 дней назад @ dataengineeringpodcast.com
Leveling Up Open Source Data Integration With Meltano Hub And The Singer SDK
Leveling Up Open Source Data Integration With Meltano Hub And The Singer SDK

Data integration in the form of extract and load is the critical first step of every data project. There are a large number of commercial and open source projects that offer that capability but it is still far from being a solved problem. One of the most promising community efforts is that of the Singer ecosystem, but it has been plagued by inconsistent quality and design of plugins. In this episode the members of the Meltano project share the work they are doing to improve the discovery, quality, and capabilities of Singer taps and targets. They explain their work on the Meltano Hub and the Singer SDK and their long term goals for the Singer community.

1 месяц назад @ dataengineeringpodcast.com
A Candid Exploration Of Timeseries Data Analysis With InfluxDB
A Candid Exploration Of Timeseries Data Analysis With InfluxDB

While the overall concept of timeseries data is uniform, its usage and applications are far from it. One of the most demanding applications of timeseries data is for application and server monitoring due to the problem of high cardinality. In his quest to build a generalized platform for managing timeseries Paul Dix keeps getting pulled back into the monitoring arena. In this episode he shares the history of the InfluxDB project, the business that he has helped to build around it, and the architectural aspects of the engine that allow for its flexibility in managing various forms of timeseries data. This is a fascinating exploration of the technical and organizational evolution of the Influ…

1 месяц назад @ dataengineeringpodcast.com
Lessons Learned From The Pipeline Data Engineering Academy
Lessons Learned From The Pipeline Data Engineering Academy

Data Engineering is a broad and constantly evolving topic, which makes it difficult to teach in a concise and effective manner. Despite that, Daniel Molnar and Peter Fabian started the Pipeline Academy to do exactly that. In this episode they reflect on the lessons that they learned while teaching the first cohort of their bootcamp how to be effective data engineers. By focusing on the fundamentals, and making everyone write code, they were able to build confidence and impart the importance of context for their students.

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Make Database Performance Optimization A Playful Experience With Ottertune
Make Database Performance Optimization A Playful Experience With Ottertune

The database is the core of any system because it holds the data that drives your entire experience. We spend countless hours designing the data model, updating engine versions, and tuning performance. But how confident are you that you have configured it to be as performant as possible, given the dozens of parameters and how they interact with each other? Andy Pavlo researches autonomous database systems, and out of that research he created Ottertune to find the optimal set of parameters to use for your specific workload. In this episode he explains how the system works, the challenge of scaling it to work across different database engines, and his hopes for the future of database systems.

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Bring Order To The Chaos Of Your Unstructured Data Assets With Unstruk
Bring Order To The Chaos Of Your Unstructured Data Assets With Unstruk

Working with unstructured data has typically been a motivation for a data lake. The challenge is imposing enough order on the platform to make it useful. Kirk Marple has spent years working with data systems and the media industry, which inspired him to build a platform for automatically organizing your unstructured assets to make them more valuable. In this episode he shares the goals of the Unstruk Data Warehouse, how it is architected to extract asset metadata and build a searchable knowledge graph from the information, and the myriad ways that the system can be used. If you are wondering how to deal with all of the information that doesn't fit in your databases or data warehouses, then …

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Accelerating ML Training And Delivery With In-Database Machine Learning
Accelerating ML Training And Delivery With In-Database Machine Learning

When you build a machine learning model, the first step is always to load your data. Typically this means downloading files from object storage, or querying a database. To speed up the process, why not build the model inside the database so that you don't have to move the information? In this episode Paige Roberts explains the benefits of pushing the machine learning processing into the database layer and the approach that Vertica has taken for their implementation. If you are looking for a way to speed up your experimentation, or an easy way to apply AutoML then this conversation is for you.

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Taking A Tour Of The Google Cloud Platform For Data And Analytics
Taking A Tour Of The Google Cloud Platform For Data And Analytics

Google pioneered an impressive number of the architectural underpinnings of the broader big data ecosystem. Now they offer the technologies that they run internally to external users of their cloud platform. In this episode Lak Lakshmanan enumerates the variety of services that are available for building your various data processing and analytical systems. He shares some of the common patterns for building pipelines to power business intelligence dashboards, machine learning applications, and data warehouses. If you've ever been overwhelmed or confused by the array of services available in the Google Cloud Platform then this episode is for you.

1 месяц, 3 недели назад @ dataengineeringpodcast.com
Data Brew by Databricks Data Brew by Databricks
последний пост 1 неделя, 4 дня назад
Season 2E9: Data Driven Software
Season 2E9: Data Driven Software

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.We branch, version, and test our code, but what if we treated data like code? Tim Hunter joins us to discuss the open-source Data-Driven Software (DDS) package and how it leads to immense gains in collaboration and decreased runtime for data scientists at any organization.See more at databricks.com/data-brew

1 неделя, 4 дня назад @ buzzsprout.com
Season 2E8: Feature Engineering
Season 2E8: Feature Engineering

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Is there ever a “one-size fits all” approach for feature engineering? Find out this and more with Amanda Casari and Alice Zheng, co-authors of the Feature Engineering for Machine Learning book.See more at databricks.com/data-brew

3 недели, 3 дня назад @ buzzsprout.com
Season 2E7: Interpretable Machine Learning
Season 2E7: Interpretable Machine Learning

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.What does it mean for a model to be “interpretable”? Ameet Talwalkar shares his thoughts on IML (Interpretable Machine Learning), how it relates to data privacy and fairness, and his research in this field.See more at databricks.com/data-brew

1 месяц назад @ buzzsprout.com
Season 2E6: AutoML
Season 2E6: AutoML

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Erin LeDell shares valuable insight on AutoML, what problems are best solved by it, its current limitations, and her thoughts on the future of AutoML. We also discuss founding and growing the Women in Machine Learning and Data Science (WiMLDS) non-profit.See more at databricks.com/data-brew

1 месяц, 2 недели назад @ buzzsprout.com
Season 2E5: ML Applications
Season 2E5: ML Applications

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Good machine learning starts with high quality data. Irina Malkova shares her experience managing and ensuring high-fidelity data, developing custom metrics to satisfy business needs, and discusses how to improve internal decision making processes.See more at databricks.com/data-brew

1 месяц, 3 недели назад @ buzzsprout.com
Season 2E4: Hyperparameter and Neural Architecture Search
Season 2E4: Hyperparameter and Neural Architecture Search

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Liam Li is a leading researcher in the fields of hyperparameter optimization and neural architecture search, and is the author of the seminal Hyperband paper. In this session, Liam discusses the evolution of hyperparameter optimization techniques and illustrates how every data scientist can benefit from neural architecture search. See more at databricks.com/data-brew

2 месяца, 2 недели назад @ buzzsprout.com
Season 2E3: Infrastructure for ML
Season 2E3: Infrastructure for ML

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more. Adam Oliner discusses how to design your infrastructure to support ML, from integration tests to glue code, the importance of iteration, and centralized vs decentralized data science teams. He provides valuable advice for companies investing in ML and crucial lessons he’s learned from founding two companies.See more at databricks.com/data-brew

2 месяца, 4 недели назад @ buzzsprout.com
Season 2E2: Data Ethics
Season 2E2: Data Ethics

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Have you ever wondered how your purchasing behavior may reveal protected attributes? Or how data scientists and business play a role in combating bias? We discuss with Diana Pfeil recommendations to reduce bias and improve fairness, from SHAP to adversarial debiasing.See more at databricks.com/data-brew

3 месяца назад @ buzzsprout.com
Season 2E1: ML in Production
Season 2E1: ML in Production

For our second season, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.In the season opener, Matei Zaharia discusses how he entered the field of ML, best practices for productionizing ML pipelines, leveraging MLflow & the Lakehouse architecture for reproducible ML, and his current research in this field.See more at databricks.com/data-brew

3 месяца, 1 неделя назад @ databricks.com
Season 1E6: Journey of Big Data
Season 1E6: Journey of Big Data

Jules Damji and Tathagata Das guide us through their journey in big data and the evolution of data architecture in the past 30 years. They discuss some of the biggest changes in industry they’ve seen, as well as trends to look forward to in the coming years. This is a fun episode connecting all four authors of the Learning Spark, 2nd Edition book.See more at databricks.com/data-brew

5 месяцев, 2 недели назад @ buzzsprout.com
Season 1E5: Combining Machine Learning and MLflow with your Lakehouse
Season 1E5: Combining Machine Learning and MLflow with your Lakehouse

Ellissa Verseput, ML Engineer at Quby, joins Denny and Brooke to discuss how Quby leverages ML to extract additional value from their data lake and how they manage this process.See more at databricks.com/data-brew

6 месяцев, 3 недели назад @ buzzsprout.com
Season 1E4: BI on Data Lakes - Making it Real for Retail
Season 1E4: BI on Data Lakes - Making it Real for Retail

In this session, we discuss the lessons learned with Lara Minor, Senior Enterprise Data Manager at Columbia Sportswear, on how her team achieved a 70% reduction in pipeline creation time. This had reduced ETL workload times from four hours with previous data warehouses to minutes enabling near real-time analytics. Her team migrated from multiple legacy data warehouses, run by individual lines of business, to a single scalable, reliable, performant data lake.See more at databricks.com/data-brew

7 месяцев, 1 неделя назад @ buzzsprout.com
Season 1E3: Demystifying Delta Lake
Season 1E3: Demystifying Delta Lake

Delta Lake is an open source storage layer that brings reliability to data lakes. Delta Lake offers ACID transactions, scalable metadata handling, and unifies streaming and batch data processing. It runs on top of your existing data lake and is fully compatible with Apache Spark APIs. For our “Demystifying Delta Lake” session, we will interview Michael Armbrust - committer and PMC member of Apache Spark™ and the original creator of Spark SQL. He currently leads the team at Databricks that designed and built Structured Streaming and Delta Lake.See more at databricks.com/data-brew

7 месяцев, 4 недели назад @ buzzsprout.com
Season 1E2: Welcome to Lakehouse
Season 1E2: Welcome to Lakehouse

Legacy approaches have failed to deliver on the promise of a single data architecture that can support every downstream use case from BI to AI. Lakehouse aspires to address this by combining the best of data warehouses and data lakes. Ali Ghodsi, Co-Founder and CEO of Databricks, and David Meyer, SVP of Product at Databricks, explain how. See more at databricks.com/data-brew

8 месяцев, 3 недели назад @ buzzsprout.com
Season 1E1: From data warehousing to data lakes in 40 minutes
Season 1E1: From data warehousing to data lakes in 40 minutes

In our inaugural episode, we’d like to welcome data warehouse luminaries Barry Devlin, Susan O’Connell, and Donald Farmer to discuss the evolution of data warehouses, data lakes, and lakehouses.See more at databricks.com/data-brew

9 месяцев, 1 неделя назад @ databricks.com
InfoQ Podcast InfoQ Podcast
последний пост 2 дня, 20 часов назад
Cliff Berg and Raj Nagappan on Agile 2: The Next Iteration of Agile
Cliff Berg and Raj Nagappan on Agile 2: The Next Iteration of Agile Cliff Berg and Raj Nagappan on Agile 2: The Next Iteration of Agile

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Cliff Berg and Raj Nagappan about Agile 2, the next iteration of agile and how it is an evolution of the ideas from the original agile manifesto based on what has changed over the last 20 years. Read a transcript of this interview: https://bit.ly/3iWbK5c Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live:

https://live.infoq.com/

- August 17, 2021

- September 21, 2021

- October 19, 2021 QCon Plus:

https://plus.qconferences.com/

- November 1-5, 202…

2 дня, 20 часов назад @ soundcloud.com
Building a Great Engineering Culture and Being a Genuinely Purpose Driven Organisation
Building a Great Engineering Culture and Being a Genuinely Purpose Driven Organisation Building a Great Engineering Culture and Being a Genuinely Purpose Driven Organisation

In this double-episode podcast Shane Hastie, Lead Editor for Culture & Methods, first spoke to Mark Rees, CTO of Xero about creating a great engineering culture in a fast growing Unicorn company. He then spoke to Heather DeSantis of Publicity for Good about what it takes to be a truly purpose-driven organisation. Read a transcript of this interview: https://bit.ly/3eGttMK Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- August 17, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.link…

1 неделя, 2 дня назад @ soundcloud.com
Johanna Rothman on Modern Management Made Easy
Johanna Rothman on Modern Management Made Easy Johanna Rothman on Modern Management Made Easy

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Johanna Rothman about her seven principles of modern management, reward and incentive systems, multiple career ladders and ways to experiment with decisions for rapid feedback. Read a transcript of this interview: https://bit.ly/3AWqfOt Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- July 20, 2021

- August 17, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG…

2 недели, 2 дня назад @ soundcloud.com
Jason Thane on Building a Values Based Culture
Jason Thane on Building a Values Based Culture Jason Thane on Building a Values Based Culture

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Jason Thane of GenUI about building a company on a values-based culture, how software development is fundamentally about communication and collaboration and advice on interviewing for values fit. Read a transcript of this interview: https://bit.ly/3hokAJu Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- July 20, 2021

- August 17, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Face…

3 недели, 2 дня назад @ soundcloud.com
Pato Jutard of Mural on Maintaining a Collaborative Culture Through Exponential Growth
Pato Jutard of Mural on Maintaining a Collaborative Culture Through Exponential Growth Pato Jutard of Mural on Maintaining a Collaborative Culture Through Exponential Growth

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Pato Jutard, CTO of Mural, about the challenges of maintaining a collaborative culture as they have grown from under 100 people to over 450 through the pandemic. Read a transcript of this interview: https://bit.ly/3hrdqml Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- July 20, 2021

- August 17, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Instagram: …

1 месяц назад @ soundcloud.com
Robin Hills on Emotional Intelligence and Building on your Strengths
Robin Hills on Emotional Intelligence and Building on your Strengths Robin Hills on Emotional Intelligence and Building on your Strengths

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Robin Hills about the importance of emotional intelligence in life and at work, building on your strengths rather than focusing on weaknesses and the value of purpose to enable resilience Read a transcript of this interview: https://bit.ly/3gCNweU Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 202

- July 20, 2021

- August 17, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq…

1 месяц, 2 недели назад @ soundcloud.com
Anders Wallgren of Cloudbees on the Human Side of Software Delivery Management
Anders Wallgren of Cloudbees on the Human Side of Software Delivery Management Anders Wallgren of Cloudbees on the Human Side of Software Delivery Management

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Anders Wallgren of CloudBees about the human side of software development, ways to improve collaboration and why the future is in features. Read a transcript of this interview: https://bit.ly/2TjZRgn Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Instagram: @infoq…

1 месяц, 3 недели назад @ soundcloud.com
Frank Trainer on SOLID architecture, technical excellence and development as a team sport
Frank Trainer on SOLID architecture, technical excellence and development as a team sport Frank Trainer on SOLID architecture, technical excellence and development as a team sport

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Frank Trainer of Saggezza about technical excellence, writing code for your teammates, not yourself and the importance of SOLID architecture principles Read a transcript of this interview: https://bit.ly/2TEcZgp Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Insta…

1 месяц, 4 недели назад @ soundcloud.com
Tim Olshansky on Career Paths for Technologists who don’t want to Manage People
Tim Olshansky on Career Paths for Technologists who don’t want to Manage People Tim Olshansky on Career Paths for Technologists who don’t want to Manage People

Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Instagram: @infoqdotcom

- Youtube: www.youtube.com/infoq

2 месяца назад @ soundcloud.com
Ravi Lachman on the State of Developer Happiness, Engineer Burden and Avoiding Burnout
Ravi Lachman on the State of Developer Happiness, Engineer Burden and Avoiding Burnout Ravi Lachman on the State of Developer Happiness, Engineer Burden and Avoiding Burnout

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Ravi Lachman about the state of developer happiness through the COVID-19 pandemic, engineer burden and avoiding burnout. Read a transcript of this interview: https://bit.ly/3c3oAvZ Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: b…

2 месяца, 1 неделя назад @ soundcloud.com
Aino Corry on Retrospective Antipatterns
Aino Corry on Retrospective Antipatterns Aino Corry on Retrospective Antipatterns

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Aino Corry about common retrospective antipatterns and how to overcome them. Read a transcript of this interview: https://bit.ly/3eKee5G Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Instagram: @infoqdotcom

- Yo…

2 месяца, 2 недели назад @ soundcloud.com
Victor Nuṅez on Systemic Team Coaching to Enable Team Effectiveness
Victor Nuṅez on Systemic Team Coaching to Enable Team Effectiveness Victor Nuṅez on Systemic Team Coaching to Enable Team Effectiveness

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Victor Nuṅez about how systemic team coaching helps teams perform more effectively and the importance of trusting teams as generative, creative and inteligent systems. Read a transcript of this interview: https://bit.ly/3xVIjHa Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021

- August 17, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedI…

2 месяца, 3 недели назад @ soundcloud.com
Nishant Bhajaria on Privacy by Design
Nishant Bhajaria on Privacy by Design Nishant Bhajaria on Privacy by Design

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Nishant Bhajaria, Head of Privacy Architecture and Strategy at Uber about the need for privacy by design, the hard decisions that need to be made about privacy and the factors which need to be considered when making trade-offs. His new book provides concrete advice on where to start and how to apply good privacy practices. Read a transcript of this interview: https://bit.ly/2SlMdsF Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.co…

3 месяца назад @ soundcloud.com
Ken Charman on Fixing Pay Equity, Collaborative Cultures and Devolving Decision Authority
Ken Charman on Fixing Pay Equity, Collaborative Cultures and Devolving Decision Authority Ken Charman on Fixing Pay Equity, Collaborative Cultures and Devolving Decision Authority

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Ken Charman of uFlexReward on Fixing Pay Equity, Collaborative Cultures, Devolving Decision Authority to Those Closest to the Work and Disrupting the Enterprise Software Purchasing Process. Read a transcript of this interview: https://bit.ly/3n9Hx4a Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- Lin…

3 месяца, 1 неделя назад @ soundcloud.com
Bob Davis of Plutora on DevOps and Value Stream Mapping
Bob Davis of Plutora on DevOps and Value Stream Mapping Bob Davis of Plutora on DevOps and Value Stream Mapping

In this podcast Shane Hastie, Lead Editor for Culture & Methods, spoke to Bob Davis of Plutora about DevOps, Value Stream Mapping, making bottlenecks visible, and using metrics effectively. Read a transcript of this interview: https://bit.ly/3mPvw3S Subscribe to our newsletters:

- The InfoQ weekly newsletter: bit.ly/24x3IVq

- The Software Architects’ Newsletter [monthly]: www.infoq.com/software-architects-newsletter/ Upcoming Virtual Events - events.infoq.com/ InfoQ Live: live.infoq.com/

- June 22, 2021

- July 20, 2021 QCon Plus: plus.qconferences.com/

- May 17-28, 2021 Follow InfoQ:

- Twitter: twitter.com/InfoQ

- LinkedIn: www.linkedin.com/company/infoq

- Facebook: bit.ly/2jmlyG8

- Instagr…

3 месяца, 2 недели назад @ soundcloud.com
«Ничего такого» by Dodo Enginnering
последний пост 3 месяца, 2 недели назад
А нужна ли вам цифровая трансформация?
А нужна ли вам цифровая трансформация? А нужна ли вам цифровая трансформация?

Гость подкаста — Юра Филатов. Одна из областей его деятельности — информационный консалтинг или, иначе говоря, он помогает с трансформациями. Как-то так получилось, что подкаст вышел «исповедальным»: эмоциональным, чуть жёстким, с «иллюстрациями» и без «маркетингового налёта»:Как спутать автоматизацию с трансформацией.Когда вам не нужна трансформация на «примерах с мёдом».Почему по «государевому указу» у вас ничего не заработает.Что отвечать на «Ну давай, трансформируй нам тут всё».И какую роль здесь играет страх.

3 месяца, 2 недели назад @ buzzsprout.com
СКБ Контур — это надолго
СКБ Контур — это надолго СКБ Контур — это надолго

Гость подкаста — Света Аюпова из СКБ Контур. Света находит и проверяет новые бизнесы для Контура. Как-то так получилось, но Света нас убедила, что СКБ Контур — идеальное место для работы. Итак, в компании:Хорошие руководители, многие из которых работают в компании по 10 лет (как и большинство сотрудников).Равенство всех сотрудников на деле, а не на словах.Атмосфера как в казантипе, но без травы.Люди не уставшие, лица не серые.Все рано уходят домой.Много доверия, которое помогает быстро принимать решения.Как следствие, в компании малая текучка. Из СКБ Контур тяжело уходить. Да и зачем? Атмосфера приятная, как тёплый плед, а люди просто работают и растут. Например, руководитель Светы пришёл и…

4 месяца назад @ buzzsprout.com
Почти распилили монолит, техчас и «латентный тимлид»
Почти распилили монолит, техчас и «латентный тимлид» Почти распилили монолит, техчас и «латентный тимлид»

Гость выпуска — Анатолий Панов. Кратко о нём:руководит разработкой всех вертикалей в Авито;пишет код только «по фану»;не собеседует инженеров;легко раскусил в Борисе латентного тимлида, когда он «собеседовался» в рубрике «Сханти Бориса» как разработчик.Поговорили про квартальные и годовые ОКR и ОКR-ревью, Performance Review, как почти распилили монолит, про техчас для новостей технического департамента, и прокачку функциональных коммьюнити.

4 месяца, 2 недели назад @ buzzsprout.com
Как сделать корпоративные ценности настоящими, а не пластмассовыми
Как сделать корпоративные ценности настоящими, а не пластмассовыми Как сделать корпоративные ценности настоящими, а не пластмассовыми

Корпоративные ценности — это некие убеждения и принципы, которые все должны соблюдать, вроде «быть ответственным», «двигаться вперёд» и всё такое. Но зачем их соблюдать, если непонятно откуда они взялись? Зачем кто-то когда-то их выбил на скрижалях и повесил в главном зале? Без ответа на эти вопросы желание им следовать скорее не появится — они пластмассовые, не живые. Возможно поэтому в ЦИАН сделали по-другому — ценности списали с реальных людей, один из которых побывал у нас в гостях, а всем новичкам рассказывают как они появились и зачем.Как готовили ценности, важны ли они при найме и что такое словарь «разработческих» терминов, поговорили с Анной Штенгауэр (HR BP IT) и Мишей Юматовым (р…

4 месяца, 3 недели назад @ buzzsprout.com
LeSS, скрам, портал и банковская гемба
LeSS, скрам, портал и банковская гемба LeSS, скрам, портал и банковская гемба

У нас в гостях Ксения Мешкова — овнер в команде Райффайзенбанк. Она занимается развитием внутреннего корпоративного портала, о котором мы всё выведали: как он появился, а главное — зачем, как помог решить проблем в коммуникациях бизнеса и разработки. Также узнали, как в банке появился скрам, аджайл и LeSS, и как проходит гемба в банке.

5 месяцев, 2 недели назад @ buzzsprout.com
Экосистемы и супераппы? А зачем?
Экосистемы и супераппы? А зачем? Экосистемы и супераппы? А зачем?

В гостях у нас Кирилл Гурбанов — Head of Digital Banking в МТС. Поэтому мы поговорили про всё цифровое: диджитал, стартапы, виртуальные карты Apple, про суперприложение Тинькофф Банка, про Сбер как мессенджер, экосистемы, экосистемы суперприложений и зачем это нужно. Всё как всегда. Однако, будьте готовы к тому, что внезапно в подкаст ворвётся Лада Ларгус и порвёт шаблон.

5 месяцев, 3 недели назад @ buzzsprout.com
Как дела с внутренними коммуникациями в ВТБ?
Как дела с внутренними коммуникациями в ВТБ? Как дела с внутренними коммуникациями в ВТБ?

Что такое внутренние коммуникации? Вот я «айтишник», я открыл «Джиру» – вот мои задачки, я беру, делаю, дальше тестировщикам, всё упало — какие коммуникации? Ан нет. Написать, правильно объяснить задачу и правильно спросить «что там делать» — это всё внутренние коммуникации. Об этом мы и поговорили с Екатериной Тышковской, руководителем службы внутренних коммуникаций банка ВТБ.Что такое гибридная работа, как компаниям сохранить офисную культуру и что такое культура согласия в новом выпуске «Ничего такого».

5 месяцев, 4 недели назад @ buzzsprout.com
Зачем мне психотерапевт?
Зачем мне психотерапевт? Зачем мне психотерапевт?

Когда у нас болит живот, мы идём к врачу. Когда у нас проблемы со сном, весом, ничего не хочется, раздражение и выгорание, мы обычно терпим. Или просто не знаем, что можно обратиться к психотерапевту и станет лучше. Об этом мы и поговорили с Иваном Замесиным — предпринимателем и основателем сервиса по подбору психотерапевтов Мета. Какие мифы мешают обратиться к специалисту, когда вы точно пойдёте к психотерапевту и чем психотерапия помогла Ивану, да так, что он создал сервис Мета. Список книг, которые советовал Иван:— «How people change: relationships and neuroplasticity in psychoterapy». — «Начало бесконечности», Дэвид Дойч. — Скотт Адамс «How to Fail at Almost Everything and Still Win Big…

6 месяцев назад @ buzzsprout.com
Что общего у армии и ИТ-индустрии?
Что общего у армии и ИТ-индустрии? Что общего у армии и ИТ-индустрии?

Гость подкаста — Ярополк Раш, директор Scream School, где архитекторов, инженеров и мостостроителей переучивают в разработчиков игр, интерактивных и мультимедийных продуктов. Поговорили с Ярополком, почему архитекторы, инженеры и разработчики идут в gamedev, почему в России нет индустрии игр, почему человек должен быть счастливым и как с этим связана культура Netflix, а Голливуд — с дискомфортом.

6 месяцев, 1 неделя назад @ buzzsprout.com
Запуск завтра Podcast Запуск завтра Podcast
последний пост 2 дня, 23 часа назад
Alert! У «Запуска» появились бонусные эпизоды
Alert! У «Запуска» появились бонусные эпизоды Alert! У «Запуска» появились бонусные эпизоды

Привет! Мы запускаем серию бонусных эпизодов «Запуск ++». Дело в том, что в приложении Apple podcast появилась функция платной подписки, и мы решили ей воспользоваться. Дополнительные выпуски будут выходить по пятницам, раз в две недели. Начнем с серии о языках программирования, а дальше будем экспериментировать. В бонусных эпизодах мы хотим, с одной стороны, исследовать более узкие, но не менее интересные IT-сферы, а с другой, выйти за пределы нашей классической рамки «как устроено N». Больше обсуждать новости индустрии, компанию «Федя&Самат», вспоминать истории о возникновении технологий и рассказывать, как мы создаем подкаст (иногда на летучках происходит все самое интересное). Если у ва…

2 дня, 23 часа назад @ zapuskzavtra.libsyn.com
Как запустить спутник в космос
Как запустить спутник в космос Как запустить спутник в космос

Жанна Медведева работает в компании Exolaunch. Она бронирует места на ракетах Роскосмоса и SpaceX и запускает на них малые аппараты для клиентов, например, для космического агентства Германии. Самат вместе с Жанной обсуждают «новый космос». За сколько можно отправить спутник на орбиту, зачем там нужен шейкер и как вообще попасть в космическую индустрию. Приходите СЕГОДНЯ на нашу открытую запись в Москве и покупайте билеты https://dkrassvet.space/events/zapuskzavtra/ Это последний эпизод 4 сезона «Запуска завтра». Спасибо, что слушаете нас! Мы вернемся с новым сезоном в августе. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://clck.ru/Pfti2 S4Ep3 «Как у…

1 месяц, 3 недели назад @ zapuskzavtra.libsyn.com
Как хакеры взломали Clubhouse
Как хакеры взломали Clubhouse Как хакеры взломали Clubhouse

В этом эпизоде — истории двух парней, которые украли данные у клабхауса. Александр Крушин построил на них сервис аналитики для рекламных агенств, а Дмитрий Соболев стал самым популярным пользователем русскоязычного клабхауса. Самат узнает подробности взломов у Димы и Саши, а устройство хакерских атак объясняет редактору подкаста, Юле Яковлевой. Приходите на нашу открытую запись 10 июня и покупайте билеты https://dkrassvet.space/events/zapuskzavtra/ Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S1EP6 «Докажи, что ты не робот. Как работают китайские мобильн…

2 месяца назад @ zapuskzavtra.libsyn.com
Зомби-клетки и глобальное потепление. Чем живут биотех-стартапы
Зомби-клетки и глобальное потепление. Чем живут биотех-стартапы Зомби-клетки и глобальное потепление. Чем живут биотех-стартапы

Анна и Хорческа познакомились в общаге института в подмосковном Пущине, а через пару лет встретились в научной лаборатории в Торонто. Они исследовали белок и внезапно обнаружили новый способ синтезировать адипиновую кислоту, важный компонент для производства пластмассы. Обычно адипин получают из нефти. При этом сильно загрязняется планета. А Аня и Хорческа придумали, как сделать этот процесс дешевым и экологичным. Они рассказывают Самату о том, как устроены биотехнологии и как сделать открытие на миллиард долларов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskz…

2 месяца назад @ zapuskzavtra.libsyn.com
Как не стать жертвой онлайн-мошенничества
Как не стать жертвой онлайн-мошенничества Как не стать жертвой онлайн-мошенничества

Самат разговаривает о мошенничестве в интернете с директором по доверию и безопасности в Авито. По каким схемам у нас крадут деньги? Что никогда нельзя делать при покупке вещей онлайн? Как программисты попадают в преступные группировки и почему поддельные сайты работают лучше, чем настоящие? Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S1EP14 «Крутой интерфейс, а прибыли — ноль. Как устроен дизайн мобильных приложений» https://zapuskzavtra.libsyn.com/9qj9c09wmznk 1:36 Как нашему гостю пришлось переехать из-за угроз мошенников 6:00 Фишинг. Как отличить на…

2 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Как компьютер научился обыгрывать человека в го и StarCraft
Как компьютер научился обыгрывать человека в го и StarCraft Как компьютер научился обыгрывать человека в го и StarCraft

Компания Deepmind обучает алгоритмы искусственного интеллекта играть в игры. В 2016 году их компьютер Alpha Go победил чемпиона мира по го. Долгое время считалось, что научить машину этой игре нельзя, потому что в го важны интуиция и творческое мышление. В новом эпизоде Самат разговаривает с инженером из Google Deepmind Сергеем Бартуновым о том, как передать компьютеру человеческие способности, и где, кроме игр, это можно использовать. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra S2EP4 «Железо, дата-центры и хостинги. Настоящий хардовый выпуск» https://z…

2 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Как появилась Meduza и как ее признали иностранным агентом
Как появилась Meduza и как ее признали иностранным агентом Как появилась Meduza и как ее признали иностранным агентом

23 апреля 2021 года Медузу внесли в список иностранных агентов. 7 лет назад Самат участвовал в запуске Медузы, а потом проработал там техническим директором 3 года. В этом эпизоде Самат говорит о Медузе со своими бывшими коллегами. Егор Хмелев нанимал Самата на работу, а Борис Горячев стал новым техническим директором после ухода Самата. Втроём они вспоминают, как создавалось медиа, и обсуждают, как программисты обеспечивают Медузе сбор донатов, на которые она сейчас выживает. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Поддержать Медузу https://support…

2 месяца, 4 недели назад @ zapuskzavtra.libsyn.com
Все об онлайн-банкинге
Все об онлайн-банкинге Все об онлайн-банкинге

Десять лет назад, чтобы оформить карту или перевести другу деньги, нужно было идти в банковское отделение и запоминать многозначный код. Сегодня все это можно сделать через телефон. О том, как в России появился онлайн-банкинг, Самат говорит с Анастасией Усковой, бывшим генеральным директором Рокетбанка. Настя объясняет, как происходят денежные транзакции, какую роль в них принимают платежные системы и Центробанк, как создать свой банковский движок и почему в Кремниевой долине до сих пор нельзя платить через Apple Pay. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapu…

3 месяца назад @ zapuskzavtra.libsyn.com
Как беспилотные автомобили моделируют будущее
Как беспилотные автомобили моделируют будущее Как беспилотные автомобили моделируют будущее

Илон Маск обещает, что скоро Tesla выпустит настоящие беспилотники. Но пока что на рынке нет полностью автономных автомобилей. В их разработку вкладываются главные IT-компании в мире: Google, Amazon, и даже Apple. О беспилотных автомобилях Самат говорит с Сергеем Серебряковым. Сергей работал в Tesla, а потом перешел в сервис роботакси Cruise. Вместе с Сережей Самат разбирается, какие технологии используют, чтобы заменить водителя, и почему их все еще не хватает, чтобы мы стали ездить на беспилотниках. S2E5 «Бан для Шерон Стоун. Как работают сервисы знакомств» https://zapuskzavtra.libsyn.com/dxsbaem4943k Lex Fridman Podcast https://www.youtube.com/channel/UCSHZKyawb77ixDdsGog4iWA Этот подкас…

3 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Почему у всех проблемы с разработкой, а на рынке мало сильных программистов
Почему у всех проблемы с разработкой, а на рынке мало сильных программистов Почему у всех проблемы с разработкой, а на рынке мало сильных программистов

Уже год Самат вместе с Федей Борщевым делают свой бизнес «Федя & Самат». Они помогают компаниям настроить разработку. За это время к Феде и Самату обращались десятки заказчиков. Это были и небольшие стартапы, и региональные сети с миллионными оборотами. Но у всех серьезные проблемы с технологиями. В этом выпуске на примере реальных кейсов Самат и Федя обсуждают, почему у бизнесов такая плохая разработка, какие ошибки допускают программисты, и как им стать лучше. Выпуск про Endel «Сон, расслабление, фокус. Как приложение Endel подбирает звуковой фон для сотен тысяч пользователей» https://zapuskzavtra.libsyn.com/-endel Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Прак…

3 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Как TikTok зарабатывает деньги на трендах, а блогеры получают Грэмми
Как TikTok зарабатывает деньги на трендах, а блогеры получают Грэмми Как TikTok зарабатывает деньги на трендах, а блогеры получают Грэмми

Самат не сидит в тиктоке, но в эту соцсеть хотя бы раз в месяц заходят 110 миллионов человек в Америке, и еще сотни миллионов пользователей по всему миру. Вместе с сейлз-менеджером из тиктока Юлией Коростелевой Самат обсуждает, как соцсети удалось набрать такую аудиторию и как она теперь ее монетизирует. Почему тикток успешнее продвигает бренды, чем фейсбук и инстаграм, как запускаются хэштег-челленджи на миллиарды просмотров и как платформа превращается в конкурента музыкальных лейблов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra 3:35 Как Юля выслежива…

3 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Процессоры Intel и Apple M1. Как они работают и как сделать их лучше
Процессоры Intel и Apple M1. Как они работают и как сделать их лучше Процессоры Intel и Apple M1. Как они работают и как сделать их лучше

Долгое время главными производителями процессоров для компьютеров были компании Intel и AMD. Но в конце 2020 года Apple представила ноутбуки на своих собственных процессорах M1. Вместе с инженером из Intel Алексеем Корчиным Самат разбирается, как устроены процессоры, как их производят и почему компании Apple удалось сделать их эффективнее. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra 6:32 Как производят процессоры и легируют кремний 16:15 Почему в России не делают крутых процессоров 24:15 Как можно сделать процессоры лучше 26:48 Как у Intel появился свой…

4 месяца назад @ zapuskzavtra.libsyn.com
NFT. Почему все говорят об этой технологии на блокчейне
NFT. Почему все говорят об этой технологии на блокчейне NFT. Почему все говорят об этой технологии на блокчейне

NFT — это невзаимозаменяемый токен (non-fungible token). Эта технология работает на блокчейне и позволяет передавать человеку право на владение цифровым предметом. Сейчас к NFT прикрепляют картины, музыкальные альбомы и скины из видеоигр и выставляют на специальные маркетплейсы. Например, основатель Twitter Джек Дорси продал в виде NFT-токена свой первый твит за 2,9 млн долларов. Самат разбирается в этой технологии с Александром Худжилиным. Саша занимается невзаимозаменяемыми токенами в блокчейн-стартапе NEAR. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra…

4 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Как устроены базы данных и как хакер сделал базу данных для выборов президента РФ
Как устроены базы данных и как хакер сделал базу данных для выборов президента РФ Как устроены базы данных и как хакер сделал базу данных для выборов президента РФ

В мире есть 4 главные базы данных. Oracle, MySQL и Microsoft SQL принадлежат корпорациям. Четвертую, PostgreSQL, придумали ученые в Калифорнийском университете в Беркли и сделали опенсорсной. Вместе с американскими учеными эту базу данных разрабатывал Олег Бартунов. Спустя много лет он основал компанию, которая занимается поддержкой PostgreSQL и помогает ее использовать Яндексу и Министерству финансов РФ. Самат поговорил с Олегом о его работе с базами данных. Как Олег из ученого-астронома стал главных специалистом по PostgreSQL в России, как он наблюдал рождение IT-гигантов Кремниевой долины и как участвовал в создании рунета. Этот подкаст мы делаем совместно с сервисом онлайн-образования Я…

4 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Нужна ли математика программистам? Отвечает гендиректор Яндекса
Нужна ли математика программистам? Отвечает гендиректор Яндекса Нужна ли математика программистам? Отвечает гендиректор Яндекса

Есть стереотип, что без математического бэкграунда в IT делать нечего. Но какие именно задачи невозможно решить без знания алгоритмов? Самат разбирается со стереотипами вокруг математики в IT c Еленой Буниной. Елена преподает алгебру на мехмате МГУ, а еще она возглавляет Яндекс в России и менеджерит 5 000 программистов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra 4:50 Какая доля программистов реально использует математику в работе 6:30 Как Лена тайком училась в Школе анализа данных, которую сама и создала 16:00 Какая математика нужна, чтобы сделать поис…

4 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 6 дней, 3 часа назад
Про Data Science сообщество (level: all)
Про Data Science сообщество (level: all) Про Data Science сообщество (level: all)

В гостях у Moscow Python Podcast Senior Data Scientist компании Lamoda, организатор курсов DadaGym Петр Ермаков. Обсудили с Петром data science сообщество и ивенты . Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

6 дней, 3 часа назад @ learnpython.podbean.com
Переход с Flask на FastAPI (level: all)
Переход с Flask на FastAPI (level: all) Переход с Flask на FastAPI (level: all)

В гостях у Moscow Python Podcast CTO и со-основатель компании Datafold Александр Морозов. Обсудили с Александром причины перехода его стартапа с Flask на FastAPI. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 недели, 5 дней назад @ learnpython.podbean.com
Как пет-проджекты помогают в самообразовании (level: all)
Как пет-проджекты помогают в самообразовании (level: all) Как пет-проджекты помогают в самообразовании (level: all)

В гостях у Moscow Python Podcast разработчик компании Klarna Игорь Масягин. Обсудили с Игорем зачем нужны пет-проджекты, их пользу и его опыт. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Подробнее про уравнение мотивации: https://m.habr.com/ru/company/lamoda/blog/504134/ Разработка в гамаке: https://youtu.be/jSPaG50FFVs Адвент-календарь программиста: https://adventofcode.com/ Книжка про word count на питоне 30 способами: https://www.goodreads.com/book/show/18266291-exercises-in-programming-style Мячики для жонглирования…

1 месяц назад @ learnpython.podbean.com
Путь джуна из лингвиста в разработчики (level: all)
Путь джуна из лингвиста в разработчики (level: all) Путь джуна из лингвиста в разработчики (level: all)

В гостях у Moscow Python Podcast выпускница курсов Learn Python, младший разработчик компании ПИК-Брокер Мария Имаева. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 1 неделя назад @ learnpython.podbean.com
Про найм разработчиков (level: all)
Про найм разработчиков (level: all) Про найм разработчиков (level: all)

В гостях у Moscow Python Podcast сооснователь компании Geekfactor, участник программного комитета конференции Moscow Python Conf Ксения Лыжина. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 2 недели назад @ learnpython.podbean.com
в Aviasales (level: all)
в Aviasales (level: all) в Aviasales (level: all)

В гостях у Moscow Python Podcast Teamlead компании Aviasales Антон Сидоров. Обсудили с Антоном его путь в разработку, переход поискового движка с Python на Go и еще много всего интересного . Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 4 недели назад @ learnpython.podbean.com
Боль fullstack-разработчика (level: all)
Боль fullstack-разработчика (level: all) Боль fullstack-разработчика (level: all)

В гостях у Moscow Python Podcast Teamlead компании Evrone Иван Соловьев. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 месяца назад @ learnpython.podbean.com
Путь от Junior до Head QA (level: all)
Путь от Junior до Head QA (level: all) Путь от Junior до Head QA (level: all)

В гостях у Moscow Python Podcast выпускник курсов Learn Python, глава отдела тестирования компании Zipsale Татьяна Кулагина. Обсудили с Татьяной ее путь к Head QA. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 месяца, 1 неделя назад @ learnpython.podbean.com
Что такое RnD (level: all)
Что такое RnD (level: all) Что такое RnD (level: all)

В гостях у Moscow Python Podcast руководитель RnD разработки компании Lamoda Дмитрий Генинг. Обсудили с Дмитрием чем занимаются разработчики в RnD и конкретно в Lamoda. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 месяца, 3 недели назад @ learnpython.podbean.com
Сложность донесения информации до других людей (level: all)
Сложность донесения информации до других людей (level: all) Сложность донесения информации до других людей (level: all)

В гостях у Moscow Python Podcast продюсер презентаций и художник Кирилл Анастасин. Обсудили с Кириллом как говорить с другими людьми, чтобы они вас поняли. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 месяца, 1 неделя назад @ learnpython.podbean.com
в retail (level: all)
в retail (level: all) в retail (level: all)

В гостях у Moscow Python Podcast евангелист Moscow Python, сооснователь курсов Learn Python, СТО в компании SunLight Илья Мельницкий. Обсудили с Ильей что такое IT не в IT компании и какие плюсы у retail компании. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Python-прокачка от Drylabs: https://drylabs.io/python-training

Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288Конференция Moscow Python Conf (Russian P…

3 месяца, 2 недели назад @ learnpython.podbean.com
Образование в IT (level: all)
Образование в IT (level: all) Образование в IT (level: all)

В гостях у Moscow Python Podcast евангелист Moscow Python, сооснователь курсов Learn Python, СТО в компании Zipsale Илья Лебедев. Обсудили с Ильей как становятся разработчиками после курсов и петпроджектов. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Мастер-класс Ильи Лебедева "Проектирование АПИ для тех, у кого нет 10 лет опыта" - https://learnpython.timepad.ru/event/1604348/

Мастер-класс Златы Обуховской "Разработка асинхронных приложений: начало" - https://learnpython.timepad.ru/event/1604560/

Python-прокачка от Dryl…

3 месяца, 3 недели назад @ learnpython.podbean.com
и управление инфраструктурой (level: all)
и управление инфраструктурой (level: all) и управление инфраструктурой (level: all)

В гостях у Moscow Python Podcast Principal Architect компании Aligned Research Group Николай Марков. Обсудили с Николаем предстоящий вебинар python-прокачки от Drylabs и роль Python в управлении инфраструктурой. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Python-прокачка от Drylabs: https://drylabs.io/python-training

Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288Конференция Moscow Python Conf (Russian Pyt…

3 месяца, 4 недели назад @ learnpython.podbean.com
для аналитика данных (level: all)
для аналитика данных (level: all) для аналитика данных (level: all)

В гостях у Moscow Python Podcast аналитик данных компании Лига Цифровой Экономики Павел Добрачев. Обсудили с Павлом его путь в аналитике данных, какую роль Python играет в аналитике данных. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe

Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315

Курс Learn Python: https://rebrand.ly/learnpythondc288

Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

4 месяца, 1 неделя назад @ learnpython.podbean.com
Рынок найма в IT (level: all)
Рынок найма в IT (level: all) Рынок найма в IT (level: all)

В гостях у Moscow Python Podcast руководитель рекрутингового агентства Star-Staff Татьяна Аква. Обсудили с Татьяной особенности рынка IT-рекрутмента и тестовые задания при найме. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров.

Вакансия в Nvidia: https://nvidia.wd5.myworkdayjobs.com/NVIDIAExternalCareerSite/job/Russia-Moscow/Backend-Engineer_JR1935682 Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция …

4 месяца, 2 недели назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 1 неделя назад
Podlodka #226 – Второе гражданство
Podlodka #226 – Второе гражданство Podlodka #226 – Второе гражданство

Свобода перемещения по всему миру, уменьшение налогов, возможность открытия зарубежных счетов и уверенность в завтрашнем дне – эти и многие другие преимущества можно получить, купив себе второе гражданство. Наш гость Анатолий Летаев, основатель компании Migronis, дал системный обзор всех возможных стран для покупки паспорта, стоимости этого и сопутствующих рисков. Арендуйте выделенные серверы с GPU для требовательных задач в Selectel: https://slc.tl/0KVDz Конференция Podlodka Android Crew https://podlodka.io/droidcrew, старт уже сегодня! Темы недель: “Лучшие практики Android-разработки” и “Хранение данных”. Промокод для подписчиков: PODLODKA_PREFERENCES Поддержи лучший подкаст про IT: https…

1 неделя назад @ soundcloud.com
Podlodka #225 – Алгоритмическая торговля и HFT
Podlodka #225 – Алгоритмическая торговля и HFT Podlodka #225 – Алгоритмическая торговля и HFT

Хранением большей части средств в инвестиционных инструментах уже никого не удивишь с одной стороны, но с другой многие придерживаются стратегий роста капитала вместе с рынком. А что если попробовать выиграть, да еще и отмасштабировать свою стратегию за счет автоматизации? В гости позвали Сергея Слукина – руководителя отдела прямого доступа к рынкам и алгоритмической торговли в Финаме. Успели поговорить и про смыслы – за счет алгоритмы зарабатывают деньги, и про технологии. С чего начинают новички и с какими сложностями сталкиваются разработчики, занимающиеся вопросом профессионально. Разверните гибкую облачную инфраструктуру в Selectel: https://slc.tl/0vPBc 1000 бонусных рублей по промокод…

1 неделя, 6 дней назад @ soundcloud.com
Podlodka #224 – System Design
Podlodka #224 – System Design Podlodka #224 – System Design

Спорить про архитектуру мы очень любим, поэтому пришла пора разобраться в том, как эти архитектуры создаются! System design — это не только этап интервью в FAANG. Это процесс создания архитектуры системы, которым занимаются не только бородатые Архитекторы Решений. Зачем нужен System Design (даже если вы пока "маленькие"), что в него входит, как отличить хороший System Design от плохого и какая же нотация лучше всех — все это в выпуске с Элвином Рахманкуловым, главой Mobile Competency Center в EPAM Systems. Выделенный сервер Mac Mini с процессором M1 в Selectel для iOS-разработчиков: https://slc.tl/zIZ2o Конференция про техлидство, архитектуру систем и техническое совершенство: https://podlo…

2 недели, 6 дней назад @ soundcloud.com
Podlodka #223 – Техническая документация
Podlodka #223 – Техническая документация Podlodka #223 – Техническая документация

Техническая документация окружает нас повсюду – по нажатию подсказки в IDE, на GitHub-странице используемой библиотеки, в коробке с новенькой умной колонкой или стулом из IKEA. Какая-то документация помогает вам решить проблемы, а какая-то – только их создает. Андрей Поляков, тимлид команды технических писателей в Kotlin, рассказал все про то, как сделать документацию полезной. Selectel — разверните IT-инфраструктуру проекта без изучения многостраничной документации: https://slc.tl/rJroW 12 июля стартует новый сезон Podlodka Frontend Crew. Подробности: https://podlodka.io/fecrew. Промокод для слушателей подкаста: PODLODKA_IS_NOT_A_FUNCTION Вакансия в команду техписателей Kotlin: https://www…

3 недели, 6 дней назад @ soundcloud.com
Podlodka #222 – Антифрод
Podlodka #222 – Антифрод Podlodka #222 – Антифрод

Вы просто нажимаете кнопку, публикуете свой комментарий или вводите данные банковской карты. А в это время под капотом происходит сложная магия, результат которой – однозначный ответ, было ли ваше действие честным и порядочным, или имел место мошеннический злой умысел. О том, как работает эта магия, мы поговорили с Алексеем Тощаковым из команды антифрода в Яндексе. 5 июля стартует наша новая конференция про софт-скиллы для инженеров. В течение двух недель обсуждаем коммуникации и problem solving. Для слушателей подкаста скидка по промокоду DDOS24. Разверните надежную и безопасную IT-инфраструктуру своего проекта в Selectel: https://slc.tl/ZEkKu. Скидка 1000 рублей на Облачную платформу по п…

1 месяц назад @ soundcloud.com
Podlodka #221 – Переработка вторсырья
Podlodka #221 – Переработка вторсырья Podlodka #221 – Переработка вторсырья

С одной стороны понятно, что надо ответственно относиться к переработке отходов, с другой стороны вокруг этой темы настолько много информации. Экоактивисты говорят одно, в магазинах пишут про биоразлагаемые пакеты, государство ставит цветные контейнеры, содержимое которых ничем не отличается. С тем что из этого хайп, а что дествительно работает, мы разбирали с основательницей проекта Собиратор – Валерией Коростелёвой. 28 июня стартует конференция Podlodka Backend Crew #4. Темы недель: базы данных и чистый код в Java. Подробности на сайте https://podlodka.io/becrew, а для любимых слушателей скидка по промокоду STOPTHEWORLD. Selectel — покупка сервера еще никогда не была такой экологичной: ht…

1 месяц, 1 неделя назад @ soundcloud.com
Podlodka #220 – Волонтерство в IT
Podlodka #220 – Волонтерство в IT Podlodka #220 – Волонтерство в IT

Наскучили однообразные рабочие задачи? Давно хотели попробовать новый стек? Или сделать что-то очень полезное? А может и то, и другое? Вместо тяжкого раздумья над идеей нового пет-проекта, предлагаем попробовать себя в ИТ-волонтерстве! А разрушить барьер неопределенности поможет наш выпуск. Вместе с Владом Лавриченко, куратором платформы IT-волонтёр, разобрались в том, какие некоммерческие организации бывают и чем они занимаются, какие задачи могут решать ИТ специалисты и какие компетенции нужны, почему волонтерить - прикольно, полезно и важно и, конечно же, как проще всего в это вкатиться. Всем добра! ❤️ Разверните проект не хуже платформы для обучения нейросетей Experion на выделенных сер…

1 месяц, 2 недели назад @ soundcloud.com
Podlodka #219 – Выбор первой профессии в IT
Podlodka #219 – Выбор первой профессии в IT Podlodka #219 – Выбор первой профессии в IT

Вместе с Сергеем Немчинским разобрались в том, как выбрать себе первую профессию в IT, и как к ней правильно подготовиться. Спойлер – достаточно базового знания английского и мотивации. А дальше начинаются детали. Подробнее – в выпуске! Подключите облачное хранилище от Selectel: https://slc.tl/tYd8P. Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: t.me/podlodka Telegram-канал: t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова, Егор Толстой Полезные ссылки:

YouTube-канал Сергея:

https://…

1 месяц, 3 недели назад @ soundcloud.com
Podlodka #218 – Схемотехника
Podlodka #218 – Схемотехника Podlodka #218 – Схемотехника

Фронтендеры и бэкендеры есть не только в программировании, но и в разработке микросхем. Наш гость Валерий Шунков провел нам полноценный ликбез по тому, как устроены чипы, каким образом их проектируют, какие принципы, софт и языки для этого используют, и куда движется вся индустрия. Разверните облачный сервер для Data Science в Selectel: https://slc.tl/qEGC1. По промокоду Podlodka получите 1000 бонусных рублей на услугу. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаун…

2 месяца назад @ soundcloud.com
Podlodka #217 – Фасилитация
Podlodka #217 – Фасилитация Podlodka #217 – Фасилитация

Фасилитация, на первый взгляд, инструмент скрам-мастера, ну или на крайний случай тимлида. С независимым Agile-коачем Александрой Баптизманской разобрали, как фасилитация может быть полезна в том числе разработчикам. Разобрали теорию, а самое главное – разыграли по ролям фасилитацию архитектурного обсуждения. Направьте усилия команды на генерацию идей, об IT-инфраструктуре проекта позаботится Selectel: https://slc.tl/wHQM1. По промокоду Podlodka получите 1000 бонусных рублей на Облачную платформу. Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!

Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me…

2 месяца, 1 неделя назад @ soundcloud.com
Podlodka #216 – Типографика
Podlodka #216 – Типографика Podlodka #216 – Типографика

Разрабатываемые нами продукты немыслимы без интерфейсов и дизайна, а дизайн немыслим без типографики. Что такое шрифт? Для чего в мире так много похожих шрифтов (спойлер: они, оказывается, все разные!) и почему они стоят так много? Как тенденции в ИТ влияют на развитие шрифтовой индустрии? И, в конце концов, как выбрать шрифт для своего блога или любимой IDE? Разбираемся по всеми вместе с Ильей Рудерманом, сооснователем шрифтовой студии CSTM Fonts и шрифтового магазина type.today. А после прослушивания этого выпуска вы сможете просить дизайнера на вашем проекте "поиграться со шрифтами" уже со знанием дела 👩🏽‍🎨 Развернуть облачный сервер с GPU в пару кликов в панели Selectel: https://slc.tl/…

2 месяца, 2 недели назад @ soundcloud.com
Podlodka Special: Yet Another Mobile Party
Podlodka Special: Yet Another Mobile Party Podlodka Special: Yet Another Mobile Party

В этом специальном выпуске мы делимся не классическим интервью с гостем, а записью митапа Yet Another Mobile Party. Наш подкаст начинался как "айосный" с выпусками про VIPER, а сейчас удивляет многообразием тем даже нас самих. Мы верим — мобильная разработка масштабнее, чем кажется, а интересы мобильных разработчиков шире стандартного набора тем на конференциях. Yet Another Mobile Party подтверждает эту гипотезу. Ребята осветили области разработки, которые связаны с мобилками, но при этом могут считаться "необычными": беспилотники, разработка Яндекс.Станции, компьютерное зрение. Еще вы узнаете ответы на насущные вопросы — как и, главное, зачем проводят алгоритмические секции (те самые!) на …

2 месяца, 3 недели назад @ soundcloud.com
Podlodka #215 – Тест-менеджмент
Podlodka #215 – Тест-менеджмент Podlodka #215 – Тест-менеджмент

Что объединяет тракториста, агронома и задачу про охоту на уток в идеально круглом озере? А то, что все это было в нашем выпуске про тест-менеджмент! Гость выпуска и источник знаний, метафор и крутых историй – Алексей Петров из СберМаркета. 17 мая стартует конференция Podlodka QA Crew #4. Подробности на сайте https://podlodka.io/qacrew, а для любимых слушателей скидка по промокоду TRAKTORIST. Регистрируйтесь на Selectel Carrer Days и узнайте, как построить карьеру в сфере IT-инфраструктуры и облаков: https://slc.tl/p92Nd Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: t.me/podlodka Telegram-кана…

2 месяца, 3 недели назад @ soundcloud.com
Podlodka #214 – Балансировка нагрузки
Podlodka #214 – Балансировка нагрузки Podlodka #214 – Балансировка нагрузки

За что бы ни брался наш гость Сергей Еланцев, получается балансировщик нагрузки. Это произошло и с выпуском подкаста, в котором мы вспомнили модель OSI, детально разобрали различные алгоритмы балансировки и прошлись по всем готовым решениям L4 и L7 балансеров, которые есть на рынке. Positive Hack Days — международный форум по практической безопасности, который проходит в Москве ежегодно начиная с 2011 года. В этом году состоится юбилейный десятый форум, который пройдёт 20-21 мая в Москве, в Центре Международной Торговли. Следите за новостями на сайте https://www.phdays.com/ru/ и за прямым эфиром на сайте https://standoff365.com/. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Такж…

3 месяца назад @ soundcloud.com
Podlodka #213 – Инвестиции в стартапы
Podlodka #213 – Инвестиции в стартапы Podlodka #213 – Инвестиции в стартапы

После этого выпуска вы наконец поймете что это за закрытие раундов, кто такие бизнес-ангелы и узнаете смысл других непонятных слов, которые пишут знакомые стартаперы в соцсетях. Александр Горный из United Investors провел нас по всем стадиям развития стартапа от гаража до IPO, показал с какими барьерами сталкиваются фаундеры на разных стадиях и самое важное – у кого брать на всё это деньги! Разверните приложение на облачных функциях от Selectel и не думайте о серверах: https://slc.tl/qT375. Промокод Podlodka дает 1000 рублей на услугу. Вводить сюда: my.selectel.ru/vpc/ Поддержи лучший подкаст про IT: www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и со…

3 месяца, 1 неделя назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 2 недели назад
Диалекты и регионализмы
Диалекты и регионализмы Диалекты и регионализмы

Где находятся Курмыши? Что такое латка? И как формируются региональные диалекты?В последнем эпизоде сезона мы говорим о великом и могучем русском языке в компании двух прекрасных гостей:Борис Иомдин — кандидат филологических наук, ведущий научный сотрудник и заведующий сектором теоретической семантики Института русского языка им. В. В. Виноградова РАН, научный сотрудник Яндекса, доцент Школы лингвистики Высшей Школы Экономики.Иван Левин— лингвист, младший научный сотрудник Института русского языка им. Виноградова.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patre…

2 недели назад @ buzzsprout.com
Алексей Шпильман live!
Алексей Шпильман live! Алексей Шпильман live!

Как «дрессируют» алгоритмы? С чем обучение с подкреплением можно смешивать, не взбалтывая? И достаточно ли одного пряника, чтоб создавать прорывные алгоритмы машинного обучения?Сегодня с нами проветривается Алексей Шпильман. Алексей заведует центром анализа данных и машинного обучения в Высшей Школе Экономики в Санкт-Петербурге и руководит лабораторией агентных систем и обучения с подкреплением в JetBrains Research.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

3 недели, 2 дня назад @ buzzsprout.com
Open Source из России
Open Source из России

Как и почему open source захватил мир? Что такое "заразная" лицензия? И создаются в России создают opensource-проекты мирового уровня?Сегодня с нами проветриваются:Андрей Бреслав — один из создателей языка программирования Котлин, cооснователь сервиса по подбору психологов Альтер.Станислав Кириллов, руководитель группы ML систем в Яндексе. Команда Станислава разрабатывает CatBoost и инфраструктуру для эмэльщиков. Михаил Бурцев — основатель проекта DeepPavlov.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

1 месяц назад @ buzzsprout.com
Сергей Нетесов live! II
Сергей Нетесов live! II

Что такое штамм? Как меняются вирусы? Почему вакцинация не только снижает нагрузку на систему здравоохранения, но и замедляет появление новых вариантов вируса?Под занавес прошлого сезона у нас в гостях был Сергей Нетёсов. Сергей — вирусолог, доктор биологических наук, профессор, член-корреспондент РАН, заведующий лабораторией биотехнологии и вирусологии Факультета естественных наук Новосибирского государственного университета. После нашей первой беседы вы просили позвать Сергея ещё. Мы прислушались!Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

1 месяц, 1 неделя назад @ buzzsprout.com
Георгий Бугаков live!
Георгий Бугаков live! Георгий Бугаков live!

Со скольки лет стоит учить ребёнка программировать? Где нужно получить разрешение, чтобы начать работать программистом в четырнадцать? И чего не стоит делать родителям при воспитании детей?Сегодня с нами проветривается Георгий Бугаков. Жора уже два года работает в Skyeng, при том что в июне он закончил девятый класс.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

1 месяц, 2 недели назад @ buzzsprout.com
Современная археология
Современная археология Современная археология

Что общего между археологом и стартапером? Почему современные археологи не раскапывают памятники до конца? Чему может научить самая древняя туфелька в мире?Сегодня с нами проветривается первооткрыватель пещеры Арени Борис Гаспарян.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

1 месяц, 3 недели назад @ buzzsprout.com
Георгий Могелашвили
Георгий Могелашвили Георгий Могелашвили

Кто такой ментор? На каком этапе он бывает нужен техническому специалисту? И почему в Booking.com любой team lead должен получить навыки менторства?Сегодня с нами прометривается Георгий Могелашвили. Георгий работает Lead Developer в Booking.com и развивает свой проект GetMentor.Support the show (https://www.patreon.com/progulka)

1 месяц, 4 недели назад @ buzzsprout.com
Даша Золотухина live!
Даша Золотухина live! Даша Золотухина live!

Что такое райд-тех? Как интернет меняет города? И что общего между искусством и маркетингом?Сегодня с нам проветривается Даша Золотухина, которая руководит маркетингом бизнес-группе E-commerce и Ride-tech Яндекса. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыка Support the show (https://www.patreon.com/progulka)

2 месяца назад @ buzzsprout.com
Биоразнообразие
Биоразнообразие

Как вымер странствующий голубь? В честь какой птицы называли пингвинов? И как мы все приблизили антропоцен?Сегодня по случаю мирового дня биоразнообразия с нами проветривается биолог Амирам Григоров.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

2 месяца, 1 неделя назад @ buzzsprout.com
Тоня Самсонова live!
Тоня Самсонова live!

Почему традиционные медиа больше не работают, не только в России, но и в мире? И как создать стартап, не будучи программистом? Сегодня с нами проветривается Тоня Самсонова. Тоня основала платформу The Question, а сейчас руководит Яндекс.Кью. Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

2 месяца, 2 недели назад @ buzzsprout.com
NFT
NFT NFT

Что такое NFT? Как и почему «выстреливает» новое цифровое искусство? Какое будущее у рынка цифровых коллекций? Сегодня с нами проветриваются три художника, соавтора проекта NFT256: • Ваваев Максим — VFX Technical Artist, основатель NFT256, Москва.• Макарюк Богдан — Designer, 3d-artist, cооснователь NFT256, Харьков.• Дмитрий Белкин — Visual artist, cооснователь NFT256, Москва. Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

2 месяца, 3 недели назад @ buzzsprout.com
Дмитрий Еврафов live!
Дмитрий Еврафов live! Дмитрий Еврафов live!

Почему спортсменам запрешено бежать марафон под музыку? Как пройти путь от приложений до приложений года для AppleWatch? И что в музыке сложнее всего генерировать нейронными сетями? Сегодня с нами проветривается Дмитрий Евграфов — композитор и один из создателей компании Endel. Не будьте такими душными, давайте лучше — проветримся! Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

3 месяца назад @ buzzsprout.com
Трейдинг II
Трейдинг II Трейдинг II

Почему трейдинг полезен для рынков? Кто может заработать на бирже? Как машинное обучение и анализ данных сейчас применяются на финансовых рынках? С нам проветриваются • Александр Омельченко - доктор физико-математических наук, профессор НИУ ВШЭ в Санкт-Петербурге, академический руководитель образовательных программ «Машинное обучение и анализ данных», «Промышленное программирование», «Прикладная математика и информатика». • Евгений Васин - программист, квант. Последние десять лет Евгений занимается высокочастотным трейдингом. А в бонусный эпизод зашёл ещё • Леонид Меркин, финансовый математик, профессор Высшей экономики школы в Санкт-ПетербургеНе будьте такими душными, давайте лучше - прове…

3 месяца, 1 неделя назад @ buzzsprout.com
Трейдинг I
Трейдинг I Трейдинг I

Что такое высокочастотный трейдинг? Почему физики становятся хорошими квантами? Какой датасет может стоить миллион долларов в год? Сегодня с нами проветриваются • Александр Омельченко - доктор физико-математических наук, профессор НИУ ВШЭ в Санкт-Петербурге, академический руководитель образовательных программ «Машинное обучение и анализ данных», «Промышленное программирование», «Прикладная математика и информатика». • Евгений Васин - программист, квант. Последние десять лет Евгений занимается высокочастотным трейдингом.Не будьте такими душными, давайте лучше - проветримся! Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www…

3 месяца, 1 неделя назад @ buzzsprout.com
Сергей Нетесов live!
Сергей Нетесов live!

Как учёные обнаружили первый в мире вирус? Какие бывают прививки? И почему птичники — идеальные инкубаторы не только для яиц, но и для вирусов?Сегодня с нами проветривается Сергей Нетёсов. Сергей — вирусолог, доктор биологических наук, профессор, член-корреспондент РАН, заведующий лабораторией биотехнологии и вирусологии Факультета естественных наук Новосибирского государственного университета.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

3 месяца, 2 недели назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост 2 месяца, 2 недели назад
Трудная проблема сознания. Как научить машину думать
Трудная проблема сознания. Как научить машину думать Трудная проблема сознания. Как научить машину думать

Каково написать первую программу гусиным пером в мире, где нет даже электрических лампочек, о чем мечтали отцы кибернетики, когда создавали математическую модель нейрона, и чего мы сами ждем от чипов Neuralink— в заключительном эпизоде первого сезона, где гении пьют виски на даче, макаки играют в пинг-понг без рук, роботы лечат малярию и все очень много мечтают. Этот подкаст мы делаем вместе со SberDevices

2 месяца, 2 недели назад @ nowyouarehere.libsyn.com
Моральная машина. Зачем нейросети совесть
Моральная машина. Зачем нейросети совесть Моральная машина. Зачем нейросети совесть

Откуда у алгоритмов загоны и предрассудки, как роботам решать дилему вагонетки, и что нейросеть понимает про семейные ценности — в эпизоде, где спящие люди тихо едут на Теслах из киберпанка в киберкоммунизм. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

3 месяца, 1 неделя назад @ nowyouarehere.libsyn.com
Сам ты нейросеть. Как устроено машинное обучение
Сам ты нейросеть. Как устроено машинное обучение Сам ты нейросеть. Как устроено машинное обучение

Почему алгоритмы начали сами повторять достижения человечества, как научились предсказывать изобретения и что общего у малыша на карусели и нейросети GPT3. Этот подкаст мы делаем вместе со SberDevices Подкаст Ивана Ямщикова "Проветримся" https://www.patreon.com/progulka Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

3 месяца, 3 недели назад @ nowyouarehere.libsyn.com
Что чувствует эмоциональный ИИ
Что чувствует эмоциональный ИИ Что чувствует эмоциональный ИИ

Как машины читают то, что у вас на лице написано, решают дилемму покерфейса, предсказывают выгорание и учатся испытывать эмоции сами. Этот подкаст мы делаем вместе со SberDevices Эпизод подкаста "Запуск завтра" про Давида Яна https://zapuskzavtra.libsyn.com/i7pyit9e0q2o Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

4 месяца, 1 неделя назад @ nowyouarehere.libsyn.com
На человеческом уровне. Зачем мы учим машины играть
На человеческом уровне. Зачем мы учим машины играть На человеческом уровне. Зачем мы учим машины играть

В этом эпизоде мы расскажем, что может нейросеть, которая провела две тысячи лет в Доте, как четыре бота сломали прятки и почему машинам нужно самоутвержаться за счет гроссмейстеров. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

4 месяца, 3 недели назад @ nowyouarehere.libsyn.com
Нейросети и творчество. На что способны алгоритмы-художники
Нейросети и творчество. На что способны алгоритмы-художники Нейросети и творчество. На что способны алгоритмы-художники

В этом эпизоде мы разбираемся, зачем человеку роботы, которые могут воображать котов, писать небылицы, импровизировать в стиле Баха и писать стихи из поисковых запросов. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

5 месяцев, 1 неделя назад @ nowyouarehere.libsyn.com
Вам это понравится. Как алгоритмы воспринимают человека
Вам это понравится. Как алгоритмы воспринимают человека Вам это понравится. Как алгоритмы воспринимают человека

Как машины пытаются составить портрет человека по его кликам и лайкам, какие выводы о нем делают по чеку из магазина и почему вам лучше не знать, какой вы фрукт – в новом выпуске «Вы находитесь здесь». Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

5 месяцев, 3 недели назад @ nowyouarehere.libsyn.com
Железный характер. Как прикрутить чат-боту личность
Железный характер. Как прикрутить чат-боту личность Железный характер. Как прикрутить чат-боту личность

В этом эпизоде мы расскажем, как симуляция безумия помогает машине притворяться человеком, зачем виртуальным ассистентам сценаристы и редакторы и как два бота торговались за мячик и сломали английский язык. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

6 месяцев назад @ nowyouarehere.libsyn.com
Мы вас услышали. Как машина научилась понимать нашу речь
Мы вас услышали. Как машина научилась понимать нашу речь Мы вас услышали. Как машина научилась понимать нашу речь

В этом эпизоде мы расскажем, почему голосовые помощники не понимают шотландцев и чем им может помочь глухой с младенчества советский математик. Как робот находит песню, в которой вы помните только «ту-ту-ту-рум-ту-ту-рум». И правда ли, что умные колонки за нами шпионят. Этот подкаст студии Либо/Либо и SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

6 месяцев, 2 недели назад @ nowyouarehere.libsyn.com
История говорящих машин. От ацтеков до Alexa
История говорящих машин. От ацтеков до Alexa История говорящих машин. От ацтеков до Alexa

В первом эпизоде мы рассказываем, как учили машину говорить так, чтоб ее можно было слушать без кринжа. Изобретатели и инженеры буквально столетиями пытались заставить машины говорить и придумали за это время самые странные звучащие объекты в истории. В этом выпуске вы услышите орущие свистки ацтеков, смех волынки с механическим ртом и песни безумных роботов. Заодно мы расскажем, чьим голосом на самом деле разговаривал Стивен Хокинг и почему запись живого диктора может звучать хуже, чем нейросеть. И почему все это ради пиццы. Этот подкаст студии Либо/Либо и SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; …

7 месяцев, 1 неделя назад @ nowyouarehere.libsyn.com
Машина, которая думает, творит и орет. Трейлер подкаста об искусственном интеллекте
Машина, которая думает, творит и орет. Трейлер подкаста об искусственном интеллекте Машина, которая думает, творит и орет. Трейлер подкаста об искусственном интеллекте

В этом подкасте мы расскажем о том, как человек учит машину всему, что умеет сам: постигать, творить, общаться и нервничать. Что о нас думает умная колонка? Зачем давать роботам цифровые эмоции? Может ли нейросеть действительно понять человека? О том, куда нас ведет развитие искусственного интеллекта, и как долго нам еще идти по дороге прогресса — слушайте в подкасте «Вы находитесь здесь»

7 месяцев, 2 недели назад @ nowyouarehere.libsyn.com
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост 1 месяц назад
After the Bubble
After the Bubble After the Bubble

The Y2K bug generated a lot of fear, but all that hype fizzled when the new millennium didn’t start with a digital apocalypse. It turns out that fear was just aimed at the wrong catastrophe. While plenty were riding high on the rise of the internet beyond the Y2K scare, another disaster had been brewing since 1995—and would bring them back down. But the dot-com bubble wasn’t the end. The internet was here to stay. Not long after the turn of the millennium, the dot-com economy collapsed. Peter Relan points to the flawed business plans that fueled the dot-com bubble, and how many entrepreneurs and investors underestimated the complexity of building a business on the internet. Ernie Smith tell…

1 месяц назад @ commandlineheroes.simplecast.com
The World of the World Wide Web
The World of the World Wide Web The World of the World Wide Web

1995 laid the groundwork for a truly global World Wide Web. But not every country took the same path to connecting to the internet. Some resisted, wanting to create their own version. Others had to fight for access, not wanting to be left behind. And while we made huge strides in connecting the world in those early years, we still have a long way to go. Julien Mailland recounts the rollout of France’s Minitel service—how it was years ahead of the internet, but eventually lost its lead. Steve Goldstein explains what was involved in building the infrastructure to expand the NSFNET beyond the United States. Gianluigi Negro shares how China pushed for its connection, and how different it would …

1 месяц, 2 недели назад @ redhat.com
Looking for Search
Looking for Search Looking for Search

The web was growing quickly in the ‘90s. But all that growth wasn’t going to lead to much if people couldn’t actually find any web sites. In 1995, an innovative new tool started crawling the web. And the search engine it fed opened the doors to the World Wide Web. Elizabeth Van Couvering describes trying to find websites before search engines, and how difficult it was becoming in the early ’90s to keep track of them all. Louis Monier talks about having to convince others how important search engines would become—and he showed them what a web crawler could do. Paul Cormier recounts taking the search engine from a research project to a commercial one. And Richard Seltzer wrote the book on sea…

2 месяца назад @ redhat.com
Shopping for the Web
Shopping for the Web Shopping for the Web

We put a lot of trust into online shopping: sharing our names, addresses, and handing over money. In return, we have faith that the purchased item appears at our doorstep in a few days or weeks. That trust didn’t come easily. In 1995, we took our first steps out of the brick and mortar store to load our digital shopping cart. Robert Spector reveals how Amazon.com’s business foundations are in data—and being early to the internet. Sandeep Krishnamurthy recounts the rise of eBay. Angela Robinson describes the technology that makes secure transactions and trustworthy e-commerce possible. Kartik Shastri shares how difficult it was to store and process consumer data. And Katie Wilson explains ho…

2 месяца, 2 недели назад @ redhat.com
Web UX Begins
Web UX Begins Web UX Begins

Looking at the internet in 1995 is like looking back at awkward grade school yearbooks—all the weirdness and flaws stand out in stark contrast to what it’s grown into since. And web design took awhile to become a career—but it got a big boost in 1995. When the Batman Forever website launched to promote the movie, it showed people what was possible on the web. And it forever changed what we’d expect from a website. Jay Hoffmann describes the quirky designs of the early web. Richard Vijgen explains how we went from a lack of conventions to a homogenized web. Jeffrey Zeldman recounts building the Batman Forever movie’s website—and sowing the seeds of professional web design. Jessica Helfand ou…

3 месяца назад @ redhat.com
A Language for the Web
A Language for the Web A Language for the Web

The Hypertext Markup Language (HTML) gave everyone a foundation for building and viewing the World Wide Web. In 1995, its standardization led to dominance. Its simplicity helped it spread. And its solid common foundation helped shape the internet. Dr. Belinda Barnet explains what kind of framework was initially needed to build and navigate the Web. Jeff Veen describes the three ingredients Tim Berners-Lee combined to create HTML: the ideal language for the Web. Gavin Nicol recounts the need to standardize the quickly-growing language. And Gretchen McCulloch points out how HTML instills an inherent bias for English speakers to develop for the web.If you want to read up on some of our researc…

3 месяца, 2 недели назад @ redhat.com
From NSF to ISP
From NSF to ISP From NSF to ISP

1995 was the year that ISPs became the dominant gateway to the information superhighway. But how’d we go from ARPANET all the way to that? It turns out, none of it would have happened without a team of intrepid engineers at the University of Michigan.Marc Weber tells us how a tension between academics and the military set the next evolution of the ARPANET. Douglas Van Houweling discusses the work his MERIT team did at the University of Michigan to build the national backbone of the NSFNET. Elise Gerich, MERIT’s systems manager, talks about how they made the leap from a T1 connection to a T3 to handle traffic from their growing network. And Janet Abbate emphasizes how all this set the stage …

3 месяца, 4 недели назад @ redhat.com
Connecting the Dot-Com
Connecting the Dot-Com Connecting the Dot-Com

The year is 1995. The internet starts going mainstream and the dot-com bubble begins its rapid inflation. But 10 years before all of this, a small team of systems administrators made a seemingly simple decision that would turn out to have a monumental impact on these events and would set the course of the internet for the foreseeable future. Dr. W. Joseph Campbell sets the stage for our season on the internet in 1995. Claire L. Evans explains how hard it was to find anything on the early internet. One team was charged with compiling that information in the early days of the ARPANET. Elizabeth “Jake” Feinler recounts being the internet’s sole librarian in those early days, and how she helped…

4 месяца, 1 неделя назад @ redhat.com
Command Line Heroes Season 7: Internet Class of '95
Command Line Heroes Season 7: Internet Class of '95 Command Line Heroes Season 7: Internet Class of '95

The internet’s been around for awhile now. And it’s safe to say that it’s changed much of our daily lives. But not so long ago, there were few people who realized how transformative the internet would become. Season 7 of Command Line Heroes looks back at those few who saw the internet’s early potential and forever shaped it during its most formative year: 1995. From the origins of e-commerce, to web design, to HTML, to the infrastructure holding it all together around the world, this season highlights the heroes who turned the nascent internet into the vital global network we know today. The first episode drops March 23, 2021. Subscribe today and sign up for the newsletter to get the latest…

4 месяца, 3 недели назад @ redhat.com
Arlan Hamilton: The Investor Who's Opening Doors
Arlan Hamilton: The Investor Who's Opening Doors Arlan Hamilton: The Investor Who's Opening Doors

If you think hard work is enough to guarantee success, you haven’t been listening. All season long, we’ve profiled Black inventors who haven’t quite been given their due. Arlan Hamilton is helping reverse that trend by leveling the playing field—and changing the venture capital game.Arlan Hamilton’s story mirrors many we’ve covered this season—overcoming adversity to find success. But she’s also helping redefine what success can look like and, in the process, is helping change the broader tech industry. Janice Omadeke lays out how diversifying the VC community in turn leads to greater diversity among founders receiving funding. Ramona Ortega explains how traditional VC priorities often pass…

6 месяцев, 2 недели назад @ redhat.com
Gladys Perkins: The Pioneer Who Took Us To New Heights
Gladys Perkins: The Pioneer Who Took Us To New Heights Gladys Perkins: The Pioneer Who Took Us To New Heights

Is the moon made of cheese? Of course not. But can a person walk on the surface? Not too long ago, we couldn’t answer that question. But with the help of Gladys Perkins, we soon figured out that we could send a team to the moon and have them safely land on its surface. There was a time when the United States was behind the Soviets in the space race. Everyone had their sights set on the moon. Andrew Chaikin describes NASA’s disastrous Ranger missions. Erik Conway explains how complicated the trajectory calculations were—and to top it all off, why they often couldn’t be done in advance. To succeed, NASA’s new Surveyor program would need the capability to adjust trajectory mid-flight. Gladys P…

6 месяцев, 4 недели назад @ redhat.com
Roy Clay: The Entrepreneur Who Transformed an Industry
Roy Clay: The Entrepreneur Who Transformed an Industry Roy Clay: The Entrepreneur Who Transformed an Industry

Roy Clay had to chase after opportunities. But landing a promising position wasn’t the finish line. Roy Clay pushed those opportunities beyond their mandate, transforming an industry in the process.Kathy Cotton recounts how few opportunities Roy Clay had growing up—but how, later, talk of his genius helped him get his break in the tech industry. Chuck House describes how Clay’s qualifications and experience were just what Hewlett and Packard were looking for. Bill Davidow explains how Clay made his mark at HP building a department, and shaping the strategy for a revolutionary 16-bit minicomputer. And in Clay, Ken Coleman found a role model and mentor. He followed in Clay’s footsteps, and he…

7 месяцев, 1 неделя назад @ redhat.com
Dr. Clarence Ellis: The Developer Who Helped Us Collaborate
Dr. Clarence Ellis: The Developer Who Helped Us Collaborate Dr. Clarence Ellis: The Developer Who Helped Us Collaborate

It’s not easy to learn how to use computers when you can’t actually touch them. But that’s how Dr. Clarence Ellis started his career of invention—which would ultimately lead to reimagining how we all worked with computers and each other.Martez Mott describes the “Mother of all Demos” that would inspire a generation of builders. Gary Nutt recounts working with Dr. Clarence Ellis at Xerox PARC, and the atmosphere at the coveted research lab. Chengzheng Sun and Paul Curzon explain how Operational Transformation—the project to which Dr. Ellis devoted so much time and effort—laid the foundation for the collaborative tools many of us use every day. And Delilah DeMers shares how humble her father …

7 месяцев, 3 недели назад @ redhat.com
Dr. Marc Hannah: The Computer Scientist Who Brought Worlds to Life
Dr. Marc Hannah: The Computer Scientist Who Brought Worlds to Life Dr. Marc Hannah: The Computer Scientist Who Brought Worlds to Life

Sometimes an inventor designs a device for a specific purpose. Sometimes it’s to try something new. But successful inventions often shape industries beyond those they initially intended. Dr. Marc Hannah built an invention with far bigger effects than anyone could have imagined—like bringing dinosaurs to life, building liquid robots, and letting the Titanic set sail one more time. Raqi Syed gives some context on the evolution of special effects in the movie industry. Mark Grossman explains how the graphics world was more than ready for an upgrade. Tom Davis recounts the difficulties that he and his team had getting people to understand what was possible with the Geometry Engine. Luckily, Ste…

8 месяцев, 1 неделя назад @ redhat.com
Mark Dean: The Inventor Who Made the Computer Personal
Mark Dean: The Inventor Who Made the Computer Personal Mark Dean: The Inventor Who Made the Computer Personal

Dr. Mark Dean has a superpower. He wasn’t born with it. He wasn’t exposed to high levels of radiation. It’s a power he learned from his father. And because of it, he was able to revolutionize the personal computer. David Bradley explains how in the 1980s, IBM had a reputation for building big, enterprise mainframes. No one believed IBM could make a competitive PC. But that’s exactly what “Project Chess” was tasked with creating. Tony Hey describes the monumental shift in strategy it was for IBM to enter the PC market. Pete Martinez and Dennis Moeller recount their days working with Mark on the skunkworks project. And how IBM's strategy for creating a computer in under a year changed the per…

8 месяцев, 3 недели назад @ redhat.com
Python Bytes Python Bytes
последний пост 3 дня назад
#244 vendorizing your Python podcast
#244 vendorizing your Python podcast 3 дня назад @ pythonbytes.fm
#243 Django unicorns and multi-region PostgreSQL
#243 Django unicorns and multi-region PostgreSQL 1 неделя, 5 дней назад @ pythonbytes.fm
#242 from lib import * but less
#242 from lib import * but less 2 недели, 4 дня назад @ pythonbytes.fm
#241 f-yes we want some f-string tricks!
#241 f-yes we want some f-string tricks! 3 недели, 5 дней назад @ pythonbytes.fm
#240 This is GitHub, your pilot speaking...
#240 This is GitHub, your pilot speaking... 1 месяц назад @ pythonbytes.fm
#239 No module named pythonbytes
#239 No module named pythonbytes 1 месяц, 1 неделя назад @ pythonbytes.fm
#238 A cloud-based file system for Python and a new GUI!
#238 A cloud-based file system for Python and a new GUI! 1 месяц, 2 недели назад @ pythonbytes.fm
#237 Separate your SQL and Python, asynchronously with aiosql
#237 Separate your SQL and Python, asynchronously with aiosql 1 месяц, 3 недели назад @ pythonbytes.fm
#236 Fuzzy wuzzy wazzy fuzzy was faster
#236 Fuzzy wuzzy wazzy fuzzy was faster 2 месяца назад @ pythonbytes.fm
#235 Flask 2.0 Articles and Reactions
#235 Flask 2.0 Articles and Reactions 2 месяца, 1 неделя назад @ pythonbytes.fm
#234 The Astronomy-filled edition with Dr. Becky
#234 The Astronomy-filled edition with Dr. Becky 2 месяца, 2 недели назад @ pythonbytes.fm
#233 RaaS: Readme as a Service
#233 RaaS: Readme as a Service 2 месяца, 3 недели назад @ pythonbytes.fm
#232 PyPI in a box and a revolutionary keyboard
#232 PyPI in a box and a revolutionary keyboard 2 месяца, 4 недели назад @ pythonbytes.fm
#231 Go Python, Go!
#231 Go Python, Go! 3 месяца назад @ pythonbytes.fm
#230 PyMars? Yes! FLoC? No!
#230 PyMars? Yes! FLoC? No! 3 месяца, 1 неделя назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 2 дня, 23 часа назад
Preface with Farooq Abbasi
Preface with Farooq Abbasi

In this episode we discuss venture capital and more with Preface Ventures Founder and General Partner Farooq Abbasi. This interview was also recorded as a video podcast. Check out the video on the Software Daily YouTube channel. Sponsorship inquiries: sponsor@softwareengineeringdaily.com

The post Preface with Farooq Abbasi appeared first on Software Engineering Daily.

2 дня, 23 часа назад @ softwareengineeringdaily.com
Shoreline: Fleet Automation with Anurag Gupta
Shoreline: Fleet Automation with Anurag Gupta

In today’s containerized world, it’s common to encounter similar issues with known solutions across multiple pods. For most people there are 2 solutions: go pod-by-pod finding and fixing the problem, or do that while also spending months trying to automate that process. This is significant time and manual labor. The company Shoreline orchestrates real-time debugging

The post Shoreline: Fleet Automation with Anurag Gupta appeared first on Software Engineering Daily.

3 дня, 23 часа назад @ softwareengineeringdaily.com
Prophecy: Apple of Data Engineering with Raj Bains
Prophecy: Apple of Data Engineering with Raj Bains

Prophecy is a complete Low-Code Data Engineering Platform for the Enterprise. Prophecy enables all your teams on Apache Spark with a unique low-code designer. While you visually build your Dataflows – Prophecy generates high-quality Spark code on Git. Then, you can schedule Spark workflows with Prophecy’s low-code Airflow. Not only that, Prophecy provides end-to-end visibility

The post Prophecy: Apple of Data Engineering with Raj Bains appeared first on Software Engineering Daily.

4 дня, 16 часов назад @ softwareengineeringdaily.com
Our Current Strategy
Our Current Strategy

We’ve been running Software Daily for 6 years. When we started it back in 2015, the goal was to create a software engineering podcast that was 60% as good as Software Engineering Radio, but aired with 5x the frequency. 5 shows per week, 50 weeks per year, 5 ads per show, means 1,250 advertising spots.

The post Our Current Strategy appeared first on Software Engineering Daily.

5 дней, 14 часов назад @ softwareengineeringdaily.com
Pulsar Rerevisted with Enrico Olivelli
Pulsar Rerevisted with Enrico Olivelli

In the previous episode, Pulsar Revisited, we discussed how the company DataStax has added to their product stack Astra Streaming, their cloud-native messaging and event streaming service that’s built on top of Apache Pulsar. We discussed Apache Pulsar and the added features DataStax offers like injecting machine learning into your data streams and viewing real-time

The post Pulsar Rerevisted with Enrico Olivelli appeared first on Software Engineering Daily.

6 дней, 23 часа назад @ softwareengineeringdaily.com
Pulsar Revisited with Jonathan Ellis
Pulsar Revisited with Jonathan Ellis

Apache Pulsar is a cloud-native, distributed messaging and streaming platform originally created at Yahoo! and now a top-level Apache Software Foundation project (pulsar.apache.org). Pulsar is used by many large companies like Yahoo!, Verizon media, Tencent, and Splunk. The company DataStax, an open, multi-cloud stack for modern data apps, has added to their product stack Astra

The post Pulsar Revisited with Jonathan Ellis appeared first on Software Engineering Daily.

1 неделя, 2 дня назад @ softwareengineeringdaily.com
Stack Overflow for Teams: A Centralized Knowledge Sharing and Collaboration Platform with Tom Limoncelli
Stack Overflow for Teams: A Centralized Knowledge Sharing and Collaboration Platform with Tom Limoncelli

If you’ve ever googled a CS or programming question, you likely found an answer (or many) on Stack Overflow. Founded in 2008 and named after a common computing error, Stack Overflow empowers the world to develop technology through collective knowledge. More than 100 million people visit Stack Overflow every month making it one of the

The post Stack Overflow for Teams: A Centralized Knowledge Sharing and Collaboration Platform with Tom Limoncelli appeared first on Software Engineering Daily.

1 неделя, 3 дня назад @ softwareengineeringdaily.com
CockroachDB: Distributed Databases and Containerization with Spencer Kimball
CockroachDB: Distributed Databases and Containerization with Spencer Kimball

In 2003, Google developed a robust cluster management system called Borg. This enabled them to manage clusters with tens of thousands of machines, moving them away from virtual machines and firmly into container management. Then, in 2014, they open sourced a version of Borg called Kubernetes, or K8s. Now, in 2021, CockroachDB is a distributed

The post CockroachDB: Distributed Databases and Containerization with Spencer Kimball appeared first on Software Engineering Daily.

1 неделя, 4 дня назад @ softwareengineeringdaily.com
Sust Global: Taking Action Against Climate Change with Josh Gilbert
Sust Global: Taking Action Against Climate Change with Josh Gilbert

Governments, consumers, and companies across the world are becoming more aware and attentive to the risks and causes of climate change. From recycling to using solar power, people are looking for ways to reduce their carbon footprint. Markets like the financial sector, governments, and consulting are looking for ways to understand climate data to make

The post Sust Global: Taking Action Against Climate Change with Josh Gilbert appeared first on Software Engineering Daily.

1 неделя, 5 дней назад @ softwareengineeringdaily.com
Imply Infra: Big Data Analysis and Real-World Examples with Jad Naous
Imply Infra: Big Data Analysis and Real-World Examples with Jad Naous

Big data analytics is the process of collecting data, processing and cleaning it, then analyzing it with techniques like data mining, predictive analytics, and deep learning. This process requires a suite of tools to operate efficiently. Data analytics can save companies money, drive product development, and give insight into the market and customers. The company

The post Imply Infra: Big Data Analysis and Real-World Examples with Jad Naous appeared first on Software Engineering Daily.

1 неделя, 6 дней назад @ softwareengineeringdaily.com
How to Convince Ashmeet Sidana to Invest in Your Business
How to Convince Ashmeet Sidana to Invest in Your Business

Ashmeet Sidana is the founder of Engineering Capital.

The post How to Convince Ashmeet Sidana to Invest in Your Business appeared first on Software Engineering Daily.

2 недели назад @ softwareengineeringdaily.com
Better Stack: A New DevOps Experience with Juraj Masar
Better Stack: A New DevOps Experience with Juraj Masar

DevOps has shortened the development life cycle for countless applications and is embraced by companies around the world. But managing and monitoring multiple environments is still a major pain point, particularly when companies need to mix cloud and legacy systems. Knowing when services go down and quickly pinpointing the cause is essential for continuous development. The post Better Stack: A New DevOps Experience with Juraj Masar appeared first on Software Engineering Daily.

2 недели, 3 дня назад @ softwareengineeringdaily.com
Data Science on AWS: Implementing AI and ML Pipelines on AWS with Chris Fregly
Data Science on AWS: Implementing AI and ML Pipelines on AWS with Chris Fregly

Data science is an interdisciplinary field that combines strong technical skills with industry knowledge to perform a large range of jobs. Data scientists solve business questions with hands-on work cleaning and analyzing data, building machine learning models and applying algorithms, and generating dynamic visuals and tools to understand the world from the data it generates.

The post Data Science on AWS: Implementing AI and ML Pipelines on AWS with Chris Fregly appeared first on Software Engineering Daily.

2 недели, 4 дня назад @ softwareengineeringdaily.com
Move Fast with Jeff Meyerson
Move Fast with Jeff Meyerson

In this episode we discuss the new Move Fast book, as well as many aspects of the current state of software engineering. Daliana Liu interviews Jeff Meyerson, host of Software Daily and author of Move Fast. This interview was also recorded as a video podcast. Check out the video on the Software Daily YouTube channel.

The post Move Fast with Jeff Meyerson appeared first on Software Engineering Daily.

2 недели, 5 дней назад @ softwareengineeringdaily.com
(Full Audiobook) Move Fast: How Facebook Builds Software
(Full Audiobook) Move Fast: How Facebook Builds Software

Here is the full audiobook for “Move Fast: How Facebook Builds Software”. Continue listening to the end to hear my most recent album “Simulation”.

The post (Full Audiobook) Move Fast: How Facebook Builds Software appeared first on Software Engineering Daily.

3 недели назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост 5 месяцев, 2 недели назад
Хабр ПРО. Удалёнка-2021: уезжать или оставаться в городе?
Хабр ПРО. Удалёнка-2021: уезжать или оставаться в городе? Хабр ПРО. Удалёнка-2021: уезжать или оставаться в городе?

Мало кто ожидал, что удалёнка затянется: скоро год, как пандемия перевернула формат работы айтишников. Многие верят, что им выпал шанс пожить так, как давно мечталось — и обсуждают, как использовать ситуацию. Многие снимаются с насиженных мест, чтобы мигрировать за город, к чистому воздуху и зеленым полям. Но что нужно, чтобы айтишник не просто стал ближе к земле, но и улучшил качество жизни? Поговорим об этом с Григорием Вовченко, управляющим директором центра развития финансовых технологий Россельхозбанка, и Иваном Гуменюком, топовым хабраавтором, который давно на удалёнке и рад этому. 1:50 Инфраструктура своими руками: интернет через кастрюлю, яхта под офис и прочие ноу-хау удалённых айт…

5 месяцев, 2 недели назад @ soundcloud.com
Хабр ПРО. Куда плывёте, облака?
Хабр ПРО. Куда плывёте, облака? Хабр ПРО. Куда плывёте, облака?

Облака давно покрывают небо IT, но осознанно ли они используются? Может, популярность облачных сервисов – это дань моде, а на самом деле вся инфраструктура так и живёт на прикроватных серверах? Или всё как раз наоборот? Мы на Хабре провели опрос ( https://habr.com/ru/article/528534/ ) о том, как айтишники используют облака сейчас и каким видят их будущее. Результаты обсуждаем в беседе с инсайдерами: Александром Худяковым, продакт-менеджером облачной платформы Selectel, и Александром Фатиным aka Лохматый Мамонт, евангелистом в компании Veeam и ведущим подкаста linkmeup. В выпуске: 8:25 Кто обитает в облаках: краткий обзор отечественного и зарубежного рынков 13:55 Безболезненный переезд в обл…

7 месяцев, 2 недели назад @ soundcloud.com
Хабр ПРО // До cвидания, зона комфорта! Как работают айтишники вне IT
Хабр ПРО // До cвидания, зона комфорта! Как работают айтишники вне IT Хабр ПРО // До cвидания, зона комфорта! Как работают айтишники вне IT

Где работают айтишники? Кажется, чуть ли не везде. Но даже в ряду тех, где все равны, иногда кто-то все-таки ровнее. Остались ли предубеждения к каким-то отраслям? Как себя ощущают сотрудники в тех сферах, о которых пока не совсем привычно говорить как о цифровизированных? В гостях Денис Колупаев, руководитель направления разработки AR/VR в Северстали, и Максим Корчагин, в чьем послужном списке есть и антарктическая станция, и чудо-школа. 2:50 Особенности работы айтишника на металлургическом производстве, в сельской школе и на научно-исследовательском судне

10:25 Как попадают в творческое IT (и при чём тут «Убойная сила»)

16:35 VR/AR на «Северстали»: костюм из фольги, расплавленный металл и…

7 месяцев, 2 недели назад @ soundcloud.com
Викли // Новинки Яндекса, мобильная аддикция, запрет TikTok отложили, дослушайте выпуск (так надо)
Викли // Новинки Яндекса, мобильная аддикция, запрет TikTok отложили, дослушайте выпуск (так надо) Викли // Новинки Яндекса, мобильная аддикция, запрет TikTok отложили, дослушайте выпуск (так надо)

0:43 YaC: новая конференция, Станция Макс и прикольные сервисы, habr.com/p/529786/ 13:20 89% взаимодействий со смартфоном пользователи начинают сами, а не из-за пуш-уведомлений, habr.com/p/530118/ 24:16 Власти США ещё на неделю отложили запрет TikTok, habr.com/p/530016/ 37:03 Ответы на вопросы слушателей: студенческие мечты, как начать делать подкаст, слушаем ли мы «Викли», кому нужна випассана, а также компании, где не стыдно работать 1:07:14 Мы завершаем этот сезон «Викли» и открываем независимый подкаст «Хоба!»:

- Apple Podcasts, https://apple.co/36f1Arb

- Google Podcasts, https://bit.ly/guglohoba

- Castbox, https://castbox.fm/vc/3562584

- Яндекс.Музыка, https://music.yandex.ru/album/129…

8 месяцев, 1 неделя назад @ soundcloud.com
ПРО // Мир ИБ: паранойя vs здравый смысл
ПРО // Мир ИБ: паранойя vs здравый смысл ПРО // Мир ИБ: паранойя vs здравый смысл

Новый подкаст Хабра под названием ПРО — это аудиоверсия наших видкастов на Ютубе. Здесь новые ведущие, новые актуальные темы и новые гости. Причем гостей всегда двое, чтобы взглянуть на вопрос с разных точек зрения и составить профессиональное мнение. Видкаст здесь: https://u.tmtm.ru/habrpro 1:45 Современные кибератаки: виды, этапы, примеры

10:35 Как не стать жертвой: меры предосторожности для частных лиц

15:50 Автоматическое обновление прошивки роутера – хорошо или плохо

16:40 Почему атаки на индустриальные предприятия опаснее, чем на финансовые

24:00 Мыслить, как киберпреступник: как специалисты по ИБ ищут уязвимости в корпоративных сетях – интересные кейсы

29:50 Особенности защиты россий…

8 месяцев, 1 неделя назад @ soundcloud.com
ПРО // Mobile-разработка: своя команда vs аутсорс
ПРО // Mobile-разработка: своя команда vs аутсорс ПРО // Mobile-разработка: своя команда vs аутсорс

Новый подкаст Хабра под названием ПРО — это аудиоверсия наших видкастов на Ютубе. Здесь новые ведущие, новые актуальные темы и новые гости. Причем гостей всегда двое, чтобы взглянуть на вопрос с разных точек зрения и составить профессиональное мнение. 1:40 Кто идёт работать в агентство, а кто в корпорацию И почему (спойлер: дело не в деньгах) 4:24 Почему удалёнка предпочтительнее офиса, даже заграничного 9:25 Аутсорс или аутстаф? Плюсы и минусы каждого из вариантов 17:25 Разнообразие проектов: где больше выбор, в агентстве или корпорации 21:35 Снова об особенностях работы на удалёнке: плюсы, минусы, инсайты 33:55 Текущее состояние рынка мобильной разработки Как привлечь и удержать классного…

8 месяцев, 1 неделя назад @ soundcloud.com
Викли // Внутренние принципы Яндекса, бесполезные онлайн-курсы, ради PS5 грабят фургоны доставки
Викли // Внутренние принципы Яндекса, бесполезные онлайн-курсы, ради PS5 грабят фургоны доставки Викли // Внутренние принципы Яндекса, бесполезные онлайн-курсы, ради PS5 грабят фургоны доставки

1:14 Яндекс опубликовал внутренние принципы, habr.com/p/528908/ 19:58 Вы безумны, остановитесь пока не поздно, habr.com/p/528678/ 39:13 Playstation 5 официально в продаже в России, но ее не купить 53:05 Отвечаем на вопросы слушателей: как копить деньги Могли бы обсудить, но не обсудили:

- Электронная книга своими руками на STM32H750 от А до Э, habr.com/p/528148/ - Механико-цифровые часы из стальных шариков, habr.com/p/527818/ - Как я делал свой самолёт, habr.com/p/528008/ Упоминали в этом выпуске: - принципы Tesla, elonmusk.su/pismo-ilona-maska-sotrudnikam-i-partneram-tesla/

- «метод Netflix», medium.com/@Gafarov/netflix-method-5a428d80e604 ***

Участники

Ваня Звягин, anchor.fm/omfg-podcast

8 месяцев, 2 недели назад @ soundcloud.com
Викли // Новые чипы Apple, старый коммуникатор Palm, ЦОД в бомбоубежище, прелесть ASCII-графики
Викли // Новые чипы Apple, старый коммуникатор Palm, ЦОД в бомбоубежище, прелесть ASCII-графики Викли // Новые чипы Apple, старый коммуникатор Palm, ЦОД в бомбоубежище, прелесть ASCII-графики

1:01 Новый чип Apple M1 на архитектуре ARM, habr.com/p/527416/ 16:22 Palm TX — редкий гость в 2020 году, habr.com/p/527002/ 28:22 RuVDS и их ЦОД в бомбоубежище, habr.com/p/527152/ 35:51 Минимализм ASCII-графики, habr.com/p/527388/ 41:14 Вопросы слушателей: когда работать, если слишком много встреч? Книги, которые мы читали в последнее время ***

Могли бы обсудить, но не обсудили

- Пишем «Змейку» для клавиатуры с подсветкой, habr.com/p/527386/

- Подземное захоронение жидких радиоактивных отходов, habr.com/p/526676/ ***

Участники

Ваня Звягин, anchor.fm/omfg-podcast

Адель Мубаракшин, t.me/exarg

Коля Землянский, t.me/shmedia_and_stuff

Далер Алиёров, t.me/dalerblog

Лев Пикалёв, t.me/levpik Звукор…

8 месяцев, 3 недели назад @ soundcloud.com
Викли // Марс вне земных законов, гнома из Half-Life отправят в космос, о пользе документации
Викли // Марс вне земных законов, гнома из Half-Life отправят в космос, о пользе документации Викли // Марс вне земных законов, гнома из Half-Life отправят в космос, о пользе документации

1:24 Маск: «Марс — свободная планета, там не действуют законы Земли», habr.com/p/525962/ 13:53 Rocket Lab запустит в космос гнома из Half-Life, habr.com/p/526240/ 18:33 Мышление письмом, habr.com/p/526336/ 31:15 Вопросы слушателей: есть ли в Хабре детский сад и празднуют ли у нас Хеллоуин ***

Могли бы обсудить, но не обсудили: - «Чистой» энергии не существует, habr.com/p/526368/

- «ВКонтакте» продала AliExpress слова «скидка» и «халява» для рекламы, habr.com/p/526524/ - Яндекс и Mail.ru работают над аналогами Zoom для школьников, habr.com/p/526314/ ***

Упоминали в выпуске:

- сабреддит Explain Me Like I’m 5, reddit.com/r/explainlikeimfive/

- реддит с phd одной строкой, reddit.com/r/AskReddit…

8 месяцев, 4 недели назад @ soundcloud.com
Новые «уши» Apple, цветовые схемы в кино, Starlink за $100 и астероид за $10¹⁹, рассыпуха в подкасте
Новые «уши» Apple, цветовые схемы в кино, Starlink за $100 и астероид за $10¹⁹, рассыпуха в подкасте Новые «уши» Apple, цветовые схемы в кино, Starlink за $100 и астероид за $10¹⁹, рассыпуха в подкасте

1:31 Apple покажет новые про-наушники в следующем году, habr.com/p/525226/ 13:31 Цвет в современных фильмах, habr.com/p/525252/ 24:43 Бета-тест Starlink стоит $99 в месяц, habr.com/p/525270/ 32:51 Астероид 16 Psyche состоит из металлов на 10¹⁹ долларов, habr.com/p/525504/ 39:18 Ответы на вопросы слушателей: страшно ли уходить с первой работы, какие проблемы бывают с макбуками Могли бы обсудить, но не обсудили:

- Как кодить, если лишился рук? habr.com/p/524664/ - Как 30 строк кода разорвали 27-тонный генератор, habr.com/p/525400/

- Медицинский чат-бот склонял пациентов к суициду, habr.com/p/525634/ - - - Рубрику «Сережа из Брянска» захватили ведущие - - - - Далер ищет работу — вот его сайт, …

9 месяцев назад @ soundcloud.com
OLED телевизор за $87k, полноценный автопилот Tesla, сотрудники Кремниевой долины измотаны удаленкой
OLED телевизор за $87k, полноценный автопилот Tesla, сотрудники Кремниевой долины измотаны удаленкой OLED телевизор за $87k, полноценный автопилот Tesla, сотрудники Кремниевой долины измотаны удаленкой

1:50 LG выпустила в продажу гибкий 4K OLED-телевизор за $87 тысяч, habr.com/p/524294/ 12:26 В МТИ нейросеть научилась расшифровывать забытые языки, https://habr.com/ru/news/t/524480/ + проверяют отношения между языками 15:07 Tesla выпустила полноценный автопилот на дорогах, https://habr.com/ru/news/t/524640/ 24:37 Пассажиров Москвы пытаются отследить по MAC-адресам https://m.habr.com/ru/news/t/524224/ 35:05 Новый опрос сервиса Blind показал, что сотрудники Кремниевой долины измотаны удаленкой https://m.habr.com/ru/news/t/523958/ 43:28 Отвечаем на вопросы слушателей: какие вузы мы заканчивали, синдром самозванца — это миф или реальность? Могли бы обсудить, но не обсудили:

Популярная музыка н…

9 месяцев, 1 неделя назад @ soundcloud.com
iPhone 12, деньги vs интерес, на МКС нашли утечку с помощью пакетика чая
iPhone 12,  деньги vs интерес,  на МКС нашли утечку с помощью пакетика чая iPhone 12, деньги vs интерес, на МКС нашли утечку с помощью пакетика чая

1:43 Apple представила:

- iPhone 12, habr.com/p/523336/ - HomePod mini, habr.com/p/523366/

- И убрала зарядки из комплектов, habr.com/p/523436/ 25:31 Представьте — вам дали гору денег, но забрали программирование навсегда. Обрадуетесь? Что будете делать? habr.com/p/523444/ 38:40 Россияне на МКС нашли место утечки воздуха с помощью пакетика чая, habr.com/p/523624/ 46:14 Отвечаем на вопросы слушателей: как не посадить зрение, TikTok + Oracle — это хорошо или плохо? ***

Могли бы обсудить, но не обсудили:

Эффект Телепорно: почему нормальные фразы на иностранном кажутся смешными, habr.com/p/523214/ Новый плацкарт в вагоне габарита Т, habr.com/p/523024/ Ноль смертей: как выжить в ДТП, habr.com/p/…

9 месяцев, 2 недели назад @ soundcloud.com
Бот 3 недели выдавал себя за человека, технопорно-разбор PS5 от Sony, как хакнуть птиц
Бот 3 недели выдавал себя за человека, технопорно-разбор PS5 от Sony, как хакнуть птиц Бот 3 недели выдавал себя за человека, технопорно-разбор PS5 от Sony, как хакнуть птиц

1:31 Бот в течение недели выдавал себя за человека на AskReddit, habr.com/p/522542/ 6:39 Документалка Social Dilemma, habr.com/p/520650/ 18:23 Sony полностью разобрала PlayStation 5 и показала, как приставка выглядит изнутри, habr.com/p/522488/ 29:39 Cистема, которая побуждает птиц собирать мусор в обмен на корм, habr.com/p/522034/ 35:21 Ответы на вопросы слушателей: как поймать интернет в деревне, много ли девушек в QA, котик ли Яндекс? 47:01 В рубрике «Сережа из Брянска» Machine Learning Podcast, который ведет Миша из Питера Могли бы обсудить, но не обсудили:

- Восстановление утраченных текстов с помощью современных технологий. Железо habr.com/p/521870/ - Смешные собеседования: истории ИТ…

9 месяцев, 3 недели назад @ soundcloud.com
Спешал // О Big Data «на пальцах» с Виктором Кантором
Спешал // О Big Data «на пальцах» с Виктором Кантором Спешал // О Big Data «на пальцах» с Виктором Кантором

«Интересно, много ли таких, кто ещё не понимает, какая польза от Big Data?» — это первый же комментарий к нашему с МТС опросу про Big Data. Больше половины опрошенных, как показали результаты, просто не используют Big Data. В то же время, в МТС — это важная часть бизнеса, и компания активно ищет специалистов в этой области. Открытые вакансии можно посмотреть по ссылке. → https://u.tmtm.ru/mts_podcast_job ← В чём причина противоречия? Какие байки ярче всего иллюстрируют заблуждения о больших данных? Какой на самом деле можно получить профит от Big Data? Сколько его придётся ждать и сколько денег необходимо в это вложить? Что лучше — построить свою внутреннюю службу или привлечь консультанта?…

9 месяцев, 3 недели назад @ soundcloud.com
Трёп Себранта Трёп Себранта
последний пост 3 недели, 2 дня назад
Слова-обманки: удалёнка и траектория
Слова-обманки: удалёнка и траектория Слова-обманки: удалёнка и траектория

-=Выпуск 61=- Как простые слова прячут от нас суть интересных изменений в мире вокруг и почему полезно перестать думать про удалёнку как новую реальность, а про карьерную траекторию — как продуктивную метафору. По ходу рассказа вспоминаю

3 недели, 2 дня назад @ sebrant.chat
Зачем роботам NFT и soft skills
Зачем роботам NFT и soft skills Зачем роботам NFT и soft skills

О роботах и людях: декан факультета ИКТ ИТМО Саша Капитонов о важности децентрализованных систем нахождения консенсуса, NFT как легальном способе роботу заработать себе на запчасти, разделении экономики на машинную и людскую. И еще много о чем, что не сразу ассоциируется с роботами — например, о необходимых им soft skills. На фото: как выглядела открытая запись подкаста в Ссылки в тему выпуска:

2 месяца, 3 недели назад @ sebrant.chat
Metaverse и медиа-арт в Мастерской 15
Metaverse и медиа-арт в Мастерской 15 Metaverse и медиа-арт в Мастерской 15

-=Выпуск 59=- Наталья Алфутова и Ярослав Кравцов рассказывают про жизнь медиахудожников во времена пандемии, про не всеми замеченное пришествие метавселенной в нашу жизнь и дразнят странными звуками робо-змеи. Ссылки на места, где про этот дуэт можно почитать и посмотреть, а не только послушать: в Инстаграме в ФБ в ФБ Очень активный Персональный

4 месяца, 1 неделя назад @ sebrant.chat
ВУЗы в пандемию и потом
ВУЗы в пандемию и потом ВУЗы в пандемию и потом

-=Выпуск 58=- Беседа с Я.И. Кузьминовым, ректором ВШЭ, о том, что пандемия и удаленка изменили и какие процессы ускорили в вузовском образовании — и почему эти изменения во благо. Ссылки на упомянутые в выпуске материалы: в Википедии про образование и уход из неё Максима Спиридонова с выступлениями Кузьминова и Ларьяновского

6 месяцев, 1 неделя назад @ sebrant.chat
Чего не станет через 20 лет
Чего не станет через 20 лет Чего не станет через 20 лет

-=Выпуск 57=- Новогодний трёп, чтоб ненапряжно послушать на каникулах и самостоятельно вокруг пофантазировать; я комментирую в нем список 20 вещей, которые могут исчезнуть через 20 лет. Список взят , и я там не со всеми пунктами согласен.

7 месяцев назад @ sebrant.chat
Trends-2021: на что смотреть в наступающем году
Trends-2021: на что смотреть в наступающем году Trends-2021: на что смотреть в наступающем году

-=Выпуск 56=- Сначала немного про точность попадания моего прошлогоднего прогноза, а потом — 10 направлений развития технологий, за которыми мне будет интересно наблюдать в 2021: где я ожидаю бурной и интересной жизни (а не собираюсь что-то конкретное предсказывать). Ссылки в тему: выпуск подкаста из предыдущей ссылки Мои , и почему другого просто нет

7 месяцев, 2 недели назад @ sebrant.chat
Про Практикум, маркетинг и немного про жизнь
Про Практикум, маркетинг и немного про жизнь Про Практикум, маркетинг и немного про жизнь

-=Выпуск 55=- Русина Лекух рассказывает о своей работе в Яндекс.Практикуме и о себе: невидимые снаружи стороны реферального маркетинга, управление репутацией не по учебникам, жизнь в образовательном стартапе. Ссылки по теме и про упоминавшееся в разговоре: Образовательная конференция Яндекса Конференция

7 месяцев, 3 недели назад @ sebrant.chat
ParrotCast ParrotCast
последний пост 5 месяцев назад
Episode 2 – Артур Кузин, SberDevices.
Episode 2 – Артур Кузин, SberDevices. Episode 2 – Артур Кузин, SberDevices.

💪🏻 Новый эпизод, осознанный. В этом выпуске к нам пришел Артур Кузин — руководитель платформы компьютерного зрения в SberDevices.

Мы не стали обсуждать Kaggle и соревнования 😄

«это нах*й никому не нужно»

...как сказал один великий мудрец.

Да, выпуск вышел 🔞, осторожно нагота, запрещенные вещества (нет)

Обсудили: Медитация и випассана 🧘🏻

Как стать эмпатичным котиком 🐈

Нерабочий work-life баланс ⛵

Как может помочь вера в бога (в качалке 🥇 и не только)

Важность страха смерти ⚰️ И это далеко не все! И вопросы от GPT-3 точно были (на этот раз один).

Страница выпуска: https://parrotcast.link/2 Подписывайтесь на наш канал в Telegram: https://t.me/parrotcast,

Заходите к нам в чатик: https://t.me/pa…

5 месяцев назад @ anchor.fm
Episode 1 – Евгений Кашин, Snap Inc.
Episode 1 – Евгений Кашин, Snap Inc. Episode 1 – Евгений Кашин, Snap Inc.

🎙 Пилотный выпуск нашего подкаста! В гостях у нас Евгений Кашин – ML-инженер из Snap Inc. С Женей мы успели обсудить кучу вещей: Из Воронежа в Лондон 🇬🇧 Snapchat и маски 😷 Будущие прорывы в DS и AR 🚀 Вопросы от русской GPT-3 🤖 ... и многое другое 😉 Домашнее задание: отгадать, какие именно вопросы были сгенерированы нейросетью 🦾😄 Страница выпуска: https://parrotcast.link/1 Подписывайтесь на наш канал в Telegram: https://t.me/parrotcast, Заходите к нам в чатик: https://t.me/parrotcastchat,

Ставьте лайки мемам в Твиттере: https://twitter.com/parrotcast,

Оставляйте комментарии и пишите ваши отзывы! Уже совсем скоро увидимся в следующем выпуске! Music: Burn by Tony & Paul (tonyandpaul.net)

6 месяцев, 3 недели назад @ anchor.fm
⌨ Coding
Martin Fowler
последний пост 3 дня, 18 часов назад
An example: Integration Middleware Removal
An example: Integration Middleware Removal An example: Integration Middleware Removal

The Legacy Replacement Treadmill We have worked with many organizations who have made multiple attempts at removing legacy systems.

They had become frustrated as the legacy system could not support the newer working practices of their suppliers.

Getting Started Legacy modernization can seem a most daunting proposition at the start of the journey.

Legacy Mimic † New system interacts with legacy system in such a way that the old system is not aware of any changes.

If you just change the legacy and do nothing else it is fair to expect you'll replacing legacy again with a few years.

3 дня, 18 часов назад @ martinfowler.com
Feature Parity
Feature Parity Feature Parity

This is approach often referred to as Feature Parity, or the 'feature parity trap' by those who have tried it.

If Feature Parity is a genuine requirement then this pattern describes what it might take to do well.

If feature parity is the aim, then there is significant work involved in determining what is required in terms of features, and more work associated with ensuring that the feature parity goal has been met through testing.

The technology view was that they could just do "feature parity" thus solving their pressing need to replace out of date tech.

At this point it was felt by some that "feature parity" was becoming too risky, with scope continually growing.

5 дней, 19 часов назад @ martinfowler.com
Extract Product Lines
Extract Product Lines Extract Product Lines

It is also common for different product lines to have very differerent value streams as described in Extract Value Streams.

How it Works Identify the product or product lines within the system.

Identify if the different product lines have BusinessCapabilities that are shared.

Which product lines are you going to move off first?

When to Use It You have a system with easily identifiable product lines that would benefit from: Being worked on independently.

1 неделя, 4 дня назад @ martinfowler.com
Patterns of Legacy Displacement
Patterns of Legacy Displacement Patterns of Legacy Displacement

The Legacy Replacement Treadmill We have worked with many organizations who have made multiple attempts at removing legacy systems.

They had become frustrated as the legacy system could not support the newer working practices of their suppliers.

Getting Started Legacy modernization can seem a most daunting proposition at the start of the journey.

Legacy Mimic † New system interacts with legacy system in such a way that the old system is not aware of any changes.

If you just change the legacy and do nothing else it is fair to expect you'll replacing legacy again with a few years.

1 неделя, 5 дней назад @ martinfowler.com
photostream 126
photostream 126 photostream 126

Bacharach, Rhineland-Palatinate, Germany (2016)

1 месяц назад @ martinfowler.com
Follower Reads
Follower Reads Follower Reads

There will always be a replication lag between the leader and the follower, even in the systems which implement consensus algorithms like [raft].

That's because even when the leader knows about which values are committed, it needs another message to communicate it to the follower.

It then immediately reads back the value but the read request goes to a follower, which may not have been updated yet.

Because the version number at the follower server is still 1, it waits till it gets that version from the leader.

If the follower server can not get the updates within timeout, an error response is returned to the client.

1 месяц назад @ martinfowler.com
Stepping Back from Speaking
Stepping Back from Speaking

Stepping Back from SpeakingGiving talks has been one of the pillars of my career.

But those who don’t know me well are often surprised when they learn the most important thing about my speaking profession.

The prospect of a future of frequent speaking was the only thing that’s seriously made me consider leaving Thoughtworks.

When I was a kid at school I felt none of the fear of public speaking that others talked about.

This kind of reaction is pretty common, many people consider public speaking to be one of their most frightening events.

1 месяц назад @ martinfowler.com
Version Vector
Version Vector Version Vector

SolutionEach key value is associated with a version vector that maintains a number for each cluster node.

In essence, a version vector is a set of counters, one for each node.

Databases like [riak] use the term version vector instead of vector clock for their implementation.

A typical version vector implementation is as follows:class VersionVector…private final TreeMap versions; public VersionVector() { this(new TreeMap<>()); } public VersionVector(TreeMap versions) { this.versions = versions; } public VersionVector increment(String nodeId) { TreeMap versions = new TreeMap<>(); versions.putAll(this.versions); Long version = versions.get(nodeId); if(version == null) { version = 1L; } else { …

1 месяц назад @ martinfowler.com
Hybrid Clock
Hybrid Clock Hybrid Clock

A Hybrid Logical Clock is implemented as follows:class HybridClock…public class HybridClock { private final SystemClock systemClock; private HybridTimestamp latestTime; public HybridClock(SystemClock systemClock) { this.systemClock = systemClock; this.latestTime = new HybridTimestamp(systemClock.currentTimeMillis(), 0); }It maintains the latest time as an instance of the hybrid timestamp, which is constructed by using system time and an integer counter.

this:other; } return this.getWallClockTime() > other.getWallClockTime()?this:other; } public long getWallClockTime() { return wallClockTime; } public HybridTimestamp addTicks(int ticks) { return new HybridTimestamp(wallClockTime, this.ticks …

1 месяц, 1 неделя назад @ martinfowler.com
Lamport Clock
Lamport Clock Lamport Clock

The system timestamp can not be used, because wall clocks are not monotonic and clock values from two different servers should not be compared.

SolutionLamport Clock maintains a single number to represent timestamp as following:class LamportClock…class LamportClock { int latestTime; public LamportClock(int timestamp) { latestTime = timestamp; }Every cluster node maintains an instance of a Lamport Clock.

So this technique of using logical timestamps to track causality is named as the Lamport Timestamp.

The Lamport Clock instance is maintained by the leader of the group, and is updated exactly the same way as discussed in the previous section.

Figure 3: Different leader follower groups storin…

1 месяц, 1 неделя назад @ martinfowler.com
Hybrid Clock
Hybrid Clock Hybrid Clock

A Hybrid Logical Clock is implemented as follows:class HybridClock…public class HybridClock { private final SystemClock systemClock; private HybridTimestamp latestTime; public HybridClock(SystemClock systemClock) { this.systemClock = systemClock; this.latestTime = new HybridTimestamp(systemClock.currentTimeMillis(), 0); }It maintains the latest time as an instance of the hybrid timestamp, which is constructed by using system time and an integer counter.

this:other; } return this.getWallClockTime() > other.getWallClockTime()?this:other; } public long getWallClockTime() { return wallClockTime; } public HybridTimestamp addTicks(int ticks) { return new HybridTimestamp(wallClockTime, this.ticks …

1 месяц, 1 неделя назад @ martinfowler.com
Versioned Value
Versioned Value Versioned Value

The leader of the cluster handles all the writes to the key value store.

It increments the version counter every time the key value write command is applied from the Write Ahead Log.

class ReplicatedKVStore…int version = 0; MVCCStore mvccStore = new MVCCStore(); @Override public CompletableFuture put(String key, String value) { return server.propose(new SetValueCommand(key, value)); } private Response applySetValueCommand(SetValueCommand setValueCommand) { getLogger().info("Setting key value " + setValueCommand); version = version + 1; mvccStore.put(new VersionedKey(setValueCommand.getKey(), version), setValueCommand.getValue()); Response response = Response.success(version); return respons…

1 месяц, 1 неделя назад @ martinfowler.com
Gossip Dissemination
Gossip Dissemination Gossip Dissemination

The Gossip instance needs to know about at least one other node to start the gossip communication.

A small constant number, defined as Gossip fanout, determines how many nodes to pick up as gossip targets.

But cluster nodes generally need some guarantee of quick convergence of state, and therefore use TCP-based transport to exchange the gossip state.

The cluster node sending the Gossip message adds the values it gets from the gossip response to its own state.

Criteria for node selection to Gossip Cluster nodes randomly select the node to send the Gossip message.

1 месяц, 2 недели назад @ martinfowler.com
On the Diverse And Fantastical Shapes of Testing
On the Diverse And Fantastical Shapes of Testing On the Diverse And Fantastical Shapes of Testing

The terms “unit test” and “integration test” have always been rather murky, even by the slippery standards of most software terminology.

We asked him how he would define unit test, and his reply was something like “in the first morning of my training course I cover 24 different definitions of unit test”.

From the early days of XP-inspired unit testing there were those who disliked the term “unit test” and proposed using names like “microtest” or “programmer test” instead.

From this I infer that their definition of “unit test” is specifically what I would call a solitary unit test.

This semantic picture is made even muddier by the definition of Integration Test, which makes “unit test” look …

2 месяца назад @ martinfowler.com
Mind the platform execution gap
Mind the platform execution gap Mind the platform execution gap

When well executed, a platform strategy promises to reduce costs and allow product development teams to focus on innovation.

Product thinking You must never forget that you are building products designed to delight their customers - your product development teams.

Operational excellence When you adopt an internal platform, you ask your product development teams for a great deal of trust.

Software engineering excellence A platform organisation is not just an operations department, so it needs more than operational capabilities.

Secondly, when your platform organisation is dependent on product teams’ appreciation of the platform’s benefits, it puts a strong pressure on your platform organisat…

3 месяца назад @ martinfowler.com
Фёдор Борщёв — CTO Фёдор Борщёв — CTO
последний пост None
Антон Жиянов Антон Жиянов
последний пост 2 недели, 3 дня назад
Что должно быть в письме о заказе
Что должно быть в письме о заказе Что должно быть в письме о заказе

Номер, стоимость, время доставки.

2 недели, 3 дня назад @ antonz.ru
Дурная кровь
Дурная кровь Дурная кровь

Захватывающая история бесконечной лжи.

3 недели, 3 дня назад @ antonz.ru
Разбор текста по шаблону на Python
Разбор текста по шаблону на Python Разбор текста по шаблону на Python

Разбор текста по шаблону на PythonВсе знают, как в питоне форматировать текст по шаблону:import datetime as dt date = dt.date(2020, 11, 20) who = "Френк" count = 42 tmpl = "{:%Y-%m-%d}: {} и его {:d} друга вылетели в Копенгаген" >>> tmpl.format(date, who, count) '2020-11-20: Френк и его 42 друга вылетели в Копенгаген'А благодаря библиотеке parse от Ричарда Джонса, с такой же легкостью можно разбирать текст обратно по переменным:import parse tmpl = "{:ti}: {} и его {:d} друга вылетели в Копенгаген" txt = "2020-11-20: Френк и его 42 друга вылетели в Копенгаген" >>> date, who, count = parse.parse(tmpl, txt) >>> date datetime.datetime(2020, 11, 20, 0, 0) >>> who 'Френк' >>> count 42parse по бол…

1 месяц, 1 неделя назад @ antonz.ru
Современный HTTP-клиент для Python
Современный HTTP-клиент для Python Современный HTTP-клиент для Python

requests → httpx

1 месяц, 2 недели назад @ antonz.ru
Найти группы похожих объектов с помощью SQL
Найти группы похожих объектов с помощью SQL Найти группы похожих объектов с помощью SQL

Найти группы похожих объектов с помощью SQLБывает, есть множество объектов с разными свойствами, и хочется идентифицировать группы похожих:объединить людей с одинаковым ФИО и адресами-телефонами в клиентской базе;сегментировать покупателей магазина по товарам, которые они приобрели;определить персоны в зависимости от сценариев, по которым люди взаимодействуют с сервисом.

Объединяем пары в группыПары есть, можно объединить их в группы.

with recursive -- Уникальные пары пользователей с одинаковыми свойствами.

-- Общий принцип: для каждой пары пользователей с одинаковыми свойствами -- выбираем все пары, которые пересекаются с ними.

Объединить пары в группы.

1 месяц, 3 недели назад @ antonz.ru
Универсальные оповещения на Python
Универсальные оповещения на Python Универсальные оповещения на Python

С помощью notifiers.

1 месяц, 3 недели назад @ antonz.ru
Главный критерий хорошего кода
Главный критерий хорошего кода Главный критерий хорошего кода

Оптимизируйте T, следите за R.

2 месяца назад @ antonz.ru
Счетчик для огромных коллекций на Python
Счетчик для огромных коллекций на Python Счетчик для огромных коллекций на Python

В стандартной библиотеке есть класс Counter. Он отлично подходит, чтобы считать количество объектов разных типов. Но что делать, если объектов миллиарды, и счетчик просто не помещается в оперативную память?

Поможет bounter — это счетчик, который предоставляет схожий интерфейс, но внутри построен на вероятностных структурах данных. За счет этого он занимает в

2 месяца назад @ antonz.ru
Python. Поэлементно сравнить коллекции
Python. Поэлементно сравнить коллекции Python. Поэлементно сравнить коллекции

С помощью множества (set).

2 месяца, 1 неделя назад @ antonz.ru
Планировщик задач на Python
Планировщик задач на Python Планировщик задач на Python

В стандартной библотеке есть встроенный планировщик задач (а чего вообще в ней нет?). Подробно расскажу в другой раз, но в целом он, скажем так, не слишком юзер-френдли.

Поэтому Дэн Бэйдер сделал schedule — «планировщик для людей». Смотрите, какой милый:

import schedule

import time def job(): print("I'm working...") schedule.

2 месяца, 1 неделя назад @ antonz.ru
Python. «Отнаследовать» функцию от существующей
Python. «Отнаследовать» функцию от существующей Python. «Отнаследовать» функцию от существующей

С помощью functool.partial()

2 месяца, 2 недели назад @ antonz.ru
Естественная сортировка на Python
Естественная сортировка на Python Естественная сортировка на Python

Это #пакетик — еженедельная рубрика о полезных и интересных пакетах на Python.

Мой сегодняшний выбор — пакет Сета Мортона natsort, который сортирует строки привычным для человека образом.

Допустим, у нас есть список важных гостей. Он в легком беспорядке:

data = [ "4 - Дуглас", "2 - Клер", "11 -

2 месяца, 2 недели назад @ antonz.ru
Оконные функции: скользящие агрегаты
Оконные функции: скользящие агрегаты Оконные функции: скользящие агрегаты

Оконные функции: скользящие агрегатыЭто пятая, заключительная статья из серии Оконные функции в картинках.

Скользящие агрегаты — это те же сумма и среднее.

Скользящее среднее по расходамСудя по данным, доходы у Марины растут: 94К ₽ в январе → 104К ₽ в сентябре.

Функции агрегацииСкользящие агрегаты используют те же самые функции, что и агрегаты обычные:min() и max()и count() , avg() и sum()Разница только в наличии фрейма у скользящих агрегатов.

Скользящие агрегаты (сумма и среднее в динамике).

2 месяца, 2 недели назад @ antonz.ru
Второй язык для питониста
Второй язык для питониста Второй язык для питониста

Второй язык для питонистаЕсли вы давно и хорошо знаете питон, некоторые моменты в нем могут напрягать.

Динамический язык с тяжелым наследием, который в свежих версиях решили превратить в Java образца 2005 года.

Старый язык, в который запихнули все что только можно.

Язык, в котором простота возведена в абсолют — всё есть данные.

Лично я выбрал Go, потому что устал от фичастых языков и наслоений абстракций.

2 месяца, 3 недели назад @ antonz.ru
Видение, эмпатия, смелость
Видение, эмпатия, смелость Видение, эмпатия, смелость

RIP веб 2010–2020.

2 месяца, 3 недели назад @ antonz.ru
Bare Products Updates
Airflow — orchestration Airflow — orchestration
последний пост None
Prefect — orchestration
последний пост 2 месяца, 1 неделя назад
Prefect + Microsoft: Advancing Dataflow Automation Together
Prefect + Microsoft: Advancing Dataflow Automation Together Prefect + Microsoft: Advancing Dataflow Automation Together

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

2 месяца, 1 неделя назад @ medium.com
Simple, Success-Based Pricing
Simple, Success-Based Pricing Simple, Success-Based Pricing

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

4 месяца, 1 неделя назад @ medium.com
Liftoff: Prefect’s Series A
Liftoff: Prefect’s Series A Liftoff: Prefect’s Series A

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

5 месяцев, 1 неделя назад @ medium.com
Liftoff
Liftoff Liftoff

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

5 месяцев, 3 недели назад @ medium.com
Prefect 0.14.0: Improved Flow Run Configuration
Prefect 0.14.0: Improved Flow Run Configuration Prefect 0.14.0: Improved Flow Run Configuration

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

7 месяцев, 2 недели назад @ medium.com
Introducing: The Artifacts API
Introducing: The Artifacts API Introducing: The Artifacts API

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

7 месяцев, 3 недели назад @ medium.com
Getting started with operationalizing your Python code
Getting started with operationalizing your Python code Getting started with operationalizing your Python code

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

8 месяцев назад @ medium.com
Getting Started with Parallel Computation
Getting Started with Parallel Computation Getting Started with Parallel Computation

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

8 месяцев, 3 недели назад @ medium.com
The Prefect Task Library
The Prefect Task Library The Prefect Task Library

This website is using a security service to protect itself from online attacks.

The action you just performed triggered the security solution.

There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

You can email the site owner to let them know you were blocked.

Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

9 месяцев, 3 недели назад @ medium.com
Meltano — EL tool Meltano — EL tool
последний пост 1 неделя, 6 дней назад
Demo Day Recap: 2021-07-16
Demo Day Recap: 2021-07-16 Demo Day Recap: 2021-07-16

AJ Steers, our Head of Engineering, kicked us off with opening Meltano projects directly in VS Code.

In that same repository, we also got an overview of running Meltano with GitHub Actions.

Oliver Laslett, Co-founder and CTO at Lightdash, gave us an overview of Lightdash, which is an open source BI tool.

The demo loads this into PostgreSQL and transforms it with dbt, and lets you spin up Lightdash to visualize it.

Our next Meltano Demo Day is on Friday, July 30th and we have our next office hours session on Wednesday, July 21st.

1 неделя, 6 дней назад @ meltano.com
Now Available: Meltano v1.78.0
Now Available: Meltano v1.78.0 Now Available: Meltano v1.78.0

Today, we are excited to release Meltano version 1.78.0, which adds the following bug fixes and stability improvements:improves the out-of-box experience for Meltano UI by defaulting to transform=skip in new pipelinesin new pipelines fixes incorrect or misleading error messages when invoking Airflowfixes installation errors when running meltano add with parallel installs that depend on other files or bundleswith parallel installs that depend on other files or bundles improves error messaging when python3-venv is missing during plugin installationExcited to try it out?

To upgrade Meltano and your Meltano project to the latest version, navigate to your project directory, activate the appropri…

2 недели, 3 дня назад @ meltano.com
Meltano SDK v0.3.3 is now available!
Meltano SDK v0.3.3 is now available! Meltano SDK v0.3.3 is now available!

Today we are excited to announce the latest version of Meltano SDK for Taps and Targets!

This release adds JSONPath support for for the Tap SDK, and two bug fixes for batch-based targets in the new Target SDK.

JSONPath for Records and Pagination ParsingWe’re always looking for ways to help developers get more done with less code, and todays addition of JSONPath support is another big step in that direction.

JSONPath allows developers to provide a declarative parsing query for records and pagination tokens, in place of procedural python code.

The list below (copied from the changelog) covers all of the changes made to the SDK since our last v0.3.2 release on July 2.

3 недели, 3 дня назад @ meltano.com
Demo Day Recap: 2021-07-02
Demo Day Recap: 2021-07-02 Demo Day Recap: 2021-07-02

It’s the first Demo Day where Meltano is a separate startup and it was best one yet!

Taylor kicked off Demo Day by recapping our big announcements on Wednesday – Meltano is officially a separate company spun out of GitLab, and we have several new team members!

AJ also briefly walked us through the new Meltano Academy deck which is aimed at walking people through how to build a new tap using Meltano SDK.

Overall, this was a fantastic Demo Day and we’re very appreciative of community members who take the time to share their work.

Our next Meltano Demo Day is on Friday, July 16 and we have our next office hours session on Wednesday, July 7.

1 месяц назад @ meltano.com