Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 6 дней, 5 часов назад
The Past, Present, and Future of react-dates
The Past, Present, and Future of react-dates The Past, Present, and Future of react-dates

Diane KoIn 2016, Airbnb released react-dates, a React date picker component library. The project has amassed more than 11,000 stars. GitHub also tells us that react-dates is used by over 30,000 repos.In more recent years, Airbnb’s requirements for a date picker have changed in a way that has diverged from react-dates. If we were to have made those changes to the library, it would have severely limited the flexibility of the library, one of its key features. To better support the react-dates community, we’ve made the decision to transfer ownership of the react-dates repo to a new react-dates GitHub organization. We believe this new home will better serve the community and continue to evolve …

6 дней, 5 часов назад @ medium.com
Intelligent Automation Platform: Empowering Conversational AI and Beyond at Airbnb
Intelligent Automation Platform: Empowering Conversational AI and Beyond at Airbnb Intelligent Automation Platform: Empowering Conversational AI and Beyond at Airbnb

How Intelligent Automation Platform supports conversational AI and agent-automation to improve the Airbnb customer experienceBy Zhiheng Xu, Alex Zhou, Jeremy Wang, Zecheng Xu, Ziyi Wang, Jiayu Lou, Liuming Zhang, Gary Pan, Jeffrey Zhao, Yisong Wang, Priyank Singhal, Claire Xiong, Wayne Zhang, Ben Ma, Hao Wang, Carter Appleton, Anthony CliftonWith the rapid development of Machine Learning and Natural Language Processing technologies, conversational AI has attracted huge attention in recent years. More and more conversational AI applications such as virtual assistants, smart speakers, and customer support chatbots have been developed to help people in their daily lives.At Airbnb, we have deve…

2 недели, 2 дня назад @ medium.com
Airbnb’s Page Performance Score on Android
Airbnb’s Page Performance Score on Android Airbnb’s Page Performance Score on Android

Part 4 of our series on Airbnb’s Page Performance Score.Luping LinAirbnb’s home grown Page Performance Score (PPS) is designed to capture the rich, complex realities of performance by collecting a multitude of user-centric performance metrics and formulating them into one single 0-100 score. In this post we will deep dive into how we define and implement these metrics on Android. Make sure you read the overview blog post first to familiarize yourself with our PPS metrics and formula.InstrumentationUniversal Page Tracking SystemThe entire customer journey on Airbnb is divided into different pages, each of which has its own measured PPS. In order to support this page-based performance trackin…

1 месяц, 1 неделя назад @ medium.com
Automating Data Protection at Scale, Part 3
Automating Data Protection at Scale, Part 3 Automating Data Protection at Scale, Part 3

Part three of a series on how we provide powerful, automated, and scalable data privacy and security engineering capabilities at AirbnbElizabeth Nammour, Pinyao Guo, Jamie Chong, Wendy JinIntroductionIn Part 1 and Part 2 of our blog series, we gave an overview of the Data Protection Platform (DPP). We focused on how we built a global understanding of Airbnb’s data and its associated security and privacy risks. In this blog post, we will describe how we use this understanding to provide powerful and automated security and privacy engineering capabilities and empower data governance. In order to reduce risk across the entire Airbnb organization, we sought to address the following concerns:Acc…

1 месяц, 1 неделя назад @ medium.com
Airbnb’s Page Performance Score on iOS
Airbnb’s Page Performance Score on iOS Airbnb’s Page Performance Score on iOS

This is a continuation of our series on Airbnb’s Page Performance Score, a score that measures multiple performance metrics from real users on any platform. Series: Part 1 and Part 2.Nicholas MillerAt Airbnb, we created the Page Performance Score to provide our engineers and data scientists a multitude of user-centric performance metrics to better understand and improve our products. In this post, we will dive deeper into how we define these metrics and instrument them on iOS.Page SystemThe entire customer journey on Airbnb is divided into different pages, each of which has its own measured Page Performance Score (PPS). In order to support this page-based performance tracking system, we bui…

1 месяц, 2 недели назад @ medium.com
How Airbnb Supports Co-Hosting
How Airbnb Supports Co-Hosting How Airbnb Supports Co-Hosting

A deep dive into Airbnb’s collaborative hosting infrastructureBy: Angeline RaoIntroductionAirbnb’s mission is to empower Hosts to deliver one-of-a-kind stays that make it possible for guests to experience the world in a more authentic and connected way. Sometimes hosting is handled by one person, but in many cases hosting is a group effort. Hosts often share their responsibilities with another trusted person, such as a family member or a neighbor. These trusted partners are Co-Hosts on the Airbnb platform who are granted access to the Host’s listing, reservations, and messaging with guests.Co-Hosting is just one form of Host collaboration. As hosting has become mainstream, the scale of host…

1 месяц, 2 недели назад @ medium.com
Measuring Web Performance at Airbnb
Measuring Web Performance at Airbnb Measuring Web Performance at Airbnb

Learn what web performance metrics Airbnb tracks, how we measure them, and how we consider tradeoffs between them in practice.Josh NelsonHow long did it take for this web page to load? It’s a common question industrywide, but is it the right one? Recently, there has been a shift from using single seconds-based metrics like “page load”, to metrics that paint a more holistic picture of performance, representing the experience from a website user’s perspective. At Airbnb, measuring the web performance that our guests and hosts actually experience is critical. Previously, we described how Airbnb created a Page Performance Score to combine multiple metrics from real users into a single score. In…

1 месяц, 3 недели назад @ medium.com
Creating Airbnb’s Page Performance Score
Creating Airbnb’s Page Performance Score Creating Airbnb’s Page Performance Score

Learn how Airbnb built the Page Performance Score, a 0–100 score that measures multiple performance metrics from real users on any platform.Andrew ScheuermannPerformance is important at Airbnb and part of our Commitment to Craft. A fast experience is good for business and critical to our mission to “create a world where anyone can belong anywhere”.Before we can create a fast experience we need to agree on what “fast” measures. Web, iOS, and Android each have different platform-specific performance metrics. For product engineers it can be challenging to understand which of these metrics to prioritize, and for management it’s difficult to compare platforms and keep progress reports succinct.W…

2 месяца, 1 неделя назад @ medium.com
My Journey to Airbnb — Elizabeth Ponce
My Journey to Airbnb — Elizabeth Ponce My Journey to Airbnb — Elizabeth Ponce

My Journey to Airbnb — Elizabeth PonceForging a path to a technical role at AirbnbElizabeth PonceMany Airbnbers know Elizabeth for her role as a community builder and leader — the co-lead for the Global Co-Lead for the Genders Marginalized in Tech (GemTech) resource group at Airbnb, and the host of amazing events like our company-wide Dog President Election. What people might not know is that Elizabeth has been on an incredible journey since joining Airbnb in 2017. She started as a customer support specialist, spent years developing a deep technical skillset, and is now a systems engineer on the BizTech team.Elizabeth discovered software engineering relatively later in her career. Her first…

2 месяца, 3 недели назад @ medium.com
Meet Ottr: A Serverless Public Key Infrastructure Framework
Meet Ottr: A Serverless Public Key Infrastructure Framework Meet Ottr: A Serverless Public Key Infrastructure Framework

Ottr is a serverless Public Key Infrastructure framework that handles end-to-end certificate rotations without the use of an agent. The purpose of the blog is to provide an overview on Ottr with sample reference architecture, logical and network flows, and highlight the benefits of the solution. For installation instructions, skip to the Open Source section of the article.Kenneth YangIntroductionManaging certificates for Public Key Infrastructure (PKI) is a difficult problem to solve at scale for any organization. While there are a number of agent-based solutions to automate certificate rotations for Linux and Windows distributions, the process to broker certificates for network infrastruct…

3 месяца назад @ medium.com
Automating Data Protection at Scale, Part 2
Automating Data Protection at Scale, Part 2 Automating Data Protection at Scale, Part 2

Part two of a series on how we provide powerful, automated, and scalable data privacy and security engineering capabilities at AirbnbElizabeth Nammour, Pinyao Guo, Wendy JinIntroductionIn Part 1 of our blog series, we introduced the Data Protection Platform (DPP), which enables us to protect data in compliance with global regulations and security requirements. We stressed that understanding our data, by keeping track of where personal and sensitive data is stored in our ecosystem, is a necessary building block to protecting the data. In this blog post, we will discuss the challenges companies often face when trying to pinpoint the exact location of personal and sensitive data. As a stopgap,…

3 месяца, 1 неделя назад @ medium.com
Migrating Kafka transparently between Zookeeper clusters
Migrating Kafka transparently between Zookeeper clusters Migrating Kafka transparently between Zookeeper clusters

Learn more about how to migrate your Kafka cluster from one Zookeeper cluster to another without any user impact.By: Edmund MokIntroductionKafka is an open-source distributed event-streaming platform. It depends on Zookeeper, another open-source distributed coordination system, to store cluster metadata. At Airbnb, Kafka forms the backbone of our data infrastructure, powering use cases such as event logging and change data capture that help us better understand our guests and hosts, and make decisions that improve our product.We run several production Kafka clusters, the largest of which being our oldest cluster consisting of hundreds of brokers and supporting over 1GB/s of incoming traffic…

3 месяца, 2 недели назад @ medium.com
Designing for Productivity in a Large-Scale iOS Application
Designing for Productivity in a Large-Scale iOS Application Designing for Productivity in a Large-Scale iOS Application

How innovation in technology and people processes have enabled iOS developers to remain productive in a large codebase.Every iOS engineer remembers the joy of seeing their first application running on an iOS device. The human-centric interface of the iPhone brings the program to life. When you choose iOS development as a career, that joy grows as your application touches more people’s lives.Affecting more users often involves new iOS features, flows, and functionality. But as an application grows to serve more users, new features and functionality can introduce additional weight and complexity, which slows product iteration and precludes atomic refactors.We have undergone this journey as an…

3 месяца, 3 недели назад @ medium.com
How Airbnb Tech Fosters a Culture of Learning
How Airbnb Tech Fosters a Culture of Learning How Airbnb Tech Fosters a Culture of Learning

Leveraging technical learning and development to enable engineers to do their best work.Authors: Hanna Dooley, Jennifer Rice, Tamera ScholzIntroductionThe Airbnb TechED team believes each individual’s success is critical to the health of our technical teams. This fundamental belief in the power of human potential drives us to bring high quality, relevant educational content to our technical teams to meet both their needs and the needs of Airbnb. We work with our technical leaders and subject matter experts (SMEs) to build and deliver unique, interactive, multimodal learning experiences at scale.We have three principles for approaching technical learning:Embrace the adventureShare what you k…

3 месяца, 4 недели назад @ medium.com
The Airflow Smart Sensor Service
The Airflow Smart Sensor Service The Airflow Smart Sensor Service

Consolidating long-running, lightweight tasks for improved resource utilizationBy: Yingbo Wang, Kevin YangIntroductionAirflow is a platform to programmatically author, schedule, and monitor data pipelines. A typical Airflow cluster supports thousands of workflows, called DAGs (directed acyclic graphs), and there could be tens of thousands of concurrently running tasks at peak hours. Back in 2018, Airbnb’s Airflow cluster had several thousand DAGs and more than 30 thousand tasks running at the same time. This amount of workload would often result in Airflow’s database being overloaded. It also made the cluster quite expensive since it required a lot of resources to support those concurrent t…

4 месяца назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 2 дня, 6 часов назад
Netflix: A Culture of Learning
Netflix: A Culture of Learning Netflix: A Culture of Learning

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Colin McFarland, Mihir Tendulkar, and Travis BrooksThis is the last post in an overview series on experimentation at Netflix. Need to catch up? Earlier posts covered the basics of A/B tests (Part 1 and Part 2 ), core statistical concepts (Part 3 and Part 4), how to build confidence in a decision (Part 5), and the the role of Experimentation and A/B testing within the larger Data Science and Engineering organization at Netflix (Part 6).Earlier posts in this series covered the why, what and how of A/B testing, all of which are necessary to reap the benefits of experimentation for product development. But without a little magic,…

2 дня, 6 часов назад @ netflixtechblog.com
Fixing Performance Regressions Before they Happen
Fixing Performance Regressions Before they Happen Fixing Performance Regressions Before they Happen

Angus CrollNetflix is used by 222 million members and runs on over 1700 device types ranging from state-of-the-art smart TVs to low-cost mobile devices.At Netflix we’re proud of our reliability and we want to keep it that way. To that end, it’s important that we prevent significant performance regressions from reaching the production app. Sluggish scrolling or late rendering is frustrating and triggers accidental navigations. Choppy playback makes watching a show less enjoyable. Any performance regression that makes it into a product release will degrade user experience, so the challenge is to detect and fix such regressions before they ship.This post describes how the Netflix TVUI team imp…

3 дня, 1 час назад @ netflixtechblog.com
Auto-Diagnosis and Remediation in Netflix Data Platform
Auto-Diagnosis and Remediation in Netflix Data Platform Auto-Diagnosis and Remediation in Netflix Data Platform

By Vikram Srivastava and Marcelo MaywormNetflix has one of the most complex data platforms in the cloud on which our data scientists and engineers run batch and streaming workloads. As our subscribers grow worldwide and Netflix enters the world of gaming, the number of batch workflows and real-time data pipelines increases rapidly. The data platform is built on top of several distributed systems, and due to the inherent nature of these systems, it is inevitable that these workloads run into failures periodically. Troubleshooting these problems is not a trivial task and requires collecting logs and metrics from several different systems and analyzing them to identify the root cause. At our s…

1 неделя, 6 дней назад @ netflixtechblog.com
Experimentation is a major focus of Data Science across Netflix
Experimentation is a major focus of Data Science across Netflix Experimentation is a major focus of Data Science across Netflix

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Colin McFarland, Andy Rhines, Sophia Liu, Mihir Tendulkar, Kevin Mercurio, Veronica Hannan, Ting-Po LeeEarlier posts in this series covered the basics of A/B tests (Part 1 and Part 2 ), core statistical concepts (Part 3 and Part 4), and how to build confidence in decisions based on A/B test results (Part 5). Here we describe the role of Experimentation and A/B testing within the larger Data Science and Engineering organization at Netflix, including how our platform investments support running tests at scale while enabling innovation. The subsequent and final post in this series will discuss the importance of the culture of ex…

2 недели, 2 дня назад @ netflixtechblog.com
Snaring the Bad Folks
Snaring the Bad Folks Snaring the Bad Folks

Project by Netflix’s Cloud Infrastructure Security team (Alex Bainbridge, Mike Grima, Nick Siow)Cloud security is a hard problem, but an even harder one is cloud security at scale. In recent years we’ve seen several cloud focused data breaches and evidence shows that threat actors are becoming more advanced with their techniques, goals, and tooling. With 2021 set to be a new high for the number of data breaches, it was plainly evident that we needed to evolve how we approach our cloud infrastructure security strategy.In 2020, we decided to reinvent how we handle cloud security findings by redefining how we write and respond to cloud detections. We knew that given our scale, we needed to rel…

1 месяц, 2 недели назад @ netflixtechblog.com
Building confidence in a decision
Building confidence in a decision Building confidence in a decision

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Michael Lindon, and Colin McFarlandThis is the fifth post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix), Part 2 (What is an A/B Test?), Part 3 (False positives and statistical significance), and Part 4 (False negatives and power). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of developing a culture of experimentation within an organization.In Parts 3 (False p…

2 месяца, 1 неделя назад @ netflixtechblog.com
Bringing AV1 Streaming to Netflix Members’ TVs
Bringing AV1 Streaming to Netflix Members’ TVs Bringing AV1 Streaming to Netflix Members’ TVs

by Liwei Guo, Ashwin Kumar Gopi Valliammal, Raymond Tam, Chris Pham, Agata Opalach, Weibo NiAV1 is the first high-efficiency video codec format with a royalty-free license from Alliance of Open Media (AOMedia), made possible by wide-ranging industry commitment of expertise and resources. Netflix is proud to be a founding member of AOMedia and a key contributor to the development of AV1. The specification of AV1 was published in 2018. Since then, we have been working hard to bring AV1 streaming to Netflix members.In February 2020, Netflix started streaming AV1 to the Android mobile app. The Android launch leveraged the open-source software decoder dav1d built by the VideoLAN, VLC, and FFmpeg…

2 месяца, 2 недели назад @ netflixtechblog.com
Netflix Video Quality at Scale with Cosmos Microservices
Netflix Video Quality at Scale with Cosmos Microservices Netflix Video Quality at Scale with Cosmos Microservices

by Christos G. Bampis, Chao Chen, Anush K. Moorthy and Zhi LiIntroductionMeasuring video quality at scale is an essential component of the Netflix streaming pipeline. Perceptual quality measurements are used to drive video encoding optimizations, perform video codec comparisons, carry out A/B testing and optimize streaming QoE decisions to mention a few. In particular, the VMAF metric lies at the core of improving the Netflix member’s streaming video quality. It has become a de facto standard for perceptual quality measurements within Netflix and, thanks to its open-source nature, throughout the video industry.As VMAF evolves and is integrated with more encoding and streaming workflows with…

2 месяца, 3 недели назад @ netflixtechblog.com
Data Engineers of Netflix — Interview with Pallavi Phadnis
Data Engineers of Netflix — Interview with Pallavi Phadnis Data Engineers of Netflix — Interview with Pallavi Phadnis

Data Engineers of Netflix — Interview with Pallavi PhadnisThis post is part of our “Data Engineers of Netflix” series, where our very own data engineers talk about their journeys to Data Engineering @ Netflix.Pallavi Phadnis is a Senior Software Engineer at Netflix.Pallavi Phadnis is a Senior Software Engineer on the Product Data Science and Engineering team. In this post, Pallavi talks about her journey to Netflix and the challenges that keep the work interesting.Pallavi received her master’s degree from Carnegie Mellon. Before joining Netflix, she worked in the advertising and e-commerce industries as a backend software engineer. In her free time, she enjoys watching Netflix and traveling…

3 месяца назад @ netflixtechblog.com
Open-Sourcing a Monitoring GUI for Metaflow
Open-Sourcing a Monitoring GUI for Metaflow Open-Sourcing a Monitoring GUI for Metaflow

Open-Sourcing a Monitoring GUI for Metaflow, Netflix’s ML Platformtl;dr Today, we are open-sourcing a long-awaited GUI for Metaflow. The Metaflow GUI allows data scientists to monitor their workflows in real-time, track experiments, and see detailed logs and results for every executed task. The GUI can be extended with plugins, allowing the community to build integrations to other systems, custom visualizations, and embed upcoming features of Metaflow directly into its views.https://medium.com/media/9389f8a3d6aaab2925a26771476c3dc8/hrefMetaflow is a full-stack framework for data science that we started developing at Netflix over four years ago and which we open-sourced in 2019. It allows da…

3 месяца назад @ netflixtechblog.com
Interpreting A/B test results: false negatives and power
Interpreting A/B test results: false negatives and power Interpreting A/B test results: false negatives and power

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, and Colin McFarlandThis is the fourth post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix), Part 2 (What is an A/B Test?), Part 3 (False positives and statistical significance). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of the culture of experimentation within Netflix.In Part 3: False positives and statistical significance, we defined the two types of mistak…

3 месяца назад @ netflixtechblog.com
Revisiting BetterTLS: Certificate Path Building
Revisiting BetterTLS: Certificate Path Building Revisiting BetterTLS: Certificate Path Building

By Ian HakenLast year the AddTrust root certificate expired and lots of clients had a bad time. Some Roku devices weren’t working right, Heroku had problems, and some folks couldn’t even curl. In the aftermath Ryan Sleevi wrote a really great blog post not just about the issue of this one certificate’s expiry, but the problem that so many TLS implementations have in general with certificate path building. If you haven’t read that blog post, you should. This post is probably going to make a lot more sense if you’ve read that one first, so go ahead and read it now.To recap that previous AddTrust root certificate expiry, there was a certificate graph that looked like this:The AddTrust certific…

3 месяца, 2 недели назад @ netflixtechblog.com
CAMBI, a banding artifact detector
CAMBI, a banding artifact detector CAMBI, a banding artifact detector

by Joel Sole, Mariana Afonso, Lukas Krasula, Zhi Li, and Pulkit TandonIntroducing the banding artifacts detector developed by Netflix aiming at further improving the delivered video qualityBanding artifacts can be pretty annoying. But, first of all, you may wonder, what is a banding artifact?Banding artifact?You are at home enjoying a show on your brand-new TV. Great content delivered at excellent quality. But then, you notice some bands in an otherwise beautiful sunset scene. What was that? A sci-fi plot twist? Some device glitch? More likely, banding artifacts, which appear as false staircase edges in what should be smoothly varying image areas.Bands can show up in the sky in that sunset …

3 месяца, 2 недели назад @ netflixtechblog.com
Safe Updates of Client Applications at Netflix
Safe Updates of Client Applications at Netflix Safe Updates of Client Applications at Netflix

By Minal MishraQuality of a client application is of paramount importance to global digital products, as it is the primary way customers interact with a brand. At Netflix, we have significant investments in ensuring new versions of our applications are well tested. However, Netflix is available for streaming on thousands of types of devices and it is powered by hundreds of micro-services which are deployed independently, making it extremely challenging to comprehensively test internally. Hence, it became important to supplement our release decisions with strong evidence received from the field during the update process.Our team was formed to mine health signals from the field to quickly eva…

3 месяца, 3 недели назад @ netflixtechblog.com
Interpreting A/B test results: false positives and statistical significance
Interpreting A/B test results: false positives and statistical significance Interpreting A/B test results: false positives and statistical significance

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, and Colin McFarlandThis is the third post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix) and Part 2 (What is an A/B Test?). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of the culture of experimentation within Netflix.In Part 2: What is an A/B Test we talked about testing the Top 10 lists on Netflix, and how the primary decision metric for this test was a meas…

3 месяца, 3 недели назад @ netflixtechblog.com
Pinterest Engineering
последний пост 1 день, 2 часа назад
Guía del equipo de Ingeniería de Pinterest para entrevistas técnicas
Guía del equipo de Ingeniería de Pinterest para entrevistas técnicas Guía del equipo de Ingeniería de Pinterest para entrevistas técnicas

Shayda Rahgozar | Reclutamiento; Nishant Roy | Ingeniería de Software; e Indy Prentice | Ingeniería de SoftwareThis article was originally published in English. Read the English version here.Las entrevistas técnicas son el componente clave para conseguir un puesto en el equipo de ingeniería. Todo, desde la preparación hasta la formulación de preguntas adecuadas, es importante para que la entrevista sea un éxito. En este artículo, el equipo de Pinterest de Reclutamiento e Ingeniería comparten consejos y trucos para tener una entrevista exitosa de principio a fin.Cómo prepararte para la entrevistaShayda Rahgozar, ReclutamientoPractica: Durante la entrevista, no debería ser la primera vez que …

1 день, 2 часа назад @ medium.com
Cómo es el proceso de entrevistas de ingeniería en Pinterest
Cómo es el proceso de entrevistas de ingeniería en Pinterest Cómo es el proceso de entrevistas de ingeniería en Pinterest

Justin Mejorada-Pier | Ingeniero de software, jefe de tecnología de la plataforma de análisisThis article was originally published in English. Read the English version here.En general, se tiene la impresión de que las entrevistas son una experiencia poco agradable pero necesaria. Los/las candidatos/as sienten que son estresantes y muchos acuden a ellas luego de haber tenido malas experiencias en el pasado. Sin embargo, las entrevistas son la mejor oportunidad que tienen las empresas para articular y demostrar sus valores, cultura y enfoque empresarial. Es contraproducente que la primera interacción de un/a candidato/a con la empresa sea una experiencia incómoda, causar estrés con preguntas …

1 день, 2 часа назад @ medium.com
Debugging Deadlock in PininfoService Ubuntu18 Upgrade: Part 1 of 2
Debugging Deadlock in PininfoService Ubuntu18 Upgrade: Part 1 of 2 Debugging Deadlock in PininfoService Ubuntu18 Upgrade: Part 1 of 2

Author: Kangnan Li | Software Engineer, Key Value SystemsUnblock deadlock for PininfoServiceThis is part 1 of a two-part blog series.Reading both parts of this series will give you insight into some debugging techniques we are using in the Pinterest Engineering Key Value Systems team (a team derived from the previous Serving System). Related projects owned by this team can be seen in blogs and presentations on Terrapin, Rocksplicator (1 and 2), Aperture and Realpin.In this series, we divide the contents as below:Part 1How to set up a test/canary environmentHow to design tests with control variablesHow to design tests for root/leaf (ie. routing/persistence layer) separationPart 2How to gener…

6 дней, 3 часа назад @ medium.com
Cómo fomenta Pinterest un  ecosistema sano de comentarios  gracias al aprendizaje automático
Cómo fomenta Pinterest un 
ecosistema sano de comentarios 
gracias al aprendizaje automático Cómo fomenta Pinterest un  ecosistema sano de comentarios  gracias al aprendizaje automático

Cómo fomenta Pinterest un ecosistema sano de comentarios gracias al aprendizaje automáticoYuanfang Song | ingeniero de aprendizaje automático para la confianza y la seguridad; Qinglong Zeng | director de ingeniería de señales de calidad de contenido; Vishwakarma Singh | jefe de aprendizaje automático para la confianza y la seguridadThis article was originally published in English. Read the English version here.A medida que Pinterest sigue evolucionando para pasar de ser un lugar donde solo se guardan ideas a una plataforma para descubrir contenido que inspira a la acción, aumenta el contenido nativo de los creadores que publican directamente en esta plataforma. Con el crecimiento del ecosis…

1 неделя, 1 день назад @ medium.com
Experiment without the wait: Speeding up the iteration cycle with Offline Replay Experimentation
Experiment without the wait: Speeding up the iteration cycle with Offline Replay Experimentation Experiment without the wait: Speeding up the iteration cycle with Offline Replay Experimentation

Maxine Qian | Data Scientist, Experimentation and Metric SciencesIdeas fuel innovation. Innovation drives our product toward our mission of bringing everyone the inspiration to create a life they love. The speed of innovation is determined by how quickly we can get a signal or feedback on the promise of an idea so we can learn whether to pursue or pivot. Online experimentation is often used to evaluate product ideas, but it is costly and time-consuming. Could we predict experiment outcomes without even running an experiment? Could it be done in hours instead of weeks? Could we rapidly pick only the best ideas to run an online experiment? This post will describe how Pinterest uses offline re…

1 неделя, 2 дня назад @ medium.com
Pre-Submit UI Tests at Pinterest
Pre-Submit UI Tests at Pinterest Pre-Submit UI Tests at Pinterest

Mansfield Mark | Mobile Test Tools Lead, Metrics Quality and Test ToolsSummaryIn our efforts to shift left (in which testing is performed earlier, or moved left on the project timeline), this blog covers how we began running a large end-to-end UI test suite before every commit to our Android and iOS repositories. This project involved careful coordination of UI testing, test infrastructure, and developer productivity.After shipping, we were able toDecrease investigation and failure resolution timeRaise our test suite’s pass rate from <50% to >90%Enable our UI test platform to support more tests from more teamsCode Change LifecycleLet’s break up the change lifecycle into 4 steps:Code Review:…

2 недели, 3 дня назад @ medium.com
SearchSage: aprendizaje de las representaciones de consultas de búsqueda en Pinterest
SearchSage: aprendizaje de las representaciones de consultas de búsqueda en Pinterest SearchSage: aprendizaje de las representaciones de consultas de búsqueda en Pinterest

Nikil Pancha | ingeniero de software, Andrew Zhai | ingeniero de software, Chuck Rosenberg | jefe del Grupo de Tecnologías Avanzadas y Jure Leskovec científico jefe, Grupo de Tecnologías AvanzadasThis article was originally published in English. Read the English version here.En Pinterest, se muestran miles de millones de ideas todos los días, y el modelado neuronal de las representaciones de datos para contenido, usuarios y consultas de búsqueda es clave en la mejora constante de estas recomendaciones impulsadas por el aprendizaje automático. Las buenas representaciones de datos (muestras de entidades discretas en forma de vectores de números) permiten realizar una generación de candidatos …

4 недели назад @ medium.com
The top Pinterest Engineering blog posts from 2021
The top Pinterest Engineering blog posts from 2021 The top Pinterest Engineering blog posts from 2021

In 2021, hundreds of millions of people turned to Pinterest as a positive source of inspiration through experiences powered by Pinterest engineers.In another pandemic year, Pinterest engineers welcomed new teammates across the world including in Mexico City, Toronto and Poland. We banned weight loss ads and introduced the Creator Code for a more positive internet, made Pinterest more inclusive and algorithms less biased with hair pattern search, brought AR to eyeshadow try on, expanded shopping tech around the world, introduced ways for creators to build their businesses, and launched live experiences through Pinterest TV.As we wrap up this year and look forward to 2022, here’s a recap of t…

4 недели назад @ medium.com
Pinterest Analytics como plataforma en Druid (Parte 3 de 3)
Pinterest Analytics como plataforma en Druid (Parte 3 de 3) Pinterest Analytics como plataforma en Druid (Parte 3 de 3)

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Equipo de Analytics en Tiempo RealThis article was originally published in English. Read the English version here.En esta serie de publicaciones, hablaremos sobre Pinterest Analytics como plataforma en Druid y compartiremos algunas lecciones sobre el uso de Druid. Esta es la tercera entrega de la serie, y en ella hablaremos sobre las lecciones que aprendimos acerca de la optimización de Druid para casos de uso en tiempo real.Lecciones sobre la optimización de Druid para casos de uso en tiempo realCuando introdujimos Druid en Pinterest, se usó principalmente para atender consultas de datos ingeridos por lotes…

1 месяц, 1 неделя назад @ medium.com
Cost Reduction in Goku
Cost Reduction in Goku Cost Reduction in Goku

Monil Mukesh Sanghavi | Software Engineer, Real Time Analytics Team;Rui Zhang | Software Engineer, Real Time Analytics Team;Hao Jiang | Software Engineer, Real Time Analytics Team;Miao Wang | Software Engineer, Real Time Analytics Team;In 2018, we launched Goku, a scalable and high performant time series database system, which served as the storage and query serving engine for short term metrics (less than one day old). In early 2020, we launched GokuL (Goku long term), which extended Goku’s capability by supporting long term metrics data (i.e. data older than a day and upto a year). Both of these completely replaced OpenTSDB. For GokuL, we used 3 clusters of i3.4xlarge ssd backed ec2 insta…

1 месяц, 1 неделя назад @ medium.com
Pinterest Analytics como plataforma en Druid (Parte 2 de 3)
Pinterest Analytics como plataforma en Druid (Parte 2 de 3) Pinterest Analytics como plataforma en Druid (Parte 2 de 3)

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Equipo de Analytics en Tiempo RealThis article was originally published in English. Read the English version here.En esta serie de entradas, analizaremos Pinterest Analytics como plataforma en Druid y compartiremos algunas lecciones sobre el uso de Druid. Esta es la segunda entrega de la serie, y en ella hablaremos sobre las lecciones que aprendimos acerca de la optimización de Druid para casos de uso por lotes.Lecciones sobre la optimización de Druid para casos de uso por lotesVisibilidad del sistemaDurante el proceso de incorporación de diferentes casos de uso, descubrimos que faltaban muchas métricas crít…

1 месяц, 2 недели назад @ medium.com
Pinterest Druid Holiday Load Testing
Pinterest Druid Holiday Load Testing Pinterest Druid Holiday Load Testing

Isabel Tallam | Senior Software Engineer; Jian Wang | Senior Software Engineer; Jiaqi Gu| Senior Software Engineer; Yi Yang | Senior Software Engineer; and Kapil Bajaj | Engineering Manager, Real-timeAnalytics teamLike many companies, Pinterest sees an increase in traffic in the last three months of the year. We need to make sure our systems are ready for this increase in traffic so we don’t run into any unexpected problems. This is especially important as Pinners come to Pinterest at this time for holiday planning and shopping. Therefore, we do a yearly exercise of testing our systems with additional load. During this time, we verify that our systems are able to handle the expected traffic…

1 месяц, 2 недели назад @ medium.com
Pinterest Analytics como plataforma en Druid (Parte 1 de 3)
Pinterest Analytics como plataforma en Druid (Parte 1 de 3) Pinterest Analytics como plataforma en Druid (Parte 1 de 3)

Jian Wang, Jiaqi Gu, Yi Yang, Isabel Tallam, Lakshmi Narayana Namala, Kapil Bajaj | Equipo de Analytics en Tiempo RealThis article was originally published in English. Read the English version here.En esta serie de entradas, analizaremos Pinterest Analytics como plataforma en Druid y compartiremos algunas lecciones sobre el uso de Druid. Esta es la primera entrega de la serie del blog; en ella, se incluye una breve historia sobre el cambio a Druid, la arquitectura del sistema con Druid y algunas lecciones sobre la optimización de los tipos de host para Mmap.Una breve historia sobre el cambio a DruidTradicionalmente, la mayoría de los casos de uso analíticos en Pinterest se realizaban con te…

1 месяц, 2 недели назад @ medium.com
How Pinterest powers a healthy comment ecosystem with machine learning
How Pinterest powers a healthy comment ecosystem with machine learning How Pinterest powers a healthy comment ecosystem with machine learning

Yuanfang Song | Machine Learning Engineer, Trust and Safety; Qinglong Zeng | Engineering Manager, Content Quality Signals; and Vishwakarma Singh | Machine Learning Lead, Trust and SafetyAs Pinterest continues to evolve from a place to just save ideas to a platform for discovering content that inspires action, there’s been an increase in native content from creators publishing directly to Pinterest. With the creator ecosystem on Pinterest growing, we’re committed to ensuring Pinterest remains a positive and inspiring environment through initiatives like the Creator Code, a content policy that enforces the acceptance of guidelines (such as “be kind” and “check facts”) before creators can publ…

1 месяц, 3 недели назад @ medium.com
Campaign Budgets at Pinterest
Campaign Budgets at Pinterest Campaign Budgets at Pinterest

Kelvin Jiang |Software Engineer; Keshava Subramanya | Engineering Manager; Yeming Shi | Software Engineer, Ads IntelligenceIntroductionPinterest is a visual discovery engine that helps Pinners find inspirational ideas. Advertisers use Pinterest to connect with Pinners on these journeys to inspiration, and seek to promote products or services efficiently.The Ads Intelligence team at Pinterest builds products that help advertisers maximize the value they get out of their ad campaigns. As part of that initiative, we have recently launched the Campaign Budget Optimization product for Pinterest Ads.Campaign Budget Optimization, or CBO, is an automated ads product that benefits advertisers by dis…

2 месяца, 1 неделя назад @ medium.com
Facebook
последний пост 6 месяцев, 2 недели назад
Fully Sharded Data Parallel: faster AI training with fewer GPUs
Fully Sharded Data Parallel: faster AI training with fewer GPUs

Training AI models at a large scale isn’t easy. Aside from the need for large amounts of computing power and resources, there is also considerable engineering complexity behind training very large models. At Facebook AI Research (FAIR) Engineering, we have been working on building tools and infrastructure to make training large AI models easier. Our [...]

Read More...

The post Fully Sharded Data Parallel: faster AI training with fewer GPUs appeared first on Facebook Engineering.

6 месяцев, 2 недели назад @ engineering.fb.com
Asicmon: A platform agnostic observability system for AI accelerators
Asicmon: A platform agnostic observability system for AI accelerators

We will be hosting a talk about our work on, “A Platform Agnostic Observability System for AI Accelerators” during our virtual Systems @Scale event at 10:20 a.m. PT on Wednesday, June 30, followed by a live Q&A session. Please submit any questions to systemsatscale@fb.com before the event. Accelerators are special-purpose hardware devices optimized for specific [...]

Read More...

The post Asicmon: A platform agnostic observability system for AI accelerators appeared first on Facebook Engineering.

7 месяцев назад @ engineering.fb.com
How Facebook encodes your videos
How Facebook encodes your videos

People upload hundreds of millions of videos to Facebook every day. Making sure every video is delivered at the best quality — with the highest resolution and as little buffering as possible — means optimizing not only when and how our video codecs compress and decompress videos for viewing, but also which codecs are used [...]

Read More...

The post How Facebook encodes your videos appeared first on Facebook Engineering.

9 месяцев, 3 недели назад @ engineering.fb.com
Uber Engineering
последний пост 2 дня, 5 часов назад
Cost Efficiency @ Scale in Big Data File Format
Cost Efficiency @ Scale in Big Data File Format

Background

Our Apache Hadoop® based data platform ingests hundreds of petabytes of analytical data with minimum latency and stores it in a data lake built on top of the Hadoop Distributed File System (HDFS). We use Apache Hudi…

The post Cost Efficiency @ Scale in Big Data File Format appeared first on Uber Engineering Blog.

2 дня, 5 часов назад @ eng.uber.com
Cadence Multi-Tenant Task Processing
Cadence Multi-Tenant Task Processing

Introduction

Cadence is a multi-tenant orchestration framework that helps developers at Uber to write fault-tolerant, long-running applications, also known as workflows. It scales horizontally to handle millions of concurrent executions from various customers. It is currently used by hundreds of …

The post Cadence Multi-Tenant Task Processing appeared first on Uber Engineering Blog.

1 месяц, 1 неделя назад @ eng.uber.com
CRISP: Critical Path Analysis for Microservice Architectures
CRISP: Critical Path Analysis for Microservice Architectures

Uber’s backend is an exemplar of microservice architecture. Each microservice is a small, individually deployable program performing a specific business logic (operation). The microservice architecture is a type of distributed computing system, which is suitable for independent deployments and scaling …

The post CRISP: Critical Path Analysis for Microservice Architectures appeared first on Uber Engineering Blog.

2 месяца, 1 неделя назад @ eng.uber.com
How Uber Migrated Financial Data from DynamoDB to Docstore
How Uber Migrated Financial Data from DynamoDB to Docstore

Introduction

Each day, Uber moves millions of people around the world and delivers tens of millions of food and grocery orders. This generates a large number of financial transactions that need to be stored with provable completeness, consistency, and compliance. …

The post How Uber Migrated Financial Data from DynamoDB to Docstore appeared first on Uber Engineering Blog.

2 месяца, 2 недели назад @ eng.uber.com
Introducing uGroup: Uber’s Consumer Management Framework
Introducing uGroup: Uber’s Consumer Management Framework

Background

Apache Kafka® is widely used across Uber’s multiple business lines. Take the example of an Uber ride: When a user opens up the Uber app, demand and supply data are aggregated in Kafka queues to serve fare calculations. …

The post Introducing uGroup: Uber’s Consumer Management Framework appeared first on Uber Engineering Blog.

3 месяца, 1 неделя назад @ eng.uber.com
Improving HDFS I/O Utilization for Efficiency
Improving HDFS I/O Utilization for Efficiency

Scaling our data infrastructure with lower hardware costs while maintaining high performance and service reliability has been no easy feat. To accommodate the exponential growth in both Data Storage and Analytics Compute at Uber, the Data Infrastructure team massively overhauled …

The post Improving HDFS I/O Utilization for Efficiency appeared first on Uber Engineering Blog.

3 месяца, 2 недели назад @ eng.uber.com
Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner
Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner

Introduction

The Fulfillment Platform is a foundational Uber domain that enables the rapid scaling of new verticals. The platform handles billions of database transactions each day, ranging from user actions (e.g., a driver starting a trip) and system actions …

The post Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner appeared first on Uber Engineering Blog.

4 месяца назад @ eng.uber.com
Real-Time Exactly-Once Ad Event Processing with Apache Flink, Kafka, and Pinot
Real-Time Exactly-Once Ad Event Processing with Apache Flink, Kafka, and Pinot

Uber recently launched a new capability: Ads on UberEats. With this new ability came new challenges that needed to be solved at Uber, such as systems for ad auctions, bidding, attribution, reporting, and more. This article focuses on how we …

The post Real-Time Exactly-Once Ad Event Processing with Apache Flink, Kafka, and Pinot appeared first on Uber Engineering Blog.

4 месяца назад @ eng.uber.com
YAML Generator for Funnel YAML Files: Streamlining the Mobile Data Workflow Process
YAML Generator for Funnel YAML Files: Streamlining the Mobile Data Workflow Process

At Uber, real-time mobile analytics events—generated by button taps, page views, and more—form the backbone of the mobile data workflow process.

To process these events, our Mobile Data Platform Team designed and developed the Fontana library, which converts the nearly-one-million-QPS …

The post YAML Generator for Funnel YAML Files: Streamlining the Mobile Data Workflow Process appeared first on Uber Engineering Blog.

4 месяца, 1 неделя назад @ eng.uber.com
Jellyfish: Cost-Effective Data Tiering for Uber’s Largest Storage System
Jellyfish: Cost-Effective Data Tiering for Uber’s Largest Storage System

Problem

Uber deploys a few storage technologies to store business data based on their application model. One such technology is called Schemaless, which enables the modeling of related entries in one single row of multiple columns, as well as …

The post Jellyfish: Cost-Effective Data Tiering for Uber’s Largest Storage System appeared first on Uber Engineering Blog.

4 месяца, 2 недели назад @ eng.uber.com
Streaming Real-Time Analytics with Redis, AWS Fargate, and Dash Framework
Streaming Real-Time Analytics with Redis, AWS Fargate, and Dash Framework

Introduction

Uber’s GSS (Global Scaled Solutions) team runs scaled programs for diverse products and businesses, including but not limited to Eats, Rides, and Freight. The team transforms Uber’s ideas into agile, global solutions by designing and implementing scalable solutions. One …

The post Streaming Real-Time Analytics with Redis, AWS Fargate, and Dash Framework appeared first on Uber Engineering Blog.

4 месяца, 3 недели назад @ eng.uber.com
Enabling Seamless Kafka Async Queuing with Consumer Proxy
Enabling Seamless Kafka Async Queuing with Consumer Proxy

Uber has one of the largest deployments of Apache Kafka in the world, processing trillions of messages and multiple petabytes of data per day. As Figure 1 shows, today we position Apache Kafka as a cornerstone of our technology stack. …

The post Enabling Seamless Kafka Async Queuing with Consumer Proxy appeared first on Uber Engineering Blog.

4 месяца, 4 недели назад @ eng.uber.com
How Data Shapes the Uber Rider App
How Data Shapes the Uber Rider App

Introduction

Data is crucial for our products. Data analytics help us provide a frictionless experience to the people that use our services. It also enables our engineers, product managers, data analysts, and data scientists to make informed decisions. The impact …

The post How Data Shapes the Uber Rider App appeared first on Uber Engineering Blog.

5 месяцев назад @ eng.uber.com
Powering the Network Pricing Model with Near Real-Time Features
Powering the Network Pricing Model with Near Real-Time Features

Background

Drivers within the same area may have quite different earnings, depending on the trips they take. For example, consider two hypothetical drivers in downtown San Francisco. Two riders request two rides: one is within downtown San Francisco, and the …

The post Powering the Network Pricing Model with Near Real-Time Features appeared first on Uber Engineering Blog.

5 месяцев назад @ eng.uber.com
Eats Safety Team On-Call Overview
Eats Safety Team On-Call Overview

Introduction

Our engineers have the responsibility of ensuring a consistent and positive experience for our riders, drivers, eaters, and delivery/restaurant partners.

Ensuring such an experience requires reliable systems: our apps have to work when anyone needs them. A major component …

The post Eats Safety Team On-Call Overview appeared first on Uber Engineering Blog.

5 месяцев, 1 неделя назад @ eng.uber.com
Spotify Engineering Spotify Engineering
последний пост 3 месяца, 1 неделя назад
Changing the Wheels on a Moving Bus — Spotify’s Event Delivery Migration
Changing the Wheels on a Moving Bus — Spotify’s Event Delivery Migration Changing the Wheels on a Moving Bus — Spotify’s Event Delivery Migration

At Spotify, data rules all. We log a variety of data, from listening history, to results of A/B testing, to page load times so we can analyze and improve the Spotify service. We instrument and log data across every surface that is running Spotify code through a system called the Event Delivery Infrastructure (EDI). Throughout [...]

3 месяца, 1 неделя назад @ engineering.atspotify.com
A Product Story: Three Lessons We Learned from Developing the Mobile App
A Product Story: Three Lessons We Learned from Developing the Mobile App A Product Story: Three Lessons We Learned from Developing the Mobile App

TL;DR Remember what life was like before smartphones? Remember manually having to sync your computer’s playlists with your iPod every time you added a few songs? One of Spotify’s core products, our mobile app, was designed specifically to leave all of that busywork in the past, changing how we travel with our music forever. In [...]

3 месяца, 3 недели назад @ engineering.atspotify.com
How Backstage Made Our Developers More Effective — And How It Can Help Yours, Too
How Backstage Made Our Developers More Effective — And How It Can Help Yours, Too How Backstage Made Our Developers More Effective — And How It Can Help Yours, Too

What’s the best way to assess your developers’ experience and performance to discover what they need help with? Is it by measuring something arbitrary, like how many lines of code they’ve written or how many commits they’ve made? Nope. How much useful data are you really getting out of those numbers anyway? Instead, it’s more [...]

4 месяца назад @ engineering.atspotify.com
Introducing Pedalboard: Spotify’s Audio Effects Library for Python
Introducing Pedalboard: Spotify’s Audio Effects Library for Python Introducing Pedalboard: Spotify’s Audio Effects Library for Python

We’ve just open sourced Pedalboard, Spotify’s framework for adding effects to audio in Python. Pedalboard makes it easy to use studio-quality audio effects in your code, rather than just in your digital audio workstation (DAW). If you ask any music or podcast producer where they spend most of their time, chances are they’ll say their [...]

4 месяца, 3 недели назад @ engineering.atspotify.com
Four Lessons We Learned from Creating Spotify’s Desktop App
Four Lessons We Learned from Creating Spotify’s Desktop App Four Lessons We Learned from Creating Spotify’s Desktop App

TL;DR Over the years, Spotify’s brand has expanded to encompass a number of products, from mobile apps to web players to car things. But sitting at the core is our flagship product, the one that started it all: the desktop app. In the first episode of our podcast series, “Spotify: A Product Story”, host and [...]

5 месяцев, 3 недели назад @ engineering.atspotify.com
Patrick Balestra: Senior Engineer
Patrick Balestra: Senior Engineer Patrick Balestra: Senior Engineer

8:30am I’m at my best after nine hours’ sleep, so I tend to wake up pretty late, shower and dress as though I’m going into the office. Although I’ve been in Stockholm a while now, I’m still not a fan of the Swedish breakfast of bread and cheese or salami – give me Nutella on toast [...]

7 месяцев, 3 недели назад @ engineering.atspotify.com
Achieving Team Purpose and Pride with Scrum
Achieving Team Purpose and Pride with Scrum Achieving Team Purpose and Pride with Scrum

Team purpose and pride — my team hit those high marks, but it was a long journey to get there from where we started. At Spotify, we strive for “aligned autonomy” among our teams. Meaning: we align on what it is we set out to do, but preserve flexibility to choose how we’ll achieve those [...]

8 месяцев назад @ engineering.atspotify.com
A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture
A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture A Product Story: The Lessons of Backstage and Spotify’s Autonomous Culture

TLDR; In episode 08 of our podcast series “Spotify: A Product Story”, we share stories and lessons from building and open sourcing Backstage, our homegrown developer portal. Hear why a developer-friendly, market-based platform like Backstage could only have been developed at Spotify (where autonomy is prized, not top-down mandates) and why that ends up making [...]

8 месяцев, 2 недели назад @ engineering.atspotify.com
Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It
Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It Protected: Spotify Wins CNCF’s Top End User Award and Toots Own Horn About It

There is no excerpt because this is a protected post.

8 месяцев, 3 недели назад @ engineering.atspotify.com
Customization vs. Configuration in Evolving Design Systems
Customization vs. Configuration in Evolving Design Systems Customization vs. Configuration in Evolving Design Systems

When a design system first starts out, the promise of visual consistency glows bright — the ideal product would have only one set of buttons, a unified typography scale, and elements that look the same no matter which designer made the design or which developer programmed them to be real and deployed. As the product [...]

9 месяцев назад @ engineering.atspotify.com
Nour Daoud Bösing: Security Engineer
Nour Daoud Bösing: Security Engineer Nour Daoud Bösing: Security Engineer

Nour is a Security Engineer at Spotify New York – juggling her busy day job with completing her Masters in Cyber Security and looking after her 10-month-old daughter, Leya.

9 месяцев назад @ engineering.atspotify.com
Rethinking Spotify Search
Rethinking Spotify Search Rethinking Spotify Search

Search @ Spotify Search is a well-established functionality across different industries, devices, and applications. When users come to any kind of search, they already have something in mind, whether they come looking for one thing in particular or are open to becoming inspired. Spotify Search is no exception, helping a vast majority of users find joy [...]

9 месяцев, 2 недели назад @ engineering.atspotify.com
Building the Future of Our Desktop Apps
Building the Future of Our Desktop Apps Building the Future of Our Desktop Apps

For the past couple of years, we’ve been on a mission to modernize our Spotify clients by creating one single desktop UI for both the Desktop application and the Web Player. We couldn’t build everything we wanted to for our users with our old setup, so we decided to do something about it. In the [...]

9 месяцев, 3 недели назад @ engineering.atspotify.com
Dmitry Anoshin recommends
Snowflake
последний пост 6 часов назад
Snowpark Is Now Generally Available
Snowpark Is Now Generally Available

Today we’re excited to announce the general availability of the Snowpark API for Scala and Java UDFs on AWS. Snowpark is the developer framework for Snowflake, bringing deep, language-integrated data programmability to users in the languages they love. At its core, Snowpark is all about extensibility. It was designed to let data engineers, data scientists, […]

The post Snowpark Is Now Generally Available appeared first on Snowflake.

6 часов назад @ snowflake.com
Snowflake’s Media Data Cloud Summit: Now Available on Demand!
Snowflake’s Media Data Cloud Summit: Now Available on Demand!

Did you miss Snowflake’s Media Data Cloud Summit, or are you interested in rewatching or sharing a session? Fear not: All sessions are now available to watch on demand. The online conference featured Snowflake executives, customers, and partners showcasing how the Media Data Cloud enables advertising, media, and entertainment businesses to build a new data […]

The post Snowflake’s Media Data Cloud Summit: Now Available on Demand! appeared first on Snowflake.

2 дня, 22 часа назад @ snowflake.com
Bagel Brands Simplifies Data Architecture with Snowflake Professional Services
Bagel Brands Simplifies Data Architecture with Snowflake Professional Services

Bagel Brands is the parent company for Einstein Bros. Bagels, Bruegger’s, Noah’s New York Bagels, and Manhattan Bagel. Headquartered in Denver, Colorado, the company serves 1,100+ domestic franchise and license locations supported by 16,000+ employees. To drive its data analytics and data science initiatives, Bagel Brands chose Snowflake on Azure as its primary modern data […]

The post Bagel Brands Simplifies Data Architecture with Snowflake Professional Services appeared first on Snowflake.

3 дня, 1 час назад @ snowflake.com
Expanding the Data Cloud with Apache Iceberg
Expanding the Data Cloud with Apache Iceberg

The Snowflake Data Cloud is a powerful place to work with data because we have made it easy to do difficult things with data, such as breaking down data silos, safely sharing complex data sets, and querying massive amounts of data. As customers move to the Data Cloud, their needs and timelines vary—our goal is […]

The post Expanding the Data Cloud with Apache Iceberg appeared first on Snowflake.

5 дней, 23 часа назад @ snowflake.com
How William Hill Pivoted to Real-Time Data and Personalised Customer Experiences
How William Hill Pivoted to Real-Time Data and Personalised Customer Experiences

About William Hill Founded in 1934 as a postal and telephone betting service, William Hill was historically synonymous with the world of horse racing. Since then, the company has continued to grow into other sporting avenues, with the retail arm—which opened in 1966—now amounting to more than 1,400 shops. Fully embracing the potential of the […]

The post How William Hill Pivoted to Real-Time Data and Personalised Customer Experiences appeared first on Snowflake.

1 неделя назад @ snowflake.com
New Snowflake Features Released in December 2021
New Snowflake Features Released in December 2021

The final month of 2021 brought new capabilities for data governance, expanded insights for Snowflake Data Marketplace providers, and several new providers added to the Marketplace. For the full list, see the Release Notes. Data Governance More options for customizing object tags To ensure consistency with object tagging (currently in public preview), tag administrators can […]

The post New Snowflake Features Released in December 2021 appeared first on Snowflake.

1 неделя, 1 день назад @ snowflake.com
How Allergan Aesthetics Uses Snowflake and Segment to Generate Personalized Offers and Reduce Customer Acquisition Cost
How Allergan Aesthetics Uses Snowflake and Segment to Generate Personalized Offers and Reduce Customer Acquisition Cost

Allergan Aesthetics, an AbbVie company, develops, manufactures, and markets a portfolio of aesthetics brands and products. Its aesthetics portfolio includes facial injectables, body contouring, plastics, and skin care. Allergan Data Labs (ADL) is a group within Allergan with a mission to grow the company’s medical aesthetics business with actionable intelligence. According to Tory Brady, Associate […]

The post How Allergan Aesthetics Uses Snowflake and Segment to Generate Personalized Offers and Reduce Customer Acquisition Cost appeared first on Snowflake.

1 неделя, 6 дней назад @ snowflake.com
The Next Great Loyalty Program Is an Ecosystem
The Next Great Loyalty Program Is an Ecosystem

When companies realized data was a resource and not just the by-product of sales, they began to offer customers additional value: free products, savings, money back, even a club-like exclusivity. They often did it, and still do it, with customer loyalty programs, which were frequently expressed in the form of a physical card, such as […]

The post The Next Great Loyalty Program Is an Ecosystem appeared first on Snowflake.

2 недели назад @ snowflake.com
Automating Customer Touchpoints with Snowflake, Hightouch, and dbt Cloud
Automating Customer Touchpoints with Snowflake, Hightouch, and dbt Cloud

With hundreds of SaaS products in a given company, it’s getting more and more challenging and time-consuming to manage supplier relationships and negotiate contracts. Vendr has completely transformed this entire process by creating a SaaS buying platform where stakeholders can easily handle the relationships and contracts of their different software suppliers in a centralized platform. […]

The post Automating Customer Touchpoints with Snowflake, Hightouch, and dbt Cloud appeared first on Snowflake.

2 недели, 1 день назад @ snowflake.com
Does Data Monetization Seem Daunting? Here’s How to Start
Does Data Monetization Seem Daunting? Here’s How to Start

In the book “The Adventure of Copper Beeches”, the great detective Sherlock Holmes declared, “Data! Data! Data! I can’t make bricks without clay.” In other words, pieces of data were the essential building blocks the famous sleuth needed to solve any mystery. But as we find ourselves emerging (yes, hopefully so) from a global pandemic, […]

The post Does Data Monetization Seem Daunting? Here’s How to Start appeared first on Snowflake.

2 недели, 1 день назад @ snowflake.com
Register Now for the Media Data Cloud Summit!
Register Now for the Media Data Cloud Summit!

The media and advertising landscape is transforming rapidly. Viewers are changing their habits, industry standards are shifting, and there is increased scrutiny around data use and consumer privacy. To help the media and advertising industry thrive in this new era, Snowflake recently announced the launch of the Media Data Cloud, which empowers organizations to unlock […]

The post Register Now for the Media Data Cloud Summit! appeared first on Snowflake.

2 недели, 2 дня назад @ snowflake.com
How EQT Group Uses Agile Data Architecture in Its Organization for Superior Returns
How EQT Group Uses Agile Data Architecture in Its Organization for Superior Returns

Snowflake had the chance to hear from EQT Group’s Head of Data Management, Pedram Birounvand, at Data Innovation Summit Sweden to find out how the private equity firm is leveraging agile data architecture to support its mission of future-proofing the companies it invests in—driving superior returns, and making a positive impact on the future. Enabling […]

The post How EQT Group Uses Agile Data Architecture in Its Organization for Superior Returns appeared first on Snowflake.

2 недели, 6 дней назад @ snowflake.com
Snowflake Announces New Integration With Microsoft Azure Purview
Snowflake Announces New Integration With Microsoft Azure Purview

With the advent of the modern data estate, companies are no longer working with a single type of source data. Multiple systems come together to support business workloads that have very different data platform requirements. However, flexibility often brings complexity. Organizations struggle to understand the overall picture of the different data assets upon which the […]

The post Snowflake Announces New Integration With Microsoft Azure Purview appeared first on Snowflake.

3 недели, 1 день назад @ snowflake.com
Why Snowflake Was My Next Strategic Move After Google
Why Snowflake Was My Next Strategic Move After Google

I’m on a journey to help make machine learning (ML) and artificial intelligence (AI) more accessible to everyone. I became fascinated by AI more than 20 years ago when I implemented strategies for playing games such as Hex and Qubic (3D tic-tac-toe) in some of my undergraduate computer science courses. I dabbled in AI planning […]

The post Why Snowflake Was My Next Strategic Move After Google appeared first on Snowflake.

3 недели, 2 дня назад @ snowflake.com
Delighting Customers with Data
Delighting Customers with Data

At the end of each year, Spotify packages and presents data to its users with a marketing campaign called Spotify Wrapped. The data that Spotify gathers from its users are given back to its users in such a way that the users themselves have proven enthusiastic users of that data. This includes not just who […]

The post Delighting Customers with Data appeared first on Snowflake.

1 месяц назад @ snowflake.com
Cloudera Cloudera
последний пост 1 месяц, 1 неделя назад
Cloudera Data Engineering 2021 Year End Review
Cloudera Data Engineering 2021 Year End Review

Since the release of Cloudera Data Engineering (CDE) more than a year ago, our number one goal was operationalizing Spark pipelines at scale with first class tooling designed to streamline automation and observability. In working with thousands of customers deploying Spark applications, we saw significant challenges with managing Spark as well as automating, delivering, […]

The post Cloudera Data Engineering 2021 Year End Review appeared first on Cloudera Blog.

1 месяц, 1 неделя назад @ blog.cloudera.com
The Rise of Unstructured Data
The Rise of Unstructured Data

Challenges and Opportunities Data Presents to AI

The post The Rise of Unstructured Data appeared first on Cloudera Blog.

2 месяца, 1 неделя назад @ blog.cloudera.com
The Ultimate Map to finding Halloween candy surplus
The Ultimate Map to finding Halloween candy surplus

How to use machine learning to avoid bad candy hot spots and maximize supply and demand imbalances

The post The Ultimate Map to finding Halloween candy surplus appeared first on Cloudera Blog.

3 месяца назад @ blog.cloudera.com
Introducing Self-Service, No-Code Airflow Authoring UI in Cloudera Data Engineering
Introducing Self-Service, No-Code Airflow Authoring UI in Cloudera Data Engineering

Airflow has been adopted by many Cloudera Data Platform (CDP) customers in the public cloud as the next generation orchestration service to setup and operationalize complex data pipelines. Today, customers have deployed 100s of Airflow DAGs in production performing various data transformation and preparation tasks, with differing levels of complexity. This combined with Cloudera […]

The post Introducing Self-Service, No-Code Airflow Authoring UI in Cloudera Data Engineering appeared first on Cloudera Blog.

3 месяца, 1 неделя назад @ blog.cloudera.com
Accelerate Your Data Mesh in the Cloud with Cloudera Data Engineering and Modak NabuTM
Accelerate Your Data Mesh in the Cloud with Cloudera Data Engineering and Modak NabuTM

Modak, a leading provider of modern data engineering solutions, is now a certified solution partner with Cloudera. Customers can now seamlessly automate migration to Cloudera’s Hybrid Data Platform — Cloudera Data Platform (CDP) to dynamically auto-scale cloud services with Cloudera Data Engineering (CDE) integration with Modak Nabu™. Modak’s Nabu™is a born in the […]

The post Accelerate Your Data Mesh in the Cloud with Cloudera Data Engineering and Modak NabuTM appeared first on Cloudera Blog.

3 месяца, 2 недели назад @ blog.cloudera.com
Struggling to Manage your Multi-Tenant Environments? Use Chargeback!
Struggling to Manage your Multi-Tenant Environments? Use Chargeback!

If your organization is using multi-tenant big data clusters (and everyone should be), do you know the usage and cost efficiency of resources in the cluster by tenants? A chargeback or showback model allows IT to determine costs and resource usage by the actual analytic users in the multi-tenant cluster, instead of attributing those to […]

The post Struggling to Manage your Multi-Tenant Environments? Use Chargeback! appeared first on Cloudera Blog.

3 месяца, 3 недели назад @ blog.cloudera.com
Supercharge your Airflow Pipelines with the Cloudera Provider Package
Supercharge your Airflow Pipelines with the Cloudera Provider Package

Many customers looking at modernizing their pipeline orchestration have turned to Apache Airflow, a flexible and scalable workflow manager for data engineers. With 100s of open source operators, Airflow makes it easy to deploy pipelines in the cloud and interact with a multitude of services on premise, in the cloud, and across cloud providers for […]

The post Supercharge your Airflow Pipelines with the Cloudera Provider Package appeared first on Cloudera Blog.

4 месяца, 1 неделя назад @ blog.cloudera.com
Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers
Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers

Across the federal government, agencies are struggling to identify, organize, analyze, and act on troves of data. It’s a problem that leaders are working actively to tackle, but they’re in a race against immeasurable volumes of data that is continuously being generated in perpetuity in stores known and unknown. At the Internal Revenue Service, decades’ […]

The post Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers appeared first on Cloudera Blog.

4 месяца, 2 недели назад @ blog.cloudera.com
Optimizing Cloudera Data Engineering Autoscaling Performance
Optimizing Cloudera Data Engineering Autoscaling Performance

The shift to cloud has been accelerating, and with it, a push to modernize data pipelines that fuel key applications. That is why cloud native solutions which take advantage of the capabilities such as disaggregated storage & compute, elasticity, and containerization are more paramount than ever. At Cloudera, we introduced Cloudera Data Engineering (CDE) as […]

The post Optimizing Cloudera Data Engineering Autoscaling Performance appeared first on Cloudera Blog.

4 месяца, 3 недели назад @ blog.cloudera.com
Automating Data Pipelines in CDP with CDE Managed Airflow Service
Automating Data Pipelines in CDP with CDE Managed Airflow Service

When we announced the GA of Cloudera Data Engineering back in September of last year, a key vision we had was to simplify the automation of data transformation pipelines at scale. By leveraging Spark on Kubernetes as the foundation along with a first class job management API many of our customers have been able to […]

The post Automating Data Pipelines in CDP with CDE Managed Airflow Service appeared first on Cloudera Blog.

5 месяцев, 1 неделя назад @ blog.cloudera.com
Delivering Modern Enterprise Data Engineering with Cloudera Data Engineering on Azure
Delivering Modern Enterprise Data Engineering with Cloudera Data Engineering on Azure

After the launch of CDP Data Engineering (CDE) on AWS a few months ago, we are thrilled to announce that CDE, the only cloud-native service purpose built for enterprise data engineers, is now available on Microsoft Azure. CDP Data Engineering offers an all-inclusive toolset that enables data pipeline orchestration, automation, advanced monitoring, visual profiling, and […]

The post Delivering Modern Enterprise Data Engineering with Cloudera Data Engineering on Azure appeared first on Cloudera Blog.

6 месяцев, 2 недели назад @ blog.cloudera.com
Migrate Hive data from CDH to CDP public cloud
Migrate Hive data from CDH to CDP public cloud

Introduction Many Cloudera customers are making the transition from being completely on-prem to cloud by either backing up their data in the cloud, or running multi-functional analytics on CDP Public cloud in AWS or Azure. The Replication Manager service facilitates both disaster recovery and data migration across different environments. Using easy-to-define policies, Replication Manager solves […]

The post Migrate Hive data from CDH to CDP public cloud appeared first on Cloudera Blog.

7 месяцев назад @ blog.cloudera.com
Workforce competency key to digital transformation efforts, more possibilities available through Skillsfuture Singapore
Workforce competency key to digital transformation efforts, more possibilities available through Skillsfuture Singapore

A sturdy data infrastructure coupled with a proficient workforce are pillars for an organization’s digital transformation efforts. McKinsey lists building capabilities for the workforce of the future as one of five categories of factors improving the chances of a successful digital transformation. Investing the right amount in digital talent and scaling up workforce planning and […]

The post Workforce competency key to digital transformation efforts, more possibilities available through Skillsfuture Singapore appeared first on Cloudera Blog.

7 месяцев, 3 недели назад @ blog.cloudera.com
Modernizing Data Pipelines using Cloudera Data Platform – Part 1
Modernizing Data Pipelines using Cloudera Data Platform – Part 1

Data pipelines are in high demand in today’s data-driven organizations. As critical elements in supplying trusted, curated, and usable data for end-to-end analytic and machine learning workflows, the role of data pipelines is becoming indispensable. To keep up, data pipelines are being vigorously reshaped with modern tools and techniques. At Cloudera, we recently introduced several […]

The post Modernizing Data Pipelines using Cloudera Data Platform – Part 1 appeared first on Cloudera Blog.

7 месяцев, 4 недели назад @ blog.cloudera.com
Spark on Kubernetes – Gang Scheduling with YuniKorn
Spark on Kubernetes – Gang Scheduling with YuniKorn

Apache YuniKorn (Incubating) has just released 0.10.0 (release announcement). As part of this release, a new feature called Gang Scheduling has become available. By leveraging the Gang Scheduling feature, Spark jobs scheduling on Kubernetes becomes more efficient. What is Apache YuniKorn (Incubating)? Apache YuniKorn (Incubating) is a new Apache incubator project that offers rich scheduling […]

The post Spark on Kubernetes – Gang Scheduling with YuniKorn appeared first on Cloudera Blog.

8 месяцев, 3 недели назад @ blog.cloudera.com
Smart Data
последний пост 2 часа назад
Artificial Intelligence Is Influencing Everyday Lives for the Better
Artificial Intelligence Is Influencing Everyday Lives for the Better

Artificial intelligence is having a larger impact on our lives than you may think. Although only 38% of businesses use AI in some form, 90% of the most successful companies utilize some form of AI. You may be wondering how significant AI really is. To some, AI may seem like any other over-hyped buzzword that […]

The post Artificial Intelligence Is Influencing Everyday Lives for the Better appeared first on SmartData Collective.

2 часа назад @ smartdatacollective.com
Editing Guide for AI-Driven YouTube Video Creators
Editing Guide for AI-Driven YouTube Video Creators

There are a lot of benefits of using artificial intelligence in 2022. One of the biggest reasons that many people use AI is to improve their marketing strategies. A recent survey found that 64% of marketers reported that data-driven marketing strategies are more important than ever. One of the biggest reasons big data is so […]

The post Editing Guide for AI-Driven YouTube Video Creators appeared first on SmartData Collective.

1 день назад @ smartdatacollective.com
How Data Analytics Can Change the Way In-House Legal Departments Do Business
How Data Analytics Can Change the Way In-House Legal Departments Do Business

Legal analytics is an evolving discipline that is changing the future of the legal profession. Law firms are expected to spend over $9 billion on legal analytics technology by 2028. But what is legal analytics? How will it change the legal profession? Last year, we published an article on the ways that big law and […]

The post How Data Analytics Can Change the Way In-House Legal Departments Do Business appeared first on SmartData Collective.

1 день, 1 час назад @ smartdatacollective.com
Businesses Find Brilliant New Ways to Leverage the Power of Data
Businesses Find Brilliant New Ways to Leverage the Power of Data

Big data is undoubtedly changing the future of modern business. One study from KPMG found that 70% of businesses feel their big data initiatives are going to be invaluable to the future of their business model. How they choose to leverage their data is going to be vital to their future success. Smart Businesses Search […]

The post Businesses Find Brilliant New Ways to Leverage the Power of Data appeared first on SmartData Collective.

3 дня, 1 час назад @ smartdatacollective.com
AI Technology is Becoming Essential for App Store Publishers
AI Technology is Becoming Essential for App Store Publishers

Artificial intelligence technology is becoming more valuable than ever. The market was estimated to be worth over $50 billion by the end of 2020 and is growing around 20% a year. One of the biggest reasons AI is growing in popularity is due to its role in mobile app design. There are a lot of […]

The post AI Technology is Becoming Essential for App Store Publishers appeared first on SmartData Collective.

1 неделя, 1 день назад @ smartdatacollective.com
AI-Powered Cyberattacks: Hackers Are Weaponizing Artificial Intelligence
AI-Powered Cyberattacks: Hackers Are Weaponizing Artificial Intelligence

There is no denying the fact that AI is transforming the cybersecurity industry. A double-edged sword, artificial intelligence can be employed both as a security solution and a weapon by hackers. As AI enters the mainstream, there is much misinformation and confusion regarding its capabilities and potential threats. Dystopian scenarios of all-knowing machines taking over […]

The post AI-Powered Cyberattacks: Hackers Are Weaponizing Artificial Intelligence appeared first on SmartData Collective.

1 неделя, 6 дней назад @ smartdatacollective.com
5 Ways to Use AI to Vet a Content Site Before Purchasing It
5 Ways to Use AI to Vet a Content Site Before Purchasing It

Savvy business owners need to appreciate the benefits of using AI technology to make the most out of their business models. Entrepreneurs considering purchasing existing businesses have discovered that AI technology can be highly useful. You can use AI technology when you are considering purchasing a new website. You will be able to tell whether […]

The post 5 Ways to Use AI to Vet a Content Site Before Purchasing It appeared first on SmartData Collective.

2 недели назад @ smartdatacollective.com
Problems Solved with AI And Machine Learning in Customer Service
Problems Solved with AI And Machine Learning in Customer Service

The marketing profession has been fundamentally changed due to advances in artificial intelligence and big data. The market size for AI in marketing is expected to grow over 31% a year through 2028. It is growing at an even faster pace as more companies discover new benefits. Unfortunately, there are a number of AI-driven marketing […]

The post Problems Solved with AI And Machine Learning in Customer Service appeared first on SmartData Collective.

2 недели назад @ smartdatacollective.com
Ways Data Analytics Helps Business Owners Resolve Financial Issues
Ways Data Analytics Helps Business Owners Resolve Financial Issues

Data analytics has arguably become the biggest gamechanger in the field of finance. Many large financial institutions are starting to appreciate the many advantages that big data technology has brought. Markets and Markets estimates that the financial analytics market will be worth $11.4 billion in the next two years. Companies in the financial sector aren’t […]

The post Ways Data Analytics Helps Business Owners Resolve Financial Issues appeared first on SmartData Collective.

2 недели, 1 день назад @ smartdatacollective.com
Different Software Testing Strategies When Creating AI Applications
Different Software Testing Strategies When Creating AI Applications

Artificial intelligence has become a lot more important for many industries. There are a lot of companies that use AI technology to streamline certain functions, bolster productivity, fight cybersecurity threats and forecast trends. The market for AI technology is going to continue to grow as more companies discover the benefits it provides. In November, Garter […]

The post Different Software Testing Strategies When Creating AI Applications appeared first on SmartData Collective.

2 недели, 6 дней назад @ smartdatacollective.com
AI Underscores Passwordless Authentication Risks for Internet Users
AI Underscores Passwordless Authentication Risks for Internet Users

Advances in artificial intelligence have been shaping the state of the Internet for years. One of the biggest changes has been in the arena of cybersecurity. AI technology has been a double-edged sword for the cybersecurity sector. On the one hand, it offers robust protection against data breaches, malware and other online security threats. Cybersecurity […]

The post AI Underscores Passwordless Authentication Risks for Internet Users appeared first on SmartData Collective.

3 недели назад @ smartdatacollective.com
The Fascinating Role of AI in the Evolution of Computer-Aided Designs
The Fascinating Role of AI in the Evolution of Computer-Aided Designs

Introduction It is no secret that businesses that are looking to maximize profit in the near future are looking at the role AI can play to unlock potential profits. For businesses in industries that rely on Computer-Aided Design (CAD) the question can be asked, how is AI transforming their industry or supplementing current technology to […]

The post The Fascinating Role of AI in the Evolution of Computer-Aided Designs appeared first on SmartData Collective.

3 недели назад @ smartdatacollective.com
The Top AI-Based Web Design Trends For 2022
The Top AI-Based Web Design Trends For 2022

There is no denying the fact that artificial intelligence has become important in the field of web design. A growing number of web developers are using data analytics, AI and other big data tools to make the most out of their strategy. In fact, e-commerce and SaaS platforms are part of the reason that the […]

The post The Top AI-Based Web Design Trends For 2022 appeared first on SmartData Collective.

3 недели, 3 дня назад @ smartdatacollective.com
How To Use Data For Smarter Business Decisions
How To Use Data For Smarter Business Decisions

Big data technology has become an invaluable asset to so many organizations around the world. There are a lot of benefits of utilizing data technology, such as improving financial reporting, forecasting marketing trends and efficient human resource allocation. It is crucial to business growth, as companies transition to more digital business models. Companies around the […]

The post How To Use Data For Smarter Business Decisions appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Artificial Intelligence and the Future of Databases in the Big Data Era
Artificial Intelligence and the Future of Databases in the Big Data Era

Big data is a phrase that the industry coined in 1987, but it took years before it became truly popular. By the time the name was a household term, big data was everywhere, and companies were seeking ways to store and use the data. Data scientists knew that big data could hold valuable insights. The […]

The post Artificial Intelligence and the Future of Databases in the Big Data Era appeared first on SmartData Collective.

1 месяц, 1 неделя назад @ smartdatacollective.com
Knoldus
последний пост 8 часов назад
Spring Cloud Gateway Route Predicate Factories
Spring Cloud Gateway Route Predicate Factories

Reading Time: 3 minutes Reverse Proxy The reverse proxy is a server used in communication between the external clients and the internal applications. With the help of reverse proxy the flow of the traffic between the clients and server become smooth and more efficient. Example of reverse proxy nginx. The main use of a reverse proxy server are : Load-Balancing Web Acceleration Security & Anonymity API Gateway The API Continue Reading

The post Spring Cloud Gateway Route Predicate Factories appeared first on Knoldus Blogs.

8 часов назад @ blog.knoldus.com
The deadly combination of Akka with Scala
The deadly combination of Akka with Scala

Reading Time: 3 minutes Hi, today in this blog we are going to work with Akka using the Scala Programming Language. In today’s blog, we are going to learn the basics of the Akka using Scala. What are we going to learn today? Learn the Basics of Akka Create Akka System and Akka Actors Make use of Akka actors Create an application using Akka and Scala About Akka What Continue Reading

The post The deadly combination of Akka with Scala appeared first on Knoldus Blogs.

12 часов назад @ blog.knoldus.com
Singleton Pattern: The One of a Kind Design Pattern
Singleton Pattern: The One of a Kind Design Pattern

Reading Time: 3 minutes Hey, coders in this blog we are going to talk about Singleton Pattern, and believe me, Singleton Pattern is one of the easiest patterns among all the design patterns in terms of its class diagram. Singleton Pattern has an interesting mechanism in the way it is implemented. So before implementing the singleton pattern in our code first let’s dive into its definition which states that Continue Reading

The post Singleton Pattern: The One of a Kind Design Pattern appeared first on Knoldus Blogs.

12 часов назад @ blog.knoldus.com
Automate Android App in Appium with Data-Driven Framework
Automate Android App in Appium with Data-Driven Framework

Reading Time: 4 minutes Hi friends, Welcome to our appium blog series, In the last blog, we know about the desired capability which helps a lot in an appium to test whatever android or iOS to know more about the problems related to appium and also for better understanding of Desired Capabilities which are essential for mobile testing so please go through our previous blogs from here but this Continue Reading

The post Automate Android App in Appium with Data-Driven Framework appeared first on Knoldus Blogs.

16 часов назад @ blog.knoldus.com
Introduction to Apache Airflow
Introduction to Apache Airflow

Reading Time: 4 minutes What is Apache Airflow? Airflow is a platform to programmatically author, schedule and monitor workflows.These functions achieved with Directed Acyclic Graphs (DAG) of the tasks. It is an open-source and still in the incubator stage. It was initialized in 2014 under the umbrella of Airbnb since then it got an excellent reputation with approximately 800 contributors on GitHub and 13000 stars. The main functions of Apache Airflow is to schedule workflow, monitor Continue Reading

The post Introduction to Apache Airflow appeared first on Knoldus Blogs.

2 дня, 11 часов назад @ blog.knoldus.com
Basic Overview Of Pentaho Data Integration
Basic Overview Of Pentaho Data Integration

Reading Time: 4 minutes Let us go through the basic overview of Pentaho Data Integration, its importance, ETL Process, etc. So, let’s start. The first question arises that What is Pentaho? Pentaho is a leading business intelligence tool that makes it possible for an organization to easily access, organize, and analyze data. Nowadays it is very popular and has set the benchmark for the most used and preferred component Continue Reading

The post Basic Overview Of Pentaho Data Integration appeared first on Knoldus Blogs.

2 дня, 14 часов назад @ blog.knoldus.com
Differences between Netflix zuul and Spring cloud gateway
Differences between Netflix zuul and Spring cloud gateway

Reading Time: 3 minutes Routing is an integral part of a microservice architecture. For example, `/` may be mapped to your web application, `/api/users` is mapped to the user service and `/api/shop` is mapped to the shop service. Netflix Zuul Zuul is a JVM-based router and server-side load balancer from Netflix. It provides a single entry to our system, which allows a browser, mobile app, or other user interface to consume services from multiple hosts Continue Reading

The post Differences between Netflix zuul and Spring cloud gateway appeared first on Knoldus Blogs.

2 дня, 18 часов назад @ blog.knoldus.com
Spring Cloud API Gateway With An Example
Spring Cloud API Gateway With An Example

Reading Time: 6 minutes What is an API? Why do we need it? An API gateway is programming that sits in front of an API ( Application Programming Interface) and is the single-entry point for defined back-end APIs and microservices (which can be both internal and external). Sitting in front of APIs, the gateway acts as protection, administering security and scalability, and high availability. To put it simply, API Continue Reading

The post Spring Cloud API Gateway With An Example appeared first on Knoldus Blogs.

3 дня, 12 часов назад @ blog.knoldus.com
Introduction to Kafka
Introduction to Kafka

Reading Time: 5 minutes Apache Kafka is a software platform that is based on a distributed streaming process. It is a publish-subscribe messaging system that lets exchanging of data between applications, servers, and processors as well. Apache Kafka was originally developed by LinkedIn, and later it was donated to the Apache Software Foundation. Apache Kafka has resolved the lethargic trouble of data communication between a sender and a receiver. Architecture Continue Reading

The post Introduction to Kafka appeared first on Knoldus Blogs.

3 дня, 12 часов назад @ blog.knoldus.com
Introduction to Pentaho Data Integration
Introduction to Pentaho Data Integration

Reading Time: 4 minutes Pentaho Data Integration (PDI) provides the Extract, Transform, and Load (ETL) capabilities that facilitate the process of capturing, cleansing, and storing data using a uniform and consistent format that is accessible and relevant to end-users and IoT technologies. What is Pentaho? Pentaho is business intelligence (BI) software or a set of tools. It consists of a few set of tools that provides solutions for Data Continue Reading

The post Introduction to Pentaho Data Integration appeared first on Knoldus Blogs.

3 дня, 12 часов назад @ blog.knoldus.com
Tensorflow : Introduction
Tensorflow : Introduction

Reading Time: 2 minutes What is Tensorflow? Tensorflow is an open source , high performance library for numerical computation. It is also be used for mathematical computations and is not only limited to machine learning. It uses Python to provide a front-end API for building applications with the framework, and executes those applications in high-performance C++. TensorFlow can train and run deep neural networks. It has an extensive ecosystem Continue Reading

The post Tensorflow : Introduction appeared first on Knoldus Blogs.

4 дня, 6 часов назад @ blog.knoldus.com
Apache Kafka : Log Compaction
Apache Kafka : Log Compaction

Reading Time: 3 minutes As we all know, most of the systems uses Kafka for distributed and real time processing of large scale of messages. Before starting on this topic, i assume that you all are familiar with basic concepts of Kafka such as brokers, partitions, topics, producer and consumer. Here we are discussing about Log Compaction. What is Log Compaction Kafka log compaction is hybrid approach that makes Continue Reading

The post Apache Kafka : Log Compaction appeared first on Knoldus Blogs.

6 дней, 13 часов назад @ blog.knoldus.com
Java Streams vs Loop
Java Streams vs Loop

Reading Time: 4 minutes In this blog, I am going to explore the difference between using streams and loops and how we can manage the maintainability of the code. There are many opinions regarding the performance of both the things that which one is better streams or loops. As we know, A stream is a sequence of objects that supports various methods which can be pipe-lined to produce the Continue Reading

The post Java Streams vs Loop appeared first on Knoldus Blogs.

6 дней, 17 часов назад @ blog.knoldus.com
Best Way of Optimization: Bucketing in Hive
Best Way of Optimization: Bucketing in Hive

Reading Time: 4 minutes Apache Hive is an open-source data warehouse system used to query and analyze large datasets. Data in Apache Hive can be categorized into the following three parts : Tables Partitions Buckets What is Bucketing in Hive? Bucketing in the hive is the concept of breaking data down into ranges, which are known as buckets, to give extra structure to the data so it may be Continue Reading

The post Best Way of Optimization: Bucketing in Hive appeared first on Knoldus Blogs.

1 неделя, 1 день назад @ blog.knoldus.com
Communication – Spine of Project Success
Communication – Spine of Project Success

Reading Time: 5 minutes Problem Statement We all know when it comes to ‘Communication’ it’s regarded as something that must happen as a part of project management activities, using basic/generic tools, such as Slack or eMails. However, without a well-thought-out communication strategy and tools designed to store and regulate project information and communications, many companies are throwing lakhs of rupees out the window with every project they attempt to Continue Reading

The post Communication – Spine of Project Success appeared first on Knoldus Blogs.

1 неделя, 2 дня назад @ blog.knoldus.com
Learn Data Engineering Learn Data Engineering
последний пост 3 месяца, 3 недели назад
10 Steps to get a Data Engineering job
10 Steps to get a Data Engineering job

Jobs in the field of Data Engineering are in great demand. But how do you get a job like this? 1) Set your personal Goals The first thing you have to do is set personal goals. What do you actually want to achieve? Where do you see yourself in the next few years? What exactly do you want to...

3 месяца, 3 недели назад @ learndataengineering.com
How To Best Start Your First Data Engineering Project!
How To Best Start Your First Data Engineering Project!

You want to become a Data Engineer, but don't know how to set up a data engineering project? I will show you! Do not make this mistake! First of all you should not make the mistake that unfortunately many people make! Often people want to build the whole thing from the beginning. They say:...

3 месяца, 3 недели назад @ learndataengineering.com
Data Engineering vs Data Science
Data Engineering vs Data Science

What is the difference between data science and data engineering? Data Science

Data Scientists work with the data and are basically doing the analytics part. They take the data and create new insights. They do the analytics for instance by using Machine Learning techniques or do just simple...

4 месяца, 3 недели назад @ learndataengineering.com
Where to validate incoming data?
Where to validate incoming data?

When you watch the blueprint I also use in my cookbook you see the different phases: Connect, Processing Framework, Store and Buffer. At the beginning you think about where you validate the data? To make sure that the data is okay and makes sense. Do you validate the data directly on the API -...

5 месяцев назад @ learndataengineering.com
AWS, Azure or GCP?
AWS, Azure or GCP?

I get often asked: What is the best or easiest cloud platform to start with for data engineering? Here are my thoughts on this. A general overview. Market shares Amazon Web Services (AWS) is globally the biggest cloud provider (approx. 50% of the market). This goes for the US and the EU...

5 месяцев, 1 неделя назад @ learndataengineering.com
SCRIBD
последний пост 4 месяца назад
Armadillo makes audio players in Android easy
Armadillo makes audio players in Android easy Armadillo makes audio players in Android easy

Armadillo is the fully featured audio player library Scribd uses to play and

download all of its audiobooks and podcasts, which is now open

source. It specializes in playing HLS

or MP3 content that is broken down into chapters or tracks. It leverages

Google’s Exoplayer library for its audio engine. Exoplayer wraps a variety of

low level audio and video apis but has few opinions of its own for actually

using audio in an Android app. The leap required from Exoplayer to audio player

is enormous both in terms of the amount of code needed as well as the amount of

domain knowledge required about complex audio related subjects. Armadillo

provides a turn-key solution for powering an audio player an…

4 месяца назад @ tech.scribd.com
Categorizing user-uploaded documents
Categorizing user-uploaded documents Categorizing user-uploaded documents

Scribd offers a variety of publisher and user-uploaded content to our users and

while the publisher content is rich in metadata, user-uploaded content

typically is not. Documents uploaded by the users have varied subjects and

content types which can make it challenging to link them together. One way to

connect content can be through a taxonomy - an important type of structured

information widely used in various domains. In this series, we have already

shared how we identify document

types and extract information

from documents, this post

will discuss how insights from data were used to help build the taxonomy and

our approach to assign categories to the user-uploaded documents.

Building the…

6 месяцев назад @ tech.scribd.com
Information Extraction at Scribd
Information Extraction at Scribd Information Extraction at Scribd

Extracting metadata from our documents is an important part of our discovery

and recommendation pipeline, but discerning useful and relevant details

from text-heavy user-uploaded documents can be challenging. This is

part 2 in a series of blog posts describing a multi-component machine learning

system the Applied Research team built to extract metadata from our documents in order to enrich downstream discovery models. In this post, we present the challenges and

limitations the team faced when building information extraction NLP models for Scribd’s text-heavy documents and how they were solved.

As mentioned in part 1, we now have a way of identifying text-heavy documents. Having done that, w…

6 месяцев, 1 неделя назад @ tech.scribd.com
Presenting Rust and Python Support for Delta Lake
Presenting Rust and Python Support for Delta Lake

Delta Lake is integral to our data platform which is why we have invested

heavily in delta-rs to support our

non-JVM Delta Lake needs. This year I had the opportunity to share the progress

of delta-rs at Data and AI Summit. Delta-rs was originally started by my colleague QP just over a year ago and it has now grown to now a multi-company project with numerous contributors, and downstream projects such as kafka-delta-ingest.

In the session embedded below, I introduce the delta-rs project which is

helping bring the power of Delta Lake outside of the Spark ecosystem. By

providing a foundational Delta Lake library in Rust, delta-rs can enable native

bindings in Python, Ruby, Golang, and more.We…

6 месяцев, 1 неделя назад @ tech.scribd.com
Identifying Document Types at Scribd
Identifying Document Types at Scribd Identifying Document Types at Scribd

User-uploaded documents have been a core component of Scribd’s business from

the very beginning, understanding what is actually in the document corpus

unlocks exciting new opportunities for discovery and recommendation.

With Scribd anybody can upload and share

documents, analogous to YouTube and videos. Over

the years, our document corpus has become larger and more diverse which has

made understanding it an ever-increasing challenge.

Over the past year one of the missions of the Applied Research team has been to

extract key document metadata to enrich

downstream discovery systems. Our approach combines semantic understanding with

user behaviour in a multi-component machine learning system.

6 месяцев, 2 недели назад @ tech.scribd.com
Automating Databricks with Terraform
Automating Databricks with Terraform

The long term success of our data platform relies on putting tools into the

hands of developers and data scientists to “choose their own adventure”. A big

part of that story has been Databricks which we

recently integrated with Terraform to make it easy to

scale a top-notch developer experience. At the 2021 Data and AI Summit, Core

Platform infrastructure engineer Hamilton

Hord and Databricks engineer Serge

Smertin presented on the Databricks terraform provider

and how it’s been used by Scribd.

In the session embedded below, they share the details on the Databricks (Labs)

Terraform

integration

and how it can automate literally every aspect required for a production-grade

platform: data secu…

6 месяцев, 3 недели назад @ tech.scribd.com
Kafka to Delta Lake, as fast as possible
Kafka to Delta Lake, as fast as possible Kafka to Delta Lake, as fast as possible

Streaming data from Apache Kafka into Delta Lake is an integral part of

Scribd’s data platform, but has been challenging to manage and

scale. We use Spark Structured Streaming jobs to read data from

Kafka topics and write that data into Delta Lake tables. This approach gets the job

done but in production our experience has convinced us that a different

approach is necessary to efficiently bring data from Kafka to Delta Lake. To

serve this need, we created

kafka-delta-ingest.

The user requirements are likely relatable to a lot of folks: My application emits data into Kafka that I want to analyze later.

I want my Kafka data to land in the data warehouse and be queryable pretty soon after inge…

8 месяцев, 1 неделя назад @ tech.scribd.com
Growing the Delta Lake ecosystem with Rust and Python
Growing the Delta Lake ecosystem with Rust and Python

Scribd stores billions of records in Delta Lake but writing

or reading that data had been constrained to a single tech stack, all of that

changed with the creation of delta-rs.

Historically using Delta Lake required applications to be implemented with or

accompanied by Apache Spark. Many of our batch

and streaming data processing applications are all Spark-based, but that’s not

everything that exists! In mid-2020 it became clear that Delta Lake would be a

powerful tool in areas adjacent to the domain that Spark occupies. From my

perspective, I figured that would soon need to bring data into and out of Delta

Lake in dozens of different ways. Some discussions and prototyping led to the

creati…

8 месяцев, 2 недели назад @ tech.scribd.com
Backing up Delta Lake
Backing up Delta Lake

Transitioning from a more traditional database operation (read ACID, RDBMS blah blah) background to a newer data platform is always interesting. As it constantly challenges all yours year old wisdom and kind of forces you to adapt to newer way of getting things done.

At Scribd we have made

Delta Lake a cornerstone of our data platform. All data in

Delta Lake is stored in Apache Parquet format enabling Delta Lake to leverage

the efficient compression and encoding schemes that are native to Parquet. The

Delta Lake transaction log (also known as the DeltaLog) is an ordered record of

every transaction that has ever been performed on a Delta Lake table since its

inception. So a particular datase…

8 месяцев, 4 недели назад @ tech.scribd.com
Integrating Airflow with Okta
Integrating Airflow with Okta Integrating Airflow with Okta

At Scribd we use Airflow as a scheduler for most of our batch workloads, this blog is not about Airflow so we are not getting into why Airflow. This is about one of the biggest challenge that we faced while using Airflow and finally conquer. That is how to do authentication and authorisation for Airflow. Of course Airflow does support LDAP and at Scribd we started using LDAP with Airflow initially, but as the organisation grow and more and more user started using Airflow, it became imperative that we integrate Airflow with our SSO provider that is Okta.

Sadly there is a lack of resources on how to implement airflow with Okta specifically. This write up will describe the journey of integrati…

9 месяцев назад @ tech.scribd.com
Embedding-based Retrieval at Scribd
Embedding-based Retrieval at Scribd Embedding-based Retrieval at Scribd

Building recommendations systems like those implemented at large companies like Facebook and Pinterest can be accomplished using off the shelf tools like Elasticsearch. Many modern recommendation systems implement embedding-based retrieval, a technique that uses embeddings to represent documents, and then converts the recommendations retrieval problem into a similarity search problem in the embedding space. This post details our approach to “embedding-based retrieval” with Elasticsearch.

Context

Recommendations plays an integral part in helping users discover content that delights them on the Scribd platform, which hosts millions of premium ebooks, audiobooks, etc along with over a hundred …

9 месяцев, 2 недели назад @ tech.scribd.com
Data Quest
последний пост 2 месяца, 1 неделя назад
How to Use Dataquest to Achieve Your Learning Goals
How to Use Dataquest to Achieve Your Learning Goals

Before the COVID-19 pandemic, the amount of data being produced — and collected — on a daily basis was growing at an accelerated rate. This led to an increase in demand for data scientists all around the world. With the increase in demand came the need for specialized course offerings that could teach the right […]

The post How to Use Dataquest to Achieve Your Learning Goals appeared first on Dataquest.

2 месяца, 1 неделя назад @ dataquest.io
Data Science Competitions You Should Participate In
Data Science Competitions You Should Participate In

It's no secret that data professionals spend a lot of time studying theory and later practicing what they learned on their own. Because of the nature of the job, being able to demonstrate your ability to solve problems is crucial when hunting for a data science job. Data science competitions are one of the best […]

The post Data Science Competitions You Should Participate In appeared first on Dataquest.

2 месяца, 1 неделя назад @ dataquest.io
How to Get Real-World Data Science Experience
How to Get Real-World Data Science Experience

For many up-and-coming data professionals, landing your first “real” data science job can feel like a bit of a “Catch 22.” You can’t get hired without a certain amount of professional data science experience, but you can’t get the experience without getting hired. While it may seem unreasonable for employers to expect you to have a […]

The post How to Get Real-World Data Science Experience appeared first on Dataquest.

3 месяца назад @ dataquest.io
17 Reasons Why You’re Getting Rejected for Data Science Jobs
17 Reasons Why You’re Getting Rejected for Data Science Jobs

Enter your text hereData science jobs are abundant, and the numbers are growing. Despite the influx in demand, some data professionals are still struggling to find a job. If you’ve filled out numerous job applications you feel you’re easily qualified for, only to be rejected, you’re certainly not alone. In this article, we’ll go over some […]

The post 17 Reasons Why You’re Getting Rejected for Data Science Jobs appeared first on Dataquest.

3 месяца, 3 недели назад @ dataquest.io
Discovering Your Data Science Career in 2021
Discovering Your Data Science Career in 2021

Careers in data science are some of the most sought-after in the world and that trend shows no signs of stopping. With the widespread use of AI, IoT devices, and streaming and real-time communication services, it’s no surprise many people are pursuing careers in data. In fact, data scientist is the second best job in […]

The post Discovering Your Data Science Career in 2021 appeared first on Dataquest.

3 месяца, 4 недели назад @ dataquest.io
30-Day Data Science Challenge
30-Day Data Science Challenge

We're excited to kick off the 30 Day Dataquest Challenge! Here’s why:Building learning habits is crucial to your data career, but it can be difficult to get into a new habit. Maybe you’ve tried building before, but, time and time again, you fall off. Something comes up. What starts off exciting becomes too difficult. Before […]

The post 30-Day Data Science Challenge appeared first on Dataquest.

4 месяца, 4 недели назад @ dataquest.io
How I Learned Data Science in 6 Months
How I Learned Data Science in 6 Months

Everyone’s journey to become a data scientist is different, and the learning curve will vary depending on many factors, including time availability, prior knowledge, the tools you use, etc. One learner shares his story about how he became a data scientist in 6 months with Dataquest. Here’s how his journey began:As the title suggests, this […]

The post How I Learned Data Science in 6 Months appeared first on Dataquest.

5 месяцев, 2 недели назад @ dataquest.io
Data Analyst Skills – 8 Skills You Need to Get a Job
Data Analyst Skills – 8 Skills You Need to Get a Job

What are 5 real-world tasks that cover most of the skills someone needs to be hired as a data analyst?

The post Data Analyst Skills – 8 Skills You Need to Get a Job appeared first on Dataquest.

9 месяцев, 2 недели назад @ dataquest.io
Data Engineer, Data Analyst, Data Scientist — What’s the Difference?
Data Engineer, Data Analyst, Data Scientist — What’s the Difference?

In the fast-growing field of data, the "big three" job roles are data engineer, data analyst, and data scientist. Figure out which is the best fit for you.

The post Data Engineer, Data Analyst, Data Scientist — What’s the Difference? appeared first on Dataquest.

9 месяцев, 2 недели назад @ dataquest.io
You Need Data Skills to Future-Proof Your Career
You Need Data Skills to Future-Proof Your Career

No matter what industry you're in, you need data skills to future-proof your career. You might be thinking: Vik is the CEO of a company that teaches data science - of course he'd say that! But stick with me for a few more paragraphs, I'll walk you through how data was key to all of the […]

The post You Need Data Skills to Future-Proof Your Career appeared first on Dataquest.

9 месяцев, 3 недели назад @ dataquest.io
Infrastructure
AWS
последний пост 37 минут назад
Planning I/O in Amazon Aurora
Planning I/O in Amazon Aurora

Amazon Aurora combines the performance and availability of commercial databases with the simplicity and cost-effectiveness of open-source databases. An Aurora cluster consists of one or more instances connected to a shared and distributed Aurora storage volume. This new storage engine replaces the traditional block storage devices commonly used with relational databases with a dynamic, auto-scaling, […]

37 минут назад @ aws.amazon.com
Configure high availability with Always On Availability Groups on Amazon RDS Custom for SQL Server
Configure high availability with Always On Availability Groups on Amazon RDS Custom for SQL Server

Amazon Relational Database Service (Amazon RDS) Custom is a managed database service for legacy, custom, and packaged applications that require access to the underlying operating system and database (DB) environment. Amazon RDS Custom is now available for the SQL Server database engine. Amazon RDS Custom for SQL Server automates setup, operation, and scaling of databases […]

1 час назад @ aws.amazon.com
How Clearly accurately predicts fraudulent orders using Amazon Fraud Detector
How Clearly accurately predicts fraudulent orders using Amazon Fraud Detector

This post was cowritten by Ziv Pollak, Machine Learning Team Lead, and Sarvi Loloei, Machine Learning Engineer at Clearly. The content and opinions in this post are those of the third-party authors and AWS is not responsible for the content or accuracy of this post. A pioneer in online shopping, Clearly launched their first site […]

5 часов назад @ aws.amazon.com
Add comparative and cumulative date/time calculations in Amazon QuickSight
Add comparative and cumulative date/time calculations in Amazon QuickSight

Amazon QuickSight recently added native support for comparative (e.g., year-over-year) and cumulative (e.g., year-to-date) period functions which allow you to easily introduce these calculations in business reporting, trend analysis and time series analysis. This allows authors in QuickSight to implement advanced calculations without having to use complicated date offsets in calculations to achieve such datetime-aware […]

5 часов назад @ aws.amazon.com
How Logz.io accelerates ML recommendations and anomaly detection solutions with Amazon SageMaker
How Logz.io accelerates ML recommendations and anomaly detection solutions with Amazon SageMaker

Logz.io is an AWS Partner Network (APN) Advanced Technology Partner with AWS Competencies in DevOps, Security, and Data & Analytics. Logz.io offers a software as a service (SaaS) observability platform based on best-in-class open-source software solutions for log, metric, and tracing analytics. Customers are sending an increasing amount of data to Logz.io from various data […]

1 день, 4 часа назад @ aws.amazon.com
Top 5 posts published in 2021 on the AWS Infrastructure & Automation Blog
Top 5 posts published in 2021 on the AWS Infrastructure & Automation Blog

Highlights from the five most viewed posts published on the Infrastructure & Automation Blog in 2021.

1 день, 19 часов назад @ aws.amazon.com
Deploy and Manage Gitlab Runners on Amazon EC2
Deploy and Manage Gitlab Runners on Amazon EC2

Gitlab CI is a tool utilized by many enterprises to automate their Continuous integration, continuous delivery and deployment (CI/CD) process. A Gitlab CI/CD pipeline consists of two major components: A .gitlab-ci.yml file describing a pipeline’s jobs, and a Gitlab Runner, an application that executes the pipeline jobs. Setting up the Gitlab Runner is a time-consuming […]

1 день, 22 часа назад @ aws.amazon.com
Validate streaming data over Amazon MSK using schemas in cross-account AWS Glue Schema Registry
Validate streaming data over Amazon MSK using schemas in cross-account AWS Glue Schema Registry

Today’s businesses face an unprecedented growth in the volume of data. A growing portion of the data is generated in real time by IoT devices, websites, business applications, and various other sources. Businesses need to process and analyze this data as soon as it arrives to make business decisions in real time. Amazon Managed Streaming […]

2 дня назад @ aws.amazon.com
Evolve JSON Schemas in Amazon MSK and Amazon Kinesis Data Streams with the AWS Glue Schema Registry
Evolve JSON Schemas in Amazon MSK and Amazon Kinesis Data Streams with the AWS Glue Schema Registry

Data is being produced, streamed, and consumed at an immense rate, and that rate is projected to grow exponentially in the future. In particular, JSON is the most widely used data format across streaming technologies and workloads. As applications, websites, and machines increasingly adopt data streaming technologies such as Apache Kafka and Amazon Kinesis Data […]

3 дня, 3 часа назад @ aws.amazon.com
Handle fast-changing reference data in an AWS Glue streaming ETL job
Handle fast-changing reference data in an AWS Glue streaming ETL job

Streaming ETL jobs in AWS Glue can consume data from streaming sources such as Amazon Kinesis and Apache Kafka, clean and transform those data streams in-flight, as well as continuously load the results into Amazon Simple Storage Service (Amazon S3) data lakes, data warehouses, or other data stores. The always-on nature of streaming jobs poses […]

3 дня, 5 часов назад @ aws.amazon.com
Create an Amazon CloudWatch dashboard to monitor Amazon RDS for PostgreSQL and Amazon Aurora PostgreSQL
Create an Amazon CloudWatch dashboard to monitor Amazon RDS for PostgreSQL and Amazon Aurora PostgreSQL

Database performance monitoring is critical for application availability and productivity. A good monitoring practice can ensure a small issue is identified in time before it develops into a big problem and causes service disruption. In the AWS Cloud, you can use analytical and monitoring tools like Amazon RDS Performance Insights and Amazon CloudWatch metrics and […]

3 дня, 8 часов назад @ aws.amazon.com
Introduction to data modeling with Amazon DocumentDB (with MongoDB compatibility) for relational database users
Introduction to data modeling with Amazon DocumentDB (with MongoDB compatibility) for relational database users

Traditionally, companies have run most of their workloads using relational databases, and they have been the most popular choice for data management for over three decades. Relational databases are rooted in the relational model as proposed by E.F. Codd and C.J. Date in the 1980s. Relational databases support a wide variety of use cases, from […]

3 дня, 8 часов назад @ aws.amazon.com
Overview of security best practices for Amazon RDS for PostgreSQL and Amazon Aurora PostgreSQL-Compatible Edition
Overview of security best practices for Amazon RDS for PostgreSQL and Amazon Aurora PostgreSQL-Compatible Edition

Security is a key factor to consider when choosing or migrating to a database. Cloud security at AWS is the highest priority. Security and compliance is a shared responsibility between AWS and the customer. This shared model can help relieve your operational burden, because AWS allows you to securely manage your databases in the cloud […]

3 дня, 8 часов назад @ aws.amazon.com
How Specright uses Amazon QLDB to create a traceable supply chain network
How Specright uses Amazon QLDB to create a traceable supply chain network

This post is co-authored by Ayman Shoukry, Specright’s Chief Technology Officer and Kevin Tran, Engineering Manager at Specright. The world is experiencing a tectonic shift in how things are made, and most supply chains weren’t ready. We saw it in the thousands of empty shelves early on in the COVID-19 pandemic. We see it in […]

5 дней, 21 час назад @ aws.amazon.com
Use Docker containers to deploy Graph Notebooks on AWS
Use Docker containers to deploy Graph Notebooks on AWS

Amazon Neptune is a fast, reliable, fully managed graph database service that makes it easy to build and run applications that work with highly connected datasets. Whether you’re creating a new graph data model and queries, or exploring an existing graph dataset, it can be useful to have an interactive query environment that allows you […]

6 дней, 10 часов назад @ aws.amazon.com
AWS
последний пост 37 минут назад
Detect mitotic figures in whole slide images with Amazon Rekognition
Detect mitotic figures in whole slide images with Amazon Rekognition

Even after more than a hundred years after its introduction, histology remains the gold standard in tumor diagnosis and prognosis. Anatomic pathologists evaluate histology to stratify cancer patients into different groups depending on their tumor genotypes and phenotypes, and their clinical outcome [1,2]. However, human evaluation of histological slides is subjective and not repeatable [3]. […]

6 дней, 23 часа назад @ aws.amazon.com
Distributed fine-tuning of a BERT Large model for a Question-Answering Task using Hugging Face Transformers on Amazon SageMaker
Distributed fine-tuning of a BERT Large model for a Question-Answering Task using Hugging Face Transformers on Amazon SageMaker

From training new models to deploying them in production, Amazon SageMaker offers the most complete set of tools for startups and enterprises to harness the power of machine learning (ML) and Deep Learning. With its Transformers open-source library and ML platform, Hugging Face makes transfer learning and the latest ML models accessible to the global […]

1 неделя назад @ aws.amazon.com
Gain insights into your Amazon Kinesis Data Firehose delivery stream using Amazon CloudWatch
Gain insights into your Amazon Kinesis Data Firehose delivery stream using Amazon CloudWatch

The volume of data being generated globally is growing at an ever-increasing pace. Data is generated to support an increasing number of use cases, such as IoT, advertisement, gaming, security monitoring, machine learning (ML), and more. The growth of these use cases drives both volume and velocity of streaming data and requires companies to capture, […]

1 неделя назад @ aws.amazon.com
Centralize governance for your data lake using AWS Lake Formation while enabling a modern data architecture with Amazon Redshift Spectrum
Centralize governance for your data lake using AWS Lake Formation while enabling a modern data architecture with Amazon Redshift Spectrum

Many customers are modernizing their data architecture using Amazon Redshift to enable access to all their data from a central data location. They are looking for a simpler, scalable, and centralized way to define and enforce access policies on their data lakes on Amazon Simple Storage Service (Amazon S3). They want access policies to allow […]

1 неделя, 1 день назад @ aws.amazon.com
Accelerate data migration using AWS DMS and AWS CDK
Accelerate data migration using AWS DMS and AWS CDK

Deploying and configuring AWS Data Migration Service (AWS DMS) across multiple environments involves several configurations, testing, and provisioning of AWS DMS resources. This can be time-consuming and error-prone due to the large number of settings involved. The AWS Cloud Development Kit (AWS CDK) lets you define your cloud infrastructure as code in one of five […]

1 неделя, 1 день назад @ aws.amazon.com
Securely share your data across AWS accounts using AWS Lake Formation
Securely share your data across AWS accounts using AWS Lake Formation

Data lakes have become very popular with organizations that want a centralized repository that allows you to store all your structured data and unstructured data at any scale. Because data is stored as is, there is no need to convert it to a predefined schema in advance. When you have new business use cases, you […]

1 неделя, 1 день назад @ aws.amazon.com
Detect NLP data drift using custom Amazon SageMaker Model Monitor
Detect NLP data drift using custom Amazon SageMaker Model Monitor

Natural language understanding is applied in a wide range of use cases, from chatbots and virtual assistants, to machine translation and text summarization. To ensure that these applications are running at an expected level of performance, it’s important that data in the training and production environments is from the same distribution. When the data that […]

1 неделя, 2 дня назад @ aws.amazon.com
Computer vision-based anomaly detection using Amazon Lookout for Vision and AWS Panorama
Computer vision-based anomaly detection using Amazon Lookout for Vision and AWS Panorama

This is the second post in the two-part series on how Tyson Foods Inc., is using computer vision applications at the edge to automate industrial processes inside their meat processing plants. In Part 1, we discussed an inventory counting application at packaging lines built with Amazon SageMaker and AWS Panorama . In this post, we […]

1 неделя, 2 дня назад @ aws.amazon.com
Validate database objects post-migration from Microsoft SQL Server to Amazon RDS for PostgreSQL and Amazon Aurora PostgreSQL
Validate database objects post-migration from Microsoft SQL Server to Amazon RDS for PostgreSQL and Amazon Aurora PostgreSQL

Database object validation plays a key role in the database migration process. It’s the process of determining whether all the source database objects have been successfully migrated to the target database by comparing their types and counts. If you miss the validation phase, you may encounter run time errors due to missing database objects which […]

1 неделя, 2 дня назад @ aws.amazon.com
PostgreSQL bi-directional replication using pglogical
PostgreSQL bi-directional replication using pglogical

PostgreSQL supports block-based (physical) replication as well as the row-based (logical) replication. Physical replication is traditionally used to create read-only replicas of a primary instance, and utilized in both self-managed and managed deployments of PostgreSQL. Uses for physical read replicas can include high availability, disaster recovery, and scaling out the reader nodes. Although there is […]

1 неделя, 3 дня назад @ aws.amazon.com
Label text for aspect-based sentiment analysis using SageMaker Ground Truth
Label text for aspect-based sentiment analysis using SageMaker Ground Truth

The Amazon Machine Learning Solutions Lab (MLSL) recently created a tool for annotating text with named-entity recognition (NER) and relationship labels using Amazon SageMaker Ground Truth. Annotators use this tool to label text with named entities and link their relationships, thereby building a dataset for training state-of-the-art natural language processing (NLP) machine learning (ML) models. Most […]

1 неделя, 6 дней назад @ aws.amazon.com
Backtest trading strategies with Amazon Kinesis Data Streams long-term retention and Amazon SageMaker
Backtest trading strategies with Amazon Kinesis Data Streams long-term retention and Amazon SageMaker

Real-time insight is critical when it comes to building trading strategies. Any delay in data insight can cost lot of money to the traders. Often, you need to look at historical market trends to predict future trading pattern and make the right bid. More the historical data you analyze, better trading prediction you get. Back […]

2 недели назад @ aws.amazon.com
Optimize your inference jobs using dynamic batch inference with TorchServe on Amazon SageMaker
Optimize your inference jobs using dynamic batch inference with TorchServe on Amazon SageMaker

In deep learning, batch processing refers to feeding multiple inputs into a model. Although it’s essential during training, it can be very helpful to manage the cost and optimize throughput during inference time as well. Hardware accelerators are optimized for parallelism, and batching helps saturate the compute capacity and often leads to higher throughput. Batching […]

2 недели назад @ aws.amazon.com
Graph-based recommendation system with Neptune ML: An illustration on social network link prediction challenges
Graph-based recommendation system with Neptune ML: An illustration on social network link prediction challenges

Recommendation systems are one of the most widely adopted machine learning (ML) technologies in real-world applications, ranging from social networks to ecommerce platforms. Users of many online systems rely on recommendation systems to make new friendships, discover new music according to suggested music lists, or even make ecommerce purchase decisions based on the recommended products. […]

2 недели, 1 день назад @ aws.amazon.com
Secure access to Amazon SageMaker Studio with AWS SSO and a SAML application
Secure access to Amazon SageMaker Studio with AWS SSO and a SAML application

Cloud security at AWS is the highest priority. Amazon SageMaker Studio offers various mechanisms to protect your data and code using integration with AWS security services like AWS Identity and Access Management (IAM), AWS Key Management Service (AWS KMS), or network isolation with Amazon Virtual Private Cloud (Amazon VPC). Customers in highly regulated industries, like […]

2 недели, 1 день назад @ aws.amazon.com
Astronomer Astronomer
последний пост 2 недели, 3 дня назад
Astro for ETL
Astro for ETL

Using the `astro` library to implement ETL use cases in Airflow.

2 недели, 3 дня назад @ astronomer.io
Introduction to Airflow Decorators
Introduction to Airflow Decorators

An overview of Airflow decorators and how they can improve the DAG authoring experience.

1 месяц назад @ astronomer.io
Deferrable Operators
Deferrable Operators

How to implement deferrable operators to save cost and resources with Airflow.

1 месяц назад @ astronomer.io
Debugging DAGs
Debugging DAGs

A beginner's guide to figuring out what's going wrong with your Airflow DAGs

1 месяц, 3 недели назад @ astronomer.io
Apache Airflow vs. Apache Beam
Apache Airflow vs. Apache Beam

Apache Airflow or Apache Beam? Or both, working together? Let's have a closer look at two popular data management open source tools.

2 месяца, 1 неделя назад @ astronomer.io
Rerunning Airflow DAGs
Rerunning Airflow DAGs

How to use catchup, backfill, and cleared task instances in Airflow.

2 месяца, 3 недели назад @ astronomer.io
Datasembly: From One Airflow Instance to Multiple Deployments with Astronomer
Datasembly: From One Airflow Instance to Multiple Deployments with Astronomer

Learn how Datasembly went from using native Airflow to cooperating with Astronomer.

2 месяца, 3 недели назад @ astronomer.io
Democratizing the Data Stack—Airflow for Business Workflows
Democratizing the Data Stack—Airflow for Business Workflows

Learn how Hightouch drives action in marketing & sales teams with Reverse ETL, SQL, and Apache Airflow

3 месяца назад @ astronomer.io
Machine Learning Pipelines: Everything You Need to Know
Machine Learning Pipelines: Everything You Need to Know

Learn what is the process of building a ML pipeline, what are the steps, and how to do it with Airflow and Astronomer.

3 месяца назад @ astronomer.io
What is Reverse ETL and How Can It Improve Data Flow?
What is Reverse ETL and How Can It Improve Data Flow?

Find out what is reverse ETL and how to use Census and Airflow together to improve data orchestration.

3 месяца, 1 неделя назад @ astronomer.io
Airflow at BBC—Data Orchestration Solution in Media
Airflow at BBC—Data Orchestration Solution in Media

A conversation with the BBC's Principal Data Engineer about how Apache Airflow helps them deliver personalized experiences to the audience.

3 месяца, 2 недели назад @ astronomer.io
Scheduling and Timetables in Airflow
Scheduling and Timetables in Airflow

Everything you need to know about scheduling your Airflow DAGs.

3 месяца, 2 недели назад @ astronomer.io
Everything You Need to Know about Apache Airflow 2.2.0
Everything You Need to Know about Apache Airflow 2.2.0

It's here! Discover the major Airflow 2.2.0 features including customisable timetables, deferrable tasks, Airflow standalone and many more.

3 месяца, 2 недели назад @ astronomer.io
Big Data Architecture: Core Components, Use Cases and Limitations
Big Data Architecture: Core Components, Use Cases and Limitations

Is Big Data Architecture the answer to major business problems, or just a crucial piece of a bigger puzzle? Discover our insights on the topic in this short blog post!

3 месяца, 3 недели назад @ astronomer.io
The Future of Banking: How Can Apache Airflow Help?
The Future of Banking: How Can Apache Airflow Help?

Learn what are the challenges of the banking industry today, and how Apache Airflow can help with digital transformation.

4 месяца назад @ astronomer.io
DBT — Data Build Tool DBT — Data Build Tool
последний пост 1 месяц, 1 неделя назад
Coalesce Replay Tracks: Sessions for the Team Preparing to Scale
Coalesce Replay Tracks: Sessions for the Team Preparing to Scale Coalesce Replay Tracks: Sessions for the Team Preparing to Scale

Four modules designed to help the established analytics engineer plan for rapid growth.

1 месяц, 1 неделя назад @ blog.getdbt.com
Coalesce Replay Tracks: Sessions for the Emerging Analytics Engineer
Coalesce Replay Tracks: Sessions for the Emerging Analytics Engineer Coalesce Replay Tracks: Sessions for the Emerging Analytics Engineer

Four modules of curated Coalesce content for teams just beginning their analytics engineering journey.

1 месяц, 1 неделя назад @ blog.getdbt.com
dbt Labs achieves ISO 27001:2013 and ISO 27701:2019 certifications
dbt Labs achieves ISO 27001:2013 and ISO 27701:2019 certifications dbt Labs achieves ISO 27001:2013 and ISO 27701:2019 certifications

Covering both dbt Labs and dbt Cloud, these certifications represent a long-standing commitment to information security and privacy.

1 месяц, 1 неделя назад @ blog.getdbt.com
Licensing dbt: Apache 2.0, BSL, and Proprietary
Licensing dbt: Apache 2.0, BSL, and Proprietary Licensing dbt: Apache 2.0, BSL, and Proprietary

The metrics layer generated a lot of buzz at Coalesce, prompting some exciting and important conversations. In short: the dbt Server that will make metrics accessible will be source available. This will provide users control, while enabling us to build a sustainable business.

1 месяц, 2 недели назад @ blog.getdbt.com
The dbt Enterprise product roadmap: A look back at what launched this year, and what’s on the way in 2022
The dbt Enterprise product roadmap: A look back at what launched this year, and what’s on the way in 2022 The dbt Enterprise product roadmap: A look back at what launched this year, and what’s on the way in 2022

Last year we placed a big bet on foundational work — stability, reliability, and speed. 12 months, and a 600% increase in enterprise business later, we're focused on establishing dbt as the default standard for all enterprise data teams.

1 месяц, 2 недели назад @ blog.getdbt.com
dbt Core v1.0 is here: 150+ contributors, 5,000+ commits, 100x faster parsing speed
dbt Core v1.0 is here: 150+ contributors, 5,000+ commits, 100x faster parsing speed dbt Core v1.0 is here: 150+ contributors, 5,000+ commits, 100x faster parsing speed

dbt Core v1.0.0 has arrived. This major milestone enables users with production-grade workflows to safely and reliably build on top of dbt Core for years to come. Take a look at how we got here, and what's next for dbt.

1 месяц, 2 недели назад @ blog.getdbt.com
NEW dbt Learn courses & badging now available!
NEW dbt Learn courses & badging now available! NEW dbt Learn courses & badging now available!

dbt Labs now offers five free courses for the emerging analytics engineer. Those new to dbt will find everything they need to get started (and badged!) in our dbt Learn Fundamentals course, while seasoned users can go deeper on topics like macros, materializations, and project refactoring.

1 месяц, 3 недели назад @ blog.getdbt.com
Coalesce returns for year two this December
Coalesce returns for year two this December Coalesce returns for year two this December

Dec 6-10, 2021: Coalesce is back with 85 speakers, 65+ sessions, and a little razzle-dazzle. Targeting 4 time zones (EST, PST, GMT, and AEDT)—there are plenty of opportunities to join us live. Find out what’s new, what’s staying the same, and how to prepare.

2 месяца, 2 недели назад @ blog.getdbt.com
dbt Labs and Snowflake are building on a thriving partnership
dbt Labs and Snowflake are building on a thriving partnership dbt Labs and Snowflake are building on a thriving partnership

Exciting developments in our partnership with Snowflake.

2 месяца, 3 недели назад @ blog.getdbt.com
Introducing Environment Variables in dbt Cloud
Introducing Environment Variables in dbt Cloud Introducing Environment Variables in dbt Cloud

Your code doesn't have to do the same thing everywhere it runs. Separate code from configuration - and set config based on context.

3 месяца назад @ blog.getdbt.com
Refactoring legacy SQL to dbt
Refactoring legacy SQL to dbt Refactoring legacy SQL to dbt

Where to begin when migrating legacy SQL transformation code to dbt? In a new (free!) on-demand course, analytics engineers from dbt Labs unpack the refactoring process they've employed across dozens of projects.

3 месяца, 2 недели назад @ blog.getdbt.com
Adopting CI/CD with dbt Cloud
Adopting CI/CD with dbt Cloud Adopting CI/CD with dbt Cloud

Choosing between Continuous Delivery and Continuous Deployment based on business needs

3 месяца, 4 недели назад @ blog.getdbt.com
Getting ready for v1.0
Getting ready for v1.0 Getting ready for v1.0

It's finally (almost) here. The best way to get ready is by upgrading *now* to the latest & greatest that dbt Core has to offer

4 месяца назад @ blog.getdbt.com
We'll gather in person again... just not in 2021
We'll gather in person again... just not in 2021 We'll gather in person again... just not in 2021

We are cancelling in-person events for the remainder of 2021. We know these are disappointing news but remain confident that it's the right decision for safely engaging with our dbt Community.

5 месяцев назад @ blog.getdbt.com
On DAGs, Hierarchies, and IDEs
On DAGs, Hierarchies, and IDEs On DAGs, Hierarchies, and IDEs

With the DAG-in-the-IDE (now available to all dbt Cloud users), analytics engineers can seamlessly navigate the core structure of their dbt project with low friction and low cognitive load, making the entire development process more intuitive, pleasant, and efficient.

5 месяцев, 1 неделя назад @ blog.getdbt.com
FiveTran FiveTran
последний пост 1 месяц, 3 недели назад
Great Place to Work® Names Fivetran One of the Best Workplaces for Parents™ in 2021
Great Place to Work® Names Fivetran One of the Best Workplaces for Parents™ in 2021 Great Place to Work® Names Fivetran One of the Best Workplaces for Parents™ in 2021

Oakland, CA — December 2, 2021 — Great Place to Work® has honored Fivetran as one of this year's Best Workplaces for Parents™. This is Fivetran’s third time being honored by Great Place to Work and the first time named to this prestigious list of workplaces for parents, ranking at #69. Earning a spot means that Fivetran is one of the best companies to work for in the country. The Best Workplaces for Parents award is based on analysis of survey responses from more than 6 million current U.S. employees. In that survey, 94% of employees said Fivetran is a great place to work, compared to 59% of employees at a typical U.S.-based company. “We are honored to be recognized by Great Place to Work t…

1 месяц, 3 недели назад @ fivetran.com
The Data Integration Revolution: A Solution Architect’s Perspective
The Data Integration Revolution: A Solution Architect’s Perspective

How life for data professionals keeps getting better (and more interesting!)

2 месяца назад @ fivetran.com
Launch Fivetran Through Databricks Partner Connect
Launch Fivetran Through Databricks Partner Connect

You can now set up Fivetran data pipelines via Databricks Partner Connect. Here’s how to do it.

2 месяца, 1 неделя назад @ fivetran.com
New Report: Enterprises Should Reconsider DIY Pipelines
New Report: Enterprises Should Reconsider DIY Pipelines

A recent survey from Wakefield Research finds that when enterprises build their own data pipelines, decision-making and revenue suffer.

2 месяца, 1 неделя назад @ fivetran.com
Fivetran Ranked Number 122 Fastest-Growing Company in North America on the 2021 Deloitte Technology Fast 500™
Fivetran Ranked Number 122 Fastest-Growing Company in North America on the 2021 Deloitte Technology Fast 500™ Fivetran Ranked Number 122 Fastest-Growing Company in North America on the 2021 Deloitte Technology Fast 500™

Oakland, Calif., November 17, 2021 — Fivetran, the leading automated data integration provider, today announced it ranks 122 on the Deloitte Technology Fast 500™, a ranking of the 500 fastest-growing technology, media, telecommunications, life sciences, fintech, and energy tech companies in North America, now in its 27th year. Fivetran grew 1,668.93% during this period."We are honored to be recognized by Deloitte in the Technology Fast 500 list for the second year running,” said George Fraser, CEO of Fivetran. “With our recent Series D funding and acquisition of HVR, we look forward to expanding our business and product offerings to a wider array of customers and continuing our mission to m…

2 месяца, 1 неделя назад @ fivetran.com
10 Database Schema Best Practices
10 Database Schema Best Practices

Follow these tips to ensure that your database schema delivers maximum utility for data warehouse users, data analysts, and data scientists.

2 месяца, 1 неделя назад @ fivetran.com
11 Database Schema Mistakes to Avoid
11 Database Schema Mistakes to Avoid

A good database schema is indispensable for making data warehouses work. Get it wrong, and you’ll be in a world of hurt.

2 месяца, 1 неделя назад @ fivetran.com
Supporting Employee Philanthropy at Fivetran
Supporting Employee Philanthropy at Fivetran

When Fivetranners are moved to give back — to their own communities or the global community — Fivetran helps increase their impact.

2 месяца, 1 неделя назад @ fivetran.com
Condé Nast maps customer journey across global brands with Fivetran
Condé Nast maps customer journey across global brands with Fivetran

The publisher of Vogue, Vanity Fair, GQ and The New Yorker connects and monetizes trillions of data points

2 месяца, 2 недели назад @ fivetran.com
How to Change Minds When Data Alone Isn't Enough
How to Change Minds When Data Alone Isn't Enough

A leading researcher explains how emotion, intuition and storytelling can be more powerful than data.

2 месяца, 2 недели назад @ fivetran.com
Coupa accelerates its S3 Data Lake with Fivetran
Coupa accelerates its S3 Data Lake with Fivetran

The Business Spend Management company uses Fivetran’s data integration solution to better understand customer behavior on its SaaS platform

2 месяца, 3 недели назад @ fivetran.com
The Future of Fivetran and HVR
The Future of Fivetran and HVR

Our priority is improving the experience of every customer — without compromising the features you rely on.

2 месяца, 3 недели назад @ fivetran.com
Data Egress Cost Analysis
Data Egress Cost Analysis

Understand the impact of data transfer and egress costs across Microsoft Azure, Amazon Web Services and Google Cloud Platform.

2 месяца, 3 недели назад @ fivetran.com
Ensuring That Fivetran Parents Have a Voice
Ensuring That Fivetran Parents Have a Voice

A new employee resource group helps parents and guardians feel comfortable asking for what they need.

2 месяца, 3 недели назад @ fivetran.com
How Fivetran Uses the Looker API
How Fivetran Uses the Looker API

The Looker API allows you to programmatically manage your Looker environment. Learn how to do it here!

2 месяца, 3 недели назад @ fivetran.com
DataBricks DataBricks
последний пост 1 день, 2 часа назад
Creating a Faster TAR Extractor
Creating a Faster TAR Extractor Creating a Faster TAR Extractor

Tarballs are used industry-wide for packaging and distributing files, and this is no different at Databricks. Every day we launch millions of VMs…

The post Creating a Faster TAR Extractor appeared first on Databricks.

1 день, 2 часа назад @ databricks.com
Taming JavaScript Exceptions With Databricks
Taming JavaScript Exceptions With Databricks Taming JavaScript Exceptions With Databricks

This post is a part of our blog series on our frontend work. You can see the previous one on “Simplifying Data +…

The post Taming JavaScript Exceptions With Databricks appeared first on Databricks.

2 дня, 6 часов назад @ databricks.com
Delta Sharing Release 0.3.0
Delta Sharing Release 0.3.0 Delta Sharing Release 0.3.0

We are excited for the release of Delta Sharing 0.3.0, which introduces several key improvements and bug fixes, including the following features: Delta…

The post Delta Sharing Release 0.3.0 appeared first on Databricks.

6 дней, 5 часов назад @ databricks.com
Hunting Anomalous Connections and Infrastructure With TLS Certificates
Hunting Anomalous Connections and Infrastructure With TLS Certificates Hunting Anomalous Connections and Infrastructure With TLS Certificates

According to Sophos, 46% of all malware now uses Transport Layer Security (TLS) to conceal its communication channels. A number that has doubled…

The post Hunting Anomalous Connections and Infrastructure With TLS Certificates appeared first on Databricks.

1 неделя назад @ databricks.com
Improving Drug Safety With Adverse Event Detection Using NLP
Improving Drug Safety With Adverse Event Detection Using NLP Improving Drug Safety With Adverse Event Detection Using NLP

The World Health Organization defines pharmacovigilance as “the science and activities relating to the detection, assessment, understanding and prevention of adverse effects or…

The post Improving Drug Safety With Adverse Event Detection Using NLP appeared first on Databricks.

1 неделя, 3 дня назад @ databricks.com
Implementing MLOps on Databricks using Databricks notebooks and Azure DevOps, Part 2
Implementing MLOps on Databricks using Databricks notebooks and Azure DevOps, Part 2 Implementing MLOps on Databricks using Databricks notebooks and Azure DevOps, Part 2

This is the second part of a two-part series of blog posts that show an end-to-end MLOps framework on Databricks, which is based on Notebooks. In the first post, we presented a complete CI/CD framework on Databricks with notebooks. The approach is based on the Azure DevOps ecosystem for the Continuous Integration (CI) part and...

The post Implementing MLOps on Databricks using Databricks notebooks and Azure DevOps, Part 2 appeared first on Databricks.

3 недели, 1 день назад @ databricks.com
Enabling Computer Vision Applications With the Data Lakehouse
Enabling Computer Vision Applications With the Data Lakehouse Enabling Computer Vision Applications With the Data Lakehouse

The potential for computer vision applications to transform retail and manufacturing operations, as explored in the blog Tackle Unseen Quality, Operations and Safety Challenges with Lakehouse enabled Computer Vision, can not be overstated. That said, numerous technical challenges prevent organizations from realizing this potential. In this first introductory installment of our multi-part technical series on...

The post Enabling Computer Vision Applications With the Data Lakehouse appeared first on Databricks.

1 месяц, 1 неделя назад @ databricks.com
Building a Geospatial Lakehouse, Part 1
Building a Geospatial Lakehouse, Part 1 Building a Geospatial Lakehouse, Part 1

An open secret of geospatial data is that it contains priceless information on behavior, mobility, business activities, natural resources, points of interest and more. Geospatial data can turn into critically valuable insights and create significant competitive advantages for any organization. Look no further than Google, Amazon, Facebook to see the necessity for adding a dimension...

The post Building a Geospatial Lakehouse, Part 1 appeared first on Databricks.

1 месяц, 1 неделя назад @ databricks.com
Are GPUs Really Expensive? Benchmarking GPUs for Inference on the Databricks Clusters
Are GPUs Really Expensive? Benchmarking GPUs for Inference on the Databricks Clusters Are GPUs Really Expensive? Benchmarking GPUs for Inference on the Databricks Clusters

It is no secret that GPUs are critical for artificial intelligence and deep learning applications since their highly-efficient architectures make them ideal for compute-intensive use cases. However, almost everyone who has used them is also aware of the fact they tend to be expensive! In this article, we hope to show that while the per-hour...

The post Are GPUs Really Expensive? Benchmarking GPUs for Inference on the Databricks Clusters appeared first on Databricks.

1 месяц, 1 неделя назад @ databricks.com
Log4j2 Vulnerability (CVE-2021-44228) Research and Assessment
Log4j2 Vulnerability (CVE-2021-44228) Research and Assessment Log4j2 Vulnerability (CVE-2021-44228) Research and Assessment

This blog relates to an ongoing investigation. We will update it with any significant updates, including detection rules to help people investigate potential exposure due to CVE-2021-44228 both within their own usage on Databricks and elsewhere. Should our investigation conclude that customers may have been impacted, we will individually notify those customers proactively by email....

The post Log4j2 Vulnerability (CVE-2021-44228) Research and Assessment appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
Scala at Scale at Databricks
Scala at Scale at Databricks Scala at Scale at Databricks

With hundreds of developers and millions of lines of code, Databricks is one of the largest Scala shops around. This post will be a broad tour of Scala at Databricks, from its inception to usage, style, tooling and challenges. We will cover topics ranging from cloud infrastructure and bespoke language tooling to the human processes...

The post Scala at Scale at Databricks appeared first on Databricks.

1 месяц, 3 недели назад @ databricks.com
The Foundation of Your Lakehouse Starts With Delta Lake
The Foundation of Your Lakehouse Starts With Delta Lake The Foundation of Your Lakehouse Starts With Delta Lake

It’s been an exciting last few years with the Delta Lake project. The release of Delta Lake 1.0 as announced by Michael Armbrust in the Data+AI Summit in May 2021 represents a great milestone for the open source community and we’re just getting started! To better streamline community involvement and ask, we recently published...

The post The Foundation of Your Lakehouse Starts With Delta Lake appeared first on Databricks.

1 месяц, 3 недели назад @ databricks.com
Ray on Databricks
Ray on Databricks Ray on Databricks

Ray is an open-source project first developed at RISELab that makes it simple to scale any compute-intensive Python workload. With a rich set of libraries and integrations built on a flexible distributed execution framework, Ray brings new use cases and simplifies the development of custom distributed Python functions that would normally be complicated to create....

The post Ray on Databricks appeared first on Databricks.

2 месяца, 1 неделя назад @ databricks.com
Databricks’ Open Source Genomics Toolkit Outperforms Leading Tools
Databricks’ Open Source Genomics Toolkit Outperforms Leading Tools Databricks’ Open Source Genomics Toolkit Outperforms Leading Tools

Genomic technologies are driving the creation of new therapeutics, from RNA vaccines to gene editing and diagnostics. Progress in these areas motivated us to build Glow, an open-source toolkit for genomics machine learning and data analytics. The toolkit is natively built on Apache Spark™, the leading engine for big data processing, enabling population-scale genomics. The...

The post Databricks’ Open Source Genomics Toolkit Outperforms Leading Tools appeared first on Databricks.

2 месяца, 1 неделя назад @ databricks.com
10 Powerful Features to Simplify Semi-structured Data Management in the Databricks Lakehouse
10 Powerful Features to Simplify Semi-structured Data Management in the Databricks Lakehouse 10 Powerful Features to Simplify Semi-structured Data Management in the Databricks Lakehouse

acc + value) as sum FROM ( SELECT order_number, clicked_items:[*][1] as all_click_counts, from_json(clicked_items:[*][1], 'ARRAY')::ARRAY as all_click_count_array FROM autoloaderBronzeTable ) Unfortunately, not all data comes to us in a usable structure. For example, the column clicked_items is a confusing array of arrays in which the count comes in as a string. Below is a snippet of...

The post 10 Powerful Features to Simplify Semi-structured Data Management in the Databricks Lakehouse appeared first on Databricks.

2 месяца, 2 недели назад @ databricks.com
Mix
/r/DataEngineering
последний пост 26 минут назад
CI/CD for Reverse ETL pipelines
CI/CD for Reverse ETL pipelines CI/CD for Reverse ETL pipelines

submitted by /u/andyjih [link] [comments]

26 минут назад @ reddit.com
I'm publishing a free tutorial series about working with data in Python and Pandas. I just published video 4 in the series, which is all about cleaning up dirty data, which is an essential tool to have when you're automating data workflows. Hope you get so
I'm publishing a free tutorial series about working with data in Python and Pandas. I just published video 4 in the series, which is all about cleaning up dirty data, which is an essential tool to have when you're automating data workflows. Hope you get so I'm publishing a free tutorial series about working with data in Python and Pandas. I just published video 4 in the series, which is all about cleaning up dirty data, which is an essential tool to have when you're automating data workflows. Hope you get so

submitted by /u/memorycardfull [link] [comments]

1 час назад @ reddit.com
Airflow on Kubernetes (with Spark)
Airflow on Kubernetes (with Spark)

Hello everyone, as a Data Engineering consultant I don't always have the luxury that a Data Engineering environment is setup already, so I have to do that first. I find it sometimes quite a process to make a choice where and how to deploy each tool in the best way. Some cloud providers are making this choice a bit easier by providing those tools out of the box, but this is paired with somewhat lower customization and higher usage costs. So it is still a tradeoff. A trend that I am seeing is that a lot of tools can nowadays be deployed on Kubernetes, which is a container orchestrator and supports automatically scaling resources up and down based on application load. I see the benefit of usin…

5 часов назад @ reddit.com
Aggregated Facts as attribute of Dimension
Aggregated Facts as attribute of Dimension

Modeling question from a n00b: My org has customers and often the business questions are around already-aggregated facts about each customer. For example: "How many customers have 1-100 transactions, 101-1000 transactions, etc". I think to get these answers I create factless fact tables, but for the purpose of data exploration (for non-technical end users) I'd like to roll up a count of those transactions by customer and store it as an attribute of the customer. I'm sure there is a different way to think about this so any direction is appreciated! submitted by /u/Successful-Pick9288 [link] [comments]

5 часов назад @ reddit.com
Inserting Local SQL Tables into Redshift Linked Server
Inserting Local SQL Tables into Redshift Linked Server

I'm having trouble inserting local tables from SQL Server into my Redshift linked server, via ODBC connection. I'm able to query tables, join with local tables, and insert values manually. The only error I get is inserting from a local table. I've double-checked and both the Redshift and local table have the exact same schema. I've used both insert queries below, and each has the same output: --Testing Inserting Local SQL Tables INSERT INTO [REDSHIFT].[dev].[public].test (ID, Name) SELECT ID, Name FROM [LOCAL_DB].[dbo].[TEST_TABLE] OR INSERT INTO OPENQUERY (REDSHIFT,'select Id, Name from dev.public.test') SELECT Id, Name FROM [LOCAL_DB].[dbo].[TEST_TABLE] --Output OLE DB provider "MSDASQL" …

7 часов назад @ reddit.com
Beginner Question: Which solution to go for?
Beginner Question: Which solution to go for?

I'm analyzing data extracted from an API in the form of JSON files in Jupyter Notebook. What I'd like to do is dump all the JSON files the API can access into a data lake or warehouse and then write simpler SQL to access what I need when I need it. Any recommendations on free/cheap data warehousing / data lake solutions that could do the job? All I can think of is BigQuery, Databricks and maybe AWS? ​ Thnks and apologies for the newbie question. submitted by /u/Tizniti [link] [comments]

7 часов назад @ reddit.com
Some questions related to CI/CD
Some questions related to CI/CD

My team has a pretty large pipeline setup. Running the entire pipeline with production data (prerod environment) takes like 8 hours. We have some lower-tier environments with smaller datasets where things take like 20 minutes, but at the end of the day, the issue with these datasets is that they might be ok for building the happy path but bugs are not always apparent until we hip preprod and run an 8 hour execution. Having 8 hours of downtime minimum per user story is forcing my team to take on larger end-to-end stories. The reason for this is that breaking a story into 3 or 5 pieces would mean running the whole pipeline a lot more. On the other hand, user stories feel too large at the mome…

7 часов назад @ reddit.com
My co-worker explored low-code tools for building internal metrics dashboards, here’s what he wrote...
My co-worker explored low-code tools for building internal metrics dashboards, here’s what he wrote... My co-worker explored low-code tools for building internal metrics dashboards, here’s what he wrote...

submitted by /u/adnanrahic [link] [comments]

7 часов назад @ reddit.com
Learn from Google's Data Engineers: Don't Optimize Your SQL
Learn from Google's Data Engineers: Don't Optimize Your SQL

I believe that companies are waking up to the fact that the time of Data Engineers is better spent on creating assets and building pipelines, not maintaining a dimensional model or optimizing a SQL query. There are many cloud products (GCP, AWS, Azure) that have optimization algorithms that can outperform any human. I think that dimensional models like star schemas, are going the way of the cube. Soon to be relegated to outdated technology. Cloud compute has gotten so cheap, and cloud storage has gotten so cheap, that the cost/benefit analysis is now incredibly obvious: spend more on good engineers, spend more on cloud compute, and get more value per dollar. I explain more about how Google …

7 часов назад @ reddit.com
Senior Data Engineer vs Data Architect Role
Senior Data Engineer vs Data Architect Role

I'm a data engineer with 5 years of experience in public sector primarily working with Microsoft stack (including azure). Been looking for jobs and got these two offers 1) Senior Data Engineer In a greenfield startup, that has been hiring a lot and had a number of acquisitions over the past few years. Job sounds very technical and in a small team which i feel would be a great challenge. 2) Enterprise Data Architect In a large established organization, building data model through low code from CRM solutions but involves a lot of comms with loads of stakeholders, and setting up the general data strategy for organization. I felt it would be a great opportunity to learn the other side of things…

7 часов назад @ reddit.com
Where can I find free data engineering ( big data) projects online?
Where can I find free data engineering ( big data) projects online?

Title says it all ..... Searched the internet alot, couldn't find anything other than few half baked stuffs.... Any leads would be extremely helpful! submitted by /u/johnyjohnyespappa [link] [comments]

9 часов назад @ reddit.com
Azure Data Engineer Beginner Level Project Ideas (HELP)
Azure Data Engineer Beginner Level Project Ideas (HELP)

Recently I have completed 2 courses on Udemy. i.e. Azure Databricks & Spark Core For Data Engineers(Python/SQL) and Azure Data Factory For Data Engineers - Project on Covid19 I am looking for a Beginner level Project on Azure Data Engineering! Tech stack I have covered and am comfortable with: Azure Data Factory, Azure Databricks, Azure CLoud Things I have NOT learned in this course: AWS, AirFlow, Docker and Kubernetes. Can anyone please suggest/share the resources if you are already working on the Azure stack? Big Thanks in Advance :) submitted by /u/Dileep_2077 [link] [comments]

9 часов назад @ reddit.com
BQ: replicating MySQL vs ingesting denormalized JSON files from lake
BQ: replicating MySQL vs ingesting denormalized JSON files from lake

Dear all, I would greatly appreciate any feedback on this, if you have the patience to read through the lenghtly post. Context: I'm a DA with occasional DE duties, working for a startup. I have little DE knowledge/experience (but I enjoy the exposure). In particular I have no experience with BQ or any other DW. Right now I want us to move away from doing BI on our transactional database (MySQL) and instead copy our transactional data into BQ. As I understand it (again, little knowledge of the field), the most straightforward solution is to use tools like airflow or managed services like fivetran, in order to mirror (a subset of) our transactional database into BQ. But I have a dilema, as th…

9 часов назад @ reddit.com
Snowflake offers free data science courses in case anyone is interested
Snowflake offers free data science courses in case anyone is interested

Just saw it on their website as I was looking for the job postings: https://www.snowflake.com/data-cloud-academy-data-scientists/?utm_cta=homepage-featured-data-scientist-school submitted by /u/pendulumpendulum [link] [comments]

10 часов назад @ reddit.com
Briefly describe the steps in creating end to end data pipelines
Briefly describe the steps in creating end to end data pipelines

Hi group, How will you answer an interview question that ask you to describe the necessary steps to create end to end data pipelines and what are the stacks you used in creating your pipelines? submitted by /u/FlyingOnEaglesWings [link] [comments]

11 часов назад @ reddit.com
Towards Data Science Towards Data Science
последний пост 2 часа назад
Camera Calibration with Example in Python
Camera Calibration with Example in Python Camera Calibration with Example in Python

Part 5 of the comprehensive tutorial series on image formation and camera calibration in PythonIntroductionThe fundamental idea of camera calibration is that given a known set of points in the world and their corresponding projections in the image, we’ve to find the camera matrix responsible for the projection transformation. Then we can project any point in the world onto the image using this matrix. We’ll see how to perform camera calibration in this article.Before that let’s review camera extrinsics and intrinsics.ReviewCamera Extrinsic MatrixIn part 2 of the series, we saw that a camera extrinsic matrix is a change of basis matrix that converts the coordinates of a point from world coor…

2 часа назад @ towardsdatascience.com
Understanding OPTICS and Implementation with Python
Understanding OPTICS and Implementation with Python Understanding OPTICS and Implementation with Python

In this post, I briefly talk about how to understand an unsupervised learning method, OPTICS, and its implementation in Python.Continue reading on Towards Data Science »

2 часа назад @ towardsdatascience.com
Using Deep Learning to Predict Hip-Hop Popularity on Spotify
Using Deep Learning to Predict Hip-Hop Popularity on Spotify Using Deep Learning to Predict Hip-Hop Popularity on Spotify

Can I build a neural network that has good taste in music?KC Makes Music, my cousin and client. Image courtesy of KC Makes Music.High-level Summary(the broad strokes)In this project, I wanted to build a tool that could help my cousin, a hip-hop artist named “KC Makes Music”. This tool would assess whether songs he hasn’t released yet had the potential to be popular on Spotify, the gold-standard music streaming service. I gathered and used only audio preview samples and associated popularity scores of recently released hip-hop tracks from Spotify’s database. These were processed into spectrograms and a binary target (popular/not popular). These were fed into a neural network, which was itera…

2 часа назад @ towardsdatascience.com
Creating Sentinel 2 (Truly) Cloudless Mosaics with Microsoft Planetary Computer
Creating Sentinel 2 (Truly) Cloudless Mosaics with Microsoft Planetary Computer Creating Sentinel 2 (Truly) Cloudless Mosaics with Microsoft Planetary Computer

Mask clouds (and cloud shadows) effectively on Microsoft Planetary Computer using S2 Cloudless layers from GEE with geeS2Downloader packageContinue reading on Towards Data Science »

3 часа назад @ towardsdatascience.com
Reading .h5 files faster with PyTorch Datasets
Reading .h5 files faster with PyTorch Datasets Reading .h5 files faster with PyTorch Datasets

Using the method of weak shufflingContinue reading on Towards Data Science »

3 часа назад @ towardsdatascience.com
Using Bike-Share Data to Find the Most Popular Bike Routes in Your City
Using Bike-Share Data to Find the Most Popular Bike Routes in Your City Using Bike-Share Data to Find the Most Popular Bike Routes in Your City

Combining numerical and spatial analysis with PythonContinue reading on Towards Data Science »

3 часа назад @ towardsdatascience.com
Find the Minimum Stretching Direction of Positive Definite Matrices
Find the Minimum Stretching Direction of Positive Definite Matrices Find the Minimum Stretching Direction of Positive Definite Matrices

Part 4 of the comprehensive tutorial series on image formation and camera calibration in PythonBefore moving ahead into camera calibration, let’s discuss some of the properties of positive definite matrices and matrices in general. We’re going to use these properties when calibrating the camera.Eigenvalues and EigenvectorsLet 𝐴 be a matrix of shape 𝑚 x 𝑛, and 𝑥⃗ be a vector of size 𝑛. Then 𝑥⃗ is the eigenvector of 𝐴 if 𝐴𝑥⃗ = 𝜆𝑥⃗, where 𝜆 is a scalar called the eigenvalue of 𝑥⃗. The properties of eigenvalues and eigenvectors depend on the matrix 𝐴.Suppose the matrix 𝐴 has 𝑛 independent eigenvectors, then 𝐴 can be factorized as:where 𝑆 is the eigenvector matrix which has eigenvectors as its column…

3 часа назад @ towardsdatascience.com
Profanity Filtering Over Audio Files with Python
Profanity Filtering Over Audio Files with Python Profanity Filtering Over Audio Files with Python

Filtering out profanity from audio and video files with Python and AssemblyAIContinue reading on Towards Data Science »

3 часа назад @ towardsdatascience.com
A Simple Introduction to Gaussian Mixture Model (GMM)
A Simple Introduction to Gaussian Mixture Model (GMM) A Simple Introduction to Gaussian Mixture Model (GMM)

A post to present you — using simple words — another option to cluster data in Python.Continue reading on Towards Data Science »

4 часа назад @ towardsdatascience.com
Prior Knowledge in AI — Is it Really “Cheating”?
Prior Knowledge in AI — Is it Really “Cheating”? Prior Knowledge in AI — Is it Really “Cheating”?

Prior Knowledge in AI — Is it Really “Cheating”?Why is prior knowledge so important for AI systems?Let’s start things off with an optical illusion: the famous Rubiks Cube, invented in 1984 and speed-solved by only the fastest elite solvers, and cherished by many in the public today. I want to focus on a specific illusion of the Rubiks Cube that’s quite popular involving color and illumination.Website Accessed: http://www.internetbestsecrets.com/2009/06/ames-window-and-color-perception.htmlI want to ask you a simple question: is the center square in the front face and the center square on the top face the same shade? Clearly, not! One of the center squares is orange while the other is brown.…

4 часа назад @ towardsdatascience.com
Tableau Behind The Scenes
Tableau Behind The Scenes Tableau Behind The Scenes

Revealing what’s going on while you play with your DataContinue reading on Towards Data Science »

4 часа назад @ towardsdatascience.com
Wikipedia and irregular data: How much can you fetch in one expression?
Wikipedia and irregular data: How much can you fetch in one expression? Wikipedia and irregular data: How much can you fetch in one expression?

Using the idea of a phrase-level expressiveness to design a succinct and unobtrusive query languageDemo of wikipedia_ql tool (Image by author)After months of digging into generative art in JS and handling the recent Ruby version, I am now returning to my Python open data project — WikipediaQL.It is still in the early/experimental stages, and the last few months of writing gave me the idea that for my mindset, it would be much easier to write about the project and ideas behind it simultaneously with developing.Previous months of work on WikipediaQL were quite chaotic: I’ve tried to build some feature I imagined should be useful, spent several weeks on it, then it was ready, then I started to…

4 часа назад @ towardsdatascience.com
Parsing the UrbanSound8K Dataset with TensorFlow
Parsing the UrbanSound8K Dataset with TensorFlow Parsing the UrbanSound8K Dataset with TensorFlow

From raw audio to TFRecord to padding batchesThere are multiple ways of feeding data to a Neural Network. Most often, Numpy arrays and CSV/Pandas files are used. Additionally, TensorFlow offers a custom storage format, TFRecord. It’s handy but not very beginner-friendly.Photo by Richard Horvath on UnsplashThough many datasets are readily available, such as MNIST or CIFAR, you sometimes have to implement custom ones yourself. Thankfully, getting other datasets into the TFRecord format is not that hard once you’ve done it a few times. Here, we’ll go over parsing the UrbanSound8K dataset, store it in the TFRecord format, and, finally, iterate over its samples.Dataset descriptionThe UrbanSound8…

4 часа назад @ towardsdatascience.com
Using Pipelines in Sci-kit Learn
Using Pipelines in Sci-kit Learn Using Pipelines in Sci-kit Learn

Stop doing things one step and time and use Pipelines!Continue reading on Towards Data Science »

5 часов назад @ towardsdatascience.com
Explore Pandas DataFrame with DataTile
Explore Pandas DataFrame with DataTile Explore Pandas DataFrame with DataTile

Get quick insights into your data with just a few lines of codeContinue reading on Towards Data Science »

7 часов назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 1 день, 22 часа назад
How to Treat Your Data Like a Product
How to Treat Your Data Like a Product

Your company wants to "treat data like a product." Great! What does that mean?

1 день, 22 часа назад @ montecarlodata.com
The Non-Engineer’s Guide to Bad Data
The Non-Engineer’s Guide to Bad Data

According to a recent study by HFS, 75 percent of executives don’t trust their data. Here’s why and what data-reliant teams can do about it.

1 неделя назад @ montecarlodata.com
Monte Carlo Announces dbt Integration to Help Companies Ship Reliable Data Faster
Monte Carlo Announces dbt Integration to Help Companies Ship Reliable Data Faster

When it comes to achieving reliable data, Monte Carlo, the leading data observability platform and dbt, the data build tool, are better together. Here's why.

3 недели назад @ montecarlodata.com
Data Observability: How Clearcover Increased Quality Coverage for ELT by 70 Percent
Data Observability: How Clearcover Increased Quality Coverage for ELT by 70 Percent

Learn how the data engineering team at Clearcover increased data quality coverage across their stack by 70 percent with Monte Carlo.

3 недели, 1 день назад @ montecarlodata.com
How to Achieve More Trustworthy Data Pipelines with the Prefect Integration for Monte Carlo
How to Achieve More Trustworthy Data Pipelines with the Prefect Integration for Monte Carlo

With Monte Carlo and Prefect’s strategic partnership and integration, data engineering teams can seamlessly manage the reliability of their data engineering workflows.

1 месяц, 3 недели назад @ montecarlodata.com
The Future of the Modern Data Stack
The Future of the Modern Data Stack

Bob Muglia, the former CEO of Snowflake, discusses what’s next for the tooling and technologies powering data analytics and engineering.

1 месяц, 3 недели назад @ montecarlodata.com
How to Build Your Data Reliability Stack
How to Build Your Data Reliability Stack

Data reliability is becoming a critical focus for modern data teams. Drawing inspiration from software engineering, here's how to get started.

1 месяц, 3 недели назад @ montecarlodata.com
7 Questions to Ask When Building Your Data Team at a Hypergrowth Company
7 Questions to Ask When Building Your Data Team at a Hypergrowth Company

When it comes to ensuring your data team is happy and productive, answering these seven questions will make all the difference.

2 месяца, 1 неделя назад @ montecarlodata.com
Announcing Monte Carlo’s End-to-End Field-Level Lineage to Help Teams Achieve Data Trust
Announcing Monte Carlo’s End-to-End Field-Level Lineage to Help Teams Achieve Data Trust

Monte Carlo’s field-level lineage functionality is now offered as part of our automated, end-to-end data observability platform.

2 месяца, 2 недели назад @ montecarlodata.com
How The Farmer’s Dog Builds Data Trust with End-to-End Data Observability
How The Farmer’s Dog Builds Data Trust with End-to-End Data Observability

How the data team at The Farmer's Dog, a fresh dog food company, achieves reliable data pipelines with automated, end-to-end data observability.

2 месяца, 2 недели назад @ montecarlodata.com
Monte Carlo Launches Insights to Help Data Teams Understand What Data Matters Most to Your Business
Monte Carlo Launches Insights to Help Data Teams Understand What Data Matters Most to Your Business

Monte Carlo Insights is the first solution on the market to offer customers operational analytics about their data environment.

2 месяца, 3 недели назад @ montecarlodata.com
Unicorns, data mesh, category creation, and more reasons to attend IMPACT: The Data Observability Summit
Unicorns, data mesh, category creation, and more reasons to attend IMPACT: The Data Observability Summit

Five reasons why you should attend IMPACT, the world's first Data Observability summit on Wednesday, November 3, 2021.

3 месяца назад @ montecarlodata.com
How to Choose the Right Structure for Your Data Team
How to Choose the Right Structure for Your Data Team

Best practices for building a data team at a hypergrowth startup, from hiring your first data engineer to IPO.

3 месяца назад @ montecarlodata.com
Data Mesh – Fad or Fab?
Data Mesh – Fad or Fab?

Mammad Zadeh, former VP of Engineering at Intuit, shares his take on one of data's hottest topics: data mesh.

3 месяца назад @ montecarlodata.com
Data Observability 101: Everything You Need to Know to Get Started
Data Observability 101: Everything You Need to Know to Get Started

What is data observability and does it make sense for your stack? Here’s your go-to guide to starting on the path towards data trust.

3 месяца, 1 неделя назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 15 часов назад
Нашел крутой обзорный видос Big Data движа в Китае: https://youtu.be/5vjFzZimEnsИз видео узнал об инструментах с весьма забавными названиями:- Apache SeaTunnel: https://seatunnel.apache.org/- Apache DolphinScheduler: https://dolphinscheduler.apache.org/
Нашел крутой обзорный видос Big Data движа в Китае: https://youtu.be/5vjFzZimEnsИз видео узнал об инструментах с весьма забавными названиями:- Apache SeaTunnel: https://seatunnel.apache.org/- Apache DolphinScheduler: https://dolphinscheduler.apache.org/

Нашел крутой обзорный видос Big Data движа в Китае: https://youtu.be/5vjFzZimEnsИз видео узнал об инструментах с весьма забавными названиями:- Apache SeaTunnel: https://seatunnel.apache.org/- Apache DolphinScheduler: https://dolphinscheduler.apache.org/

15 часов назад @ t.me
Нашел стандарт для описания метаданных Open Metadata: https://open-metadata.org/
Нашел стандарт для описания метаданных Open Metadata: https://open-metadata.org/

Нашел стандарт для описания метаданных Open Metadata: https://open-metadata.org/

1 неделя назад @ t.me
Интересный движ намечается в январе 2022 года — Data Engineer Zoomcamp Это 9 недельный курс в формате zoom-лекций и практических занятий по дата инжинирингу. Примечательно что он абсолютно бесплатный для всех, нужна лишь предварительная регистрация по ссы
Интересный движ намечается в январе 2022 года — Data Engineer Zoomcamp Это 9 недельный курс в формате zoom-лекций и практических занятий по дата инжинирингу. Примечательно что он абсолютно бесплатный для всех, нужна лишь предварительная регистрация по ссы

Интересный движ намечается в январе 2022 года — Data Engineer Zoomcamp Это 9 недельный курс в формате zoom-лекций и практических занятий по дата инжинирингу. Примечательно что он абсолютно бесплатный для всех, нужна лишь предварительная регистрация по ссылке.…

1 неделя, 2 дня назад @ t.me
https://groupby1.substack.com/p/data-engineering
https://groupby1.substack.com/p/data-engineering

https://groupby1.substack.com/p/data-engineering

2 недели, 2 дня назад @ t.me
https://ottertune.com/blog/2021-databases-retrospective/
https://ottertune.com/blog/2021-databases-retrospective/

https://ottertune.com/blog/2021-databases-retrospective/

4 недели назад @ t.me
Запись докладов ранее анонсированной конференции: https://youtu.be/WHN8bLSqebQ
Запись докладов ранее анонсированной конференции: https://youtu.be/WHN8bLSqebQ

Запись докладов ранее анонсированной конференции: https://youtu.be/WHN8bLSqebQ

1 месяц назад @ t.me
https://hakibenita.com/postgresql-unknown-features
https://hakibenita.com/postgresql-unknown-features

https://hakibenita.com/postgresql-unknown-features

1 месяц назад @ t.me
#вакансияАналитик DWH (от Junior до Senior)МоскваAccentureВ IT-компании Accenture, входящей в список 500 крупнейших компаний и 100 лучших работодателей мира, открыта позиция аналитика DWH.Обязанности:— выявлять требования к данным, сценарии их использовани
#вакансияАналитик DWH (от Junior до Senior)МоскваAccentureВ IT-компании Accenture, входящей в список 500 крупнейших компаний и 100 лучших работодателей мира, открыта позиция аналитика DWH.Обязанности:— выявлять требования к данным, сценарии их использовани

#вакансияАналитик DWH (от Junior до Senior)МоскваAccentureВ IT-компании Accenture, входящей в список 500 крупнейших компаний и 100 лучших работодателей мира, открыта позиция аналитика DWH.Обязанности:— выявлять требования к данным, сценарии их использования и анализа в корпоративном хранилище данных и отчетности в тесном взаимодействии с бизнес-подразделениями;— проектировать логическую модель данных корпоративного ХД (детальный слой и витрины данных) и ETL-процессы интеграции данных с различными системами-источниками;— анализировать причины расхождений данных в различных витринах корпоративного хранилища данных, участвовать в определении эталонных данных;— проводить тестирование и приемку …

1 месяц, 1 неделя назад @ t.me
Интересная статья про то как в Великобритании строили COVID-дэшборд на PostgreSQL, Citus и Microsoft Azure. В статье речь идёт про этот дэшборд.Я был очень удивлён, что такой профессиональный подход к проектированию и построению отказоустойчивых систем ест
Интересная статья про то как в Великобритании строили COVID-дэшборд на PostgreSQL, Citus и Microsoft Azure. В статье речь идёт про этот дэшборд.Я был очень удивлён, что такой профессиональный подход к проектированию и построению отказоустойчивых систем ест

Интересная статья про то как в Великобритании строили COVID-дэшборд на PostgreSQL, Citus и Microsoft Azure. В статье речь идёт про этот дэшборд.Я был очень удивлён, что такой профессиональный подход к проектированию и построению отказоустойчивых систем есть у государственных органов. Более того, к сервису можно подключаться по API, есть даже официальные клиенты под разные языки. Например, вот python-клиент.Статья полна технических деталей по реализации, и даже есть ER-диаграмма моделирования данных в БД. Несомненно крутой кейс и пример открытого государства. Нам о таком остаётся только мечтать 🙏

1 месяц, 1 неделя назад @ t.me
Интересный движ намечается в январе 2022 года — Data Engineer ZoomcampЭто 9 недельный курс в формате zoom-лекций и практических занятий по дата инжинирингу. Примечательно что он абсолютно бесплатный для всех, нужна лишь предварительная регистрация по ссылк
Интересный движ намечается в январе 2022 года — Data Engineer ZoomcampЭто 9 недельный курс в формате zoom-лекций и практических занятий по дата инжинирингу. Примечательно что он абсолютно бесплатный для всех, нужна лишь предварительная регистрация по ссылк

Интересный движ намечается в январе 2022 года — Data Engineer ZoomcampЭто 9 недельный курс в формате zoom-лекций и практических занятий по дата инжинирингу. Примечательно что он абсолютно бесплатный для всех, нужна лишь предварительная регистрация по ссылке.У этой инициативы уже есть полупустой репозиторий на гитхабе: https://github.com/DataTalksClub/data-engineering-zoomcamp, там же можно ознакомиться подробнее с предстоящими темами для изучения.Старт намечен на 17 января 2022 года

1 месяц, 1 неделя назад @ t.me
💥 DWHard митап21 декабря / вторник 17:00 - 20:00 (мск)Три часа - три темы: 👉🏻 Data MeshПоговорим про применение микросервисной архитектуры в DWH. Как применяли данный подход в Яндекс Go, стоит ли это того, и как сохранить единообразие и управлять таким раз
💥 DWHard митап21 декабря / вторник 17:00 - 20:00 (мск)Три часа - три темы: 👉🏻 Data MeshПоговорим про применение микросервисной архитектуры в DWH. Как применяли данный подход в Яндекс Go, стоит ли это того, и как сохранить единообразие и управлять таким раз 💥 DWHard митап21 декабря / вторник 17:00 - 20:00 (мск)Три часа - три темы: 👉🏻 Data MeshПоговорим про применение микросервисной архитектуры в DWH. Как применяли данный подход в Яндекс Go, стоит ли это того, и как сохранить единообразие и управлять таким раз

💥 DWHard митап21 декабря / вторник 17:00 - 20:00 (мск)Три часа - три темы: 👉🏻 Data MeshПоговорим про применение микросервисной архитектуры в DWH. Как применяли данный подход в Яндекс Go, стоит ли это того, и как сохранить единообразие и управлять таким разрозненным гетерогенным хранилищем?👉🏻 История озера данных, которое зацвелоПоговорим про адаптацию Vertica в Ozon как технологической основы для DataLake. Рассмотрим, какие шишки набивали, что получилось хорошо, а что - не очень. Обсудим нюансы поддержки пользователей и соблюдение границ применимости даталейка под их нужды.👉🏻 Недетальный неслой хранилищаПоговорим про выбор модели для создания хранилища данных (Data Vault, Anchor modeling ил…

1 месяц, 1 неделя назад @ t.me
В догонку про доклады. На канале конференции Hydra стали доступны доклады с прошедшей Hydra 2021На конференции выступали именитые спикеры, например, есть доклад от Andy Pavlo про ретроспективу NewSQL баз данных за прошедшее десятилетие. Меня также заинтере
В догонку про доклады. На канале конференции Hydra стали доступны доклады с прошедшей Hydra 2021На конференции выступали именитые спикеры, например, есть доклад от Andy Pavlo про ретроспективу NewSQL баз данных за прошедшее десятилетие. Меня также заинтере

В догонку про доклады. На канале конференции Hydra стали доступны доклады с прошедшей Hydra 2021На конференции выступали именитые спикеры, например, есть доклад от Andy Pavlo про ретроспективу NewSQL баз данных за прошедшее десятилетие. Меня также заинтересовал доклад про распределённые транзакции, я не понимаю как возможно добиться транзакционности в распределённой среде, поэтому буду "курить".Загляните в их плейлист, наверняка найдёте что-то интересное для себя.

1 месяц, 1 неделя назад @ t.me
Вебинар от Astronomer про data lineage в Apache Airflow: https://www.youtube.com/watch?v=2s013GQy1Sw
Вебинар от Astronomer про data lineage в Apache Airflow: https://www.youtube.com/watch?v=2s013GQy1Sw

Вебинар от Astronomer про data lineage в Apache Airflow: https://www.youtube.com/watch?v=2s013GQy1Sw

1 месяц, 1 неделя назад @ t.me
Приглашаем дата-инженеров на demo-занятие 13 декабря в 20:00 «Написание коннекторов для Spark». Открытый вебинар проведет Вадим Опольский. Вадим работает в Luxoft DXC Technology на Big Data проекте. Преподаватель разберет с вами подключение к внешним систе
Приглашаем дата-инженеров на demo-занятие 13 декабря в 20:00 «Написание коннекторов для Spark». Открытый вебинар проведет Вадим Опольский. Вадим работает в Luxoft DXC Technology на Big Data проекте. Преподаватель разберет с вами подключение к внешним систе Приглашаем дата-инженеров на demo-занятие 13 декабря в 20:00 «Написание коннекторов для Spark». Открытый вебинар проведет Вадим Опольский. Вадим работает в Luxoft DXC Technology на Big Data проекте. Преподаватель разберет с вами подключение к внешним систе

Приглашаем дата-инженеров на demo-занятие 13 декабря в 20:00 «Написание коннекторов для Spark». Открытый вебинар проведет Вадим Опольский. Вадим работает в Luxoft DXC Technology на Big Data проекте. Преподаватель разберет с вами подключение к внешним системам из коробки и создание кастомного коннектора для подключения к нестандартным БД.Demo-занятие входит в программу онлайн-курса «Spark Developer» от OTUS и позволяет оценить качество материалов курса. Пройдите вступительное тестирование, чтобы попасть на мероприятие https://otus.pw/5FCC/

1 месяц, 2 недели назад @ t.me
Wes McKinney в рамках Database talks от CMU рассказывает про Apache Arrow: https://youtu.be/YhF8YR0OEFkApache Arrow это новый вид колоночного in-memory формата данных. Более подробно про сам формат можно узнать из доклада или сайта https://arrow.apache.org
Wes McKinney в рамках Database talks от CMU рассказывает про Apache Arrow: https://youtu.be/YhF8YR0OEFkApache Arrow это новый вид колоночного in-memory формата данных. Более подробно про сам формат можно узнать из доклада или сайта https://arrow.apache.org

Wes McKinney в рамках Database talks от CMU рассказывает про Apache Arrow: https://youtu.be/YhF8YR0OEFkApache Arrow это новый вид колоночного in-memory формата данных. Более подробно про сам формат можно узнать из доклада или сайта https://arrow.apache.org/overview/

1 месяц, 2 недели назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 7 часов назад
Привет еще раз :) ... Вышла новая моя статья про моделирование данных, как продолжение тех двух видео про Data Vault и Anchor Modeling, там в статье есть ссылки на них. Думаю, людям в канале было бы интересно :) https://habr.com/ru/company/manychat/blog/64
Привет еще раз :) ... Вышла новая моя статья про моделирование данных, как продолжение тех двух видео про Data Vault и Anchor Modeling, там в статье есть ссылки на них. Думаю, людям в канале было бы интересно :) https://habr.com/ru/company/manychat/blog/64

Привет еще раз :) ... Вышла новая моя статья про моделирование данных, как продолжение тех двух видео про Data Vault и Anchor Modeling, там в статье есть ссылки на них. Думаю, людям в канале было бы интересно :) https://habr.com/ru/company/manychat/blog/647675/

7 часов назад @ t.me
Интересно следить за гигантами аналитического мира - Databricks vs Snowflake. Даже The Information написало статью их дружбы в молодые годы и текущего противостояния:“Things moved pretty quickly from ‘We can work together with Snowflake’ to ‘We need to rip
Интересно следить за гигантами аналитического мира - Databricks vs Snowflake. Даже The Information написало статью их дружбы в молодые годы и текущего противостояния:“Things moved pretty quickly from ‘We can work together with Snowflake’ to ‘We need to rip

Интересно следить за гигантами аналитического мира - Databricks vs Snowflake. Даже The Information написало статью их дружбы в молодые годы и текущего противостояния:“Things moved pretty quickly from ‘We can work together with Snowflake’ to ‘We need to rip and replace Snowflake,” said the former Databricks employee.Несмотря на их противостояни, они отлично драйвят analytics adoption в компаниях, из армия sales объясняют на пальцах ценность аналитики и помогает индустрии развиваться. Теперь вот все хотят дата инженера, чтобы внедрять Databricks или Snowflake=)В любом случае, все у них будет хорошо. Рынок большей, всем хватит!:“I think Snowflake will be very successful, and I think Databricks…

23 часа назад @ t.me
Для всех новичков в datalearn записал короткий но важный ролик:Практически каждый урок каждого модуля имеет домшнее задание или лабораторную работу. Я всегда прошу сохранять результат работы в Git, но никогда не показывал как это делать. Теперь вот показал
Для всех новичков в datalearn записал короткий но важный ролик:Практически каждый урок каждого модуля имеет домшнее задание или лабораторную работу. Я всегда прошу сохранять результат работы в Git, но никогда не показывал как это делать. Теперь вот показал

Для всех новичков в datalearn записал короткий но важный ролик:Практически каждый урок каждого модуля имеет домшнее задание или лабораторную работу. Я всегда прошу сохранять результат работы в Git, но никогда не показывал как это делать. Теперь вот показал.Из видео вы узнаете:- Как зарегистрироваться в Git- Создать репозитория для своих файлов- Как можно упростить задачу и использовать GitHub Desktop- Узнаете как вы можете использовать Git в командной строке (по желанию)- Узнаете как используют git в реальных условия, на пример создания собстевнного branch, модификации файлов и push их обратно в репозиторий в Visual Code (IDE)- Узнаете как создавать файлы в Markdown- Покажу вам отличный при…

1 день назад @ t.me
Я сейчас читаю лекции в университете по Cloud Computing для бизнес студентов. Студенты подключаются из Канады, Филипин, Кореи и Южной Америки. Cloud Computing это технический топик и лабы там тоже технические. Иногда мне жалко студентов, мне кажется они за
Я сейчас читаю лекции в университете по Cloud Computing для бизнес студентов. Студенты подключаются из Канады, Филипин, Кореи и Южной Америки. Cloud Computing это технический топик и лабы там тоже технические. Иногда мне жалко студентов, мне кажется они за

Я сейчас читаю лекции в университете по Cloud Computing для бизнес студентов. Студенты подключаются из Канады, Филипин, Кореи и Южной Америки. Cloud Computing это технический топик и лабы там тоже технические. Иногда мне жалко студентов, мне кажется они засыпают. Я их развлекаю картинками из комиксов про облачные вычисления и историями из Амазона и Майкрософт. Но вчера зашел вопрос про поиск работы в Канаде. Я далеко ходить не стал, показал картинку с лошадкой и рогом из рожка для мороженного с подписью fake it till you make it, показал им канадские зарплаты, рассказал как нужно создать себе резюме на примере мужичка, который работал security guard. Упомянул про 20 собеседований, которые на…

1 день, 4 часа назад @ t.me
Lake House архитектура становится все популярней. Вендоры активно развивают open source решения и добавляют их к себе в портфолио.1. Snowflake (неожиданно) решил добавить поддержку Apache Iceberg.2. AWS Elastic Map Reduce (Hadoop) добавил поддержку Apache
Lake House архитектура становится все популярней. Вендоры активно развивают open source решения и добавляют их к себе в портфолио.1. Snowflake (неожиданно) решил добавить поддержку Apache Iceberg.2. AWS Elastic Map Reduce (Hadoop) добавил поддержку Apache

Lake House архитектура становится все популярней. Вендоры активно развивают open source решения и добавляют их к себе в портфолио.1. Snowflake (неожиданно) решил добавить поддержку Apache Iceberg.2. AWS Elastic Map Reduce (Hadoop) добавил поддержку Apache Iceberg, до этого они активно использовали Hudi и Delta Lake (последнее мы даже использовали в Alexa).3. Apache Hudi написали пост по результатам 2021 года. И другой пост про Change Data Capture подход с использованием Debezium (для Postgres и Mysql).В общем и целом, lake house наше будущее, пока что. А дальше видно будет=)

1 день, 17 часов назад @ t.me
Недавно думал о современных требованиях к инженерам. Все вы знакомы с моим разделением специалистов на бизнес ориентированных (gentle) и инженерно-технических(hardcore). Что уж там лукавить, 2м быть лучше, даже если зарплата будет одинакова(а она одинакова
Недавно думал о современных требованиях к инженерам. Все вы знакомы с моим разделением специалистов на бизнес ориентированных (gentle) и инженерно-технических(hardcore). Что уж там лукавить, 2м быть лучше, даже если зарплата будет одинакова(а она одинакова

Недавно думал о современных требованиях к инженерам. Все вы знакомы с моим разделением специалистов на бизнес ориентированных (gentle) и инженерно-технических(hardcore). Что уж там лукавить, 2м быть лучше, даже если зарплата будет одинакова(а она одинакова на западе💯), возможностей больше у 2х, именно поэтому мы всегда открыты новому и продолжаем постигать азы питона, командной строки и Гита.😋Но теперь можно разделить специальность в другой плоскости:- создание инфраструктуры с 0- использование существующей инфраструктурыИ не важно какая роль, может быть задача по созданию и использованию платформы данных, может быть выбор BI инструмента.Ведь получается, могут взять нас на работу, а там уже…

2 дня, 22 часа назад @ t.me
Раньше все дети учили английский любыми возможными способами! Теперь все дети учат англиский и программирование, тоже, всеми возможными способами! В будущем, надо будет учить детей работать руками.
Раньше все дети учили английский любыми возможными способами! Теперь все дети учат англиский и программирование, тоже, всеми возможными способами! В будущем, надо будет учить детей работать руками. Раньше все дети учили английский любыми возможными способами! Теперь все дети учат англиский и программирование, тоже, всеми возможными способами! В будущем, надо будет учить детей работать руками.

Раньше все дети учили английский любыми возможными способами! Теперь все дети учат англиский и программирование, тоже, всеми возможными способами! В будущем, надо будет учить детей работать руками.

2 дня, 23 часа назад @ t.me
Статья про сравнение Airflow, Prefect и Dagstrer. Набор такого дата хипстера со знанием питона и неотъемлемая часть buzz word - modern data stack, про который я любил рассказывать на конференциях в 2018 году и раньше. Теперь мне уже стыдно даже в канале пи
Статья про сравнение Airflow, Prefect и Dagstrer. Набор такого дата хипстера со знанием питона и неотъемлемая часть buzz word - modern data stack, про который я любил рассказывать на конференциях в 2018 году и раньше. Теперь мне уже стыдно даже в канале пи

Статья про сравнение Airflow, Prefect и Dagstrer. Набор такого дата хипстера со знанием питона и неотъемлемая часть buzz word - modern data stack, про который я любил рассказывать на конференциях в 2018 году и раньше. Теперь мне уже стыдно даже в канале писать про modern data stack. Это уже как писать про современное средство передвижение - электро автомобиль🤗Кстати со всеми этими workflow-orchestration инструментам, есть одна большая проблема - production использование. Запустить докер на ноутбуке и установить туда airflow, а вот чтобы сделать production ready систему это уже большая и сложная задача. И самое главное у наших open source инструментов очень ограниченная документация по этому…

5 дней назад @ t.me
Полностью согласен с автором, что нужно знать SQL, CLI (командная строка), git. Именно поэтому datalearn именно с этого начинается и используются SQL, git, CLI почти во всех модулях.
Полностью согласен с автором, что нужно знать SQL, CLI (командная строка), git. Именно поэтому datalearn именно с этого начинается и используются SQL, git, CLI почти во всех модулях.

Полностью согласен с автором, что нужно знать SQL, CLI (командная строка), git. Именно поэтому datalearn именно с этого начинается и используются SQL, git, CLI почти во всех модулях.

5 дней, 1 час назад @ t.me
Писал про Microsoft Garage - место где можно изучать 3d printing, паяние, микроконтроллеры. Ещё у них есть библиотека, где можно брать вещи напрокат, например робот Romomaster S1. Есть дроны, и Microsoft Lens. Я взял этот танк поиграть детям. Его цена почт
Писал про Microsoft Garage - место где можно изучать 3d printing, паяние, микроконтроллеры. Ещё у них есть библиотека, где можно брать вещи напрокат, например робот Romomaster S1. Есть дроны, и Microsoft Lens. Я взял этот танк поиграть детям. Его цена почт Писал про Microsoft Garage - место где можно изучать 3d printing, паяние, микроконтроллеры. Ещё у них есть библиотека, где можно брать вещи напрокат, например робот Romomaster S1. Есть дроны, и Microsoft Lens. Я взял этот танк поиграть детям. Его цена почт

Писал про Microsoft Garage - место где можно изучать 3d printing, паяние, микроконтроллеры. Ещё у них есть библиотека, где можно брать вещи напрокат, например робот Romomaster S1. Есть дроны, и Microsoft Lens. Я взял этот танк поиграть детям. Его цена почти 700$. Можно управлять с телефона, работает по wifi. Есть возможность использовать визуальный coding, и даже поддержка python, чтобы сделать его автономным. В целом это штука не стоит своих денег. Код можно писать только через app, и если только телефон , то экран малюсенький. На сайте есть "типа тренинги по роботам", но на самом деле это несколько 10ти минутных роликов вводных. Отличная идея и технология, но вот интерфейс для взаимодейст…

6 дней, 4 часа назад @ t.me
Если google относится к SQL как языку программирования, то почему бы и нам так не думать про него. А вы как его воспринимаете?
Если google относится к SQL как языку программирования, то почему бы и нам так не думать про него. А вы как его воспринимаете?

Если google относится к SQL как языку программирования, то почему бы и нам так не думать про него. А вы как его воспринимаете?

1 неделя назад @ t.me
https://mobile.twitter.com/ergestx/status/1479811885377765383
https://mobile.twitter.com/ergestx/status/1479811885377765383

https://mobile.twitter.com/ergestx/status/1479811885377765383

1 неделя назад @ t.me
Я люблю рассказывать про 2 типа дата инженера - gentle и hardcore. А вот в этой статье тоже есть 2 типа инженера:(1) Data Engineers: Software engineers, DataDescribed as: Software engineering specialists, with data as the core specialisation, who can focus
Я люблю рассказывать про 2 типа дата инженера - gentle и hardcore. А вот в этой статье тоже есть 2 типа инженера:(1) Data Engineers: Software engineers, DataDescribed as: Software engineering specialists, with data as the core specialisation, who can focus

Я люблю рассказывать про 2 типа дата инженера - gentle и hardcore. А вот в этой статье тоже есть 2 типа инженера:(1) Data Engineers: Software engineers, DataDescribed as: Software engineering specialists, with data as the core specialisation, who can focus on the niche areas of data engineering and can work with complex real-time data systems.Needed When: Only required in tech businesses, and only when software engineers cannot assist. This is not needed for 99% of businesses and these candidates know what they want to work on and have the agency to decide.(2) Data Engineers: Solutions oriented engineers, DataDescribed as: Business optimisers. Data engineers that engineer data because it is…

1 неделя назад @ t.me
Многие знакомы с Agile и Scrum. И только ленивый не используют эти подходы на работу. Всякие daily stand up, retrospective, poker planning, и sprint planning уже въелось глубоко в голову🙈 А вот в статье Don’t Make Data Scientists Do Scrum есть opinion на
Многие знакомы с Agile и Scrum. И только ленивый не используют эти подходы на работу. Всякие daily stand up, retrospective, poker planning, и sprint planning уже въелось глубоко в голову🙈 А вот в статье Don’t Make Data Scientists Do Scrum есть opinion на

Многие знакомы с Agile и Scrum. И только ленивый не используют эти подходы на работу. Всякие daily stand up, retrospective, poker planning, и sprint planning уже въелось глубоко в голову🙈 А вот в статье Don’t Make Data Scientists Do Scrum есть opinion на эту тему.

1 неделя назад @ t.me
В комментах расшарили хорошее видео про open source менеджер паролей для Linux - pass. Вообще идея использовать хороший менеджер пароль в современном мире очень правильная. В идеале для каждой системы должен быть свой уникальный пароль и включен MFA. Это д
В комментах расшарили хорошее видео про open source менеджер паролей для Linux - pass. Вообще идея использовать хороший менеджер пароль в современном мире очень правильная. В идеале для каждой системы должен быть свой уникальный пароль и включен MFA. Это д

В комментах расшарили хорошее видео про open source менеджер паролей для Linux - pass. Вообще идея использовать хороший менеджер пароль в современном мире очень правильная. В идеале для каждой системы должен быть свой уникальный пароль и включен MFA. Это для личного пользования, а для рабочего, особенно когда работаем с данными, это крайне важно!

1 неделя, 1 день назад @ t.me
Left Join Left Join
последний пост 10 часов назад
🧠 Давайте вместе разберемся, как решать задачки Wordle в PythonПро Wordle вы наверняка слышали уже много раз, многие в него играют, кто-то пытается изучать и исследовать (об этом мы писали вчера в дайджесте). Поскольку большинство из вас проголосовали за п
🧠 Давайте вместе разберемся, как решать задачки Wordle в PythonПро Wordle вы наверняка слышали уже много раз, многие в него играют, кто-то пытается изучать и исследовать (об этом мы писали вчера в дайджесте). Поскольку большинство из вас проголосовали за п

🧠 Давайте вместе разберемся, как решать задачки Wordle в PythonПро Wordle вы наверняка слышали уже много раз, многие в него играют, кто-то пытается изучать и исследовать (об этом мы писали вчера в дайджесте). Поскольку большинство из вас проголосовали за перевод статьи про решение Wordle, мы прислушались и опубликовали перевод в нашем блоге. Читайте, пробуйте повторить для русского языка и не стесняйтесь задавать вопросы в комментариях, если что-то остается непонятным! 😎

10 часов назад @ t.me
Добро пожаловать в мир главного ит тренда - машинного обучения: @machinelearning_ruВ канале вы найдет :📃Статьи , 📚Книги👨‍💻 Код🔗Ссылки и много другой полезной информации#ArtificialIntelligence #DeepLearning#MachineLearning #DataScience#Python1 канал вместо
Добро пожаловать в мир главного ит тренда - машинного обучения: @machinelearning_ruВ  канале вы найдет :📃Статьи , 📚Книги👨‍💻 Код🔗Ссылки и много другой полезной информации#ArtificialIntelligence #DeepLearning#MachineLearning #DataScience#Python1 канал вместо Добро пожаловать в мир главного ит тренда - машинного обучения: @machinelearning_ruВ канале вы найдет :📃Статьи , 📚Книги👨‍💻 Код🔗Ссылки и много другой полезной информации#ArtificialIntelligence #DeepLearning#MachineLearning #DataScience#Python1 канал вместо

Добро пожаловать в мир главного ит тренда - машинного обучения: @machinelearning_ruВ канале вы найдет :📃Статьи , 📚Книги👨‍💻 Код🔗Ссылки и много другой полезной информации#ArtificialIntelligence #DeepLearning#MachineLearning #DataScience#Python1 канал вместо тысячи учебников и курсов 👇👇👇🤖 @machinelearning_ru

14 часов назад @ t.me
☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞🎰 Wordle продолжает захватывать мирПопулярность игры в слова с крайне простым интерфейсом бьет все рекорды, блоггеры и не только хвастаются результатами в сети (особенно, в Twit
☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞🎰 Wordle продолжает захватывать мирПопулярность игры в слова с крайне простым интерфейсом бьет все рекорды, блоггеры и не только хвастаются результатами в сети (особенно, в Twit

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞🎰 Wordle продолжает захватывать мирПопулярность игры в слова с крайне простым интерфейсом бьет все рекорды, блоггеры и не только хвастаются результатами в сети (особенно, в Twitter), а аналитики собирают статистику, строят графики и анализируют игру и игроков вдоль и поперек. 📉 Лучшая новость для студентов и начинающих аналитиков (и не только)Возможно, вы уже слышали о библиотеке Faker, но мы все-таки расскажем. Эта библиотека позволяет сгенерировать нужные вам случайные данные для разработки, учебных проектов и вообще любых целей, кроме, пожалуй, научных и исследовательских. Она доступна на языках Ruby, Python, …

1 день, 15 часов назад @ t.me
Не пора ли менять стандарт SQL?На глаза попалось несколько ссылочек на эту тему:1. PRQL — Pipelined Relational Query Language. Его идея в том, чтобы представить обращение к базе данных как логически выстроенный пайплайн трансформаций. Например, вместо тако
Не пора ли менять стандарт SQL?На глаза попалось несколько ссылочек на эту тему:1. PRQL — Pipelined Relational Query Language. Его идея в том, чтобы представить обращение к базе данных как логически выстроенный пайплайн трансформаций. Например, вместо тако

Не пора ли менять стандарт SQL?На глаза попалось несколько ссылочек на эту тему:1. PRQL — Pipelined Relational Query Language. Его идея в том, чтобы представить обращение к базе данных как логически выстроенный пайплайн трансформаций. Например, вместо такого запросаSELECT TOP 20 title, country, AVG(salary) AS average_salary, SUM(salary) AS sum_salary, AVG(salary + payroll_tax) AS average_gross_salary, SUM(salary + payroll_tax) AS sum_gross_salary, AVG(salary + payroll_tax + benefits_cost) AS average_gross_cost, SUM(salary + payroll_tax + benefits_cost) AS sum_gross_cost, COUNT(*) as countFROM employeesWHERE salary + payroll_tax + benefits_cost > 0 AND country = 'USA'GROUP BY title, countryO…

2 дня, 12 часов назад @ t.me
Десять open-source альтернатив вашему Google AnalyticsНа hackernews был интересный тред, где спрашивали про различные open-source аналоги для Google Analytics. Мы изучили тред и делимся находками. Описание — компиляция заявленного на сайтах платформ + собс
Десять open-source альтернатив вашему Google AnalyticsНа hackernews был интересный тред, где спрашивали про различные open-source аналоги для Google Analytics. Мы изучили тред и делимся находками. Описание — компиляция заявленного на сайтах платформ + собс

Десять open-source альтернатив вашему Google AnalyticsНа hackernews был интересный тред, где спрашивали про различные open-source аналоги для Google Analytics. Мы изучили тред и делимся находками. Описание — компиляция заявленного на сайтах платформ + собственное мнение.▪️PostHog — наверное, самая известная и нашумевшая сейчас платформа для продуктовой аналитики, анализа воронки, записи сеансов, пометок функций и многого другого.▪️GoatCounter — удобная платформа для веб-аналитики без отслеживания личных данных пользователей. Бесплатна для некоммерческого использования.▪️Piwik — достаточно олдскульный уже инструмент для анализа пути клиента по веб-сайтам и приложениям. Вновь важной частью яв…

1 неделя назад @ t.me
Использование регулярок в SQLКак найти телефонные номера в столбце данных? А e-mail адреса? На помощь приходят регулярные выражения. Понятно, что их можно изучать и отдельно и хорошие референсы я уже давал в канале, но что если регулярные выражения хочется
Использование регулярок в SQLКак найти телефонные номера в столбце данных? А e-mail адреса? На помощь приходят регулярные выражения. Понятно, что их можно изучать и отдельно и хорошие референсы я уже давал в канале, но что если регулярные выражения хочется

Использование регулярок в SQLКак найти телефонные номера в столбце данных? А e-mail адреса? На помощь приходят регулярные выражения. Понятно, что их можно изучать и отдельно и хорошие референсы я уже давал в канале, но что если регулярные выражения хочется использовать в SQL-запросе? Разбираем несколько типовых примеров в свежей статье в блога LEFT JOIN!

1 неделя, 3 дня назад @ t.me
Кому нужен SQL в IT? Почти всем!SQL Pro - канал по SQL. Контент канала: 1. Задачи2. Трюки языка3. Туториалы 4. Основы для начинающихУчить SQL - https://t.me/sqlprofi
Кому нужен SQL в IT? Почти всем!SQL Pro -  канал по SQL. Контент канала: 1. Задачи2. Трюки языка3. Туториалы 4. Основы для начинающихУчить SQL - https://t.me/sqlprofi Кому нужен SQL в IT? Почти всем!SQL Pro - канал по SQL. Контент канала: 1. Задачи2. Трюки языка3. Туториалы 4. Основы для начинающихУчить SQL - https://t.me/sqlprofi

Кому нужен SQL в IT? Почти всем!SQL Pro - канал по SQL. Контент канала: 1. Задачи2. Трюки языка3. Туториалы 4. Основы для начинающихУчить SQL - https://t.me/sqlprofi

1 неделя, 3 дня назад @ t.me
Недавно рассказывал про наш клевый проект по анализу постов @temablog и про генератор реплик в стиле Артемия 🗣А сегодня уже сам Артемий Лебедев в выпуске новостей рассказывает про наш труд и генератор! 🎉🎉🎉Спасибо всей команде, кто принимал участие в проект
Недавно рассказывал про наш клевый проект по анализу постов @temablog и про генератор реплик в стиле Артемия 🗣А сегодня уже сам Артемий Лебедев в выпуске новостей рассказывает про наш труд и генератор! 🎉🎉🎉Спасибо всей команде, кто принимал участие в проект

Недавно рассказывал про наш клевый проект по анализу постов @temablog и про генератор реплик в стиле Артемия 🗣А сегодня уже сам Артемий Лебедев в выпуске новостей рассказывает про наш труд и генератор! 🎉🎉🎉Спасибо всей команде, кто принимал участие в проекте: Егор, Света, вы молодцы! 👍👍

1 неделя, 6 дней назад @ t.me
В продолжение нашей статьи на Хабре об использовании Яндекс.Облака новая статья на vc.ru уже с цифрами.
В продолжение нашей статьи на Хабре об использовании Яндекс.Облака новая статья на vc.ru уже с цифрами.

В продолжение нашей статьи на Хабре об использовании Яндекс.Облака новая статья на vc.ru уже с цифрами.

2 недели назад @ t.me
Как можно получить максимум от данных из CRM-системы? Обработать их с помощью функций и проанализировать с помощью Yandex DataLens. В нашем блоге на vc.ru команда дата-аналитиков из Valiotti Analytics делится своим опытом →#yacloud_news
Как можно получить максимум от данных из CRM-системы? Обработать их с помощью функций и проанализировать с помощью Yandex DataLens. В нашем блоге на vc.ru команда дата-аналитиков из Valiotti Analytics делится своим опытом →#yacloud_news Как можно получить максимум от данных из CRM-системы? Обработать их с помощью функций и проанализировать с помощью Yandex DataLens. В нашем блоге на vc.ru команда дата-аналитиков из Valiotti Analytics делится своим опытом →#yacloud_news

Как можно получить максимум от данных из CRM-системы? Обработать их с помощью функций и проанализировать с помощью Yandex DataLens. В нашем блоге на vc.ru команда дата-аналитиков из Valiotti Analytics делится своим опытом →#yacloud_news

2 недели назад @ t.me
🎮Wordle – игра, которая быстро завирусилась, а потом собрала волну хейта 🔥То ли дело в праздничных выходных, то ли это просто удачное стечение обстоятельств, то ли гениальные навыки автора идеи (а может и все вместе), но в начале января за считанные дни иг
🎮Wordle – игра, которая быстро завирусилась, а потом собрала волну хейта 🔥То ли дело в праздничных выходных, то ли это просто удачное стечение обстоятельств, то ли гениальные навыки автора идеи (а может и все вместе), но в начале января за считанные дни иг

🎮Wordle – игра, которая быстро завирусилась, а потом собрала волну хейта 🔥То ли дело в праздничных выходных, то ли это просто удачное стечение обстоятельств, то ли гениальные навыки автора идеи (а может и все вместе), но в начале января за считанные дни игра Wordle набрала огромную популярность. Скорее всего, повлиял тот факт, что создатель в первую очередь отталкивался от собственных желаний, создавая игру для себя и своей подруги. Так ведь часто получаются самые лучшие продукты. 📝 Что это за игра такая?Суть игры простая – нужно угадать слово из 5 букв за 6 попыток. Если вы угадали букву и место, на котором она должна быть – она становится зеленой, если только букву – желтой, а если такой …

2 недели назад @ t.me
☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞💸 Больше никаких фраз “зарплата по итогам собеседования” (пока только в Нью-Йорке)Поиск работы с каждым днем становится все более сложной задачей: требования к кандидатам растут
☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞💸 Больше никаких фраз “зарплата по итогам собеседования” (пока только в Нью-Йорке)Поиск работы с каждым днем становится все более сложной задачей: требования к кандидатам растут

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞💸 Больше никаких фраз “зарплата по итогам собеседования” (пока только в Нью-Йорке)Поиск работы с каждым днем становится все более сложной задачей: требования к кандидатам растут, вакансий все меньше, а соискателей все больше. Еще сильнее дело усложняется тем, что часть вакансий публикуются без указания ожидаемой зарплаты на старте работы или хотя бы зарплатной вилки. Люди проходят несколько кругов изнурительных собеседований, а затем узнают, что зарплата вообще не соответствует их ожиданиям. И вот, на радость всем желающим найти новую работу, власти Нью-Йорка приняли закон, который запретит публикацию любых вакан…

2 недели назад @ t.me
SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Полезности с канала:— Шпаргалка по SQL— Выбор СУБД— Обзор типов и подходов БДПрисоеди
SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Полезности с канала:— Шпаргалка по SQL— Выбор СУБД— Обзор типов и подходов БДПрисоеди SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Полезности с канала:— Шпаргалка по SQL— Выбор СУБД— Обзор типов и подходов БДПрисоеди

SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Полезности с канала:— Шпаргалка по SQL— Выбор СУБД— Обзор типов и подходов БДПрисоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki

2 недели, 1 день назад @ t.me
Reverse ETL — один из популярных трендов на Западе.Кратко о том, что это за класс инструментов. Обратный ETL позволяет забирать данные из DWH и прогружать их в различные CRM / Sales / Support системы (обычно их называют Destination в интерфейсе Reverse ETL
Reverse ETL — один из популярных трендов на Западе.Кратко о том, что это за класс инструментов. Обратный ETL позволяет забирать данные из DWH и прогружать их в различные CRM / Sales / Support системы (обычно их называют Destination в интерфейсе Reverse ETL Reverse ETL — один из популярных трендов на Западе.Кратко о том, что это за класс инструментов. Обратный ETL позволяет забирать данные из DWH и прогружать их в различные CRM / Sales / Support системы (обычно их называют Destination в интерфейсе Reverse ETL

Reverse ETL — один из популярных трендов на Западе.Кратко о том, что это за класс инструментов. Обратный ETL позволяет забирать данные из DWH и прогружать их в различные CRM / Sales / Support системы (обычно их называют Destination в интерфейсе Reverse ETL), обеспечивая постоянную синхронизацию. Таким образом, например, в инструментах маркетологов создаются или обновляются записи о лидах (различные свойства и параметры лида).Последний выпуск Data Engineering подкаста как раз об одном из инструментов Grouparoo.Но есть и другие известные решения по теме: ▪ Hightouch [коммерческий] ▪ Grouparoo и их статья про Reverse ETL [opensource] ▪ Airbyte [opensource] Сталкивались ли с подобными инструмен…

2 недели, 2 дня назад @ t.me
🎄Врываемся в рабочие будни с креативным проектом 🔬Возможно вы помните, что несколько лет назад Артемий Лебедев презентовал в своей студии алгоритм “Николай Иронов“, который заменил работу множества дизайнеров, создавая креативные решения для логотипов и фи
🎄Врываемся в рабочие будни с креативным проектом 🔬Возможно вы помните, что несколько лет назад Артемий Лебедев презентовал в своей студии алгоритм “Николай Иронов“, который заменил работу множества дизайнеров, создавая креативные решения для логотипов и фи 🎄Врываемся в рабочие будни с креативным проектом 🔬Возможно вы помните, что несколько лет назад Артемий Лебедев презентовал в своей студии алгоритм “Николай Иронов“, который заменил работу множества дизайнеров, создавая креативные решения для логотипов и фи

🎄Врываемся в рабочие будни с креативным проектом 🔬Возможно вы помните, что несколько лет назад Артемий Лебедев презентовал в своей студии алгоритм “Николай Иронов“, который заменил работу множества дизайнеров, создавая креативные решения для логотипов и фирменного стиля компании. Вряд ли он ожидал, что мы сможем создать текстовую модель, которая заменит его самого, да ещё и напишем об этом статью.Никаких больше спойлеров – скорее читайте статью на Хабре (и голосуйте за нее!) и протестируйте наш сервис генерации постов а-ля Артемий.Вот, например, что получается у нас – "С Новым Годом…»!

2 недели, 3 дня назад @ t.me
SQLite на практике SQLite на практике
последний пост 6 часов назад
Как хранить дату в SQLiteВ SQLite нет отдельных типов для даты и времени. Поэтому у вас есть только два варианта, каждый со своими достоинствами и недостатками. Рассмотрим их вкратце.ISO 8601Международный стандарт, который записывает дату как 2022-01-27, а
Как хранить дату в SQLiteВ SQLite нет отдельных типов для даты и времени. Поэтому у вас есть только два варианта, каждый со своими достоинствами и недостатками. Рассмотрим их вкратце.ISO 8601Международный стандарт, который записывает дату как 2022-01-27, а

Как хранить дату в SQLiteВ SQLite нет отдельных типов для даты и времени. Поэтому у вас есть только два варианта, каждый со своими достоинствами и недостатками. Рассмотрим их вкратце.ISO 8601Международный стандарт, который записывает дату как 2022-01-27, а дату-время как 2022-01-27 19:30:15. Иногда добавляют еще миллисекунды: 2022-01-27 19:30:15.123.Стандарт включает кучу нюансов, но основные формы записи именно такие.Дата при этом хранится в SQLite как текст. Занимает 12 байт (без времени), 21 байт (до секунд) или 25 байт (с миллисекундами).➕ Человекочитаемая дата➕ Удобно сравнивать ('2021-12-30' < '2022-01-27')➖ Неудобно считать разницу между датами➖ Занимает много местаUnix TimeUnix Time…

6 часов назад @ t.me
Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии
Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии

Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии 3.37.2. И включил пачку стандартных расширений вроде R*Tree. А в планах еще приделать все расширения из sqlean, вот тогда заживем вообще.https://sqlime.org/

1 неделя, 5 дней назад @ t.me
Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем
Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем

Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем с 12:15.https://we.fo/1604736632P.S. Поскольку к записи мы специально не готовились, звучу я как из ведра. Но если потерпеть минуту, вы привыкнете 😁

1 неделя, 6 дней назад @ t.me
Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NU
Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NU

Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NULL — пустое значение.Пока ничего необычного (только типов маловато по сравнению с другими СУБД).А как вам такое:SQLite может хранить данные любого типа — вне зависимости от того, какой тип указан на столбце.Хотите записать число 3.14 в integer-поле? Пожалуйста (и никакого округления). Или, может быть, 'привет' в поле типа real? Без проблем.Дело в том, что SQLite хранит тип не только на столбце, но и на каждом значении в таблице. Именно поэ…

2 недели, 1 день назад @ t.me
Стрелочка для JSONВ SQLite может появиться специальный синтаксис для JSON, как в постгресе!Было:select json_extract(person,'$.name') ...Стало:select person->'name' ...Не 100%, но весьма вероятно.https://sqlite.org/src/doc/json-enhancements/doc/json-enha
Стрелочка для JSONВ SQLite может появиться специальный синтаксис для JSON, как в постгресе!Было:select json_extract(person,'$.name') ...Стало:select person-&gt;'name' ...Не 100%, но весьма вероятно.https://sqlite.org/src/doc/json-enhancements/doc/json-enha

Стрелочка для JSONВ SQLite может появиться специальный синтаксис для JSON, как в постгресе!Было:select json_extract(person,'$.name') ...Стало:select person->'name' ...Не 100%, но весьма вероятно.https://sqlite.org/src/doc/json-enhancements/doc/json-enhancements.md

2 недели, 4 дня назад @ t.me
Все расширения для SQLiteМне очень нравится SQLite. Это миниатюрная встраиваемая база, которая отлично подходит как для исследовательского анализа данных, так и в качестве хранилища для небольших приложений.Но есть у нее один недостаток: маловато встроенны
Все расширения для SQLiteМне очень нравится SQLite. Это миниатюрная встраиваемая база, которая отлично подходит как для исследовательского анализа данных, так и в качестве хранилища для небольших приложений.Но есть у нее один недостаток: маловато встроенны

Все расширения для SQLiteМне очень нравится SQLite. Это миниатюрная встраиваемая база, которая отлично подходит как для исследовательского анализа данных, так и в качестве хранилища для небольших приложений.Но есть у нее один недостаток: маловато встроенных функций по сравнению с PostgreSQL или Oracle.К счастью, авторы заложили в SQLite механизм расширений, на котором можно сделать почти все что угодно. В результате интернет заполнен обрывочными расширениями, которые добавляют функцию-другую.Мне хотелось большой системности.Так появился проект sqlean — в нем я собираю вместе недостающие в SQLite функции, распределяю их по модулям, рефакторю код, пишу тесты и документацию. Получается что-то …

3 недели, 2 дня назад @ t.me
Unix timestampSQLite 3.38 получит функцию даты/времени в формате unix timestamp! А пока он не вышел, можно попробовать в моем расширении isodate:select unixepoch('2021-12-22 12:34:45');1640176485https://github.com/nalgeon/sqlean/issues/27#issuecomment-9981
Unix timestampSQLite 3.38 получит функцию даты/времени в формате unix timestamp! А пока он не вышел, можно попробовать в моем расширении isodate:select unixepoch('2021-12-22 12:34:45');1640176485https://github.com/nalgeon/sqlean/issues/27#issuecomment-9981

Unix timestampSQLite 3.38 получит функцию даты/времени в формате unix timestamp! А пока он не вышел, можно попробовать в моем расширении isodate:select unixepoch('2021-12-22 12:34:45');1640176485https://github.com/nalgeon/sqlean/issues/27#issuecomment-998138191

1 месяц, 1 неделя назад @ t.me
Читаем и пишем файлы прямо из SQLiteУ CLI-утилиты sqlite есть встроенные функции writefile и readfile. Я их немного доработал и оформил в виде расширения fileio.Пишем в файл:select writefile('hello.txt', 'hello world');Читаем:select readfile('hello.txt');В
Читаем и пишем файлы прямо из SQLiteУ CLI-утилиты sqlite есть встроенные функции writefile и readfile. Я их немного доработал и оформил в виде расширения fileio.Пишем в файл:select writefile('hello.txt', 'hello world');Читаем:select readfile('hello.txt');В

Читаем и пишем файлы прямо из SQLiteУ CLI-утилиты sqlite есть встроенные функции writefile и readfile. Я их немного доработал и оформил в виде расширения fileio.Пишем в файл:select writefile('hello.txt', 'hello world');Читаем:select readfile('hello.txt');Выводим содержимое каталога:select * from lsdir('.');Для любителей делать все на свете, не покидая SQL ツ

1 месяц, 1 неделя назад @ t.me
SQLite GUIПо запросу «sqlite gui» в гугле на первой позиции стоит программа «DB Browser for SQLite». На мой взгляд, она плоха примерно всем, и такая популярность ничем не оправдана.Если вы работаете под Windows, обратите внимание на sqlite-gui. Она легкая,
SQLite GUIПо запросу «sqlite gui» в гугле на первой позиции стоит программа «DB Browser for SQLite». На мой взгляд, она плоха примерно всем, и такая популярность ничем не оправдана.Если вы работаете под Windows, обратите внимание на sqlite-gui. Она легкая,

SQLite GUIПо запросу «sqlite gui» в гугле на первой позиции стоит программа «DB Browser for SQLite». На мой взгляд, она плоха примерно всем, и такая популярность ничем не оправдана.Если вы работаете под Windows, обратите внимание на sqlite-gui. Она легкая, быстрая, удобная, и с кучей приятных дополнительных фич вроде настраиваемых шорткатов, генератора данных и даже встроенного REST API сервера.А еще автор (к сожалению, не знаю даже его имени) пишет классные статьи про SQLite на хабре.

1 месяц, 1 неделя назад @ t.me
Быстрый поиск похожих слов на SQLНаписал статью о том, как искать похожие слова и исправлять опечатки на большом словаре (1.5 млн записей).рассчет → расчетсонце → солнцеабривиатура → аббревиатураПопутно вы узнаете, как считать расстояние между словами, что
Быстрый поиск похожих слов на SQLНаписал статью о том, как искать похожие слова и исправлять опечатки на большом словаре (1.5 млн записей).рассчет → расчетсонце → солнцеабривиатура → аббревиатураПопутно вы узнаете, как считать расстояние между словами, что

Быстрый поиск похожих слов на SQLНаписал статью о том, как искать похожие слова и исправлять опечатки на большом словаре (1.5 млн записей).рассчет → расчетсонце → солнцеабривиатура → аббревиатураПопутно вы узнаете, как считать расстояние между словами, что такое фонетические коды, и как использовать фонетику и расстояния для моментального поиска (<50 мс).https://antonz.ru/similar-words/

1 месяц, 3 недели назад @ t.me
Если вы написали отличную статью, о которой никто не знаетВ русскоязычном айти есть несколько «селебрити», которых все читают и обсуждают. И намного больше малоизвестных ребят, которые пишут классные статьи. У селебрити и так все отлично, а вот остальным я
Если вы написали отличную статью, о которой никто не знаетВ русскоязычном айти есть несколько «селебрити», которых все читают и обсуждают. И намного больше малоизвестных ребят, которые пишут классные статьи. У селебрити и так все отлично, а вот остальным я

Если вы написали отличную статью, о которой никто не знаетВ русскоязычном айти есть несколько «селебрити», которых все читают и обсуждают. И намного больше малоизвестных ребят, которые пишут классные статьи. У селебрити и так все отлично, а вот остальным я бы хотел помочь найти свою аудиторию. Поэтому провожу эксперимент! Готов опубликовать ссылку на вашу статью, если она мне понравится. Бесплатно. Знаменитостью это вас не сделает, но статью точно увидит больше людей.Все условия

1 месяц, 4 недели назад @ t.me
Датасет слов английского языкаОбнаружил, что у Оксфордского университета есть списки распространенных слов и выражений английского языка. Доступны в традиционно «удобном» формате — html-амбразуре на сайте либо PDF.Извлек их и сделал нормальные наборы данны
Датасет слов английского языкаОбнаружил, что у Оксфордского университета есть списки распространенных слов и выражений английского языка. Доступны в традиционно «удобном» формате — html-амбразуре на сайте либо PDF.Извлек их и сделал нормальные наборы данны

Датасет слов английского языкаОбнаружил, что у Оксфордского университета есть списки распространенных слов и выражений английского языка. Доступны в традиционно «удобном» формате — html-амбразуре на сайте либо PDF.Извлек их и сделал нормальные наборы данных в CSV.Атрибутика:— слово— часть речи— уровень (A1, A2, B1, B2, C1)— ссылка на подробное определение— ссылка на озвучку в ogghttps://github.com/nalgeon/words

1 месяц, 4 недели назад @ t.me
SQLite 3.37Тут у sqlite вышла новая версия! Да какая — теперь он научился проверять типы данных (двадцать лет ругали, что не проверяет).Написал обзор основных изменений:https://habr.com/ru/news/t/592085/
SQLite 3.37Тут у sqlite вышла новая версия! Да какая — теперь он научился проверять типы данных (двадцать лет ругали, что не проверяет).Написал обзор основных изменений:https://habr.com/ru/news/t/592085/

SQLite 3.37Тут у sqlite вышла новая версия! Да какая — теперь он научился проверять типы данных (двадцать лет ругали, что не проверяет).Написал обзор основных изменений:https://habr.com/ru/news/t/592085/

2 месяца назад @ t.me
«Родительскому» курсу про SQLite такая популярность и не снилась 🤷
«Родительскому» курсу про SQLite такая популярность и не снилась 🤷 «Родительскому» курсу про SQLite такая популярность и не снилась 🤷

«Родительскому» курсу про SQLite такая популярность и не снилась 🤷

2 месяца назад @ t.me
500 учеников на курсе про «окошки»!Зашел сегодня на «Степик» и увидел, что на курс по оконным функциям записались уже 500 человек. Когда его делал, совсем не рассчитывал на такую популярность.Вообще, курс про «окошки» появился как спин-офф моего большого к
500 учеников на курсе про «окошки»!Зашел сегодня на «Степик» и увидел, что на курс по оконным функциям записались уже 500 человек. Когда его делал, совсем не рассчитывал на такую популярность.Вообще, курс про «окошки» появился как спин-офф моего большого к

500 учеников на курсе про «окошки»!Зашел сегодня на «Степик» и увидел, что на курс по оконным функциям записались уже 500 человек. Когда его делал, совсем не рассчитывал на такую популярность.Вообще, курс про «окошки» появился как спин-офф моего большого курса «SQLite для аналитики». Там был модуль «оконные функции», и он мне самому так понравился, что на его основе сделал отдельный курс.Судя по всему, получилось неплохо, потому что студентов много и отзывы очень позитивные. Люди находят курс без всякой рекламы. Полностью прошли курс 40% участников — это очень недурно для онлайн-формата. Выпускники пишут, что стали регулярно использовать «окошки» в повседневной работе — лучший результат, чт…

2 месяца назад @ t.me
Datalytics Datalytics
последний пост 10 часов назад
Тренды в сфере работы с данными 2022. Основной пост2️⃣ Metrics LayerПринятие решение в data-driven бизнесах основывается на метриках. При этом для качественного принятия решения различными акторами/юнитами требуется, чтобы метрика могла быть одинаково подс
Тренды в сфере работы с данными 2022. Основной пост2️⃣ Metrics LayerПринятие решение в data-driven бизнесах основывается на метриках. При этом для качественного принятия решения различными акторами/юнитами требуется, чтобы метрика могла быть одинаково подс

Тренды в сфере работы с данными 2022. Основной пост2️⃣ Metrics LayerПринятие решение в data-driven бизнесах основывается на метриках. При этом для качественного принятия решения различными акторами/юнитами требуется, чтобы метрика могла быть одинаково подсчитываема всеми участниками. То есть не должно быть такого, что в Отделе A метрику считают по одной методологии, а в Отделе B метрика считается совсем по-другому из-за того, что они используют другой BI-инструментДругое важное условие — это то, что метрика должна быть рассчитываема в разных срезах, за разный временной срок, разными отделами для разных нужд, с разной точностью. Одна и та же метрика может использоваться по-разному. Аналитиче…

10 часов назад @ t.me
Мы ищем Python-разработчиков в штат Яндекс.Практикума.Создаём социально значимый продукт и бизнес: помогаем нашим студентам получить новую цифровую профессию или навык.Бэкенд-разработчику в Практикуме предстоит: → проектировать и внедрять новые форматы про
Мы ищем Python-разработчиков в штат Яндекс.Практикума.Создаём социально значимый продукт и бизнес: помогаем нашим студентам получить новую цифровую профессию или навык.Бэкенд-разработчику в Практикуме предстоит: → проектировать и внедрять новые форматы про

Мы ищем Python-разработчиков в штат Яндекс.Практикума.Создаём социально значимый продукт и бизнес: помогаем нашим студентам получить новую цифровую профессию или навык.Бэкенд-разработчику в Практикуме предстоит: → проектировать и внедрять новые форматы прохождения курсов, проектных работ;→ добавлять на платформу новые тренажёры для студентов;→ внедрять запуск кода на новых языках программирования;→ развивать инструменты для машинного обучения и анализа данных;→ проектировать архитектуру и инфраструктуру для новых внешних и внутренних сервисов;→ ускорять работу платформы во всем мире, чтобы помогать Практикуму завоевывать новые рынки.Мы будем рады видеть в нашей команде человека, который— ум…

1 день, 13 часов назад @ t.me
Тренды в сфере работы с данными 2022. Основной пост1️⃣ Data Mesh Признаться честно, меня всегда пугают новые термины, которым нельзя дать конкретное определение. На мой взгляд, такие термины рискуют стать buzzword. Data Mesh как раз такой термин — дать его
Тренды в сфере работы с данными 2022. Основной пост1️⃣ Data Mesh Признаться честно, меня всегда пугают новые термины, которым нельзя дать конкретное определение. На мой взгляд, такие термины рискуют стать buzzword. Data Mesh как раз такой термин — дать его

Тренды в сфере работы с данными 2022. Основной пост1️⃣ Data Mesh Признаться честно, меня всегда пугают новые термины, которым нельзя дать конкретное определение. На мой взгляд, такие термины рискуют стать buzzword. Data Mesh как раз такой термин — дать его определение в одном предложении сложно. Это не какая-то конкретная технология/технологический стек или процесс. Правильнее назвать это концепцией хранения данныхData Mesh появляется в противовес централизованным хранилищам данных. Можно сказать, что это микросервисная архитектура хранения данных, в которой существует некоторое количество разнородных источников данных с высокой атомарностьюУ каждого хранилища может быть свой бизнесовый оун…

2 дня, 13 часов назад @ t.me
Наткнулся на любопытную статью с описанием 6 трендов в сфере работы с данными, которые будут (а может и не будут) популярны в 2022Список такой:1️⃣ Data Mesh2️⃣ Metrics Layer3️⃣ Reverse ETL4️⃣ Active Metadata & Third-Gen Data Catalogs5️⃣ Data Teams as P
Наткнулся на любопытную статью с описанием 6 трендов в сфере работы с данными, которые будут (а может и не будут) популярны в 2022Список такой:1️⃣ Data Mesh2️⃣ Metrics Layer3️⃣ Reverse ETL4️⃣ Active Metadata &amp; Third-Gen Data Catalogs5️⃣ Data Teams as P

Наткнулся на любопытную статью с описанием 6 трендов в сфере работы с данными, которые будут (а может и не будут) популярны в 2022Список такой:1️⃣ Data Mesh2️⃣ Metrics Layer3️⃣ Reverse ETL4️⃣ Active Metadata & Third-Gen Data Catalogs5️⃣ Data Teams as Product Teams6️⃣ Data ObservabilityВ целом, видно смещение в область data governance и изменение парадигмы восприятия данных крупными компаниями не как побочного следствия жизнедеятельности продукта/сервиса/системы, а как одного из ключевых элементов — можно сказать топлива для принятия решений и для роста показателей (отсюда вытекает тезис «Data Teams as Product Teams»). Как следствие, увеличивающаяся демократизация данных и сфокусированность …

2 дня, 13 часов назад @ t.me
Data-аналитик в Яндекс БанкОдин из самых молодых и перспективных сервисов Яндекса в поисках data-аналитика. Задач много и все они действительно важны. Если вы устали от бесконечного построения отчетов в Экселе и хотите, чтобы результат вашего труда влиял н
Data-аналитик в Яндекс БанкОдин из самых молодых и перспективных сервисов Яндекса в поисках data-аналитика. Задач много и все они действительно важны. Если вы устали от бесконечного построения отчетов в Экселе и хотите, чтобы результат вашего труда влиял н

Data-аналитик в Яндекс БанкОдин из самых молодых и перспективных сервисов Яндекса в поисках data-аналитика. Задач много и все они действительно важны. Если вы устали от бесконечного построения отчетов в Экселе и хотите, чтобы результат вашего труда влиял на пользовательский опыт миллионов клиентов и экономику Банка – эта вакансия для вас.Команда собралась отличная: есть ребята из других сервисов Яндекса и есть коллеги, которые раньше уже работали в финтех-проектах. На видео — руководитель аналитики Саша подробнее рассказывает о том, чем предстоит заниматься.Если сложности вас не пугают, а мотивируют, и вы хотите быстро прокачаться и вырасти вместе с новым проектом – переходите на страницу, …

1 неделя, 2 дня назад @ t.me
🎄Итоги годаЯ люблю итоги года, для меня это время выгрузить данные и поиграться. Сделал дашборд про каналы, по которым были данные за год и я знаком с авторами. Они крутые эксперты, спасибо им, что готовы делиться информацией! Рекомендую. Полный список за
🎄Итоги годаЯ люблю итоги года, для меня это время выгрузить данные и поиграться. Сделал дашборд про каналы, по которым были данные за год и я знаком с авторами. Они крутые эксперты, спасибо им, что готовы делиться информацией! Рекомендую. Полный список за 🎄Итоги годаЯ люблю итоги года, для меня это время выгрузить данные и поиграться. Сделал дашборд про каналы, по которым были данные за год и я знаком с авторами. Они крутые эксперты, спасибо им, что готовы делиться информацией! Рекомендую. Полный список за

🎄Итоги годаЯ люблю итоги года, для меня это время выгрузить данные и поиграться. Сделал дашборд про каналы, по которым были данные за год и я знаком с авторами. Они крутые эксперты, спасибо им, что готовы делиться информацией! Рекомендую. Полный список за чем слежу сам тут. Виз получился аля «bar-chart race на максималках». Прикольно двигать ползунок. Если выбрать скейл «год», то видно топ постов за все время, есть необычные инсайты. Например, топ-1 это этот пост в канале Андрея Дорожного =) А вот связи между каналами можно увидеть в проекте Left Join и Андрея.📈 Приятно удивлён приросту подписчиков за год. Мне казалось, что потенциальная аудитория сильно меньше. Рад, что вам полезно и интер…

4 недели назад @ t.me
Хорошая статья на Хабре с подборкой прикладных задач аналитики данных, решённых на SQL. Отличный материал для того, чтобы рассмотреть различные подходы и самые распространенные проблемы на понятных и доступных примерах. Например, есть задачи на работу с пр
Хорошая статья на Хабре с подборкой прикладных задач аналитики данных, решённых на SQL. Отличный материал для того, чтобы рассмотреть различные подходы и самые распространенные проблемы на понятных и доступных примерах. Например, есть задачи на работу с пр

Хорошая статья на Хабре с подборкой прикладных задач аналитики данных, решённых на SQL. Отличный материал для того, чтобы рассмотреть различные подходы и самые распространенные проблемы на понятных и доступных примерах. Например, есть задачи на работу с пропущенными значениями, временными рядами и дубликатами. В общем, всё что я обычно всегда играючи делал в Pandas, но как решить на SQL меня всегда смущало (уж не силён я в нём)https://habr.com/ru/company/otus/blog/541882/

4 недели, 1 день назад @ t.me
По статистике 7 часов ежедневно мы проводим онлайн, половину тратим впустую. Станьте исключением и присоединяйтесь к каналу "AI анализ и развитие", в котором вы найдете знания о:• машинном обучении (data science, нейросетях); • секретах продуктивности и ли
По статистике 7 часов ежедневно мы проводим онлайн, половину тратим впустую. Станьте исключением и присоединяйтесь к каналу "AI анализ и развитие", в котором вы найдете знания о:• машинном обучении (data science, нейросетях); • секретах продуктивности и ли По статистике 7 часов ежедневно мы проводим онлайн, половину тратим впустую. Станьте исключением и присоединяйтесь к каналу "AI анализ и развитие", в котором вы найдете знания о:• машинном обучении (data science, нейросетях); • секретах продуктивности и ли

По статистике 7 часов ежедневно мы проводим онлайн, половину тратим впустую. Станьте исключением и присоединяйтесь к каналу "AI анализ и развитие", в котором вы найдете знания о:• машинном обучении (data science, нейросетях); • секретах продуктивности и личного развития; • методиках анализа и критической оценки информации; • а на десерт - интересные факты и юмор.Погрузитесь в мир аналитики и прокачайте навыки 21 века вместе со специалистом, который сделает ваше путешествие понятным и увлекательным.Подписывайтесь на @ai_analysis

1 месяц назад @ t.me
Аналитик DWH (от Junior до Senior)Москва и Московская область130–250 тысяч рублейВ IT-компании Accenture, входящей в список 500 крупнейших компаний и 100 лучших работодателей мира, открыта позиция аналитика DWH.Чем предстоит заниматься:— выявлять требовани
Аналитик DWH (от Junior до Senior)Москва и Московская область130–250 тысяч рублейВ IT-компании Accenture, входящей в список 500 крупнейших компаний и 100 лучших работодателей мира, открыта позиция аналитика DWH.Чем предстоит заниматься:— выявлять требовани

Аналитик DWH (от Junior до Senior)Москва и Московская область130–250 тысяч рублейВ IT-компании Accenture, входящей в список 500 крупнейших компаний и 100 лучших работодателей мира, открыта позиция аналитика DWH.Чем предстоит заниматься:— выявлять требования к данным, сценарии их использования и анализа в корпоративном хранилище данных и отчетности в тесном взаимодействии с бизнес-подразделениями;— проектировать логическую модель данных корпоративного ХД (детальный слой и витрины данных) и ETL-процессы интеграции данных с различными системами-источниками;— анализировать причины расхождений данных в различных витринах корпоративного хранилища данных, участвовать в определении эталонных данных…

1 месяц, 1 неделя назад @ t.me
Алексей Селезнев опубликовал на хабре статью, в которой собрал пакеты реализующие на R популярные приёмы Python.● Декораторы● Множественное присваивание● Списковые включения● Индексирование с нуля● Обработка исключений (try - except)● Классическое ООП в R●
Алексей Селезнев опубликовал на хабре статью, в которой собрал пакеты реализующие на R популярные приёмы Python.● Декораторы● Множественное присваивание● Списковые включения● Индексирование с нуля● Обработка исключений (try - except)● Классическое ООП в R●

Алексей Селезнев опубликовал на хабре статью, в которой собрал пакеты реализующие на R популярные приёмы Python.● Декораторы● Множественное присваивание● Списковые включения● Индексирование с нуля● Обработка исключений (try - except)● Классическое ООП в R● Логирование (logging)● Работа с табличными данными (pandas)https://habr.com/ru/post/587480/Подписывайтесь на канал Алексея про использование языка R – https://t.me/R4marketing

1 месяц, 1 неделя назад @ t.me
🧑‍🎓 Матрица компетенций BI-аналитикаСделал матрицу компетенций, она родилась за год большой работы по менторству BI-аналитиков и «сериала» с Русланом. С радостью и гордостью хочу поделиться ей с комьюнити. Получилось круто.Матрица будет полезна и новичкам
🧑‍🎓 Матрица компетенций BI-аналитикаСделал матрицу компетенций, она родилась за год большой работы по менторству BI-аналитиков и «сериала» с Русланом. С радостью и гордостью хочу поделиться ей с комьюнити. Получилось круто.Матрица будет полезна и новичкам 🧑‍🎓 Матрица компетенций BI-аналитикаСделал матрицу компетенций, она родилась за год большой работы по менторству BI-аналитиков и «сериала» с Русланом. С радостью и гордостью хочу поделиться ей с комьюнити. Получилось круто.Матрица будет полезна и новичкам

🧑‍🎓 Матрица компетенций BI-аналитикаСделал матрицу компетенций, она родилась за год большой работы по менторству BI-аналитиков и «сериала» с Русланом. С радостью и гордостью хочу поделиться ей с комьюнити. Получилось круто.Матрица будет полезна и новичкам — есть подсветка проседающих навыков и ссылки на учебные материалы. И компаниям — для составления планов развития сотрудников.Необходимо оценить себя по 68 навыкам из 6 направлений, которые важны BI-аналитику на мой взгляд. Каждый навык имеет уровень «прокачки» от 1 до 4 и описание, с примером ожиданий знаний от уровня. Но это только пример, при сомнениях, оцените навык по ощущениям от «джун» до «лид».Матрица – не истина в последней инстан…

1 месяц, 1 неделя назад @ t.me
SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Полезности с канала:— Шпаргалка по SQL— Выбор СУБД— Обзор типов и подходов БДПрисоеди
SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Полезности с канала:— Шпаргалка по SQL— Выбор СУБД— Обзор типов и подходов БДПрисоеди SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Полезности с канала:— Шпаргалка по SQL— Выбор СУБД— Обзор типов и подходов БДПрисоеди

SQLpedia - канал про SQL и базы данных, в котором вы найдете:— Возможность предложить нам статью для перевода;— Полезные видео;— Интересные опросы;— Профессиональный юмор;Полезности с канала:— Шпаргалка по SQL— Выбор СУБД— Обзор типов и подходов БДПрисоединяйтесь, давайте расти как профессионалы вместе 😉Подписаться: @sql_wiki

1 месяц, 1 неделя назад @ t.me
Вышел достойный внимания Tableau Data Viz Catalogue от Zen Master Toan Hoang - сборник туториалов по построению чартов. Такой viz каталог адаптируется в BI культуру компании - работает как "How to" инструкция для разработчиков и дополняет BI стайл гайд. Эт
Вышел достойный внимания Tableau Data Viz Catalogue от Zen Master Toan Hoang - сборник туториалов по построению чартов. Такой viz каталог адаптируется в BI культуру компании - работает как "How to" инструкция для разработчиков и дополняет BI стайл гайд. Эт

Вышел достойный внимания Tableau Data Viz Catalogue от Zen Master Toan Hoang - сборник туториалов по построению чартов. Такой viz каталог адаптируется в BI культуру компании - работает как "How to" инструкция для разработчиков и дополняет BI стайл гайд. Этот пример отличается различимым авторским почерком, здесь мне кажется 20% чартов имеют нетипичный и интересный (хотя местами на любителя) дизайн.Есть и другие хорошие виз-каталоги tableau:- Design Tip Catalogue | by Zak Geis (увидел у Reveal the Data)- The Tableau Chart Catalog by Kevin Flerlage- Tableau Cook Book by Josh Weyburne- Visual Vocabulary by Andy Kriebel#tableautips #инфодизайн

1 месяц, 1 неделя назад @ t.me
3 причины подписаться на аккаунт @selectel🔥1. Основы программирования простым языком и без снобизма.2. Полезные факты о железе, дата-центрах и хостингах.3. Актуальные новости из IT.Подписывайся, чтобы получать больше IT-материалов и каждый день узнавать чт
3 причины подписаться на аккаунт @selectel🔥1. Основы программирования простым языком и без снобизма.2. Полезные факты о железе, дата-центрах и хостингах.3. Актуальные новости из IT.Подписывайся, чтобы получать больше IT-материалов и каждый день узнавать чт 3 причины подписаться на аккаунт @selectel🔥1. Основы программирования простым языком и без снобизма.2. Полезные факты о железе, дата-центрах и хостингах.3. Актуальные новости из IT.Подписывайся, чтобы получать больше IT-материалов и каждый день узнавать чт

3 причины подписаться на аккаунт @selectel🔥1. Основы программирования простым языком и без снобизма.2. Полезные факты о железе, дата-центрах и хостингах.3. Актуальные новости из IT.Подписывайся, чтобы получать больше IT-материалов и каждый день узнавать что-то новое!

1 месяц, 2 недели назад @ t.me
Чтобы понимать, как в продукте создается ценность, важно спрашивать себя - как именно клиенты пользуются вашим продуктом: -- есть фичи которыми пользуются интенсивно в течение дня, но не регулярно. -- а бывает наоборот - клиенты пользуются фичами регулярно
Чтобы понимать, как в продукте создается ценность, важно спрашивать себя - как именно клиенты пользуются вашим продуктом: -- есть фичи которыми пользуются интенсивно в течение дня, но не регулярно. -- а бывает наоборот - клиенты пользуются фичами регулярно Чтобы понимать, как в продукте создается ценность, важно спрашивать себя - как именно клиенты пользуются вашим продуктом: -- есть фичи которыми пользуются интенсивно в течение дня, но не регулярно. -- а бывает наоборот - клиенты пользуются фичами регулярно

Чтобы понимать, как в продукте создается ценность, важно спрашивать себя - как именно клиенты пользуются вашим продуктом: -- есть фичи которыми пользуются интенсивно в течение дня, но не регулярно. -- а бывает наоборот - клиенты пользуются фичами регулярно в течение месяца, но не так интесивно в течение дня.Я уже делился постом про Матрицу Вовлеченности — простой и эффективный инструмент для ранжирования фич по популярности и интенсивности использования. Павел Левчук написал второй пост из серии постов про продуктовую аналитику по мотивам своего выступления на Матемаркетинг-2021 — про Матрицу Интенсивностиhttps://ecommerce-in-ukraine.blogspot.com/2021/12/intensity-matrix.html

1 месяц, 2 недели назад @ t.me
Труба данных Труба данных
последний пост 2 дня, 12 часов назад
Хехе, я прошляпил тут. Уже сегодня в 18-30.У ребят уже 6 митап будет. Очень хочу послушать про Greate Expectations ибо пайплайны строить все научились и DQ сейчас - одна из основных проблем.
Хехе, я прошляпил тут. Уже сегодня в 18-30.У ребят уже 6 митап будет. Очень хочу послушать про Greate Expectations ибо пайплайны строить все научились и DQ сейчас - одна из основных проблем.

Хехе, я прошляпил тут. Уже сегодня в 18-30.У ребят уже 6 митап будет. Очень хочу послушать про Greate Expectations ибо пайплайны строить все научились и DQ сейчас - одна из основных проблем.

2 дня, 12 часов назад @ t.me
🚨25 января в 18:30 у нас пройдет онлайн Citymobil Data Meetup #6.Олег Стрельников из Ситимобил расскажет, как выбирали фреймворк для DataQuality, что от него ждали и почему остановились на GreatExpectations. Покажет, как встроили его в архитектуру DWH, с к
🚨25 января в 18:30 у нас пройдет онлайн Citymobil Data Meetup #6.Олег Стрельников из Ситимобил расскажет, как выбирали фреймворк для DataQuality, что от него ждали и почему остановились на GreatExpectations. Покажет, как встроили его в архитектуру DWH, с к 🚨25 января в 18:30 у нас пройдет онлайн Citymobil Data Meetup #6.Олег Стрельников из Ситимобил расскажет, как выбирали фреймворк для DataQuality, что от него ждали и почему остановились на GreatExpectations. Покажет, как встроили его в архитектуру DWH, с к

🚨25 января в 18:30 у нас пройдет онлайн Citymobil Data Meetup #6.Олег Стрельников из Ситимобил расскажет, как выбирали фреймворк для DataQuality, что от него ждали и почему остановились на GreatExpectations. Покажет, как встроили его в архитектуру DWH, с какими проблемами столкнулись и как их побороли.Максим Шевченко из MTS BigData расскажет про интересный и одновременно простой способ проверки некоторых гипотез валидности таргетинга в наружной рекламе и о том, как его можно использовать в других реальных задачах.🗓Расписание:👉18:30 - 18:40 – Вступительное слово Алексей Чернобровов | Head of Data Science | Ситимобил👉18:40 - 19:10 – Как мы качество данных проверяемОлег Стрельников | Руководит…

2 дня, 12 часов назад @ t.me
Да-да, я в последнее время много читаю разных статей, поэтому вот вам еще одна замечательная.https://erikbern.com/2021/07/07/the-data-team-a-short-story.htmlХороший рассказ, основанный на реальных событиях, про то, как выглядят многие Data Teams в компания
Да-да, я в последнее время много читаю разных статей, поэтому вот вам еще одна замечательная.https://erikbern.com/2021/07/07/the-data-team-a-short-story.htmlХороший рассказ, основанный на реальных событиях, про то, как выглядят многие Data Teams в компания

Да-да, я в последнее время много читаю разных статей, поэтому вот вам еще одна замечательная.https://erikbern.com/2021/07/07/the-data-team-a-short-story.htmlХороший рассказ, основанный на реальных событиях, про то, как выглядят многие Data Teams в компаниях, какой творится беспорядок и как это все превратить в более-менее работающую машину.Скажем так, отличное чтиво для тех, кто планирует становиться CDO или что-то в этом роде. Оч похоже на книжку "Проект Феникс" (кстати, тоже советую прочитать).#инженерные_практики

6 дней, 16 часов назад @ t.me
Еще одна интересная статья, которую хотелось бы обсудить с вами: The future history of Data Engineeringhttps://groupby1.substack.com/p/data-engineeringВот несколько интересных мыслей из статьи:...Most businesses' data engineering needs have been solved or
Еще одна интересная статья, которую хотелось бы обсудить с вами: The future history of Data Engineeringhttps://groupby1.substack.com/p/data-engineeringВот несколько интересных мыслей из статьи:...Most businesses' data engineering needs have been solved or

Еще одна интересная статья, которую хотелось бы обсудить с вами: The future history of Data Engineeringhttps://groupby1.substack.com/p/data-engineeringВот несколько интересных мыслей из статьи:...Most businesses' data engineering needs have been solved or will shortly be solved by managed services that 10 years ago would require endless and extensive self-built ETL pipelines, databases and tools......The implications are that while Data Engineering is growing rapidly, so too are the forces that will undermine the need for Data Engineers, and the current under-supply of competent engineers will lead to an over-supply of junior engineers......Businesses should strive not to have people worryi…

1 неделя, 4 дня назад @ t.me
https://www.datanami.com/2021/12/23/2022-big-data-predictions-from-the-cloud/?utm_source=rss&utm_medium=rss&utm_campaign=2022-big-data-predictions-from-the-cloudТак, тут несколько дней назад на канале @data1984 наткнулся на статью (ссылка выше).И т
https://www.datanami.com/2021/12/23/2022-big-data-predictions-from-the-cloud/?utm_source=rss&amp;utm_medium=rss&amp;utm_campaign=2022-big-data-predictions-from-the-cloudТак, тут несколько дней назад на канале @data1984 наткнулся на статью (ссылка выше).И т

https://www.datanami.com/2021/12/23/2022-big-data-predictions-from-the-cloud/?utm_source=rss&utm_medium=rss&utm_campaign=2022-big-data-predictions-from-the-cloudТак, тут несколько дней назад на канале @data1984 наткнулся на статью (ссылка выше).И так вышло, что я совсем не согласен с автором. Решил закинуть ее вам и предложить темку для обсуждения. Что происходит?Автор (и его респонденты) утверждают, большинство компаний:а) будут мигрировать не в чистое облако, а в некий гибрид облака и on-prem. Или более того, делать свои private-cloud-on-prem, для того, чтобы получать плюшки работы как с облаком, только уже на своем железе.б) все очень сильно боятся вендор-лока, поэтому будут делать свои …

3 недели, 5 дней назад @ t.me
https://twitter.com/OsipovSimon/status/1471069655443853325Чтобы множество раз не отвечать, почему наши пути с Semrush расходятся, я в Твиттере написал большой тред про это.
https://twitter.com/OsipovSimon/status/1471069655443853325Чтобы множество раз не отвечать, почему наши пути с Semrush расходятся, я в Твиттере написал большой тред про это.

https://twitter.com/OsipovSimon/status/1471069655443853325Чтобы множество раз не отвечать, почему наши пути с Semrush расходятся, я в Твиттере написал большой тред про это.

1 месяц назад @ t.me
Data Engineering Zoomcamp!Вот такое вот клевое название у ребят из DataTalksClub. Они проводят бесплатные зум-кемпы по разным темам и вот добрались до DE. Начало 17 января 22 и бесплатно.Может быть кому-нибудь интересно будет послушать / посмотретьПрограмм
Data Engineering Zoomcamp!Вот такое вот клевое название у ребят из DataTalksClub. Они проводят бесплатные зум-кемпы по разным темам и вот добрались до DE. Начало 17 января 22 и бесплатно.Может быть кому-нибудь интересно будет послушать / посмотретьПрограмм Data Engineering Zoomcamp!Вот такое вот клевое название у ребят из DataTalksClub. Они проводят бесплатные зум-кемпы по разным темам и вот добрались до DE. Начало 17 января 22 и бесплатно.Может быть кому-нибудь интересно будет послушать / посмотретьПрограмм

Data Engineering Zoomcamp!Вот такое вот клевое название у ребят из DataTalksClub. Они проводят бесплатные зум-кемпы по разным темам и вот добрались до DE. Начало 17 января 22 и бесплатно.Может быть кому-нибудь интересно будет послушать / посмотретьПрограмма следующая:1. Data warehousing (BigQuery)2. Batch processing (Airflow, Spark)3. Analytics engineering (DBT)4. Stream processing (Kafka)Подробнее тут: https://t.co/KpYI2S5aIqСлак Data Talks Club https://datatalks.club/slack.html

1 месяц, 2 недели назад @ t.me
Так, во всем этом потоке новых статей и видосиков, как вы ориентируетесь? Напишите в комментарии! (Да-да, я прикрутил обсуждения)Какие источники использую я?- RSS. Обычная читалка, типа Feedly, подписываюсь на интересные мне сайты, читаю раз в неделю загол
Так, во всем этом потоке новых статей и видосиков, как вы ориентируетесь? Напишите в комментарии! (Да-да, я прикрутил обсуждения)Какие источники использую я?- RSS. Обычная читалка, типа Feedly, подписываюсь на интересные мне сайты, читаю раз в неделю загол

Так, во всем этом потоке новых статей и видосиков, как вы ориентируетесь? Напишите в комментарии! (Да-да, я прикрутил обсуждения)Какие источники использую я?- RSS. Обычная читалка, типа Feedly, подписываюсь на интересные мне сайты, читаю раз в неделю заголовки и, если нравится предпросмотр, читаю глубже. Из последнего подписался на All Things Distributed.- Infomate. Продвинутая RSS, материал подобран уже, спасибо всем, кто постарался.- Telegram. Тут подписан на профильные группы, типа @rockyourdata или @DE_events- Twitter. Подписываемся на адекватных лидеров мнений (а не шитпостеров) и читаем периодически, что они приносят.- LinkedIn. Вот тут редко, но все же иногда проскальзывает материал,…

1 месяц, 2 недели назад @ t.me
https://drecon.org/На просторах англоязычного интернета нашлась еще одна конференция по Data Engineering, но теперь с модной приставкой Reliability.Доклады разные, кажется, что есть что послушать, однако это лишь на мой вкус. Поэтому лучше самому составить
https://drecon.org/На просторах англоязычного интернета нашлась еще одна конференция по Data Engineering, но теперь с модной приставкой Reliability.Доклады разные, кажется, что есть что послушать, однако это лишь на мой вкус. Поэтому лучше самому составить

https://drecon.org/На просторах англоязычного интернета нашлась еще одна конференция по Data Engineering, но теперь с модной приставкой Reliability.Доклады разные, кажется, что есть что послушать, однако это лишь на мой вкус. Поэтому лучше самому составить свое мнение, посмотрев на расписание.Учтите, конференция по МСК будет вечер/ночь.

2 месяца назад @ t.me
Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил). У него тут прекрасное интервью вы
Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил). У него тут прекрасное интервью вы

Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил). У него тут прекрасное интервью вышло…

2 месяца назад @ t.me
Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил).У него тут прекрасное интервью выш
Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил).У него тут прекрасное интервью выш

Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил).У него тут прекрасное интервью вышло на тему будущего дата инженеров.Главные моменты - Скорость ETL и аналитики сильно возросла- Единообразие в данных все еще сложно достижимо, но это норм- Управление изменениями все также проблема, но уже есть инструменты - Данные должны быть неизменяемыми, иначе хаос придет- DE роль слишком объемная и начала дробиться на специализации- Операционка все еще доставляет проблем, просто теперь она распределеннаяНагло подсмотрел ссылку на инте…

2 месяца, 2 недели назад @ t.me
https://coalesce.getdbt.com/Так, в недавнем докладе на TechTrain я рассказывал про разные пути развития Data Engineer. Так вот, “единорогом” на этом пути считается многорукая шива под названием Analytics Engineer. Это тот, кто вам и данных найдет, и постро
https://coalesce.getdbt.com/Так, в недавнем докладе на TechTrain я рассказывал про разные пути развития Data Engineer. Так вот, “единорогом” на этом пути считается многорукая шива под названием Analytics Engineer. Это тот, кто вам и данных найдет, и постро

https://coalesce.getdbt.com/Так, в недавнем докладе на TechTrain я рассказывал про разные пути развития Data Engineer. Так вот, “единорогом” на этом пути считается многорукая шива под названием Analytics Engineer. Это тот, кто вам и данных найдет, и построит пайплайн, положит это все в систему аналитики (которую сам может поднять) и сделает отчет для бизнеса. При этом, он сам пояснит бизнесу, зачем и почему этот отчет им нужен.DBT в декабре проводит бесплатную онлайн конференцию Coalesce - The Analytics Engineering Conference.Кажется, будет интересненько.Регистрация по ссылке выше. Там же и программа конференции, воркшопов и дискуссий.

3 месяца назад @ t.me
Только сегодня Astronomer раздаёт бесплатно курсы и сертификации по Airflow - по промокоду airflow-free-certhttps://academy.astronomer.io/page/astronomer-certification
Только сегодня Astronomer раздаёт бесплатно курсы и сертификации по Airflow - по промокоду airflow-free-certhttps://academy.astronomer.io/page/astronomer-certification

Только сегодня Astronomer раздаёт бесплатно курсы и сертификации по Airflow - по промокоду airflow-free-certhttps://academy.astronomer.io/page/astronomer-certification

3 месяца, 1 неделя назад @ t.me
https://airflow.apache.org/docs/apache-airflow/2.2.0/changelog.htmlТут Airflow 2.2.0 подвезли.Из заметного:➡️ Custom Timetables (AIP-39)➡️ Deferrable Tasks (AIP-40)➡️ Custom @task decorators and @task.docker➡️ Validation of DAG params➡️ Testing Connections
https://airflow.apache.org/docs/apache-airflow/2.2.0/changelog.htmlТут Airflow 2.2.0 подвезли.Из заметного:➡️ Custom Timetables (AIP-39)➡️ Deferrable Tasks (AIP-40)➡️ Custom @task decorators and @task.docker➡️ Validation of DAG params➡️ Testing Connections

https://airflow.apache.org/docs/apache-airflow/2.2.0/changelog.htmlТут Airflow 2.2.0 подвезли.Из заметного:➡️ Custom Timetables (AIP-39)➡️ Deferrable Tasks (AIP-40)➡️ Custom @task decorators and @task.docker➡️ Validation of DAG params➡️ Testing Connections from the UI - test the credentials for your Connection actually work➡️ Duplication Connections from the UI➡️ DAGs “Next run” info is shown in the UI, including when the run will actually start➡️ airflow standalone command runs all of the Airflow components directly without docker - great for local development

3 месяца, 2 недели назад @ t.me
Какое-то время назад я просил ребят в сообществе DE заполнить маленький опрос при подготовке к докладу на TechTrain. Доклад можно посмотреть по ссылке, а вот немножко статистики из опроса (я же обещал!)Подавляющее большинство инженеров из больших и очень б
Какое-то время назад я просил ребят в сообществе DE заполнить маленький опрос при подготовке к докладу на TechTrain. Доклад можно посмотреть по ссылке, а вот немножко статистики из опроса (я же обещал!)Подавляющее большинство инженеров из больших и очень б Какое-то время назад я просил ребят в сообществе DE заполнить маленький опрос при подготовке к докладу на TechTrain. Доклад можно посмотреть по ссылке, а вот немножко статистики из опроса (я же обещал!)Подавляющее большинство инженеров из больших и очень б

Какое-то время назад я просил ребят в сообществе DE заполнить маленький опрос при подготовке к докладу на TechTrain. Доклад можно посмотреть по ссылке, а вот немножко статистики из опроса (я же обещал!)Подавляющее большинство инженеров из больших и очень больших компаний, и облаков в России немного, а большинство это on-prem компоненты. Тут все очевидно было. Как и с языком программирования: почти половина пишет на Python, 30% на Scala и всего 9% на Java. Тоже предсказуемо.А вот неочевидное:1) Лишь 11% ответивших считают, что самый главный технический навык это ЯП, 36% за SQL и 43% за знание тулинга и фреймворков. Литкоднинужен?😁2) Лишь 30% сразу начали заниматься DE, все остальные - перека…

3 месяца, 3 недели назад @ t.me
enthusiastech enthusiastech
последний пост 1 неделя, 6 дней назад
Datalens from Yandex is quite powerful BI tool.Especially when you use it on top of Clickhouse which makes analytics interactive with sub-second latency.Amongst outstanding features I've already tried:— Advanced functions to built almost anything one can i
Datalens from Yandex is quite powerful BI tool.Especially when you use it on top of Clickhouse which makes analytics interactive with sub-second latency.Amongst outstanding features I've already tried:— Advanced functions to built almost anything one can i

Datalens from Yandex is quite powerful BI tool.Especially when you use it on top of Clickhouse which makes analytics interactive with sub-second latency.Amongst outstanding features I've already tried:— Advanced functions to built almost anything one can imagine: timeseries, arrays, geo, window functions— Nice and customizable charts integrating with dashboard — Sharing with team / anyone on the internetThe more I use it, the more I love it.— Useful docs with examples and how-to— Really friendly community here in Telegram (important!)— It is free of charge!Take a look at how I managed to build Year-over-Year analysis with LAG function and draw different kinds of viz!LAG([Выручка (₽)], 52 OR…

1 неделя, 6 дней назад @ t.me
I will try to overcome normalization another day 😄Leave a comment / reaction if you are interested
I will try to overcome normalization another day 😄Leave a comment / reaction if you are interested

I will try to overcome normalization another day 😄Leave a comment / reaction if you are interested

2 недели, 2 дня назад @ t.me
Airbyte Clickhouse destinationAirbyte deployed Clickhouse destination which I already use to gather data from multiple sources.By default it replicates all the data as JSON blobs (all the attributes inside one String field)To get it flattened you either ha
Airbyte Clickhouse destinationAirbyte deployed Clickhouse destination which I already use to gather data from multiple sources.By default it replicates all the data as JSON blobs (all the attributes inside one String field)To get it flattened you either ha

Airbyte Clickhouse destinationAirbyte deployed Clickhouse destination which I already use to gather data from multiple sources.By default it replicates all the data as JSON blobs (all the attributes inside one String field)To get it flattened you either have to do it yourself or use Airbyte normalization.1. Flattening manually with JSON functionsJSONExtract(_airbyte_data, 'id', 'UInt64') as id➕ Could be tricky and exhausting if you have a lot of attributes.➖ Works extremely fast2. Airbyte normalization (= dbt underneath 😉)➕ It will flatten all your data automaticallyTechnically it is auto-generated dbt project➖ Still a little bit buggy and looks like a work in progress.I almost managed to g…

2 недели, 2 дня назад @ t.me
Hey, long time no see 🙂We have just started our engagement with dbtLabs at Wheely.Guys will try to conduct audit and help us improve our dbt deployment even further.They have already access to:– dbtCloud (jobs)– Github repo (code)– Redshift (database)– Loo
Hey, long time no see 🙂We have just started our engagement with dbtLabs at Wheely.Guys will try to conduct audit and help us improve our dbt deployment even further.They have already access to:– dbtCloud (jobs)– Github repo (code)– Redshift (database)– Loo Hey, long time no see 🙂We have just started our engagement with dbtLabs at Wheely.Guys will try to conduct audit and help us improve our dbt deployment even further.They have already access to:– dbtCloud (jobs)– Github repo (code)– Redshift (database)– Loo

Hey, long time no see 🙂We have just started our engagement with dbtLabs at Wheely.Guys will try to conduct audit and help us improve our dbt deployment even further.They have already access to:– dbtCloud (jobs)– Github repo (code)– Redshift (database)– Looker (bi + monitoring)– Slack (communicating)And yesterday was the Kick-off call. Overall great impressions.What is going to happen:– Audit: Deployment + Performance– Audit: Project Structure– Features/Fix'sI will keep you posted.

2 недели, 2 дня назад @ t.me
AWS denounces its own error logsYour post may include a non-inclusive word (master)😭😂
AWS denounces its own error logsYour post may include a non-inclusive word (master)😭😂

AWS denounces its own error logsYour post may include a non-inclusive word (master)😭😂

1 месяц назад @ t.me
The world ain't all sunshine and rainbows. It's a very mean and nasty place.Especially when you use select *When a base table changes, all the downstream dependencies might break down.Please don't deploy such things to production.⬇️⬇️⬇️#bugs
The world ain't all sunshine and rainbows. It's a very mean and nasty place.Especially when you use select *When a base table changes, all the downstream dependencies might break down.Please don't deploy such things to production.⬇️⬇️⬇️#bugs

The world ain't all sunshine and rainbows. It's a very mean and nasty place.Especially when you use select *When a base table changes, all the downstream dependencies might break down.Please don't deploy such things to production.⬇️⬇️⬇️#bugs

1 месяц назад @ t.me
Если кто был со мной на собесах разработчиков DWH, то знают, что я люблю задавать вопрос "знаете ли что такое dbt"? И пока никто из кандидатов не ответил "да")А знать эту штуку хорошо бы, потому что она по сути реализует подход "DWH as a Code" в том смысле
Если кто был со мной на собесах разработчиков DWH, то знают, что я люблю задавать вопрос "знаете ли что такое dbt"? И пока никто из кандидатов не ответил "да")А знать эту штуку хорошо бы, потому что она по сути реализует подход "DWH as a Code" в том смысле

Если кто был со мной на собесах разработчиков DWH, то знают, что я люблю задавать вопрос "знаете ли что такое dbt"? И пока никто из кандидатов не ответил "да")А знать эту штуку хорошо бы, потому что она по сути реализует подход "DWH as a Code" в том смысле, что добавляет возможности работать со структурой DWH как с кодом обычного приложения. Появляется версионирование, генерация SQL, макросы, тестирование, управление зависимостями и т д. Правильность этого подхода демонстрирует то, что крупные компании, работающие с данными, пишут свои внутренние решения для генерации SQL (пример - Яндекс.Go).Ниже запись митапа на эту тему от моего коллеги Артемия Козыря. Рекомендую к просмотру.

1 месяц, 1 неделя назад @ t.me
В эту субботу (18 декабря) в Москве с 12:00 до 17:00 в рамках DevsCamp мы снимаем живые подкасты (это значит, что можно прийти и посмотреть съемки, задать вопросы спикерам при желании, понетворкаться, покушать и т.д. Всё как на неформальных митапах)Я буду
В эту субботу (18 декабря) в Москве с 12:00 до 17:00 в рамках DevsCamp мы снимаем живые подкасты (это значит, что можно прийти и посмотреть съемки, задать вопросы спикерам при желании, понетворкаться, покушать и т.д. Всё как на неформальных митапах)Я буду В эту субботу (18 декабря) в Москве с 12:00 до 17:00 в рамках DevsCamp мы снимаем живые подкасты (это значит, что можно прийти и посмотреть съемки, задать вопросы спикерам при желании, понетворкаться, покушать и т.д. Всё как на неформальных митапах)Я буду

В эту субботу (18 декабря) в Москве с 12:00 до 17:00 в рамках DevsCamp мы снимаем живые подкасты (это значит, что можно прийти и посмотреть съемки, задать вопросы спикерам при желании, понетворкаться, покушать и т.д. Всё как на неформальных митапах)Я буду участвовать в одном из подкастов.Также будет ряд других интересных тем.Трансляция будет вот здесь, а живое обсуждение - в чате DevsCamp в ТГ.Подробности: https://t.me/teamleadcampchat/2307#meetup

1 месяц, 1 неделя назад @ t.me
Трансляция на YouTube, начинаем! https://www.youtube.com/watch?v=10H45iYaCc8
Трансляция на YouTube, начинаем! https://www.youtube.com/watch?v=10H45iYaCc8

Трансляция на YouTube, начинаем! https://www.youtube.com/watch?v=10H45iYaCc8

1 месяц, 1 неделя назад @ t.me
Трансляция на YouTube, начинаем!https://www.youtube.com/watch?v=10H45iYaCc8
Трансляция на YouTube, начинаем!https://www.youtube.com/watch?v=10H45iYaCc8

Трансляция на YouTube, начинаем!https://www.youtube.com/watch?v=10H45iYaCc8

1 месяц, 2 недели назад @ t.me
[RU] Привет!Сегодня 14 декабря онлайн-митап пользователей dbt в 19.00Приходите, если уже работаете с dbt или планируете/рассматриваете использование dbt у себя в компании.В программе 4 интересных доклада и ответы на вопросы:- Почему вашей компании нужен db
[RU] Привет!Сегодня 14 декабря онлайн-митап пользователей dbt в 19.00Приходите, если уже работаете с dbt или планируете/рассматриваете использование dbt у себя в компании.В программе 4 интересных доклада и ответы на вопросы:- Почему вашей компании нужен db [RU] Привет!Сегодня 14 декабря онлайн-митап пользователей dbt в 19.00Приходите, если уже работаете с dbt или планируете/рассматриваете использование dbt у себя в компании.В программе 4 интересных доклада и ответы на вопросы:- Почему вашей компании нужен db

[RU] Привет!Сегодня 14 декабря онлайн-митап пользователей dbt в 19.00Приходите, если уже работаете с dbt или планируете/рассматриваете использование dbt у себя в компании.В программе 4 интересных доклада и ответы на вопросы:- Почему вашей компании нужен dbt?- Опыт использования dbt cloud в modern data stack- Макросы dbt как единая версия правды- Сбор статистики по запускам dbt и поиск узких мест в графеhttps://space307.team/dbtmeetup

1 месяц, 2 недели назад @ t.me
Looker action -> Braze (Customer engagement platform)Let's keep observing ways to build reverse-ETL pipelines.Looker enables its user to leverage Actions Hub – way of integrating Looker with 3rd party tools. Amongst most notable are:– Airtable– S3– Braz
Looker action -&gt; Braze (Customer engagement platform)Let's keep observing ways to build reverse-ETL pipelines.Looker enables its user to leverage Actions Hub – way of integrating Looker with 3rd party tools. Amongst most notable are:– Airtable– S3– Braz

Looker action -> Braze (Customer engagement platform)Let's keep observing ways to build reverse-ETL pipelines.Looker enables its user to leverage Actions Hub – way of integrating Looker with 3rd party tools. Amongst most notable are:– Airtable– S3– Braze– Dropbox– gDrive / gSheets / gAnalytics / gAds– Hubspot– mParticleWe calculate certain labels/traits/dimensions on our passengers/chauffeurs based on their behaviour and services usage in DWH.Looker Action enables scheduled sync of data from Redshift to Braze user cards.All you need to perform sync is:– Identifier (user_id / external_id)– Dimensions which will become traits in Braze card– Schedule for this ActionThen in Braze we are able to…

1 месяц, 2 недели назад @ t.me
#анонсВ докладе Артемий расскажет про- Анализ T2M команд разработки на событиях Github (Webhook)- Аналитику документ-ориентированной БД MongoDB- Использование специальных функций и типов данных, оптимизация скоростиДобавить в календарь 🗓(всякое бывает, и в
#анонсВ докладе Артемий расскажет про- Анализ T2M команд разработки на событиях Github (Webhook)- Аналитику документ-ориентированной БД MongoDB- Использование специальных функций и типов данных, оптимизация скоростиДобавить в календарь 🗓(всякое бывает, и в #анонсВ докладе Артемий расскажет про- Анализ T2M команд разработки на событиях Github (Webhook)- Аналитику документ-ориентированной БД MongoDB- Использование специальных функций и типов данных, оптимизация скоростиДобавить в календарь 🗓(всякое бывает, и в

#анонсВ докладе Артемий расскажет про- Анализ T2M команд разработки на событиях Github (Webhook)- Аналитику документ-ориентированной БД MongoDB- Использование специальных функций и типов данных, оптимизация скоростиДобавить в календарь 🗓(всякое бывает, и время может измениться, хотя мы постараемся, чтобы такого не было! Но все равно в день конференции следите за финальной сеткой выступлений)#DevsCamp#TeamLeadCamp#TeamLead

1 месяц, 2 недели назад @ t.me
Continued:Also, pay attention to how a model is built with dbt_utils.unpivot macro:{{ dbt_utils.unpivot( relation=ref('dim_chauffeurs_labels'), cast_to='varchar', exclude=['actual_dt', 'chauffeur_id'], field_name='label', value_name='value') }}A list
Continued:Also, pay attention to how a model is built with dbt_utils.unpivot macro:{{ dbt_utils.unpivot( relation=ref('dim_chauffeurs_labels'), cast_to='varchar', exclude=['actual_dt', 'chauffeur_id'], field_name='label', value_name='value') }}A list

Continued:Also, pay attention to how a model is built with dbt_utils.unpivot macro:{{ dbt_utils.unpivot( relation=ref('dim_chauffeurs_labels'), cast_to='varchar', exclude=['actual_dt', 'chauffeur_id'], field_name='label', value_name='value') }}A list of attributes unloaded could be expanded or narrowed without actual code changes. Schema is ['actual_dt', 'chauffeur_id', 'label', 'value']

1 месяц, 2 недели назад @ t.me
Let’s examine some integrations I currently useUNLOADing customer/partner/chauffeur labels to S3 bucket filesLet’s say we want to exchange some data with other teams be it Backend, Financial Service, Frontend. You may also treat it as publishing data for w
Let’s examine some integrations I currently useUNLOADing customer/partner/chauffeur labels to S3 bucket filesLet’s say we want to exchange some data with other teams be it Backend, Financial Service, Frontend. You may also treat it as publishing data for w Let’s examine some integrations I currently useUNLOADing customer/partner/chauffeur labels to S3 bucket filesLet’s say we want to exchange some data with other teams be it Backend, Financial Service, Frontend. You may also treat it as publishing data for w

Let’s examine some integrations I currently useUNLOADing customer/partner/chauffeur labels to S3 bucket filesLet’s say we want to exchange some data with other teams be it Backend, Financial Service, Frontend. You may also treat it as publishing data for whom it may concern, so there could be multiple consumers.Could be easily automated it with dbt + Redshift UNLOAD:– Create a model with desired attributes and rows– Materialize it as a view– Add dbt post-hook with UNLOAD script– Schedule it on a daily/hourly basisAs a result:– No actual excessive data is stored – materialized='view'– Export is always up-to-date as it is scheduled with dbt jobs– UNLOAD is performed only with production runs–…

1 месяц, 2 недели назад @ t.me
data будни data будни
последний пост 1 неделя, 1 день назад
Head of ML в Blockchain.com готовит ЕТЛ-инфраструктуру. Интересно почитать рассуждения со стороны МЛ плюс тред на 100+ комментов. А ещё там вакансии для инженеров данных с релокейтом в Лондон
Head of ML в Blockchain.com готовит ЕТЛ-инфраструктуру. Интересно почитать рассуждения со стороны МЛ плюс тред на 100+ комментов. А ещё там вакансии для инженеров данных с релокейтом в Лондон

Head of ML в Blockchain.com готовит ЕТЛ-инфраструктуру. Интересно почитать рассуждения со стороны МЛ плюс тред на 100+ комментов. А ещё там вакансии для инженеров данных с релокейтом в Лондон

1 неделя, 1 день назад @ t.me
Одной из задач, стоящих перед мной в Blockchain.com, является подготовка инфраструктуры к росту объемов хранимых и используемых данных, деплоя моделей машинного обучения, работающих как в риалтайме так и по батчам и инфраструктуры для финансовых данных.Бу
Одной из задач, стоящих перед мной в Blockchain.com, является подготовка инфраструктуры к росту объемов хранимых и используемых данных, деплоя моделей машинного обучения, работающих как в риалтайме так и по батчам и инфраструктуры для финансовых данных.Бу

Одной из задач, стоящих перед мной в Blockchain.com, является подготовка инфраструктуры к росту объемов хранимых и используемых данных, деплоя моделей машинного обучения, работающих как в риалтайме так и по батчам и инфраструктуры для финансовых данных.Будь я в России, то наверное пошел бы по проторённой дорожке: Hadoop, Postgres, Spark, Clickhouse,KafkaНо так как я имею преимущество нахождения текущей инфры в хорошем облаке, почему бы этим не воспользоваться?Тем более что от нескольких друзей я услышал про новый паттерн Data Lakehouse.В классической истории есть Data Lake где хранится всякое и есть DWH где хранится всякое обработанное, вытащенное и очищенное из Data LakeЧто предлагает Data…

1 неделя, 1 день назад @ t.me
🧪 ЭКСПЕРИМЕНТ! 👨‍🔬 пятничная флудилка↓ здесь можно передать привет коллегам, маме или коту (если они, конечно, читают))или скинуть последний мем… или поделиться интересной ссылкой…или спросить за жизнь…ну или просто поздороваться с товарищами-читателями 👋
🧪 ЭКСПЕРИМЕНТ! 👨‍🔬 пятничная флудилка↓ здесь можно передать привет коллегам, маме или коту (если они, конечно, читают))или скинуть последний мем… или поделиться интересной ссылкой…или спросить за жизнь…ну или просто поздороваться с товарищами-читателями 👋

🧪 ЭКСПЕРИМЕНТ! 👨‍🔬 пятничная флудилка↓ здесь можно передать привет коллегам, маме или коту (если они, конечно, читают))или скинуть последний мем… или поделиться интересной ссылкой…или спросить за жизнь…ну или просто поздороваться с товарищами-читателями 👋

1 месяц назад @ t.me
В опросе лидируют BI-разработчики, что в принципе логично 🙂Рассказываю, как это было у нас: собрались, значит, все отделы вместе, чтобы рассказать кто что делает, какие есть успехи, в чём возникают проблемы и с чем надо помочь.Выходят продакты… делаем прил
В опросе лидируют BI-разработчики, что в принципе логично 🙂Рассказываю, как это было у нас: собрались, значит, все отделы вместе, чтобы рассказать кто что делает, какие есть успехи, в чём возникают проблемы и с чем надо помочь.Выходят продакты… делаем прил

В опросе лидируют BI-разработчики, что в принципе логично 🙂Рассказываю, как это было у нас: собрались, значит, все отделы вместе, чтобы рассказать кто что делает, какие есть успехи, в чём возникают проблемы и с чем надо помочь.Выходят продакты… делаем приложение удобным для заказа, проводим кастдевы, ездим в поля, а ещё активно считаем ретеншен и хотели бы получать валидные данные из источников в ДВХ!Выходят маркетинговые аналитики… значит, у нас тут перформанс, бюджеты, сегментация. Хотим, чтобы все расходы были в одном месте и подтягивались автоматически, чтобы мы могли сравнить их с выручкой — рассчитываем здесь на помощь ДВХ!Выходит отдел b2b продаж… в общем, у нас тут много продажников…

1 месяц назад @ t.me
DWH Яндекс GO нанимает…… всех 🙂Удобно, что тут проходишь сначала в общий поток, а потом можно определиться в конкретную команду. И есть из чего выбрать: ⁃ можно в зрелые Такси или Маркет ⁃ можно в молодые и дерзкие Лавку или Драйв ⁃ а можно в девственный «
DWH Яндекс GO нанимает…… всех 🙂Удобно, что тут проходишь сначала в общий поток, а потом можно определиться в конкретную команду. И есть из чего выбрать: ⁃ можно в зрелые Такси или Маркет ⁃ можно в молодые и дерзкие Лавку или Драйв ⁃ а можно в девственный «

DWH Яндекс GO нанимает…… всех 🙂Удобно, что тут проходишь сначала в общий поток, а потом можно определиться в конкретную команду. И есть из чего выбрать: ⁃ можно в зрелые Такси или Маркет ⁃ можно в молодые и дерзкие Лавку или Драйв ⁃ а можно в девственный «стартап» — Доставку (← я тут)А над этим всем есть ещё отделы по инфраструктуре — пилят hNhM (свой аналог Anchor Modelin / Data Vault) и помогают с проектированием; плюс отдельные ребята, которые занимаются платформой — свой аналог распределённого ETL-оркестратора на основе Luigi.Все вместе мы пробуем в Data Mesh (пока вроде получается).И везде есть свободные места, все нанимают: ⁃ Инженеров данных (хе-хей!) ⁃ ETL-разработчиков (это лайт-ве…

1 месяц назад @ t.me
Инженеры данных и аналитикиВ небольших компаниях инженеры данных как человек-пароход: сам данные достал из источника, сам спроектировал слои и сущности в двх, сам сделал графики и положил их на дашборды (может, это и называют Analytics Engineer?)То есть ту
Инженеры данных и аналитикиВ небольших компаниях инженеры данных как человек-пароход: сам данные достал из источника, сам спроектировал слои и сущности в двх, сам сделал графики и положил их на дашборды (может, это и называют Analytics Engineer?)То есть ту

Инженеры данных и аналитикиВ небольших компаниях инженеры данных как человек-пароход: сам данные достал из источника, сам спроектировал слои и сущности в двх, сам сделал графики и положил их на дашборды (может, это и называют Analytics Engineer?)То есть тут роль меньше человека: один человек включает в себя несколько ролей.Чем больше компания, тем мельче роль: отдельные люди занимаются экстрактом, другие — отвечают за платформу обработки данных и инфраструктуру хранилища. Есть выделенная роль аналитика (в Яндексе их называют «партнёры по данным») — они разговаривают с бизнесом, изучают предметную область и отвечают за качество и консистентность данных. Это к ним потом приходят с вопросами «…

1 месяц, 1 неделя назад @ t.me
Про процесс собеседованийТак, отлично! Опрос ↑ показал, что можно писать про Яндекс. Я то я переживал, что будет неинтересно 🙂Не знаю с чего начать — пожалуй, начну с начала, т.е. с собеседованийОбщий порядок для инженера данных выглядел так: 0. Знакомств
Про процесс собеседованийТак, отлично! Опрос ↑ показал, что можно писать про Яндекс. Я то я переживал, что будет неинтересно 🙂Не знаю с чего начать — пожалуй, начну с начала, т.е. с собеседованийОбщий порядок для инженера данных выглядел так: 0. Знакомств

Про процесс собеседованийТак, отлично! Опрос ↑ показал, что можно писать про Яндекс. Я то я переживал, что будет неинтересно 🙂Не знаю с чего начать — пожалуй, начну с начала, т.е. с собеседованийОбщий порядок для инженера данных выглядел так: 0. Знакомство и скрининговое интервью с рекрутером 1. Секция про SQL + программирование 2. Секция про SQL + программирование 3. Секция про алгоритмы 4. Знакомство с командами (1-3) 5. ОфферУдобно, что собесишься сразу во весь Яндекс: у всех отделов одна «очередь», единый поток кандидатов. Собеседовать могут ребята из любых сервисов и вроде на этом этапе не важно, куда именно ты планировал попасть.0. РекрутерВ прошлом году я сам откликался, и на первом …

1 месяц, 1 неделя назад @ t.me
Внимание, опрос!Не так давно попал в DWH Яндекс GO: тут ребята идут в data mesh со своим гибридом Anchor Modeling и Data Vault. Каждый день крутятся несколько тысяч ЕТЛ-процессов, обновляя сколько-то там сущностей. А в конце всего этого пайплайна находится
Внимание, опрос!Не так давно попал в DWH Яндекс GO: тут ребята идут в data mesh со своим гибридом Anchor Modeling и Data Vault. Каждый день крутятся несколько тысяч ЕТЛ-процессов, обновляя сколько-то там сущностей. А в конце всего этого пайплайна находится

Внимание, опрос!Не так давно попал в DWH Яндекс GO: тут ребята идут в data mesh со своим гибридом Anchor Modeling и Data Vault. Каждый день крутятся несколько тысяч ЕТЛ-процессов, обновляя сколько-то там сущностей. А в конце всего этого пайплайна находится отдел Ромы Бунина (@revealthedata) со своей космической BI-системой и стайл-гайдами.Кажется, можно было бы больше рассказывать про разную местную внутрянку. Что думаете? Что было бы интересно узнать?

1 месяц, 1 неделя назад @ t.me
тимлид и ответственностьПлоская структура без руководителей и менеджеров хорошо работает в небольших системах. При росте системы растёт и сложность; и появляется свой «налог» — должен кто-то отдельный заниматься процессами и рулить этим хаосом.Правильный т
тимлид и ответственностьПлоская структура без руководителей и менеджеров хорошо работает в небольших системах. При росте системы растёт и сложность; и появляется свой «налог» — должен кто-то отдельный заниматься процессами и рулить этим хаосом.Правильный т

тимлид и ответственностьПлоская структура без руководителей и менеджеров хорошо работает в небольших системах. При росте системы растёт и сложность; и появляется свой «налог» — должен кто-то отдельный заниматься процессами и рулить этим хаосом.Правильный тимлид — это не просто прораб, который утром раскидал задачки рабочим, а потом весь день покуривает сигару в тенёчке. На самом деле это малоприятная работа: ⁃ читать чужой код (бр-р-р!) и делать ревью, ⁃ грумить бэклог следить за задачами: непонятные уточнять, переписывать, дополнять контекст, вставлять скриншоты ⁃ следить за показателями тайм-ту-маркет: чтобы новые фичи пилились за разумное время ⁃ организовывать, корочеНа примере гостя по…

1 месяц, 1 неделя назад @ t.me
Подглядывать через плечо к программистамКогда мой питон-код перестал вмещаться в юпитер-ноутбуки, пришла идея подсматривать как там тру-программисты пишут код. Как оборачивать одинаковые кусочки кода в функции, как функции раскладывать по модулям, как в це
Подглядывать через плечо к программистамКогда мой питон-код перестал вмещаться в юпитер-ноутбуки, пришла идея подсматривать как там тру-программисты пишут код. Как оборачивать одинаковые кусочки кода в функции, как функции раскладывать по модулям, как в це

Подглядывать через плечо к программистамКогда мой питон-код перестал вмещаться в юпитер-ноутбуки, пришла идея подсматривать как там тру-программисты пишут код. Как оборачивать одинаковые кусочки кода в функции, как функции раскладывать по модулям, как в целом писать так, чтобы потом можно было в этом разобратьсяhttps://t.me/data_days/46Это получился такой прикладной уровеньЧем дальше подсматриваю, тем более высокоуровневые вещи открываются. Например, есть проблема скорости разработки: легко пилить новые фичи, когда кода немного; но потом система становится сложнее и каждая новая фича затрагивает всё больше её частей. Если не прикладывать усилий, то скорость разработки будет стремиться к нул…

1 месяц, 1 неделя назад @ t.me
Но на этом остановиться я не мог и сделал чарт в Гугл-таблицах (да простят меня коллеги из BI), чтобы узнать как на самом деле выглядит распределение высот гор в Японии.Взял список гор с высотами (спасибо Википедии и стандартной формуле IMPORTHTML), округл
Но на этом остановиться я не мог и сделал чарт в Гугл-таблицах (да простят меня коллеги из BI), чтобы узнать как на самом деле выглядит распределение высот гор в Японии.Взял список гор с высотами (спасибо Википедии и стандартной формуле IMPORTHTML), округл Но на этом остановиться я не мог и сделал чарт в Гугл-таблицах (да простят меня коллеги из BI), чтобы узнать как на самом деле выглядит распределение высот гор в Японии.Взял список гор с высотами (спасибо Википедии и стандартной формуле IMPORTHTML), округл

Но на этом остановиться я не мог и сделал чарт в Гугл-таблицах (да простят меня коллеги из BI), чтобы узнать как на самом деле выглядит распределение высот гор в Японии.Взял список гор с высотами (спасибо Википедии и стандартной формуле IMPORTHTML), округлил значения до 100 и в сводной таблице посчитал количество гор для каждого такого «бакета».Видно, что количество гор логично увеличивается с уменьшением высоты. Так же видно и «пропуски» по некоторым высотам, которые автор исходной визуализации так мастерски спрятал.Гугл-таблица с данными, вдруг вам тоже интересно

1 месяц, 2 недели назад @ t.me
Увидел такую визуализацию и залип (спасибо каналу Data-comics)Как автор так удачно разместил все горы в аккуратные треугольники? Какое красивое естественное распределение получается: 1 уровень — одна гора (Фуджи); 2 уровень — три; и дальше по нарастающей.П
Увидел такую визуализацию и залип (спасибо каналу Data-comics)Как автор так удачно разместил все горы в аккуратные треугольники? Какое красивое естественное распределение получается: 1 уровень — одна гора (Фуджи); 2 уровень — три; и дальше по нарастающей.П Увидел такую визуализацию и залип (спасибо каналу Data-comics)Как автор так удачно разместил все горы в аккуратные треугольники? Какое красивое естественное распределение получается: 1 уровень — одна гора (Фуджи); 2 уровень — три; и дальше по нарастающей.П

Увидел такую визуализацию и залип (спасибо каналу Data-comics)Как автор так удачно разместил все горы в аккуратные треугольники? Какое красивое естественное распределение получается: 1 уровень — одна гора (Фуджи); 2 уровень — три; и дальше по нарастающей.Потом заметил пропуски на некоторых уровнях — всё таки гор определённых не обязательно больше, чем предыдущих. Классная получилось визуализация, что в неё можно вглядываться и открывать всё больше деталей. И, кажется, всё равно пришлось немного округлить высоту каждой горы до какого-то значения. А потом вспомнил, что это карта 1886 года и вряд ли они тогда знали, что высота Фуджи именно 3 776 метра. Так что автору скорее всего и округлять н…

1 месяц, 2 недели назад @ t.me
Датаи́зм (data-ism) — философская парадигма, провозглашающая, что Вселенная состоит из потоков данных и что ценность всякого явления или сущности определяется их вкладом в обработку данных. Согласно этой концепции, никто не должен препятствовать движению и
Датаи́зм (data-ism) — философская парадигма, провозглашающая, что Вселенная состоит из потоков данных и что ценность всякого явления или сущности определяется их вкладом в обработку данных. Согласно этой концепции, никто не должен препятствовать движению и

Датаи́зм (data-ism) — философская парадигма, провозглашающая, что Вселенная состоит из потоков данных и что ценность всякого явления или сущности определяется их вкладом в обработку данных. Согласно этой концепции, никто не должен препятствовать движению информации. Напротив, каждому следует становиться частью информационного пространства, потребляя данные и обогащая его новыми.https://ru.wikipedia.org/wiki/Датаизм=== Узнал о новой «религии» (?). Не знаю пока, что с этим делать, но лучше быть в курсе 🙂

1 месяц, 2 недели назад @ t.me
BREAKING: всея отечественного дата сайенса — Валерий Бабушкин — завёл свой канал. Стопудов там будет интересно.https://t.me/cryptovalerii/3П.С.: не могу пройти мимо упоминания «пирамиды» — это та самая пирамида, на которую я опирался, когда приходил в инжи
BREAKING: всея отечественного дата сайенса — Валерий Бабушкин — завёл свой канал. Стопудов там будет интересно.https://t.me/cryptovalerii/3П.С.: не могу пройти мимо упоминания «пирамиды» — это та самая пирамида, на которую я опирался, когда приходил в инжи

BREAKING: всея отечественного дата сайенса — Валерий Бабушкин — завёл свой канал. Стопудов там будет интересно.https://t.me/cryptovalerii/3П.С.: не могу пройти мимо упоминания «пирамиды» — это та самая пирамида, на которую я опирался, когда приходил в инжиниринг данных ^_^https://t.me/data_days/159

1 месяц, 2 недели назад @ t.me
Кстати, об алгоритмах — вот Антон Жиянов коротко и чётко описал в чём там суть, зачем вообще понимать сложность какого-то алгоритма.Там серия из 4 постов, вот первый:https://t.me/ohmypy/114
Кстати, об алгоритмах — вот Антон Жиянов коротко и чётко описал в чём там суть, зачем вообще понимать сложность какого-то алгоритма.Там серия из 4 постов, вот первый:https://t.me/ohmypy/114

Кстати, об алгоритмах — вот Антон Жиянов коротко и чётко описал в чём там суть, зачем вообще понимать сложность какого-то алгоритма.Там серия из 4 постов, вот первый:https://t.me/ohmypy/114

1 месяц, 3 недели назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост 1 месяц, 1 неделя назад
https://medium.com/yandex-self-driving-car/the-story-behind-the-creation-of-yandexs-delivery-robot-e07017940589
https://medium.com/yandex-self-driving-car/the-story-behind-the-creation-of-yandexs-delivery-robot-e07017940589

https://medium.com/yandex-self-driving-car/the-story-behind-the-creation-of-yandexs-delivery-robot-e07017940589

1 месяц, 1 неделя назад @ t.me
Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратит
Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратит Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратит

Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратить в DMP, какие проблемы возникают в процессе разработки и как мы их решаем.🎓 Разработка платформы управления данными. Доклад Яндекса

7 месяцев, 1 неделя назад @ t.me
Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH ги
Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH ги

Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, мы пришли к неожиданному ответу: выбирать надо не между подходами, а лучшее из двух подходов.🎓 Как мы внедрили свою модель хранения данных — highly Normalized hybrid Model. Доклад Яндекса

8 месяцев назад @ t.me
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 4 дня, 3 часа назад
The Importance Of Data Contracts As The Interface For Data Integration With Abhi Sivasailam
The Importance Of Data Contracts As The Interface For Data Integration With Abhi Sivasailam

Data platforms are exemplified by a complex set of connections that are subject to a set of constantly evolving requirements. In order to make this a tractable problem it is necessary to define boundaries for communication between concerns, which brings with it the need to establish interface contracts for communicating across those boundaries. The recent move toward the data mesh as a formalized architecture that builds on this design provides the language that data teams need to make this a more organized effort. In this episode Abhi Sivasailam shares his experience designing and implementing a data mesh solution with his team at Flexport, and the importance of defining and enforcing data…

4 дня, 3 часа назад @ dataengineeringpodcast.com
Building And Managing Data Teams And Data Platforms In Large Organizations With Ashish Mrig
Building And Managing Data Teams And Data Platforms In Large Organizations With Ashish Mrig

Data engineering is a relatively young and rapidly expanding field, with practitioners having a wide array of experiences as they navigate their careers. Ashish Mrig currently leads the data analytics platform for Wayfair, as well as running a local data engineering meetup. In this episode he shares his career journey, the challenges related to management of data professionals, and the platform design that he and his team have built to power analytics at a large company. He also provides some excellent insights into the factors that play into the build vs. buy decision at different organizational sizes.

4 дня, 3 часа назад @ dataengineeringpodcast.com
Automated Data Quality Management Through Machine Learning With Anomalo
Automated Data Quality Management Through Machine Learning With Anomalo

Data quality control is a requirement for being able to trust the various reports and machine learning models that are relying on the information that you curate. Rules based systems are useful for validating known requirements, but with the scale and complexity of data in modern organizations it is impractical, and often impossible, to manually create rules for all potential errors. The team at Anomalo are building a machine learning powered platform for identifying and alerting on anomalous and invalid changes in your data so that you aren't flying blind. In this episode founders Elliot Shmukler and Jeremy Stanley explain how they have architected the system to work with your data warehou…

1 неделя, 5 дней назад @ dataengineeringpodcast.com
An Introduction To Data And Analytics Engineering For Non-Programmers
An Introduction To Data And Analytics Engineering For Non-Programmers

Applications of data have grown well beyond the venerable business intelligence dashboards that organizations have relied on for decades. Now it is being used to power consumer facing services, influence organizational behaviors, and build sophisticated machine learning systems. Given this increased level of importance it has become necessary for everyone in the business to treat data as a product in the same way that software applications have driven the early 2000s. In this episode Brian McMillan shares his work on the book "Building Data Products" and how he is working to educate business users and data professionals about the combination of technical, economical, and business considerat…

1 неделя, 5 дней назад @ dataengineeringpodcast.com
Open Source Reverse ETL For Everyone With Grouparoo
Open Source Reverse ETL For Everyone With Grouparoo

Reverse ETL is a product category that evolved from the landscape of customer data platforms with a number of companies offering their own implementation of it. While struggling with the work of automating data integration workflows with marketing, sales, and support tools Brian Leonard accidentally discovered this need himself and turned it into the open source framework Grouparoo. In this episode he explains why he decided to turn these efforts into an open core business, how the platform is implemented, and the benefits of having an open source contender in the landscape of operational analytics products.

2 недели, 5 дней назад @ dataengineeringpodcast.com
Data Observability Out Of The Box With Metaplane
Data Observability Out Of The Box With Metaplane

Data observability is a set of technical and organizational capabilities related to understanding how your data is being processed and used so that you can proactively identify and fix errors in your workflows. In this episode Metaplane founder Kevin Hu shares his working definition of the term and explains the work that he and his team are doing to cut down on the time to adoption for this new set of practices. He discusses the factors that influenced his decision to start with the data warehouse, the potential shortcomings of that approach, and where he plans to go from there. This is a great exploration of what it means to treat your data platform as a living system and apply state of th…

2 недели, 5 дней назад @ dataengineeringpodcast.com
Creating Shared Context For Your Data Warehouse With A Controlled Vocabulary
Creating Shared Context For Your Data Warehouse With A Controlled Vocabulary

Communication and shared context are the hardest part of any data system. In recent years the focus has been on data catalogs as the means for documenting data assets, but those introduce a secondary system of record in order to find the necessary information. In this episode Emily Riederer shares her work to create a controlled vocabulary for managing the semantic elements of the data managed by her team and encoding it in the schema definitions in her data warehouse. She also explains how she created the dbtplyr package to simplify the work of creating and enforcing your own controlled vocabularies.

3 недели, 4 дня назад @ dataengineeringpodcast.com
A Reflection On The Data Ecosystem For The Year 2021
A Reflection On The Data Ecosystem For The Year 2021

This has been an active year for the data ecosystem, with a number of new product categories and substantial growth in existing areas. In an attempt to capture the zeitgeist Maura Church, David Wallace, Benn Stancil, and Gleb Mezhanskiy join the show to reflect on the past year and share their thought son the year to come.

3 недели, 4 дня назад @ dataengineeringpodcast.com
Revisiting The Technical And Social Benefits Of The Data Mesh
Revisiting The Technical And Social Benefits Of The Data Mesh

The data mesh is a thesis that was presented to address the technical and organizational challenges that businesses face in managing their analytical workflows at scale. Zhamak Dehghani introduced the concepts behind this architectural patterns in 2019, and since then it has been gaining popularity with many companies adopting some version of it in their systems. In this episode Zhamak re-joins the show to discuss the real world benefits that have been seen, the lessons that she has learned while working with her clients and the community, and her vision for the future of the data mesh.

1 месяц назад @ dataengineeringpodcast.com
Exploring The Evolving Role Of Data Engineers
Exploring The Evolving Role Of Data Engineers

Data Engineering is still a relatively new field that is going through a continued evolution as new technologies are introduced and new requirements are understood. In this episode Maxime Beauchemin returns to revisit what it means to be a data engineer and how the role has changed over the past 5 years.

1 месяц назад @ dataengineeringpodcast.com
Fast And Flexible Headless Data Analytics With Cube.JS
Fast And Flexible Headless Data Analytics With Cube.JS

One of the perennial challenges of data analytics is having a consistent set of definitions, along with a flexible and performant API endpoint for querying them. In this episode Artom Keydunov and Pavel Tiunov share their work on Cube.js and the various ways that it is being used in the open source community.

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Building A System Of Record For Your Organization's Data Ecosystem At Metaphor
Building A System Of Record For Your Organization's Data Ecosystem At Metaphor

Building a well managed data ecosystem for your organization requires a holistic view of all of the producers, consumers, and processors of information. The team at Metaphor are building a fully connected metadata layer to provide both technical and social intelligence about your data. In this episode Pardhu Gunnam and Mars Lan explain how they have designed the architecture and user experience to allow everyone to collaborate on the data lifecycle and provide opportunities for automation and extensible workflows.

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Building Auditable Spark Pipelines At Capital One
Building Auditable Spark Pipelines At Capital One

Spark is a powerful and battle tested framework for building highly scalable data pipelines. Because of its proven ability to handle large volumes of data Capital One has invested in it for their business needs. In this episode Gokul Prabagaren shares his use for it in calculating your rewards points, including the auditing requirements and how he designed his pipeline to maintain all of the necessary information through a pattern of data enrichment.

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Deliver Personal Experiences In Your Applications With The Unomi Open Source Customer Data Platform
Deliver Personal Experiences In Your Applications With The Unomi Open Source Customer Data Platform

The core to providing your users with excellent service is to understand them and provide a personalized experience. Unfortunately many sites and applications take that to the extreme and collect too much information. In order to make it easier for developers to build customer profiles in a way that respects their privacy Serge Huber helped to create the Apache Unomi framework as an open source customer data platform. In this episode he explains how it can be used to build rich and useful profiles of your users, the system architecture that powers it, and some of the ways that it is being integrated into an organization's broader data ecosystem.

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Experimentation and A/B Testing For Modern Data Teams With Eppo
Experimentation and A/B Testing For Modern Data Teams With Eppo

A/B testing and experimentation are the most reliable way to determine whether a change to your product will have the desired effect on your business. Unfortunately, being able to design, deploy, and validate experiments is a complex process that requires a mix of technical capacity and organizational involvement which is hard to come by. Chetan Sharma founded Eppo to provide a system that organizations of every scale can use to reduce the burden of managing experiments so that you can focus on improving your business. In this episode he digs into the technical, statistical, and design requirements for running effective experiments and how he has architected the Eppo platform to make the pr…

1 месяц, 3 недели назад @ dataengineeringpodcast.com
Data Brew by Databricks Data Brew by Databricks
последний пост 3 месяца назад
Season 3E6: Open Source
Season 3E6: Open Source

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.For our season 3 finale, Nithya Ruff discusses the open-source ecosystem, ways to contribute to open-source projects (hint: it’s not just about the code), and how businesses can balance community and company interests. With 95% of open-source contributions coming from men, Nithya also educates us on how to improve diversity & inclusion in the open-source community.See more at databricks.com/data-brew

3 месяца назад @ buzzsprout.com
Season 3E5: Sustainability & Sake
Season 3E5: Sustainability & Sake

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.We interview Junta Nakai in our most unique location yet - Brooklyn Kura - the first non-Japanese sake distillery in New York. In this episode, Junta shares the philosophical, economic, and tactical approaches to sustainability and ESG, as well as the secrets to brewing sake in the US. See more at databricks.com/data-brew

3 месяца, 2 недели назад @ buzzsprout.com
Season 3E4: Executive Education
Season 3E4: Executive Education

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.Did you know that the average tenure of a board member is longer than the average tenure of a marriage in the United States? In this episode, Coco Brown discusses the benefits and drawbacks of the long tenures of corporate boards, their current structure, the impact of recent legislation, and the importance of executive education to guide you through all of this. See more at databricks.com/data-brew

3 месяца, 3 недели назад @ buzzsprout.com
Season 3E3: 3 T’s to Securing AI Systems: Tests, tests, and more tests
Season 3E3: 3 T’s to Securing AI Systems: Tests, tests, and more tests

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.What does it mean to make your machine learning system “production-ready”? Yaron Singer walks us through the infrastructure, testing procedures, and more that help make ML systems ready for the real world in this episode of Data Brew.See more at databricks.com/data-brew

3 месяца, 4 недели назад @ buzzsprout.com
Season 3E2: Data Culture Outside ‘The Valley’
Season 3E2: Data Culture Outside ‘The Valley’

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.Have you ever had a spam call automatically blocked for you? You can thank First Orion for that - in one day they blocked or scam tagged over 108 million calls - just on T-Mobile alone! In this episode, we have the pleasure to chat with Charles Morgan and Kent Welch, CEO and CDO, respectively, of First Orion to discuss Arkansan data culture, First Orion’s one hundred day program, and team culture.See more at databricks.com/data-brew

4 месяца назад @ buzzsprout.com
Season 3E1: Disrupt: Challenge your Business Assumptions
Season 3E1: Disrupt: Challenge your Business Assumptions

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics. In this season opener, Elena Donio shares her experience using data and domain knowledge to disrupt the traditional service and sales compensation model. She also discusses how to build companies that scale, manage corporate cultural evolution, and the influence of corporate boards.See more at databricks.com/data-brew

4 месяца, 1 неделя назад @ buzzsprout.com
Season 2E9: Data Driven Software
Season 2E9: Data Driven Software

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.We branch, version, and test our code, but what if we treated data like code? Tim Hunter joins us to discuss the open-source Data-Driven Software (DDS) package and how it leads to immense gains in collaboration and decreased runtime for data scientists at any organization.See more at databricks.com/data-brew

6 месяцев, 1 неделя назад @ buzzsprout.com
Season 2E8: Feature Engineering
Season 2E8: Feature Engineering

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Is there ever a “one-size fits all” approach for feature engineering? Find out this and more with Amanda Casari and Alice Zheng, co-authors of the Feature Engineering for Machine Learning book.See more at databricks.com/data-brew

6 месяцев, 3 недели назад @ buzzsprout.com
Season 2E7: Interpretable Machine Learning
Season 2E7: Interpretable Machine Learning

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.What does it mean for a model to be “interpretable”? Ameet Talwalkar shares his thoughts on IML (Interpretable Machine Learning), how it relates to data privacy and fairness, and his research in this field.See more at databricks.com/data-brew

7 месяцев назад @ buzzsprout.com
Season 2E6: AutoML
Season 2E6: AutoML

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Erin LeDell shares valuable insight on AutoML, what problems are best solved by it, its current limitations, and her thoughts on the future of AutoML. We also discuss founding and growing the Women in Machine Learning and Data Science (WiMLDS) non-profit.See more at databricks.com/data-brew

7 месяцев, 2 недели назад @ buzzsprout.com
Season 2E5: ML Applications
Season 2E5: ML Applications

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Good machine learning starts with high quality data. Irina Malkova shares her experience managing and ensuring high-fidelity data, developing custom metrics to satisfy business needs, and discusses how to improve internal decision making processes.See more at databricks.com/data-brew

7 месяцев, 3 недели назад @ buzzsprout.com
Season 2E4: Hyperparameter and Neural Architecture Search
Season 2E4: Hyperparameter and Neural Architecture Search

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Liam Li is a leading researcher in the fields of hyperparameter optimization and neural architecture search, and is the author of the seminal Hyperband paper. In this session, Liam discusses the evolution of hyperparameter optimization techniques and illustrates how every data scientist can benefit from neural architecture search. See more at databricks.com/data-brew

8 месяцев, 2 недели назад @ buzzsprout.com
Season 2E3: Infrastructure for ML
Season 2E3: Infrastructure for ML

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more. Adam Oliner discusses how to design your infrastructure to support ML, from integration tests to glue code, the importance of iteration, and centralized vs decentralized data science teams. He provides valuable advice for companies investing in ML and crucial lessons he’s learned from founding two companies.See more at databricks.com/data-brew

8 месяцев, 3 недели назад @ buzzsprout.com
Season 2E2: Data Ethics
Season 2E2: Data Ethics

For our second season of Data Brew, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.Have you ever wondered how your purchasing behavior may reveal protected attributes? Or how data scientists and business play a role in combating bias? We discuss with Diana Pfeil recommendations to reduce bias and improve fairness, from SHAP to adversarial debiasing.See more at databricks.com/data-brew

9 месяцев назад @ buzzsprout.com
Season 2E1: ML in Production
Season 2E1: ML in Production

For our second season, we will be focusing on machine learning, from research to production. We will interview folks in academia and industry to discuss topics such as data ethics, production-grade infrastructure for ML, hyperparameter tuning, AutoML, and many more.In the season opener, Matei Zaharia discusses how he entered the field of ML, best practices for productionizing ML pipelines, leveraging MLflow & the Lakehouse architecture for reproducible ML, and his current research in this field.See more at databricks.com/data-brew

9 месяцев, 1 неделя назад @ databricks.com
Запуск завтра Podcast Запуск завтра Podcast
последний пост 21 час назад
IT в спорте. Как Data Science меняет футбол
IT в спорте. Как Data Science меняет футбол IT в спорте. Как Data Science меняет футбол

Это практически не заметно для болельщиков, но последние 20 лет в спортивной индустрии происходят большие изменения. В спорт пришли дата-сайентисты. Они оптимизировали многие процессы – от найма новых игроков до режима сна и тренировок – и неожиданно заняли важное место в командах. Вместе с одним из таких специалистов Самат попытался разобраться в том, как IT меняет спорт. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Ссылки от Самера: Ютуб-канал Friends of tracking: https://youtube.com/channel/UCUBFJYcag8j2rm_9HkrrA7w Тг-каналы: Laptop Coach https://t.me…

21 час назад @ traffic.libsyn.com
Как маркетплейсы агрегируют у себя миллионы товаров
Как маркетплейсы агрегируют у себя миллионы товаров Как маркетплейсы агрегируют у себя миллионы товаров

Бесконечная онлайн-витрина, ПВЗ по всей стране и сложная логистическая система под капотом — масштабы современных маркетплейсов не сопоставимы ни с одним оффлайн-магазином. В том, как работают маркетплейсы, мы разбираемся на примере Яндекс.Маркета. Партнер этого эпизода — компания Яндекс. Наши совместные выпуски выходят по вторникам, раз в две недели. Книга The Everything Store https://en.wikipedia.org/wiki/The_Everything_Store Книга «Alibaba. История мирового восхождения» https://eksmo.ru/book/alibaba-istoriya-mirovogo-voskhozhdeniya-ITD838069/ 1:30 Чем маркетплейс отличается от интернет-магазина 4:10 Зачем на маркетплейсах так много товаров 10:00 Как продвинуть свой товар на маркетплейсе …

2 дня, 21 час назад @ zapuskzavtra.libsyn.com
Как вирусы меняют строчки кода, и в мире происходят катастрофы
Как вирусы меняют строчки кода, и в мире происходят катастрофы Как вирусы меняют строчки кода, и в мире происходят катастрофы

Сергей Голованов, главный эксперт «Лаборатории Касперского», «читает вирусы как книги». За 20 лет работы в информационной безопасности Сергей наблюдал как из подростковой игрушки вирусы превращались в оружие. В этом эпизоде Самат вместе с Сергеем обсуждают эту трансформацию и разбираются, как устроены вирусы и как за их счет мошенники крадут у банков деньги и доводят страны до экологических катаклизмов. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra. Узнать подробнее о курсе «IT-рекрутер» можно по ссылке https://clck.ru/aknpp. Слушайте эпизод подкаста «В о…

1 неделя назад @ zapuskzavtra.libsyn.com
Как бионические протезы позволяют людям держаться за руки
Как бионические протезы позволяют людям держаться за руки Как бионические протезы позволяют людям держаться за руки

В новом эпизоде Самат разговаривает с основателем компании «Моторика» Ильей Чехом о протезировании. Как соединить железо с культей и заставить его двигаться, как уберечь умную руку от багов и почему скоро мы все станем киборгама — рассказывает человек, благодаря которому тысячи людей по миру снова могут махать друг другу. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Станьте наставником или ревьюером в Яндекс.Практикуме: https://clck.ru/aiYsW Что может дать наставничество разработчику: истории от первого лица: https://habr.com/ru/company/yandex_praktikum/…

2 недели назад @ zapuskzavtra.libsyn.com
Алиса, выключи свет! Как умнеет ваш дом
Алиса, выключи свет! Как умнеет ваш дом Алиса, выключи свет! Как умнеет ваш дом

Вы дома один, но все время разговариваете с кем-то вслух? Если лет 10 назад это действительно могло выглядеть странно, то сегодня этим никого не удивить. Ну, в случае если у вас есть умная колонка. Сегодня голосового помощника можно спросить буквально обо всем – от прогноза погоды до теорий возникновения жизни на Земле. Самат решил разобраться, что у умной колонки внутри и как именно работает «умный дом». Сайты от Сергея и Андрея: The Verge https://www.theverge.com Gizmodo China https://gizmodo.com/search?q=china&blogId=4 2:34 Как работает умный дом 9:47 Устройства умного дома на вайфае и на протоколах Зигби и Мэттр 15:26 Как устроено производство умных колонок Яндекса 20:38 Как коронавирус…

2 недели, 2 дня назад @ zapuskzavtra.libsyn.com
Как из технологий в кино делают злодеев? Разбираемся на примере «Матрицы»
Как из технологий в кино делают злодеев? Разбираемся на примере «Матрицы» Как из технологий в кино делают злодеев? Разбираемся на примере «Матрицы»

Этот новогодний эпизод — кроссовер с подкастом «Поэпизодный клан», в котором сценаристы говорят и шутят о кино. Самат собрался вместе с ведущими «Клана» Николаем Куликовым и Константином Майером, чтобы обсудить, как технологии вводятся в сюжет фильма, почему образ хакера — это почти то же самое, что и образ Бабы-Яги, и чем Нео из «Матрицы» похож на Иисуса Христа. Рекомендуем пересмотреть фильм «Матрица» 1999 года перед прослушиванием! Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум. Узнать подробнее о курсе «Go-разработчик» можно по ссылке https://practicum.yandex.ru/promo/go-profession?utm_source=pr&utm_medium=content&utm_campaign=pr_content_go-profession_za…

1 месяц назад @ zapuskzavtra.libsyn.com
Интернет-маркетинг. Как реклама догоняет нас в вебе
Интернет-маркетинг. Как реклама догоняет нас в вебе Интернет-маркетинг. Как реклама догоняет нас в вебе

больше, чем близкие друзья и родственники. Это хорошо или плохо? И как это вообще работает? Самат разбирается вместе со специалистами из рекламных технологий Яндекса. Партнер этого эпизода — компания Яндекс. Наши совместные выпуски будут выходить по вторникам, раз в две недели. Сайты для онлайн-маркетологов: https://ppc.world https://sostav.ru Таймкоды: 3:15 Как разместить рекламу в интернете 12:15 Как устроено таргетирование в онлайн-рекламе 19:30 Как рекламные платформы собирают информацию о пользователях 29:25 Рекламный аукцион: как и за что платят рекламодатели 40:05 Как именно реклама появляется на сайтах 45:09 Сколько Яндекс зарабатывает на рекламе Вступайте в чат подкаста в телеграме…

1 месяц, 1 неделя назад @ zapuskzavtra.libsyn.com
«Нога Акинфеева обои» и еще сотня миллионов запросов в день. Как работает поиск
«Нога Акинфеева обои» и еще сотня миллионов запросов в день. Как работает поиск «Нога Акинфеева обои» и еще сотня миллионов запросов в день. Как работает поиск

Поисковых систем в мире меньше, чем компаний, которые запускают ракеты. Пользователю просто получить любую информацию в интернете, а инжинерам надо поддерживать базу данных с миллиардами веб-страниц и находить среди них нужные за доли секунды. О том, как компьютер понимает наши запросы и выбирает для них ответы Самат говорит с руководителем Яндекс.Поиска Максимом Загребиным. Партнер этого эпизода — компания Яндекс. Наши совместные выпуски будут выходить по вторникам, раз в две недели. 3:00 Как скачать все страницы из интернета 7:28 В каком формате веб-страницы хранятся в базе данных 12:40 Что происходит, когда пользователь делает запрос 25:36 Как обработать запрос с белибердой 31:20 Что алг…

1 месяц, 3 недели назад @ zapuskzavtra.libsyn.com
Ваша идея ничего не стоит. Инвестор vs cтартап
Ваша идея ничего не стоит. Инвестор vs cтартап Ваша идея ничего не стоит. Инвестор vs cтартап

Пятый сезон подкаста мы завершаем новым празднично — открытой записью эпизода. Самат встретился с инвестором Кириллом Беловым и узнал, как работают венчурные фонды, что и как нужно питчить инвестору, как оценить стоимость стартапа и какие IT-тренды ждут нас в ближайшем будущем. Ссылка на запись youtube-трансляции разговора Самата и Кирилла: https://youtu.be/NXub8CLL08Q Друзья, пройдите, пожалуйста, наш опрос! https://s878737.typeform.com/to/gm1WwitT Курс «DevOps для эксплуатации и разработки» от Яндекс.Практикум: https://practicum.yandex.ru/promo/devops-course?utm_source=pr&utm_medium=content&utm_campaign=pr_content_devops-course_zapuskzavtra 3-4 декабря пройдет ежегодная и самая большая те…

2 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Maps.me. Как упаковать мир в телефон
Maps.me. Как упаковать мир в телефон Maps.me. Как упаковать мир в телефон

Сделать карту, на которой будет отображен весь мир — нетривиальная задача. Но для создателей приложения Maps.me она была еще сложнее. Они задумали карту, которая работала бы офлайн. Хотя для обработки данных о нашей планете в телефоне не хватает ни процессора, ни памяти. О том, как в Maps.me решали эту проблему и откуда вообще берется информация о мире Самат разговаривает с сооснователем сервиса, Юрием Мельничеком. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Пройти бесплатный тренажер по математике можно по ссылке https://practicum.yandex.ru/math-founda…

2 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Доставка и логистика. Как страну превращают в товаропровод
Доставка и логистика. Как страну превращают в товаропровод Доставка и логистика. Как страну превращают в товаропровод

Как за день доставить из Москвы во Владивосток крупногабаритный груз? А маленький пакет из Сочи в Тамбов? А как не потерять посылку, проверить ее на запрещенные вещества и сэкономить на перевозках, если у тебя таких посылок — 22 миллиона в год? Самат говорит о доставке с Сергеем Климашем, заместителем генерального директора СберЛогистики. Сергей рассказывает, как банк становится новой почтой, а в России силами Сбера, Озона и Яндекса появляется новая транспортная система. Не пропустите нашу открытую запись 8 ноября! Она будет проходить на ютуб-канале Либо/Либо по этой ссылке https://www.youtube.com/watch?v=NXub8CLL08Q. Нажимайте на колокольчик, и тогда ютуб вам напомнит о мероприятии, и вы н…

2 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Как устроены сотовые сети
Как устроены сотовые сети Как устроены сотовые сети

А еще 5G, LTE, отели базовых станций, антенны, мобильные операторы, аукционы частот, роуминг и сетевые уязвимости. О телекоммуникациях Самат говорит с основателем компании Fairwaves Александром Чемерисом, который обеспечивал связью африканские деревни и штат Оахака в Мексике. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Сайт Доки: https://doka.guide/ Не пропустите нашу открытую запись 8 ноября! Подписывайтесь на канал Либо/Либо https://www.youtube.com/c/ЛибоЛибо/videos и присоединяйтесь к событию на фейсбуке https://www.facebook.com/events/27196747817629…

3 месяца назад @ zapuskzavtra.libsyn.com
«Мы слышим, как вы дышите». Как бизнесы с помощью CRM контролируют поведение покупателей
«Мы слышим, как вы дышите». Как бизнесы с помощью CRM контролируют поведение покупателей «Мы слышим, как вы дышите». Как бизнесы с помощью CRM контролируют поведение покупателей

В одном из эпизодов «Запуска завтра» герой рассказывал, что работа над CRM-системой в Microsoft была самой скучной в его жизни. Это программное обеспечение нужно любому бизнесу, но при этом в его создании нет ничего интересного. Сегодня Самат разговаривает с человеком, который придерживается противоположной точки зрения. Юлиана Гордон была CRM-директором Ozon, внедряла CRM в Мегафоне и МТС, а сейчас занимается своей школой электронной торговли iWENGO. Юлиана объясняет, почему CRM — это не просто таблица с данными, а главный инструмент, благодаря которому бизнес зарабатывает миллионы. Приходите на открытую запись подкаста 8 ноября! Покупайте билеты по ссылке https://dkrassvet.space/events/za…

3 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Психология в IT. Эпизод с неудобными вопросами
Психология в IT. Эпизод с неудобными вопросами Психология в IT. Эпизод с неудобными вопросами

Мы часто думаем, что к психологу нужно идти с проблемами в личной жизни, а рабочие вопросы пытаемся решить сами или не решаем вовсе. Мы хотим разобраться, о чем в IT-тусовке говорить не принято и как обсуждать проблемы, с которыми сталкивается каждый из нас. Как разговаривать о повышении? как победить синдром самозванца? как бороться с токсичностью в команде и как разруливать конфликты? Во всем этом Самат разбирается вместе с IT-психологом Анастасией Калашниковой. Ссылки от Анастасии: Сервис по оценке себя и поиску ментора: https://getmentor.dev/ Подкаст Psy v IT https://t.me/psyvit Подкаст NewHR https://t.me/newhrpodcast Курс «Аналитик Данных» от Яндекс.Практикум: https://practicum.yandex.…

3 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Почему Facebook, Instagram и WhatsApp лежали 6 часов. Разбор по хардкору
Почему Facebook, Instagram и WhatsApp лежали 6 часов. Разбор по хардкору Почему Facebook, Instagram и WhatsApp лежали 6 часов. Разбор по хардкору

Вечером 4 октября перестал работать Facebook и принадлежащие ему компании. Сбой случился из-за сетевых проблем. Сети Самат обсуждает вместе с техническим директором ВКонтакте Александром Тоболем и с главой сетевой инфраструктуры Mail.ru Group Еленой Якуповой. За что отвечают протокол BGP и DNS-сервера, как конфигурируется сеть и как это все связано с тем, что вечер понедельника мы провели без соцсетей. Прочитать о том, как студенты Практикума делали бота в телеграме, можно по ссылке https://vk.com/@yandex.practicum-sbor-i-otpravka-soobschenii-iz-telegram-v-slack-opyt-sozdani Проект о сетях https://linkmeup.ru/ 4:30 Как происходит передача информации между сетями разных провайдеров 11:30 Поч…

3 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 3 дня, 11 часов назад
Из преподавателя в разработчики (level: all)
Из преподавателя в разработчики (level: all) Из преподавателя в разработчики (level: all)

В гостях у Moscow Python Podcast Python разработчик компании 4Taps Александр Дегель. Поговорили с Александром о его пути от преподавателя в детско-юношеской спортивной школе до Python разработчика. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor…

3 дня, 11 часов назад @ learnpython.podbean.com
в ML системах (level: all)
в ML системах (level: all) в ML системах (level: all)

В гостях у Moscow Python Podcast Python Техлид компании СберДевайсы Владимир Соколов. Поговорили с Владимиром о том, чем может заниматься Python разработчик в ML системах и о проблемах речевой аналитики. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц назад @ learnpython.podbean.com
Автоматизация процессов (level: all)
Автоматизация процессов (level: all) Автоматизация процессов (level: all)

В гостях у Moscow Python Podcast Python руководитель разработки ML систем компании СберДевайсы Денис Усачев. Поговорили с Денисом о том, для чего нужна автоматизация и о возможных вариантах автоматизации. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 1 неделя назад @ learnpython.podbean.com
в retail (level: all)
в retail (level: all) в retail (level: all)

В гостях у Moscow Python Podcast Python разработчик компании Утконос Онлайн Павел Кузнецов. Поговорили с Павлом о том, что делает Python в retail и в частности в Утконос Онлайн. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 2 недели назад @ learnpython.podbean.com
Ответственность и безответственность разработчиков (level: all)
Ответственность и безответственность разработчиков (level: all) Ответственность и безответственность разработчиков (level: all)

В гостях у Moscow Python Podcast Python ведущий разработчик компании BestDoctor Александр Хмелевский. Поговорили с Александром о самоорганизации, ценностях в команде и социальной валюте. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 3 недели назад @ learnpython.podbean.com
едет во Владивосток
едет во Владивосток едет во Владивосток

Поехали с нами! https://www.meetup.com/Moscow-Python-Beer-Meetup/events/282228798/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

1 месяц, 3 недели назад @ learnpython.podbean.com
Из тестирования в разработку (level: all)
Из тестирования в разработку (level: all) Из тестирования в разработку (level: all)

В гостях у Moscow Python Podcast Python developer компании Grid Dynamics Russia Лариса Петрова. Поговорили с Ларисой о ее пути в разработку, обсудили опыт прохождения собеседований и подготовку к ним. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Grid Dynamics Russia: https://careers.griddynamics.com/discover-openings Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Pyt…

2 месяца, 1 неделя назад @ learnpython.podbean.com
На чем писать код (level: all)
На чем писать код (level: all) На чем писать код (level: all)

В гостях у Moscow Python Podcast ведущий разработчик компании NVIDIA Роман Сакал. Поговорили с Романом о том, на чем писать код, на чем его пишут в NVIDIA и о том, почему Python is the second best language. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 месяца, 2 недели назад @ learnpython.podbean.com
Рынок найма разработчиков (level: all)
Рынок найма разработчиков (level: all) Рынок найма разработчиков (level: all)

В гостях у Moscow Python Podcast технический директор компании Geecko Никита Обухов. Поговорили с Никитой о рынке найма разработчиков и о DevRel. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция GeekRel: https://conf.geecko.com/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

2 месяца, 3 недели назад @ learnpython.podbean.com
Главная конференция в области ИИ GTC21
Главная конференция в области ИИ GTC21 Главная конференция в области ИИ GTC21

Злата приглашает всех на GTC

Конференция GTC: https://www.nvidia.com/ru-ru/gtc/

3 месяца назад @ learnpython.podbean.com
в нефтехимии (level: all)
в нефтехимии (level: all) в нефтехимии (level: all)

В гостях у Moscow Python Podcast старший владелец продукта компании Сибур Диджитал Вадим Щемелинин. Поговорили с Вадимом о Индустрии 4.0, видеоаналитике в нефтехимии и о многом другом.. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция HighLoad++: https://www.highload.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 месяца назад @ learnpython.podbean.com
О развитии разработчика (level: all)
О развитии разработчика (level: all) О развитии разработчика (level: all)

В гостях у Moscow Python Podcast руководитель подразделения World of Tanks Game Logic компании Wargaming Левон Авакян. Поговорили с Левоном о правильном развитии разработчика. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 месяца назад @ learnpython.podbean.com
Docs as Code (level: all)
Docs as Code (level: all) Docs as Code (level: all)

В гостях у Moscow Python Podcast разработчик компании Recall Masters Анатолий Щербаков. Поговорили с Анатолием о документации к вашему коду, почему она нужна и о подходе Docs as Code. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

3 месяца, 2 недели назад @ learnpython.podbean.com
К чему приводят стримы (level: all)
К чему приводят стримы (level: all) К чему приводят стримы (level: all)

В гостях у Moscow Python Podcast junior разработчик компании AdCombo Александр Шейкин. Поговорили с Александром о его пути в разработчики Python, первом опыте работы. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

4 месяца назад @ learnpython.podbean.com
Хорошие практики построения инфраструктуры ML-моделей (level: all)
Хорошие практики построения инфраструктуры ML-моделей (level: all) Хорошие практики построения инфраструктуры ML-моделей (level: all)

В гостях у Moscow Python Podcast Data Science компании Лаборатория Касперского Дмитрий Аникин. Поговорили с Дмитрием о Python в машинном обучении, инфраструктуре моделей и многом другом. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

4 месяца, 1 неделя назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 2 дня, 14 часов назад
Podlodka #252 – Теория игр
Podlodka #252 – Теория игр Podlodka #252 – Теория игр

Что объединяет выигрыши Стаса в покере, стратегию расположения магазинов “Пятерочка” и принципы распределения коров при разделе наследства? Теория игр! Илья Кацев, PhD по теории игр и руководитель команды дата-сайнтистов в Яндексе, поделился кучей задач, методов и практических применений теории игр в современном мире. Много крутых вакансий в Яндекс Банк, для разработчиков и не только: https://fintech.yandex.ru/?from=podlodka Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-а…

2 дня, 14 часов назад @ soundcloud.com
Podlodka #251 – Peer Review
Podlodka #251 – Peer Review Podlodka #251 – Peer Review

Шок-контент – мы закопали код-ревью!

На деле, конечно, все не так просто: код-ревью – это всего лишь одна из разновидностей peer review со своими границами применимости. Какие еще есть подходы, и когда они бывают полезны – обсудили с Филиппом Дельгядо! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные ссылки:

Доклад Фила с Podlodka Techlead Crew

https://www.youtube.com/watch?v=…

1 неделя, 3 дня назад @ soundcloud.com
Podlodka #250 – Lean
Podlodka #250 – Lean Podlodka #250 – Lean

Аригато! Никакое обсуждение бережливого производства не обойдется без таких теминов как кайдзен, пока-йоке, гемба, муда, мура, мури. Вместе с Алексеем Пименовым прошли весь путь от подходов в машиностроении до бережливого производства ПО. Разобрались насколько подходы применимы в IT, а главное почему с ним должны познакомиться современные управленцы. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов,…

2 недели, 3 дня назад @ soundcloud.com
Podlodka #249 – Сети, часть 2
Podlodka #249 – Сети, часть 2 Podlodka #249 – Сети, часть 2

Вы просили – мы сделали! В этом выпуске мы продолжили обсуждать сети, но на сей раз чуть больше внимания уделили железкам, а также беспроводным сетям. Выпуск самодостаточен, но наилучший эффект будет, если вы уже слышали первую часть :) Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова

3 недели, 3 дня назад @ soundcloud.com
Podlodka #248 – Итоги 2021 года
Podlodka #248 – Итоги 2021 года Podlodka #248 – Итоги 2021 года

Открывайте игристое, доставайте мандаринки и подключайтесь к нашему новогоднему выпуску! Здесь все: итоги года, наши планы и много веселья! А еще в этом выпуске минимум экспертного мнения, зато много нас – ваших любимых ведущих ❤️ Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова, Стас Цыганов, Егор Толстой, Аня Симонова

1 месяц назад @ soundcloud.com
Podlodka #247 – Родительство
Podlodka #247 – Родительство Podlodka #247 – Родительство

Podlodka — это уже давно больше, чем разбор айтишных тем. Мы любим говорить о всем, что интересно IT специалистам, и часто эти темы лежат далеко за пределами языков программирования и инструментов разработки. Тема родительства рано или поздно затрагивает большинство из нас, а количество вопросов, мифов и страхов вокруг нее — огромное. Наталья Ремиш, автор мультиков со смыслом “Про Миру и Гошу”, детская писательница, основатель клуба поддержки родителей “В своем уме” поделилась огромным опытом и ответила на кучу наших вопросов о том, зачем и как быть счастливыми родителями. Разверните гибкую инфраструктуру в Selectel и ускорьте развитие финтех-проектов: https://slc.tl/wSpOn Поддержи лучший п…

1 месяц назад @ soundcloud.com
Podlodka #246 – ML и творчество
Podlodka #246 – ML и творчество Podlodka #246 – ML и творчество

Может ли робот написать симфонию, сотворить шедевр? Сейчас вряд ли, но еще никогда мы не были так близки к этому. Мы поговорили с Алексеем Тихоновым из Яндекса про то, как создаются нейросети, способные творить. Разверните гибкую и надежную инфраструктуру для финтех-проекта в Selectel: https://slc.tl/pXF6A Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки:

Профиль Алексе…

1 месяц, 2 недели назад @ soundcloud.com
Podlodka #245 – Современные IDE
Podlodka #245 – Современные IDE Podlodka #245 – Современные IDE

IDE уже много лет упрощают рутину разработчиков. Но что, если в своем развитии они пошли не туда? Максим Шафиров, СЕО JetBrains и разработчик новой IDE Fleet, делится своими мыслями про проблемы существующих решений и тем, как они решаются в IDE нового поколения. В выпуске много крутых идей про то, как могут выглядеть рабочие процессы, обсуждений архитектуры Fleet, Projector и Remote Development в IDEA, и ламповых воспоминаний о первых IDE. Приходите разрабатывать Fleet в компанию JetBrains: https://spb.hh.ru/vacancy/47469968 Разверните гибкую и производительную базу данных для службы доставки или интернет-магазина в Selectel: https://slc.tl/n9sui Поддержи лучший подкаст про IT:

www.patreon…

1 месяц, 3 недели назад @ soundcloud.com
Podlodka #244 – Геймдизайн
Podlodka #244 – Геймдизайн Podlodka #244 – Геймдизайн

Геймдизайн – наука или искусство? А что должны знать и уметь люди, которые профессионально им занимаются? Как оценить, насколько игра получается веселой? На эти и другие вопросы нам помог ответить Святослав Торик, Head of Game Design в компании Nexters. Решите задачи e-commerce-проектов с гибкой IT-инфраструктурой Selectel: https://slc.tl/8bajG Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Егор …

1 месяц, 4 недели назад @ soundcloud.com
Podlodka #243 – IT в кино
Podlodka #243 – IT в кино Podlodka #243 – IT в кино

А вы знали, что голливудские компании в производстве спецэффектов активно используют инструменты написанные отечественным разработчиком? В гости позвали автора – Романа Белова. Поговорили и про инструменты, и про производственный цикл фильмов, и про виды и способы реализации визуальных эффектов. Решите задачи e-commerce-проектов с гибкой IT-инфраструктурой Selectel: https://slc.tl/O5czU Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPod…

2 месяца назад @ soundcloud.com
Podlodka #242 – Файрволы
Podlodka #242 – Файрволы Podlodka #242 – Файрволы

В выпуск позвали сооснователя и CEO Wallarm Ивана Новикова. Начали с сетевых слоев, но в основном говорили про уровень приложений. Именно на этом уровне файрволы развиваются последние годы. Не обошли стороной концепцию Zero Trust. А под конец обсудили куда файрволы развиваются. Отказоустойчивые облачные базы данных для интернет-магазинов и сервисов доставки в Selectel: https://slc.tl/BAvsG Промокод на 500₽ на SoftSkills Crew: LIKE_A_BOSS Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkaca…

2 месяца, 1 неделя назад @ soundcloud.com
Podlodka #241 – Профессия: бизнес-аналитик
Podlodka #241 – Профессия: бизнес-аналитик Podlodka #241 – Профессия: бизнес-аналитик

В индустрии существует бессчетное количество разновидностей аналитиков: продуктовые, системные, бизнес, финансовые и многие другие. В выпуске вместе с Алексеем Белозерским мы разбираемся в их классификации и закапываемся в специфику работы бизнес-аналитика: основные задачи, используемые подходы и инструменты. Узнайте, как подготовить IT-инфраструктуру к сезону распродаж, на бесплатном вебинаре от Selectel: https://slc.tl/gDOfD 22 ноября стартует конференция для продакт-менеджеров Podlodka Product Crew. Промокод на скидку: ANALYTICS. https://podlodka.io/productcrew Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетя…

2 месяца, 2 недели назад @ soundcloud.com
Podlodka #240 – Golang
Podlodka #240 – Golang Podlodka #240 – Golang

Пополняем золотую коллекцию языковых выпусков Podlodka долгожданным эпизодом про Golang! Все, как вы любите — история развития, области применения, ключевые фичи, экосистема, и немного холивара про сильные и слабые стороны. Погрузил в мир Go, объяснил, почему “less is exponentially more” и как это отражается на том, что язык предлагает разработчикам Алексей Палажченко — программист из Sidero Labs и ведущий подкаста GolangShow. Аккуратно! В выпуске чересчур много шуток про дженерики! Гибкие облачные базы данных для многопользовательских игр и других игровых проектов в Selectel: https://slc.tl/H6I7r Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и…

2 месяца, 3 недели назад @ soundcloud.com
Podlodka #239 – Сети, часть 1: Интернет
Podlodka #239 – Сети, часть 1: Интернет Podlodka #239 – Сети, часть 1: Интернет

Замахнулись на необъятное и обсудили компьютерные сети! Одного выпуска для такой тему явно мало, поэтому пока мы сфокусировались на интернете, и подробно изучили приключения сигнала на пути от пользователя к целевому сервису. В гостях у нас Тёма Гавриченков из Servers.com, которого вы можете помнить из нашего выпуска про дата-центры. Разверните гибкую и производительную облачную базу данных для своего игрового проекта в облаке Selectel: https://slc.tl/z9sWf C 8 ноября стартует новый сезон конференции Podlodka Backend Crew! По промокоду TANNENBAUM скидка для слушателей этого выпуска, а подробности и расписание на сайте https://podlodka.io/becrew. Поддержи лучший подкаст про IT:

www.patreon.c…

3 месяца назад @ soundcloud.com
Podlodka #238 – JavaScript
Podlodka #238 – JavaScript Podlodka #238 – JavaScript

Лучший выпуск про лучший язык программирования с лучшим гостем, а в гости пришел наш коллега по подкастном цеху, автор Hegel.js, а с недавних пор еще и разработчик из команды Kotlin/JS & Wasm: Артем Кобзарь. Начали с истории появления JS, традиционно для языковых выпусков обсудили сильные и слабые is not a function стороны, а закончили обсуждением как его выучить по-настоящему. Ведь большинство разработчиков не столько пишут на JS, сколько на фреймворках. Гибкая и надежная IT-инфраструктура для игровых разработчиков в Selectel: https://slc.tl/Wcp8O Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат:…

3 месяца, 1 неделя назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 3 недели, 6 дней назад
Наука на ночь
Наука на ночь Наука на ночь

Как один мальчик отказался ходить по струнке? Как одна девочка плохо себя вела и попала в историю?Новый Год — самое время для сказок, историй и тостов! Мы решили прочитать вам пару историй из книги «Наука на ночь», которую пишут Ксюша и Иван, а заодно создать новогоднее настроение всей командой подкаста.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

3 недели, 6 дней назад @ buzzsprout.com
Речевые технологии
Речевые технологии

Как машинное обучение помогает учиться людям? Что делает робота милым, а что пугающим? И почему речевые ассистенты совсем недавно заговорили мужскими голосами?Сегодня с нами проветриваются: Анна Дёгтева - лингвист, антрополог, разработчица голосовых интерфейсовСоня Терпугова - она делает стартап SmallTalk2.me - AI помощник в разговорном английском, а до этого около 8 лет работала в ЯндексеНе будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

1 месяц назад @ buzzsprout.com
Ксения Шагал live!
Ксения Шагал live! Ксения Шагал live!

Как сохранить исчезающий язык? Что именно сравнивают в сравнительной лингвистике? И что такое «калсарикянни»?Сегодня с нами проветривается Ксения Шагал — линвист и типолог из Хельсинкского университета.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

1 месяц, 1 неделя назад @ buzzsprout.com
Art&Science
Art&Science Art&Science

Как деревья сигнализируют о приближающихся землетрясениях в Африке? Как создать студию, создающую метавселенные? И можно ли выращивать картины из плесени? Сегодня с нами проветриваются три специалиста, которые занимаются Искусство и наука: Дарья Федорова - био-художница Ольга Киселева - биохудужник, директор Института науки и искусства Сорбонны, лауреат Гран-при Art & Science Евросоюза за био-арт проект EDEN Наталья Алфутова - медиа-художница, соосновательница " Мастерской 15 " Не будьте такими душными, давайте лучше - проветримся! Подпишись в Телеграм на канал @progulka ApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаПоддержите шоуSupport the show (https://www.patreon.com/progulka)

1 месяц, 2 недели назад @ buzzsprout.com
Антон Слесарев live!
Антон Слесарев live!

Как в России появились свои беспилотники? Чем можно удивить участников CES в Вегасе? И как изменятся автомобили, когда не надо будет сидеть за рулём?Сегодня с нами проветривается Антон Слесарев — руководитель разработки беспилотных автомобилей Яндекса.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the showSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

1 месяц, 3 недели назад @ buzzsprout.com
Виталий Быков live!
Виталий Быков live!

Как создать рекламное агентство? Почему "креативные индустрии" делают всех богаче? И как меняется реклама в двадцать первом веке?Сегодня с нами проветривается Виталий Быков — основатель агетнства "Red Keds" и организатор фестиваля креативных индустрий Great 8.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the showSupport the show (https://www.patreon.com/progulka)

2 месяца назад @ buzzsprout.com
Виталий Терлецкий live!
Виталий Терлецкий live! Виталий Терлецкий live!

С чего начинать путь в мир комиксов? Как сделать независимое издательство? И что делать, если у тебя есть двести миллионов рублей?Сегодня с нами проветривается Виталий Терлецкий. Автор комиксов и издатель Терлецки Комикс.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the showSupport the show (https://www.patreon.com/progulka)

2 месяца, 1 неделя назад @ buzzsprout.com
Венчурные инвестиции
Венчурные инвестиции

Как работают венчурные инвестиции? Какой путь проходит компания от стартапа до единорога? Что ожидает рынок технологических инвестиций на горизонте в несколько лет?Сегодня с нами проветриваются: Алексей Менн - партнер венчурного фонда Begin CapitalМария Шутова - генетик, научный консультант, в прошлом - аналитик фонда 4Bio CapitalНе будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаПоддержи шоу Support the show (https://www.patreon.com/progulka)

2 месяца, 2 недели назад @ buzzsprout.com
Андрей Щербак live!
Андрей Щербак live!

Что такое социальные науки? Зачем их изучать? И как связаны молоко и демократия? Сегодня с нами проветривается доцент Высшей школы экономики в Санкт-Петербурге Андрей Щербак.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show Support the show (https://www.patreon.com/progulka)

2 месяца, 3 недели назад @ buzzsprout.com
Енисейский Киото
Енисейский Киото

Как в Сибири изучали возможность создания космических поселений? И где в России надо учиться на шеф-повара?Добро пожаловать в Красноярск, который нам показался чем-то похожим на культурную столицу Японии.Сегодня с нами проветриваются:— Егор Задереев, руководитель группы научных коммуникаций Красноярского научного центра СО РАН, кандидат биологических наук.— Николай Григорьев, руководитель проектного офиса Института Гастрономии Сибирского Федерального Университета.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаАвтор и ведущий — Иван ЯмщиковАвтор рубрики Just One More Thing — Ксения ДруговейкоРежи…

3 месяца назад @ buzzsprout.com
User-generated content
User-generated content User-generated content

Как пользователь может обучать алгоритмы? Почему люди залипают в ТикТок? И что случается с вашим постом до того, как его увидят ваши друзья?Сегодня с нами проветриваются:— Алексей Сенников — руководитель направления модерации социальной сети Одноклассники— Натальи Казаченко — руководитель группы аналитики качества рекомендаций в ЯндексеНе будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

3 месяца, 1 неделя назад @ buzzsprout.com
Стрит-арт
Стрит-арт Стрит-арт

Как организовать фестиваль стрит-арта в своём городе? Как уличные художники меняют современную культуру? И где в России смотреть классный стрит-арт? Сегодня с нами проветриваются:— Анна Клец — организатор фестиваля Стенограффия в Екатеринбурге.— Зося Леутина — художник графитист и муралист, одна из организаторов фестиваля Графит науки в Новосибирске.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

3 месяца, 2 недели назад @ buzzsprout.com
Медицинские технологии
Медицинские технологии Медицинские технологии

Кого и как лечит искусственный интеллект? Зачем нужна персонализированная медицина? И как алгоритмы могут помочь нам "укрепить" здоровье?Сегодня с нами проветриваются— Иван Дрокин — со-основатель и директор по науке braingarden.ai, со-основатель и директор по исследованиям botkin.ai — Булат Загидуллин — аспирант университета Хельсинки, интерн в компании Байер.— Дмитрий Бычков — aспирант университета Хельсинки, специалист по анализу данных в стартапе Kaliber Labs.Не будьте такими душными, давайте лучше — проветримся!Support the show (https://www.patreon.com/progulka)

3 месяца, 3 недели назад @ buzzsprout.com
Философия космизма
Философия космизма Философия космизма

Что такое космизм? Как мало кому известное мистико-философское учение изменило и продолжает менять современный мир?В нашем сотом юбилейном выпуске мы поговорим с Людмилой Будневой из НГУ и Верой Алексеевой из музея Константина Циолковского о русском космизме.Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

3 месяца, 4 недели назад @ buzzsprout.com
Софья Касацкая live!
Софья Касацкая live! Софья Касацкая live!

Как "киллеры" сохраняют ваше здоровье? Чем врождённый иммунитет отличается от приобретённого? И как образ жизни влияет на иммунитет? Сегодня с нами проветривается Софья Касацкая. Софья получила PhD по иммунологии в СколТехе и ведёт канал Shameless Bacteria про иммунологию, биологию, медицину и прочее интересное.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

4 месяца назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост 8 месяцев, 2 недели назад
Трудная проблема сознания. Как научить машину думать
Трудная проблема сознания. Как научить машину думать Трудная проблема сознания. Как научить машину думать

Каково написать первую программу гусиным пером в мире, где нет даже электрических лампочек, о чем мечтали отцы кибернетики, когда создавали математическую модель нейрона, и чего мы сами ждем от чипов Neuralink— в заключительном эпизоде первого сезона, где гении пьют виски на даче, макаки играют в пинг-понг без рук, роботы лечат малярию и все очень много мечтают. Этот подкаст мы делаем вместе со SberDevices

8 месяцев, 2 недели назад @ nowyouarehere.libsyn.com
Моральная машина. Зачем нейросети совесть
Моральная машина. Зачем нейросети совесть Моральная машина. Зачем нейросети совесть

Откуда у алгоритмов загоны и предрассудки, как роботам решать дилему вагонетки, и что нейросеть понимает про семейные ценности — в эпизоде, где спящие люди тихо едут на Теслах из киберпанка в киберкоммунизм. Этот подкаст мы делаем вместе со SberDevices Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

9 месяцев, 1 неделя назад @ nowyouarehere.libsyn.com
Сам ты нейросеть. Как устроено машинное обучение
Сам ты нейросеть. Как устроено машинное обучение Сам ты нейросеть. Как устроено машинное обучение

Почему алгоритмы начали сами повторять достижения человечества, как научились предсказывать изобретения и что общего у малыша на карусели и нейросети GPT3. Этот подкаст мы делаем вместе со SberDevices Подкаст Ивана Ямщикова "Проветримся" https://www.patreon.com/progulka Продюсер и ведущий — Павел Боровков; Редактор — Семен Шешенин; Автор сценария — Катя Зорич; Звукорежиссер — Павел Цуриков; Композитор — Кира Вайнштейн; Дизайнер обложки — Таисия Демкина; ______________________ Сайт студии Либо/Либо — libolibo.ru Instagram студии — instagram.com/libolibostudio Наш YouTube канал — youtube.com/c/ЛибоЛибо Группа в VK — vk.com/libolibostudio

9 месяцев, 3 недели назад @ nowyouarehere.libsyn.com
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост 1 месяц, 2 недели назад
Robot as Vehicle
Robot as Vehicle Robot as Vehicle

Self-driving cars are seemingly just around the corner. These robots aren’t quite ready for the streets. For every hyped-up self-driving showcase, there’s a news story about its failure. But the good news is that we get closer every year. Alex Davies steers us through the history of autonomous vehicles. Alex Kendall maps the current self-driving landscape. And Jason Millar takes us under the hood of these robots’ computers to better understand how they make decisions.If you want to read up on some of our research on self-driving cars, you can check our all our bonus material over at redhat.com/commandlineheroes. Follow along with the episode transcript.

1 месяц, 2 недели назад @ redhat.com
Robot as Threat
Robot as Threat Robot as Threat

When a robot goes bad, who is responsible? It’s not always clear if the user or the manufacturer is liable when a robot leaves the lot. Human behavior can be complex—and often contradictory. Asking machines to interpret that behavior is quite the task. Will it one day be possible for a robot to have its own sense of right and wrong? And barring robots acting of their own accord, whose job is it to make sure their actions can’t be hijacked? AJung Moon explains the ethical ramifications of robot AI. Ryan Gariepy talks about the levels of responsibility in robotic manufacturing. Stefanie Tellex highlights security vulnerabilities (and scares us, just a little). Brian Gerkey of Open Robotics di…

1 месяц, 4 недели назад @ redhat.com
Humans as Robot Caretakers
Humans as Robot Caretakers Humans as Robot Caretakers

HitchBOT was an experiment in stewardship: A small, rudimentary robot unable to move on its own, depending on the kindness of passersby to help it along its journey. Until it met an untimely end. Trust is a two-way street, and because robots are not powered by their own moral code, they rely on humans to supply both empathy and support. Dr. Frauke Zeller shares HitchBOT’s origin story. Eli Schwartz recounts his heartbreak upon learning what happened in Philadelphia. Dr. Julie Carpenter analyzes why it all went down. And Georgia Guthrie epitomizes the outpouring of sympathy that followed. Together, they tell a layered story about humans, and how we respond to robots. With HitchBOT, we find a…

2 месяца, 1 неделя назад @ redhat.com
Robot as Body
Robot as Body Robot as Body

For years, prosthetic technology focused on form over function, on masking lost limbs, rather than agency and usability. But things are changing. Innovations in robotics are giving more people more options, with lower thresholds of entry—and lower price tags, too. Tilly Lockey takes us through her journey with prosthetic arms. Brian Schulz gives some history of mechanical prosthetics, and what it means for people to reach embodiment with their devices. Tyler Hayes talks about the software that made advancements in assistive technology possible. Charlie Kemp discusses his work building universal robot interfaces, and how they can benefit everyone. And Henry and Jane Evans explain how robots …

2 месяца, 3 недели назад @ redhat.com
From Compiler: Do We Want A World Without Technical Debt?
From Compiler: Do We Want A World Without Technical Debt? From Compiler: Do We Want A World Without Technical Debt?

Who says tech talk has to be boring? On Compiler, we dig into tech topics big, small, and strange. We talk to people who know the code, and bring their perspectives back to you. Intrigued? Here's a preview episode.Software development teams often reach a crossroads. Should they perform maintenance and address bug issues, or add new features to satisfy users? The former isn’t as exciting, but sometimes the most important work is invisible to those who reap the benefits. For now, the project has been released, and everyone wants to celebrate. But there’s an elephant in the room, one that teams can ignore—at least, for a while. In this episode of Compiler, we unpack the concept of technical de…

3 месяца назад @ redhat.com
Robot as Humanoid
Robot as Humanoid Robot as Humanoid

It’s hard enough to make a functional, reliable robot. Many people also want to make those robots in our image. That’s a tough needle to thread. Often, the most efficient design isn’t the most human-like one. But that isn’t stopping us from reaching for those humanoid robots. Professor Shigeki Sugano argues in favor of creating human-shaped robots. But it’s such an enduring challenge, we’ve come up with a name for it: the uncanny valley. Evan Ackerman walks us through the uncanny valley’s treacherous terrain. Deanna Dezern shares how she’s connected to her robot companion. And Dor Skuler explains how he deliberately avoided making his robots look like humans.If you want to read up on some o…

3 месяца, 1 неделя назад @ redhat.com
Robot as Maker
Robot as Maker Robot as Maker

One of the first functional robots appeared on TV in 1966. That’s earlier than some of us expect. The Unimate’s televised premiere sparked the world’s imagination. It represented a host of possibilities. Those possibilities, however, also implied a coming competition that would last for decades. Dag Spicer tells the story of the Unimate, the first industrial robot—and how little the American public trusted it. But that distrust wasn’t universal. Tomonori Sanada explains how the Unimate was received very differently in Japan. Joe Campbell describes the dangers of working alongside industrial robots. But he’s working to change that with cobots. And Paul Shoup shares how his company, employees…

3 месяца, 3 недели назад @ redhat.com
Robot as Software
Robot as Software Robot as Software

Building a physical robot isn’t cheap—even when it’s the final version. Designing a robot and testing it over and over again? That takes a lot of tries. And likely more than a few failures on the way to success. Luckily, simulation software is reducing the scrap heap—and bringing down the costs of building robots from the ground up. Kevin Knoedler shares how simulation software allows him to program and design robots from home. And even though he doesn’t have the budget or support of major research institutions like DARPA, his robots still end up winning major competitions. Evan Ackerman points out that winning those competitions takes a lot of skills. But amateurs have more ways than ever …

4 месяца, 1 неделя назад @ redhat.com
Robot as Servant
Robot as Servant Robot as Servant

The 1980s promised robotic servants were in reach. They’d clean up our houses. Bring us drinks. Usher in an era of leisure. We didn’t get robot butlers. But if we look around, we’ll find an army of robotic servants already automating away domestic drudgery. Richard Rowland recounts the extent to which Androbot over-promised on its ability to build a robot servant. 40 years later, we still don’t have robot maids. Monroe Kennedy III walks us through the complexities of seemingly simple tasks. To make things more difficult, each attempt to build a robot had to build the hardware AND write the code from scratch. Keenan Wyrobek explains that’s why he helped write and share the Robot Operating Sy…

4 месяца, 3 недели назад @ redhat.com
Command Line Heroes Season 8: Broadcasting the Robot Revolution
Command Line Heroes Season 8: Broadcasting the Robot Revolution Command Line Heroes Season 8: Broadcasting the Robot Revolution

Robots have a special place in our imaginations. Writers, artists, directors, and more have shown how robots can change our world—for better or far, far worse. In the real world, robots seem a long way off. But are they? Season 8 of Command Line Heroes is all about the rise of the robots. They just may not be what you expect. We meet the first industrial robot, take a journey through the uncanny valley, and investigate a possible robot crime. Season 8 covers the robots that are in our midst—and the determined dreamers who bring them to life. The first episode drops September 7, 2021. Follow today and sign up for the newsletter to get the latest updates.

5 месяцев назад @ redhat.com
After the Bubble
After the Bubble After the Bubble

The Y2K bug generated a lot of fear, but all that hype fizzled when the new millennium didn’t start with a digital apocalypse. It turns out that fear was just aimed at the wrong catastrophe. While plenty were riding high on the rise of the internet beyond the Y2K scare, another disaster had been brewing since 1995—and would bring them back down. But the dot-com bubble wasn’t the end. The internet was here to stay. Not long after the turn of the millennium, the dot-com economy collapsed. Peter Relan points to the flawed business plans that fueled the dot-com bubble, and how many entrepreneurs and investors underestimated the complexity of building a business on the internet. Ernie Smith tell…

7 месяцев назад @ commandlineheroes.simplecast.com
The World of the World Wide Web
The World of the World Wide Web The World of the World Wide Web

1995 laid the groundwork for a truly global World Wide Web. But not every country took the same path to connecting to the internet. Some resisted, wanting to create their own version. Others had to fight for access, not wanting to be left behind. And while we made huge strides in connecting the world in those early years, we still have a long way to go. Julien Mailland recounts the rollout of France’s Minitel service—how it was years ahead of the internet, but eventually lost its lead. Steve Goldstein explains what was involved in building the infrastructure to expand the NSFNET beyond the United States. Gianluigi Negro shares how China pushed for its connection, and how different it would …

7 месяцев, 2 недели назад @ redhat.com
Looking for Search
Looking for Search Looking for Search

The web was growing quickly in the ‘90s. But all that growth wasn’t going to lead to much if people couldn’t actually find any web sites. In 1995, an innovative new tool started crawling the web. And the search engine it fed opened the doors to the World Wide Web. Elizabeth Van Couvering describes trying to find websites before search engines, and how difficult it was becoming in the early ’90s to keep track of them all. Louis Monier talks about having to convince others how important search engines would become—and he showed them what a web crawler could do. Paul Cormier recounts taking the search engine from a research project to a commercial one. And Richard Seltzer wrote the book on sea…

8 месяцев назад @ redhat.com
Shopping for the Web
Shopping for the Web Shopping for the Web

We put a lot of trust into online shopping: sharing our names, addresses, and handing over money. In return, we have faith that the purchased item appears at our doorstep in a few days or weeks. That trust didn’t come easily. In 1995, we took our first steps out of the brick and mortar store to load our digital shopping cart. Robert Spector reveals how Amazon.com’s business foundations are in data—and being early to the internet. Sandeep Krishnamurthy recounts the rise of eBay. Angela Robinson describes the technology that makes secure transactions and trustworthy e-commerce possible. Kartik Shastri shares how difficult it was to store and process consumer data. And Katie Wilson explains ho…

8 месяцев, 2 недели назад @ redhat.com
Web UX Begins
Web UX Begins Web UX Begins

Looking at the internet in 1995 is like looking back at awkward grade school yearbooks—all the weirdness and flaws stand out in stark contrast to what it’s grown into since. And web design took awhile to become a career—but it got a big boost in 1995. When the Batman Forever website launched to promote the movie, it showed people what was possible on the web. And it forever changed what we’d expect from a website. Jay Hoffmann describes the quirky designs of the early web. Richard Vijgen explains how we went from a lack of conventions to a homogenized web. Jeffrey Zeldman recounts building the Batman Forever movie’s website—and sowing the seeds of professional web design. Jessica Helfand ou…

8 месяцев, 4 недели назад @ redhat.com
Python Bytes Python Bytes
последний пост 15 часов назад
#268 Wait, you can Google that?
#268 Wait, you can Google that? 15 часов назад @ pythonbytes.fm
#267 Python on the beach
#267 Python on the beach 6 дней, 15 часов назад @ pythonbytes.fm
#266 Python has a glossary?
#266 Python has a glossary? 2 недели назад @ pythonbytes.fm
#265 Get asizeof pympler and muppy
#265 Get asizeof pympler and muppy 3 недели, 1 день назад @ pythonbytes.fm
#264 We're just playing games with Jupyter at this point
#264 We're just playing games with Jupyter at this point 1 месяц назад @ pythonbytes.fm
#263 It’s time to stop using Python 3.6
#263 It’s time to stop using Python 3.6 1 месяц, 1 неделя назад @ pythonbytes.fm
#262 So many bots up in your documentation
#262 So many bots up in your documentation 1 месяц, 2 недели назад @ pythonbytes.fm
#262 So many bots up in your documentation
#262 So many bots up in your documentation 1 месяц, 2 недели назад @ pythonbytes.fm
#261 Please re-enable spacebar heating
#261 Please re-enable spacebar heating 1 месяц, 3 недели назад @ pythonbytes.fm
#261 Please re-enable spacebar heating
#261 Please re-enable spacebar heating 1 месяц, 3 недели назад @ pythonbytes.fm
#260 It's brutally simple: made just from pickle and zip
#260 It's brutally simple: made just from pickle and zip 2 месяца назад @ pythonbytes.fm
#260 It's brutally simple: made just from pickle and zip
#260 It's brutally simple: made just from pickle and zip 2 месяца назад @ pythonbytes.fm
#259 That argument is a little late-bound
#259 That argument is a little late-bound 2 месяца, 1 неделя назад @ pythonbytes.fm
#259 That argument is a little late-bound
#259 That argument is a little late-bound 2 месяца, 1 неделя назад @ pythonbytes.fm
#258 Python built us an anime dog!
#258 Python built us an anime dog! 2 месяца, 2 недели назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 19 часов назад
Rackspace with Jeff DeVerter
Rackspace with Jeff DeVerter

Rackspace is a multi cloud solutions provider that has evolved beyond its cloud computing origins into a diverse set of services and support offerings. Customers work with Rackspace to adopt cloud application deployments, modern data analytics, and all the other opportunities offered by cloud computing. Much of this occurs through partnerships where Rackspace provides teams

The post Rackspace with Jeff DeVerter appeared first on Software Engineering Daily.

19 часов назад @ softwareengineeringdaily.com
Ad-free Search on Neeva with Darin Fisher
Ad-free Search on Neeva with Darin Fisher

Historically, search engines made money by showing sponsored ads alongside organic results. As the idiom goes, if you’re not paying for something, you are the product. Neeva is a new take on search engines. When you search at neeva.com, you get the type of result you’d expect from a search engine minus any advertising. In

The post Ad-free Search on Neeva with Darin Fisher appeared first on Software Engineering Daily.

2 дня, 6 часов назад @ softwareengineeringdaily.com
Tabnine with Eran Yahav
Tabnine with Eran Yahav

Tabnine is an AI assistant that helps software engineers write more efficient code. It’s been trained on a large corpus of source code or can be trained based on your specific codebase. Either way, the resulting model offers predictive completion of code that can make programmers more productive. In this episode, I interview Eran Yahav,

The post Tabnine with Eran Yahav appeared first on Software Engineering Daily.

6 дней, 1 час назад @ softwareengineeringdaily.com
Privacy Engineering with Alex Watson
Privacy Engineering with Alex Watson

Protecting your customers begins with best practices for securely capturing, storing, and protecting the data you collect for or about them. When an organization has a large enough dataset, needs typically arise for doing analytical workloads or training machine learning models on this data. If you use random or mock data to generate a report

The post Privacy Engineering with Alex Watson appeared first on Software Engineering Daily.

1 неделя назад @ softwareengineeringdaily.com
Flowdash with Nick Gervasi
Flowdash with Nick Gervasi

When businesses share a common need such as payroll, commercial offerings can compete for market share with software solutions that easily adapt to a variety of businesses. Not all tasks can be easily commoditized or standardized. Take content moderation as an example. Every site that accepts user generated content is likely to have unique and

The post Flowdash with Nick Gervasi appeared first on Software Engineering Daily.

1 неделя, 1 день назад @ softwareengineeringdaily.com
Uber State Machine with Uday Kiran Medisetty
Uber State Machine with Uday Kiran Medisetty

If you’re working on a proof of concept which you hope will help you raise funding, it’s fine to take a few shortcuts. Use the tech stack you know the best, don’t fall in love with your code, and when you start to experience growing pains, hopefully you’ll have the time to thoughtfully and carefully

The post Uber State Machine with Uday Kiran Medisetty appeared first on Software Engineering Daily.

1 неделя, 2 дня назад @ softwareengineeringdaily.com
Build Tools with Benjy Weinberger
Build Tools with Benjy Weinberger

Writing software is an absolute joy. Getting software to build is a chore. Thus, build systems emerged as a solution to automate this chore. At some point software engineers either use or hear legends about make and makefiles. While perhaps being the historically known tool, a great deal of thought has gone into approaches to

The post Build Tools with Benjy Weinberger appeared first on Software Engineering Daily.

1 неделя, 3 дня назад @ softwareengineeringdaily.com
Mental Health
Mental Health

I have taken a break from interviews on Software Engineering Daily. I’ll be returning to host the show this year, and want to make a post about why I needed some rest. The last two years have been extremely difficult for me and I have not responded well to it. After getting COVID in March

The post Mental Health appeared first on Software Engineering Daily.

1 неделя, 3 дня назад @ softwareengineeringdaily.com
Infrastructure as Code with Rob Hirschfeld
Infrastructure as Code with Rob Hirschfeld

Infrastructure as code is a concept that has delighted software engineers, dev ops, and engineering management across the board. It’s neither fun nor efficient to configure the infrastructure and environments software teams require. Operating software at scale on a cloud, on-prem, or hybrid model is a problem of modernity that many enterprises find surprisingly challenging.

The post Infrastructure as Code with Rob Hirschfeld appeared first on Software Engineering Daily.

1 неделя, 6 дней назад @ softwareengineeringdaily.com
Pinterest Engineering
Pinterest Engineering

Pinterest is a visual discovery engine people use to find ideas in home, food, style, beauty, and more. The service grew quickly after its founding in 2010 and the company has grown to be a global team of thousands of professionals spanning time zones and continents. To deliver the smooth experience Pinterest users have come

The post Pinterest Engineering appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com
Practical Machine Learning in JavaScript with Charlie Gerard
Practical Machine Learning in JavaScript with Charlie Gerard

Charlie Gerard is an incredibly productive developer. In addition to being the author of Practical Machine Learning in JavaScript, her website charliegerard.dev has a long list of really interesting side projects exploring the intersection of human computer interaction, computer vision, interactivity, and art. In this episode we touch on some of these projects and broadly

The post Practical Machine Learning in JavaScript with Charlie Gerard appeared first on Software Engineering Daily.

3 недели, 2 дня назад @ softwareengineeringdaily.com
TechLit Africa with Nelly Cheboi
TechLit Africa with Nelly Cheboi

TechLit Africa is a non-profit on a mission to lessen African poverty by leveraging the internet. Rural Africans lack digital skills and computers to gain from the digital economy, even though developed countries have an abundance of used computers. That’s where TechLit Africa comes in. They accept used computers, refurbish them with custom classroom code,

The post TechLit Africa with Nelly Cheboi appeared first on Software Engineering Daily.

3 недели, 3 дня назад @ softwareengineeringdaily.com
Codename One with Steve Hannah
Codename One with Steve Hannah

Getting a computer program to run the same in different environments has been a recurring problem since the earliest days of software systems. Software versioning, versions of dependencies, hardware configurations, and CPU instruction set differences are just a few examples of challenges engineers have faced to get their software to run in different settings. A

The post Codename One with Steve Hannah appeared first on Software Engineering Daily.

3 недели, 4 дня назад @ softwareengineeringdaily.com
Trifacta with Joe Hellerstein
Trifacta with Joe Hellerstein

If you haven’t encountered a data quality problem, then you haven’t yet worked on a large enough project. Invariably, a gap exists between the state of raw data and what an analyst or machine learning engineer needs to solve their problem. Many organizations needing to automate data preparation workflows look to Trifacta as a solution. The post Trifacta with Joe Hellerstein appeared first on Software Engineering Daily.

1 месяц, 1 неделя назад @ softwareengineeringdaily.com
Codename One with Steve Hannah
Codename One with Steve Hannah

Getting a computer program to run the same in different environments has been a recurring problem since the earliest days of software systems. Software versioning, versions of dependencies, hardware configurations, and CPU instruction set differences are just a few examples of challenges engineers have faced getting their software to run in different settings. A core

The post Codename One with Steve Hannah appeared first on Software Engineering Daily.

1 месяц, 1 неделя назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост 3 дня, 12 часов назад
Хабр ПРО // Будущее технохардкора: становится ли Хабр проще и вредит ли это содержанию
Хабр ПРО // Будущее технохардкора: становится ли Хабр проще и вредит ли это содержанию Хабр ПРО // Будущее технохардкора: становится ли Хабр проще и вредит ли это содержанию

Искушённые хабраюзеры кривят губы при виде чересчур простого контента. «Это всё для джунов и домохозяек, где наш технохардкор?» Но разве простота и доступность автоматически делают текст плохим? Разобраться в этом нам помогли выпускающий редактор контент-студии Хабра Михаил Зоберн и Стас Щетинников, директор по развитию одного из IT-департаментов в Сбере. 2:40 Вспоминаем Хабр, который “торт”. Действительно ли раньше было лучше

10:40 Письма Мартину Алексеевичу: разбираем популярные посты 2010 года

18:40 Почему сейчас минусуют крутые тексты (и почему мы считаем, что они крутые)

20:20 Хабр-2022: что в трендах, что в топах. Аналогия с книжным магазином

24:00 Литературные опусы айтишников для ай…

3 дня, 12 часов назад @ soundcloud.com
Хабр ПРО // Цифровые рацпредложения: строим работу с идеями разработчиков
Хабр ПРО // Цифровые рацпредложения: строим работу с идеями разработчиков Хабр ПРО // Цифровые рацпредложения: строим работу с идеями разработчиков

Однажды ты понял, как снизить затраты на продукт и улучшить его качество. Но идея так и осталась идеей: задача затерялась, а ты превратился в механического исполнителя тикетов из Jira. Мириться с этим нельзя: надо организовать работу так, чтобы инициатива разработчиков не гасла, подобно искрам на снегу.

Чтобы разобраться в этом вопросе, мы побеседовали с нашими гостями о том, как разработчики могут влиять на развитие продукта, как не потеряться в завале идей и в чем главная ошибка Совы – эффективного менеджера. Ответить на эти вопросы нам помогли: - Сергей Лавренев, руководитель по развитию продуктов из департамента по развитию онлайн-сервисов банка «Хоум Кредит», - Роман Хазеев, заместител…

1 месяц назад @ soundcloud.com
Хабр ПРО // Agile по жизни: обсуждаем гибкую методологию разработки на бытовых примерах
Хабр ПРО // Agile по жизни: обсуждаем гибкую методологию разработки на бытовых примерах Хабр ПРО // Agile по жизни: обсуждаем гибкую методологию разработки на бытовых примерах

Кто-то при слове Agile вспоминает мемы, кто-то вечный статус «в раннем доступе» у игр, кто-то — постоянные спринты. Мы заглянем чуть глубже и с помощью наших гостей узнаем, когда Agile эффективен, а когда нет; можно ли пренести Agile на личную жизнь — и постараемся понять, почему раньше без него можно было обойтись, а теперь нет. В нашей виртуальной студии вместе с scrum-мастером Анатолием Кукаевым из Промсвязьбанка и директором продуктовой разработки PropellerAds Анатолием Ивановым мы обсудили:

1:00 Любимые шутки про Agile. Объясняем, почему это смешно

3:40 Agile в реальной жизни на примерах: где это применимо и как работает

11:50 Почему гибкие методики Agile так актуальны в быстро меняюще…

1 месяц, 1 неделя назад @ soundcloud.com
Хабр ПРО // Матрица для микросервисов. Обсуждаем, как пройти путь от монолита к платформе
Хабр ПРО // Матрица для микросервисов. Обсуждаем, как пройти путь от монолита к платформе Хабр ПРО // Матрица для микросервисов. Обсуждаем, как пройти путь от монолита к платформе

В этом выпуске мы обсудили, как перейти от монолита к микросервисной архитектуре и построить свою платформу с теми, кто встал на этот путь. Рассказываем, как микросервисная архитектура меняет организацию команд, какие технические вызовы создает и что может дать своя платформа для микросервисов.

Гости:

Александр Тяпков, заместитель технического директора по вопросам backend-разработки в онлайн-кинотеатре IVI,

Артем Желтак, руководитель backend-разработки в inDriver. 1:10 С чем на бытовом уровне сравнить распил монолита на микросервисы. Наводим порядок в гараже, покупаем теннисные мячи в магазине теннисных мячей

3:50 Распил неизбежен? Немного драматические истории перехода на микросервисы

7:4…

1 месяц, 1 неделя назад @ soundcloud.com
Хабр ПРО // Треугольник DevSecOps: как объединить инструменты, процессы и знания о безопасности
Хабр ПРО // Треугольник DevSecOps: как объединить инструменты, процессы и знания о безопасности Хабр ПРО // Треугольник DevSecOps: как объединить инструменты, процессы и знания о безопасности

Настраивать и контролировать процессы в IT-компании не проще, чем пилить код. Преуспеть в этом помогает DevOps, естественным продолжением которого в сфере информационной безопасности стал DevSecOps. О нём и поговорим. Вместе с нашими гостями мы рассмотрели Ивана-царевича как модель угрозы; обсудили, как быть на шаг впереди злоумышленников; как сложить слово «безопасность» из процессов, инструментов и знаний; какая главная цель DevSecOps, как перейти к нему от DevOps и с чего надо начиать внедрение и изучение этих практик. Мы взглянули на вопрос с двух сторон: реализации на практике и разработки инструментов. В этом нам помогли Алексей Бабенко, лидер команды тестирования безопасности приложе…

1 месяц, 2 недели назад @ soundcloud.com
Хабр ПРО // Полдень, XXI век: открытое и свободное будущее под знаком Open Source
Хабр ПРО // Полдень, XXI век: открытое и свободное будущее под знаком Open Source Хабр ПРО // Полдень, XXI век: открытое и свободное будущее под знаком Open Source

Открытый код или коробочное решение? Open Source — вот он, бери и делай, только допиливать нужно будет самому. С другой стороны, коробки — проверенный временем вариант, хотя и дорого. В этом выпуске вебкаста Хабр ПРО обсудим, какой из подходов может стать мейнстримом, как выбрать подходящую под цели бизнеса лицензию и какие условия должны быть соблюдены, чтобы открытый код был безопасным. Участники:

Андрей Аврамчук, ведущий, Хабр;

Сергей Елин, тимлид ERLANG-разработчиков Osnova;

Роман Шеховцов, корпоративный архитектор Центра развития финансовых технологий Россельхозбанка. 1:15 Разница между открытым и свободным ПО

4:15 Насколько критичен выбор лицензии, какие критерии надо рассмотреть в пе…

1 месяц, 3 недели назад @ soundcloud.com
Хабр ПРО // Митап о микросервисах: отвечаем на вопросы с Хабр Q&A
Хабр ПРО // Митап о микросервисах: отвечаем на вопросы с Хабр Q&A Хабр ПРО // Митап о микросервисах: отвечаем на вопросы с Хабр Q&A

Сколько нужно DevOps, чтобы выкрутить одну лампочку? В этом выпуске мы ответили на этот и другие более практические вопросы о работе с микросервисами, которые наши пользователи оставляют на Хабр Q&A. Обсуждаем, в чём разница между микросервисами и сервисами, какие технологии нужны для микросервисов, где их разворачивать, как хранить исходный код и отслеживать жизнь микросервиса. Мы разобрали эти вопросы с двух точек зрения: self-hosting и работы с облачными сервисами. Наши гости: Денис Рылеев, руководитель направления автоматизации в Россельхозбанке, и Михаил Чугунов, системный инженер компании ЕПАМ, занимающийся внедрением DevOps-практик в облачных решениях AWS.

1:05 Вечные вопросы: скольк…

2 месяца назад @ soundcloud.com
Хабр ПРО // Трудно быть богом: как строить стек в хаосе устаревающих технологий
Хабр ПРО // Трудно быть богом: как строить стек в хаосе устаревающих технологий Хабр ПРО // Трудно быть богом: как строить стек в хаосе устаревающих технологий

Сцилла и Харибда современной разработки: с одной стороны, приложения должны быть стабильными и цельными, с другой — надо использовать актуальные инструменты. Приходится балансировать между усложнением разработки и устареванием стека. В этом выпуске мы обсудили, как держать равновесие. Мы пригласили тех, кто определяет развитие технической части приложений. Разработчики расскажут, как выстраивать технический стек, как далеко можно прогнозировать в нашем изменчивом мире и являются ли микросервисы серебряной пулей. Кирилл Маканков, руководитель направления мобильной разработки малого и среднего бизнеса в ПСБ, расскажет, какие проблемы ему приходится решать при планировании технического стека, …

2 месяца, 1 неделя назад @ soundcloud.com
Хабр ПРО // Return 2011: iOS-сеньоры представляют, какими бы они были джунами в 2021-м
Хабр ПРО // Return 2011: iOS-сеньоры представляют, какими бы они были джунами в 2021-м Хабр ПРО // Return 2011: iOS-сеньоры представляют, какими бы они были джунами в 2021-м

Десять лет назад на прилавках появилась новинка от Apple — iPhone 4S, и два друга — Илья и Руслан — решили заняться iOS-разработкой. Прошло время. Илья Меркулов теперь Head of Mobile в FUNCORP, а Руслан Курмакаев переехал в Сиэтл и стал Senior iOS Developer в Facebook. Мы устроили телемост Москва—Сиэтл и в прямом эфире обсудили с Ильёй и Русланом, как бы те начали свой карьерный путь в 2021 году. Выбрали бы они iOS-разработку? С чего бы начали изучение технологий? Как развивалась бы их карьера и каких ошибок они бы избежали? 1:00 Каково было начинать карьеру в iOS-разработке десять лет назад

6:20 Точки роста джуна: фиксим баги, учим английский, читаем книги

11:00 Вредные привычки и особенно…

2 месяца, 2 недели назад @ soundcloud.com
Хабр ПРО // Баффер в IT-команде: обсуждаем, чему сеньор может поучиться у джуна
Хабр ПРО // Баффер в IT-команде: обсуждаем, чему сеньор может поучиться у джуна Хабр ПРО // Баффер в IT-команде: обсуждаем, чему сеньор может поучиться у джуна

IT — как Зазеркалье: чтобы оставаться на месте, надо идти, чтобы двигаться — бежать. В IT-компаниях это понимают, и потому одни разработчики учат других. В этот выпуск Хабр Про мы пригласили тех, кто вращает круговорот знаний, и вместе с ними обсудили обмен опытом через теорию и через практику. Настя Артамонова, главный специалист по обучению в Мир Plat.Form, рассказала, как митапы развивают технических специалистов и как внутреннее обучение становится ступенькой к внешним курсам (но не всегда). А Олег Миронов, руководитель Центра Компетенций АО «Флант», объяснил, как учить на боевых проектах и как тимлиды становятся кураторами для джунов. Содержание: 2:00 Обучение внутри компаний: теоретич…

3 месяца назад @ soundcloud.com